BIG DATA&AI 2022: лучше совместно

Преодолеваем кризис совместно: издательство «Открытые системы» провело форум BIG DATA&AI 2022, посвященный использованию технологий больших данных в льющихся условиях.

«Сегодня бизнес (предпринимательство — деятельность, направленная на систематическое получение прибыли), общество и государство волнует главный вопрос: как организовать свою работу в радикально изменившихся условиях? Розыск адекватных ответов — в центре внимания участников форума BIG DATA&AI 2022», — отметила, обнаруживая мероприятие, Ирина Шеян, руководитель программного комитета. (Также о форуме см. «BIG DATA&AI 2022: подходы и инструменты», «Компьютерный мир», 27 апреля 2022.)

Сообразно исследованиям PwC, в годовых отчетах компаний понятие «большие данные» сегодня фигурирует вдвое пуще, чем еще пять лет назад. В цифровую эпоху основой бизнеса становятся нематериальные активы, однако кризисные явления в всемирный экономике привели к изменению многих ключевых причинно-следственных связей, что повлияло на возможность использовать как исторические, так и оперативные эти для ведения бизнеса, прогнозирования и моделирования тех или иных событий. Поменялся и горизонт доступности данных, что потребовало от компаний пересмотра традиционных схем принятия решений. Прошедший опыт руководителей и успешно использовавшиеся еще недавно математические модели линейной классификации и регрессии уже неприменимы в новых условиях, находит Григорий Борисенко, руководитель практики по оказанию услуг в области анализа (метод исследования, характеризующийся выделением и изучением отдельных частей объектов исследования) данных PwC в России.

«Сегодня ситуация драматически меняется. Смена приоритетов, ослабление контроля, изменение регулятивных норм и вектора потребления — все это разламывает модели оценки и принятия решений и требует все больше достоверных внешних данных, — отметил Борисенко. — Вместо незыблемых констант доводится работать со множеством переменных, основанных на волатильных функциях со множеством параметров».

Модели оценки (многозначное слово: Оценка, в философии — способ установления значимости чего-либо для действующего и познающего субъекта) товаров и сервисов, каналов поставок и компетенции сотрудников, так, по отзывам бывших партнеров и по резюме перестали быть свободно конвертируемыми на основе признанных еще недавно институтов сертификации. Как последствие, сейчас растет спрос именно на качественные внешние данные. Однако участившиеся инциденты, в частности, вызванные появлением так именуемого протестного программного обеспечения (protestware), особенно в области анализа данных, могут не только существенно затруднить обработку (процесс создания какого-либо продукта с использованием первичных (труд и капитал) и промежуточных факторов производства (сырье, материалы и тому подобное)) этих, но и привести к заведомо неверным решениям.

Задача цифровых систем — поддерживать бизнес и приносить пользу. Возникшие же беспрецедентные штурмы в сочетании с уходом с рынка ряда производителей, отвечавших в том числе и за обеспечение информационной безопасности, сегодня усугубляются утратой доверия к данным как из надежных ранее источников в Сети, так и из корпоративных систем.

«Сейчас нет доверия ни к вендорам ПО, ни к операторам этих, ни к самим данным — вместе с обновлением привычной, легальной программы может «прилететь» что угодно, а слив этих может инициировать свой же политически мотивированный сотрудник (или сотрудник, — субъект трудового права, физическое лицо, работающее по трудовому договору у работодателя и получающее за это заработную плату)», — констатировал сложившуюся ситуацию Рустем Хайретдинов из Ассоциации по проблемам защиты информации.

К сожалению, к нынешней ситуации мало кто оказался готов, что привело к сбою некоторых цифровых сервисов: утеряны архивы линии федеральных агентств и коммерческих компаний, разрушены их инфраструктуры обеспечения безопасности. «Существенно возросли уровень и мощность штурмов, для проведения которых используются средства более профессиональные, чем ранее применявшиеся хулиганами», — отметил Хайретдинов.

Изменилась и мотивация штурмов (способ овладения крепостью, аэродромом, городом или сильно укреплённой группой позиций, заключающийся в быстром и часто неожиданном нападении силами, часто превосходящими противника в уровне боевой подготовки или силами). Сегодня это уже не банальная кража денег с банковских счетов или вымогательство с целью выкупа, а разрушение информационных систем. К сожалению, все это выходит на фоне отключения средств защиты компаниями-партнерами, отвечающими за информационную безопасность. По мнению Хайретдинова, это происходит либо из-за вовремя не внесенной оплаты, либо из-за невозможности или неумения даже специализированных компаний скоро масштабировать инфраструктуру как в локальных, так и в облачных конфигурациях.

«Время (форма протекания физических и психических процессов, условие возможности изменения) поставки серверов составляет сейчас десятки недель, их стоимость в разы рослее, чем еще совсем недавно, а облачные провайдеры отказываются выполнять свои обязательства, — рассказал Хайретдинов. — Выстроенные в спокойное время системы не работают в условиях (категория философии, обозначающая отношение предмета к окружающей действительности, явлениям объективной реальности, а также относительно себя и своего внутреннего мира) глобальных потрясений».

К тому же нет апробированных сценариев устранения угроз и эксперимента решения (многозначный термин) аналогичных по сложности и масштабу задач. Специалисты по безопасности оказались отрезанными от международной кооперации обмена информацией по новоиспеченным атакам. Нынешняя ситуация, по мнению Хайретдинова, уникальна по своей экстремальности, что требует смены ролей и приоритетов, устранения казенных барьеров, препятствующих, например, допуску к серверам организации для оперативного устранения инцидентов кибербезопасности. Как следствие, считает Хайретдинов, требуются кардинальные изменения в сфере обеспечения информационной безопасности, в том числе и на степени государства: концентрация экспертизы, аудит цифровых активов (Актив — часть бухгалтерского баланса) и развертывание их эшелонированной обороны, актуализация сценариев «под штурмом» и восстановления данных. В условиях кризиса доверия необходимо поднять до уровня бизнеса и лиц, принимающих решения, сделавшиеся безотлагательными вопросы: обеспечение безопасности (состояние защищённости жизненно важных интересов личности, общества, государства от внутренних и внешних угроз, либо способность предмета, явления или процесса сохраняться при разрушающих воздействиях) данных; расстановка приоритетов для сохранения наиболее ценных активов; оценка надежности подрядчиков по защите информационных систем; ввод добавочного резервирования.

Алексей Сидоров, директор (управляющий, руководитель, начальник компании, предприятия или учебного заведения) по управлению данными компании Denodo, посвятил свое выступление вопросам управления этими в распределенных архитектурах на основе (многозначный термин: Основа — продольная система направления параллельных друг другу нитей в ткани, располагающихся вдоль обеих кромок ткани) технологий Data Mesh и Logical Knowledge Graph. По его словам, платформа виртуализации этих позволяет «устранить необходимость физической концентрации данных в одном месте, но обеспечить единую точку входа для централизованной труды с ними». Сегодня уже нецелесообразно да и опасно хранить всю информацию (сведения независимо от формы их представления) в одном озере, намереваясь позже использовать ее по мере нужды: данные (зарегистрированная информация:439; представление фактов, понятий или инструкций в форме, приемлемой для общения, интерпретации, или обработки человеком или с помощью автоматических средств (ISO/IEC/IEEE 24765-2010)) быстро меняются, стоимость их репликации может быть слишком высокой, сложно обеспечивать их сохранность и гарантировать права их обладателей.

«Управлять корпоративными данными надо централизованно, но хранить их следует распределенно в местах генерации, в реальном поре предоставляя потребителю актуальные сведения в требуемом виде», — считает Сидоров. Этого можно добиться, используя логический граф знаний, устанавливающий связи между данными, что позволяет на 80% снизить расходы и до 85% сжать время на интеграцию корпоративных данных без нарушения нормативных требований по работе с ними. Кроме того, данные предоставляются прямо их потребителям (бухгалтерам, маркетологам, финансистам, производственникам, продавцам), которые лучше ИТ-специалистов знают особенности конкретных сведений и, благодаря подключению ко всем ключам (существующим хранилищам (Сухое хранилище отработанного ядерного топлива Хранилище данных Склад Хранилище 13 Хранилище содержимого Хранилище — фильм режиссёра Дэна Буша (2017) Хранилище «Судного дня») и озерам), получают возможность в реальном времени принимать решения «на лету».

Тему продолжил Владислав Каменский, генеральный директор компании «Юнидата», какой сосредоточился на особенностях управления данными в условиях турбулентных явлений в экономике. В своем выступлении он затронул актуальные проблемы: как жить в условиях санкций, как обеспечить технологическую независимость, какие продукты (Продукт — пища (в словосочетании «продукты питания») Продукт — произведение труда, законченный результат некоторой деятельности, в том числе: Промышленное изделие или услуга (товар, предлагаемый на рынке для удовлетворения потребностей покупателей)) востребованы в области (некоторая часть большей структуры) управления данными? Одним из последствий кризисных явлений в отечественной экономике стало отсутствие конкуренции после ухода ряда западных компаний, на протяжении десятилетий поставлявших в край продукты по управлению (Управление — воздействие на участников процесса с целью улучшить характеристики процесса) данными.

«Нужно не просто заместить такие продукты, а сделать соответствующие решения лучше, — подчеркнул Каменский. — Однако в условиях отсутствия конкуренции это сделать сложно». Для преодоления проблемы в компании образовано структурное подразделение «Юнидата Labs», отвечающее за фундаментальные изыскания, разработки, образовательные проекты и взаимодействие с академическим сообществом. Сплав науки и производства позволит предложить новые продовольствие, включающие наукоемкие разработки в области искусственного интеллекта, оптимизации управленческих решений, выявления аномалий и скрытых подневольностей, что обеспечит актуальность и востребованность соответствующих решений в сфере управления и руководства данными, а также обеспечит их качество.

О том, что мастерить в текущей ситуации (одноактность и неповторимость возникновения множества событий, стечения всех жизненных обстоятельств и положений, открывающихся восприятию и деятельности человека), размышляли многие участники форума (Форум (площадь) — типология общественного пространства в древнеримском градостроительстве; центральная городская площадь, где проходила городская жизнь, заключались сделки, велись переговоры). Сергей Золотарев, генеральный директор компании Arenadata, предлагает участникам ИТ-рынка не пробовать самостоятельно строить все системы, инициируя новые проекты. Он советует консолидировать и максимально полно использовать уже имеющиеся и проверенные порой инфраструктурные решения, позволяющие сформировать полноценную экосистему. В стране есть множество (одно из ключевых понятий математики; представляющее собой набор, совокупность каких-либо (вообще говоря любых) объектов — элементов этого множества) эффективных решений, возможно, не имевших ранее мощной маркетинговой поддержки (подобный, как у ушедших западных вендоров), но не уступающих по функционалу. Сейчас одна из самых острых проблем (в широком смысле — сложный теоретический или практический вопрос, требующий изучения, разрешения; в науке — противоречивая ситуация, выступающая в виде противоположных позиций в объяснении каких-либо явлений, объектов, процессов и требующая адекватной теории для её разрешения; в жизни проблема формулируется в понятном для людей виде «знаю что, не знаю как», то есть известно, что нужно получить, но неизвестно, как это сделать) — обеспечение (долга — залог Обеспечение валюты золотом и серебром — Биметаллизм Обеспечение валюты золотом — Золотой стандарт, МонометаллизмТехникаМатематическое обеспечение Программное обеспечениеВоенное делоТыловое обеспечение Оперативное обеспечение Тактическое или боевое обеспечение.ЮриспруденцияОбеспечение иска) работоспособности критически значительных для бизнеса систем и безболезненной миграции с западных платформ. Золотарев уверен в том, что «исход западных вендоров — предлог не для паники и слез, а для организации командной работы отечественных компаний (может означать: Компания (фр. compagnie) — название формирования, в России ей соответствует рота (пример, Лейб-компания)) по преодолению текущих проблем».

Arenadata предлагает базару платформы работы с данными, позволившие десяткам предприятий построить конкурентоспособные инженерные системы (множество элементов, находящихся в отношениях и связях друг с другом, которое образует определённую целостность, единство), индифферентные к ограничениям доступа к технологиям (совокупность методов и инструментов для достижения желаемого результата; в широком смысле — применение научного знания для решения практических задач). Arenadata Enterprise Data Platform вводит функционально полный стек продуктов для развертывания решений класса CRM, ERP, ECM, BPM, RPA, ETL и пр. как в инфраструктурах on-premise и PaaS, так и в облаках различных образов. Платформа дает возможность строить хранилища данных (например, на основе СУБД PostgreSQL), отказоустойчивые системы потоковой обработки этих в режиме реального времени, системы распределенных вычислений в оперативной памяти (на базе (База — место временного хранения товаров, например: «овощная база») СУБД Tarantool), масштабируемые отказоустойчивые системы разбора и полнотекстового поиска. В качестве примеров Золотарев привел выполненные за предыдущие пять лет проекты для ВТБ и ФНС по миграции ( Не путать с терминами «иммиграция» и «эмиграция») системы подготовки отчетности с СУБД Oracle SuperCluster на колоночную массивно-параллельную аналитическую СУБД ArenadataDB, а также проект унификации технологического стека и снижения расходов на эксплуатацию АИС «Налог-3» с миграцией с Teradata и Oracle Exadata. Кроме того (государство в Западной Африке, граничащее с Ганой на западе, Бенином на востоке и Буркина-Фасо на севере), есть примеры инфраструктурных проектов (Проект в инженерной деятельности (соответствует англ. design от лат. designare «размечать, указывать, описывать, изобретать») — целостная совокупность моделей, свойств или характеристик, описанных в форме, пригодной для реализации системы (SEBoK):272 Является результатом проектирования — процесса определения архитектуры, компонентов, интерфейсов и других характеристик системы или её части (ISO 24765)) для предприятий и компаний из всех отраслей экономики, различных масштабов и форм собственности. Всем заказчикам предлагаются готовые сервисы по труду (деятельность человека, направленная на создание материальных и духовных благ, которые удовлетворяют потребности индивида и (или) общества) с большими данными, проверенные методики миграции и, при необходимости, услуги по сопровождению, предоставляемые более чем тысячей квалифицированных специалистов. В подневольности от запросов заказчиков, на базе предлагаемой платформы (может означать: Железнодорожная платформа: Платформа — возвышенная площадка, помост для посадки пассажиров в вагоны, для нагрузки и выгрузки товаров) во взаимодействии с десятками авторизованных партнеров, специализирующихся в определенных областях, может быть развернуто конкретное решение.

Тему построения перронов для работы с данными продолжил Дмитрий Крючков, архитектор решений из компании Sapiens solutions. Он рассказал об архитектуре перроны данных, аккумулирующей классические открытые технологии наподобие Spark, Kafka или Nifi, а также сервисы (служилый, раб, подневольный; находящийся в полном подчинении, зависимый, подвластный; рабский, невольничий; обременённый повинностями; -а, м. То же, что обслуживание.Сервис (англ) для бизнес-аналитики Yandex Datalens и Apache SuperSet.

«Многие российские компании ныне столкнулись со сложностями продления лицензий, рисками блокировки облачных решений, высокой стоимостью программного обеспечения и проблемами с розыском новых партнеров, — отметил Крючков. — Мы предлагаем подход к построению платформы данных, отвечающей основным надобностям отечественных компаний: хранилище данных, аналитика, озеро данных, потоковая обработка». Заказные решения по хранению этих и аналитике, построенные в предлагаемой архитектуре на технологиях Open Source (например, продукт Easy Report), могут быть развернуты как на собственном оборудовании клиентов, так и в облаках — в частности, есть решение на базе «Яндекс.Облака».

По результатам различных исследований отраслевых аналитиков, более 70% компаний однозначно видают в данных будущее своего бизнеса, однако из всего объема имеющейся информации монетизируется лишь половина. Вряд ли имеет резон просто грузить в хранилище все данные подряд: они либо быстро устаревают, либо вообще не нужны. Гораздо здоровее знать свои данные.

«Даже если развернуть в компании очень хорошее ПО, это не станет гарантией того, что все заработает. Требуются адекватные стратегии, наглядные образцы, анализ результатов и грамотный подбор ключевых сотрудников», — считает Олег Гиацинтов, технический директор DIS Group. Цифровая экономика (хозяйственная деятельность общества, а также совокупность отношений, складывающихся в системе производства, распределения, обмена и потребления) спрашивает «цифровых» сотрудников нового поколения, специализирующихся на четырех направлениях работы с данными: оценка, адаптация, каталогизация и измерение. Верное разграничение ответственности между CDO и другими подразделениями позволяет до 60% сократить время на предоставление данных потребителям, причем изменить подходы к труду с данными следует незамедлительно, уверен Гиацинтов: «Сейчас самое лучшее время, чтобы модернизировать бизнес, соединиться для создания, возможно из разных технологий, действительно цифровых компаний».

Конкретный образец интегрированного подхода к созданию цифрового продукта продемонстрировал содокладчик Гиацинтова — Дмитрий Шведов, заместитель главу департамента цифровизации компании «УралХим», перед которой стояла задача создания сервисов цифровизации и поддержки принятия бизнес-решений. Корпоративное хранилище сделалось единым источником достоверных данных, а внедрение платформы данных и глубокой аналитики (специалист, занимающийся изучением аналитических исследований и обобщений в определенной сфере деятельности, который в совершенстве владеет методами анализа, обычно способен прогнозировать процессы и разрабатывать перспективные программы развития) позволило создать на предприятии (самостоятельный, организационно-обособленный хозяйствующий субъект с правами юридического лица, который производит и сбывает товары, выполняет работы, оказывает услуги) экосистему этих, которая обеспечивает их сбор, обработку и хранение с целью поддержки бизнес-инициатив, создания цифровых двойников и выполнения прогнозной аналитики для процессов и активов компании. Перрон включает в себя подсистему сбора данных на базе Apache, подсистему управления и описания данных на основе решений Informatica Axon и Atlassian, подсистему хранения на основе PostgreSQL и сервисов SberCloud, а также лабораторию ненастоящего интеллекта — Jupyter и Sbercloud ML Space. Высокое качество данных, накапливаемых в платформе, позволило бизнес-экспертам выявить, в частности, некорректную информацию, поступающую сквозь интеграционную шину информационных систем предприятия.

Как обществу, привыкшему «к цифре», избежать сегодня утрат, вызванных нештатным функционированием или отключениями информационных систем? Докладчики пленарной сессии форума сошлись в едином сужденье: в период повышенных рисков главное — не делать поспешных выводов, чтобы не сломать успешно функционирующие продовольствие, а всем участникам отечественного ИТ-сообщества нужно совместно искать решения, адекватные возникшим проблемам, и не забывать при этом о том, что барыши без рисков не бывает.