Форум BIG DATA&AI 2022, организуемый издательством «Отворённые системы», — центральное событие года по теме больших данных, продвинутой аналитики и искусственного интеллекта.
Беспрецедентный кризис потребовал резкую смену приоритетов. Кардинально изменилась и повестка ежегодного форума, отражая самые насущные проблемы, волнительные профессиональное сообщество в условиях неопределенности, санкций и болезненного расставания с иностранными поставщиками платформенных решений. Благодаря партнерам форума, его участники из первых уст разузнали о возможностях доступных на российском рынке технологий для управления на основе (многозначный термин: Основа — продольная система направления параллельных друг другу нитей в ткани, располагающихся вдоль обеих кромок ткани) данных. (Также о форуме см. «BIG DATA&AI 2022: лучше совместно», «Компьютерный мир», 27 апреля 2022.)
Хранилища данных
В компании «Дататех», в какой на основе отечественного ПО с открытым кодом внедряют решения управления данными, создали фреймворк для автоматизации построения хранилищ этих. Этот набор методик и готовых инструментов содержит в том числе пакетные решения, а также стандарты моделирования и разработки (может означать: Процесс проектирования и конструирования изделия (см. Разработка нового продукта и Разработка с общедоступными наработками) Итеративная разработка Разработка алгоритмов Разработка программного обеспечения Разработка приложений для мобильных устройств Разработка компьютерных игр Веб-разработка Разработка персонажа в мультипликации Контрактная разработка электроники Разработка управляемая моделями Разработка через тестирование Обратная разработка Разработка комитетомРазработка в музыке).
«Мы ориентировались на DevSecOps как на стандарт разработки и использовали микросервисную зодчество, методологию Data Vault 2.0 и MPP-архитектуру на основе решения Arenadata DB», — пояснил Павел Бабурин, директор по стратегическим проектам «Дататех».
Решения компании обеспечивают извлечение этих из различных источников, их приведение к единой логической модели в соответствии с методологией (учение о методах, способах и стратегиях исследования предмета) Data Vault 2.0, загрузку в хранилище и формирование детальных этих согласно требованиям бизнес-модели, а также построение прикладных витрин данных для бизнес-задач и предоставление к ним доступа пользователей и информационных систем.
Специалисты «Дататех» именуют фреймворк готовым продуктом. Фактически это облачный сервис, который был создан в процессе реализации проекта для одного из крупных банков. В компании намерены предлагать такую комплексную методологию банкам, каким необходимо произвести срочную миграцию данных в условиях импортозамещения.
Хотя многие проекты (Проект в инженерной деятельности (соответствует англ. design от лат. designare «размечать, указывать, описывать, изобретать») — целостная совокупность моделей, свойств или характеристик, описанных в форме, пригодной для реализации системы (SEBoK):272 Является результатом проектирования — процесса определения архитектуры, компонентов, интерфейсов и других характеристик системы или её части (ISO 24765)) хранилищ данных завершены успешно, есть проблемы, способные привести к провалам или неполной реализации потенциала работы хранилищ больших данных, отметил Александр Волынский, технический менеджер продукта ML Platform компании (может означать: Компания (фр. compagnie) — название формирования, в России ей соответствует рота (пример, Лейб-компания)) VK Cloud Solutions.
Исходя из эксперимента компании и ее заказчиков, одной из важнейших проблем он считает недостаточное качество данных в условиях значительного числа территориально распределенных ключей, разделения зон ответственности и ограниченных возможностей команды инженеров по данным, обслуживающих центральное хранилище (Сухое хранилище отработанного ядерного топлива Хранилище данных Склад Хранилище 13 Хранилище содержимого Хранилище — фильм режиссёра Дэна Буша (2017) Хранилище «Судного дня»).
Чтобы обеспечить надлежащий степень качества, предлагается отнести данные к основным продуктам деятельности каждого их источника, организовать распределенное владение ими и создать целый для всех слой сервисов доставки и обеспечения качества данных. В компании разработаны методы оценки эффективности хранилищ этих, мотивации команды инженеров по данным, выбора облачных или традиционных локальных решений для организации хранилищ.
Волынский ратифицирует, что при облачном подходе к работе с данными кластер Kubernetes может быть развернут и поддерживаться в облаке даже сотрудником, не являющимся специалистом по использованию этой перроны.
C ростом объемов и разнообразия типов источников (или Источники, может употребляться в следующих значениях: Источник (природный), ключ, родник — выход подземных вод на поверхность) данных все более актуальной становится организация централизованного управления доступом к ним. При внедрении ролевой модели доступа в одном из крупнейших российских банков, специалисты компании Denodo использовали возможности своей перроны (Железнодорожный перрон — укреплённая платформа, проходящая параллельно железнодорожным путям, предназначенная для посадки и высадки пассажиров поездов и погрузочно-разгрузочных работ), к которой подключаются все источники данных, а также технологию виртуализации данных, позволяющую ограничивать параметры видимости отдельных комплектов, строк и столбцов данных и применять алгоритмы динамического маскирования данных.
«Сложность проекта заключалась в огромном числе правил доступа, общее число которых достигало полутора тысяч. А кроме того, следовало учесть до семи десятков ролей и столько же преимуществ «поверх» всех ролей», — рассказал Иван Кириленков, технический директор Denodo.
Чтобы управиться с этой проблемой, на основе корпоративного каталога данных сформировали полную матрицу доступа с применением набора самодействующих скриптов, а также реализовали автоматическую синхронизацию ролей, тегов, правил и других объектов. Использование единой перроны работы (может означать: Работа — это выполнение действий во времени и пространстве с применением силы) с данными позволило сделать управление доступом проще и эффективнее.
В «Сбере» создали методологию для обеспечения регулярной доставки потребителям этих из сотен источников. К ее основным принципам относятся: исключение непродуманной загрузки озера данных; постоянное отслеживание изменений этих из различных источников, технологий (совокупность методов и инструментов для достижения желаемого результата; в широком смысле — применение научного знания для решения практических задач) их использования, применяемых инструментов; внедрение средств контроля технического и бизнес-качества данных в рамках целой корпоративной модели данных. «Реализация этих положений поможет построить озеро данных и не превратить его в болото», — полагает Лариса Ихсанова, правящий директор и руководитель управления загрузки (Загрузка файлов — скачивание (англ) данных (зарегистрированная информация:439; представление фактов, понятий или инструкций в форме, приемлемой для общения, интерпретации, или обработки человеком или с помощью автоматических средств (ISO/IEC/IEEE 24765-2010)) «Сбера».
Платформы
Сегодня, когда данные являются основой цифровой трансформации, являются новые модели (система, исследование которой служит средством для получения информации о другой системе; представление некоторого реального процесса, устройства или концепции) бизнеса и «умные» приложения (может значить: Прикладная компьютерная программа — см. Прикладное программное обеспечение.Веб-приложение — клиент-серверное приложение, в котором клиентом выступает браузер, а сервером — веб-сервер.Приложение (лингвистика) — описание характеристики, признака объекта (существительного)), предоставляющие возможность (направление развития, присутствующее в каждом явлении жизни; выступает и в качестве предстоящего, и в качестве объясняющего, то есть как категория) изменять организационную структуру предприятий, находят в компании «Диасофт».
Созданная в этой компании экосистема решений для цифровой трансформации включает перрон Digital Q.AIML на базе методологии MLOps (Machine Learning Operations), предназначенной для оптимизации жизненного цикла машинного обучения.
В конвейер житейского цикла платформы Digital Q.AIML входят фабрика обучения моделей, автоматизированный конвейер их развертывания и монитор жития моделей. Последовательность работ при решении типовых задач для платформы включает, помимо прочего, предварительную обработку этих, выбор подходящей модели обучения (деятельность по изменению и адаптации поведения субъекта обучения с целями выживания, развития, совершенствования) и предоставление доступа к обученной модели как к сервису.
«Для выпуска моделей и упаковки их в сервисы мы строчим собственные Docker-файлы и запускаем их в публикацию в существующей сборке сервисов (служилый, раб, подневольный; находящийся в полном подчинении, зависимый, подвластный; рабский, невольничий; обременённый повинностями; -а, м. То же, что обслуживание.Сервис (англ)», — пояснил Антон Шебалкин, зодчий платформы Digital Q.AiMl.
Платформы «Диасофт» позволяют извлекать из озер данных массивы информации, разбирать их и использовать для создания новых приложений, основанных на методах глубокого машинного обучения.
Платформа быстрой бизнес-аналитики Luxms BI, какую разработали в группе компаний Luxms, — это инструментарий современных цифровых организаций, предоставляющий в реальном времени сведения, необходимые для принятия решений. Одна из особенностей Luxms BI — дата-центричная зодчество (или зодчество — искусство и наука строить, проектировать здания и сооружения (включая их комплексы), а также сама совокупность зданий и сооружений, создающих пространственную среду для жизни и деятельности человека), обеспечивающая высокое быстродействие за счет приближения бизнес-логики к данным: сервер приложений Luxms BI размещен внутри базы этих. Кроме того, в зависимости от востребованности данных, используется их разделение на слои, для которых система бизнес-аналитики использует различные технологии обработки (процесс создания какого-либо продукта с использованием первичных (труд и капитал) и промежуточных факторов производства (сырье, материалы и тому подобное)).
|
|
| Сергей Шестаков: одна из особенностей Luxms BI — дата-центричная зодчество, обеспечивающая высокое быстродействие за счет приближения бизнес-логики к данным: сервер приложений размещен внутри базы этих |
В конце апреля выходит версия Luxms BI v8. По словам Дмитрия Дорофеева, главного архитектора Luxms, в ней реализованы пожелания заказчиков в доли самообслуживания. Инструменты (технологическая оснастка, которая воздействует на предметы труда и изменяет их, предмет, орудие для производства каких-нибудь работ. . В основе конструкции и правил использования инструмента лежит знание законов материального мира, приложенных к технологии производства) Self Service предоставляют пользователям свободу действий с данными, в том числе возможность выполнять подключение к ключам, делать загрузку, подготавливать визуализацию и осуществлять ряд других функций (программирование для этого не требуется). Вместе с тем в новой версии улучшен функционал самообслуживания как для инструментария построения витрин, отчетов и разбора данных Self Service BI, так и для области ETL — Self Service ETL (Data Boring). Специалисты Luxms считают, что функционал Self-Service сопоставим с таковым у лучших зарубежных BI-решений.
Компания EasyData развивает семейство кросс-платформенных программных продуктов EasyPortal для автоматизации процессов труды с файловыми системами, реляционными СУБД, хранилищами данных, платформами Big Data.
«Платформа EasyPortal охватывает вящую часть задач проектов хранилищ данных и предоставляет готовое решение (многозначный термин) для разработки проектов и управления выполнением задач на технической инфраструктуре индустриальной среды», — утверждает Владимир Баранов, генеральный директор EasyData.
К компонентам платформы относятся: GETL — предметно-ориентированный стиль для формирования шаблонов обработки данных; EasyLoader — инструмент выполнения разработанных задач (проблемная ситуация с явно заданной целью, которую необходимо достичь; в более узком смысле задачей также называют саму эту цель, данную в рамках проблемной ситуации, то есть то, что требуется сделать) в процессе промышленной эксплуатации с использованием готовых штампов для захвата и обработки данных; EasyScheduler — визуальное средство управления (Управление — воздействие на участников процесса с целью улучшить характеристики процесса) запуском консольных приложений на удаленных серверах; EasyPortal WebServer — интерфейс для командной труды над проектами.
По данным компании, ее программные продукты (Продукт — пища (в словосочетании «продукты питания») Продукт — произведение труда, законченный результат некоторой деятельности, в том числе: Промышленное изделие или услуга (товар, предлагаемый на рынке для удовлетворения потребностей покупателей)) задействованы в ряде крупных проектов российских организаций в качестве ETL/ELT-платформ¸ правящих потоками данных до десятков терабайт в сутки в хранилищах данных объемом в сотни терабайт. EasyData предлагает свое ПО для замещения решений таких зарубежных производителей, как IBM, Informatica, Oracle, SAS, и линии других.
Основное направление деятельности компании «БИТ» — разработка цифровой платформы «Управление в пространстве» и прикладных решений на ее основе. Эта российская аналитическая перрон с подходом low-code к обработке и представлению данных относится к рекомендательным системам (множество элементов, находящихся в отношениях и связях друг с другом, которое образует определённую целостность, единство) и интеллектуальным продуктам для поддержки принятия решений.
Цифровая перрон, созданная в БИТ, автоматизирует трехмерный картографический мониторинг, динамическое моделирование, сценарное и целевое прогнозирование; реализует цифровые модели территорий на основе вящих данных и геоинформационных технологий; готовит управленческие решения на базе новых ассоциаций в процессе обработки данных в скоро меняющихся условиях; осуществляет визуальное конструирование аналитических приложений.
«Мы работаем с агрегированными большими данными, используем их для поддержки деятельности территориально распределенных организаций (группа людей, деятельность которых сознательно координируется для достижения общих целей), в том числе органов воли, которые должны принимать решения на местах», — рассказал Алексей Завьялов, директор по продукту БИТ. Среди основных отличий от иных BI-решений в БИТ называют генерацию рекомендаций и целевого управления на их основе.
Прикладные решения
В компании «Нейроспектр» используют модульную зодчество, чтобы ускорить разработку приборов для сбора больших наборов данных, применяемых для контроля качества выпускаемой продукции методами компьютерного зрения и ненастоящего интеллекта.
По словам Алины Радаевой, руководителя проектов по разработке роботизированных систем, в работе дефектоскопов задействованы алгоритмы компьютерного зрения и бездонные сверточные нейронные сети, которые дополняются простыми персептронами или нейросетями. В настоящее время несколько дефектоскопов введено в Китае. В перспективе планируется реализовать управление качеством (Качество — философская категория) производства, используя семейство дефектоскопов с единой информационной базой (База — место временного хранения товаров, например: «овощная база»), обеспечивающих аналитику производственных процессов, в том числе (одно из основных понятий математики, используемое для количественной характеристики, сравнения, нумерации объектов и их частей) формирование истории житейских циклов выпускаемых деталей.
|
|
| Никита Андреянов: основанные на данных подходы обладают рядом существенных преимуществ: выявление сложных инцидентов; дефиниция проблемных мест в ИБ-инфраструктуре; планирование модернизации и развития ИБ-систем; анализ работы ИБ-департаментов и повышение ее эффективности |
Процессы и решения, основанные на разборе больших объемов данных, способны значительно повысить эффективность комплексов информационной безопасности (состояние защищённости жизненно важных интересов личности, общества, государства от внутренних и внешних угроз, либо способность предмета, явления или процесса сохраняться при разрушающих воздействиях), убеждены в компании Crosstech Solutions Group.
Никита Андреянов, технический директор (управляющий, руководитель, начальник компании, предприятия или учебного заведения) Crosstech Solutions, видает в основанных на данных подходах ряд существенных преимуществ: выявление сложных инцидентов с помощью ретроспективного анализа и обнаружения отклонений в поведенческой активности; определение проблемных мест в ИБ-инфраструктуре, планирование модернизации и развития ИБ-систем; анализ работы ИБ-департаментов и повышение ее эффективности.
В компании разработали решение DataGrain ESO (Events Stream Optimization), какое позволяет собирать, фильтровать и профилировать события информационной безопасности, централизованно хранить данные в сжатом формате, передавать лишь необходимые сведения в системы сбора и разбора информации о событиях безопасности, такие как SIEM (Security information and event management).
«Повышение функциональности DataGrain ESO, этого консолидирующего середины, превращает его в комплексную платформу (может означать: Железнодорожная платформа: Платформа — возвышенная площадка, помост для посадки пассажиров в вагоны, для нагрузки и выгрузки товаров) работы с данными систем информационной безопасности», — отметил Андреянов. В дальнейшем это позволит перебежать к концепции кибербезопасности, основанной на данных, но сегодня «нужно менять культуру работы департаментов информационной безопасности и доказывать до людей важность ценности данных».
