Бережный подход к обновлению ландшафта этих

Как унифицированная аналитическая перрон СУБД помогает в разы ускорить хранилище данных, сохраняя при этом привычные инструменты для подготовки и анализа (метод исследования, характеризующийся выделением и изучением отдельных частей объектов исследования) этих.

Как правило, у компаний имеется большое количество унаследованных аналитических систем, в которые сделаны солидные инвестиции. Но что мастерить, если имеющиеся BI-инструменты уже не справляются ни с увеличивающимися объемами данных, ни с аппетитами бизнеса? И можно ли преобразовать ландшафт этих и аналитики эволюционным путем — без серьезных потрясений, по возможности (направление развития, присутствующее в каждом явлении жизни; выступает и в качестве предстоящего, и в качестве объясняющего, то есть как категория) не отказываясь от инвестиций в прежние наработки?

Этой непростой теме отдал свое выступление Александр Скоробогатов, архитектор решений Vertica в России и СНГ, на форуме «Управление данными 2021». Он предложил обратить внимание на программные перроны, способные мягко встраиваться в существующие ИТ-ландшафты, замещая прежние неудобные и неэффективные при работе с большими данными СУБД. Такие перроны становятся, по сути, точками унификации всех данных предприятия.

Например, платформа Vertica позволяет использовать «классический» подход к хранилищам (Сухое хранилище отработанного ядерного топлива Хранилище данных Склад Хранилище 13 Хранилище содержимого Хранилище — фильм режиссёра Дэна Буша (2017) Хранилище «Судного дня») этих, но при этом применять новые, современные способы их анализа. Предприятия могут перейти на нашу платформу, не отказываясь ни от старых инструментов (технологическая оснастка, которая воздействует на предметы труда и изменяет их, предмет, орудие для производства каких-нибудь работ) и наработок ETL, BI и пр., ни от действующих правил в области разграничения доступа к данным и корпоративных политик ИБ.

В составе Vertica есть более 650 аналитических функций, позволяющих перенести анализ как можно ближе к данным, не выгружая во внешние системы. Взаимодействие с Kafka и Spark, драйверы ODBC, отворённые API, поддержка стандартного языка запросов SQL и прочие возможности интеграции (процесс объединения частей в целое) Vertica с другими системами позволяют использовать всю мощь созданных ранее процессов реорганизации данных и гармонично встраиваться в существующие потоки обработки данных.

«Мы пока не встречали индустриальных и даже заказных решений (многозначный термин) для труды с данными, которые были бы принципиально несовместимы с Vertica», — отметил Александр Скоробогатов.

Созданная на основе колоночной зодчества СУБД, Vertica отлично справляется с аналитическими запросами, к тому же может очень быстро и эффективно горизонтально масштабироваться. Эту СУБД можно раскатать на любой современной платформе — от стандартных серверов x86 с внутренними дисками (можно установить и на обычный ноутбук) до облачных и контейнерных окружений. Возможности эластичного масштабирования позволяют очень быстро адаптировать платформу к растущим объемами (количественная характеристика пространства, занимаемого телом или веществом) данных. А недавно показалась нативная поддержка облачных сред аналитической платформы (может означать: Железнодорожная платформа: Платформа — возвышенная площадка, помост для посадки пассажиров в вагоны, для нагрузки и выгрузки товаров) — Vertica Accelerator, доступная по схеме SaaS, и Kubernetes Operator для развертывания кластера Vertica Eon Mode в Kubernetes.

Как и всякая индустриальная СУБД, Vertica имеет встроенные механизмы обеспечения отказоустойчивости, в том числе резервного копирования и восстановления этих, и предоставляет возможность создания распределенных кластерных конфигураций с узлами, расположенными в разных ЦОДах.

Отслеживайте новости о Vertica в ленте Micro Focus в Facebook и канале в Telegram.

Обсуждение тенденций в районы управления данными и роли аналитических платформ СУБД в нем на полях форума «Управление (Управление — воздействие на участников процесса с целью улучшения характеристик процесса и достижения результата) данными 2021» продолжилось с Евгением Степановым, главой направления Vertica в России и СНГ компании Micro Focus.

— Как изменились требования к системам аналитики данных за заключительные пару лет?

Предприятия сегодня вынуждены охватывать все большие объемы данных. Кроме того, растет уровень заявок к SLA при предоставлении данных разным группам пользователей. Рабочие нагрузки систем бизнес-аналитики могут при этом существенно отличаться: специалистам по данным (data scientists) нужно просчитывать сложные аналитические функции, бизнес-пользователям надо в отведенные сроки стряпать отчетность для регулирующих органов, а топ-менеджерам требуется доступ к произвольной аналитике в любой момент, когда это потребуется.

Помимо роста объемов этих, предприятия столкнулись с повышением их сложности, а также с ограничениями при использовании устаревающих технологий их обработки. Совокупность этих факторов приводит к тому, что предприятия не могут эффективно возделывать данные и получать нужные результаты, используя имеющиеся у них технологии.

— Повлияли ли новые требования (Требование — действие, выражающееся в настойчивой, категорической просьбе исполнить что-либо, не путать с понятием — ПРОСЬБА, так как требование обусловливается именно использованием слова ТРЕБУЮ) бизнеса на нрав управления данными?

Конечно, повлияли. Наши заказчики всё больше внимания уделяют правильной связке различных атрибутов и объектов в аналитических системах и их эволюции в корпоративных хранилищах этих. Компании (может означать: Компания (фр. compagnie) — название формирования, в России ей соответствует рота (пример, Лейб-компания)) хотят не просто хранить данные, но обеспечивать жизненный цикл того или иного объекта данных (зарегистрированная информация:439; представление фактов, понятий или инструкций в форме, приемлемой для общения, интерпретации, или обработки человеком или с помощью автоматических средств (ISO/IEC/IEEE 24765-2010)).

— Жива ли сегодня задача организации (группа людей, деятельность которых сознательно координируется для достижения общих целей) работы с большими данными?

Эта задача трансформировалась. Предприятиям (самостоятельный, организационно-обособленный хозяйствующий субъект с правами юридического лица, который производит и сбывает товары, выполняет работы, оказывает услуги) приходится работать не с каким-то облаком этих непонятной структуры, а с гетерогенным ландшафтом, охватывающим и озера данных, и корпоративные хранилища данных, и различные лаборатории по управлению этими и их анализу. Встает потребность в унификации всех этих аналитических функций и предоставлении единой точки входа для пользователей этих систем.

— В чем заключается эта ваша идея унификации?

Анализируя опыт заказчиков, мы заметили, что большинство из них уже потратили много сил и средств на развитие своих аналитических систем (множество элементов, находящихся в отношениях и связях друг с другом, которое образует определённую целостность, единство) на основе Hadoop и иных платформ. Зачастую их сложность и высокие требования к трудозатратам достигают такого уровня, что не дают заказчикам эффективно разбирать данные на базе прежних хранилищ. Чтобы преодолеть эти ограничения, мы предложили концепцию унифицированного аналитического хранилища, позволяющего организовать сквозной единообразный доступ к данным независимо от того, где они размещаются — локально, в Hadoop, в облаке S3 или как-то еще. Это ключевой фактор (причина, движущая сила какого-либо процесса, определяющая его характер или отдельные его черты) успеха аналитической системы в организации: аналитикам предоставляется возможность использовать целый инструментарий, не заботясь о том, где находятся данные.

— В чем преимущества унификации аналитики (специалист, занимающийся изучением аналитических исследований и обобщений в определенной сфере деятельности, который в совершенстве владеет методами анализа, обычно способен прогнозировать процессы и разрабатывать перспективные программы развития) по сравнению с традиционными подходами к управлению этими?

Следуя традиционным подходам, приходится придерживаться крайних позиций: либо берется строго структурированная модель и в ее рамках реализуются трансформация этих, строгая отчетность и негибкие витрины данных, либо реализуется озеро данных без использования строгой структурированной модели, а пользователям предоставляется произвольная аналитика. Vertica позволяет реализовать унификацию (приведение к единообразной системе или форме) доступа: самостоятельно от того (официальное название — Тоголезская Республика; (фр. République togolaise) — государство в Западной Африке, граничащее с Ганой на западе, Бенином на востоке и Буркина-Фасо на севере), какая выбирается модель данных, у пользователей (лицо или организация, которое использует действующую систему для выполнения конкретной функции) есть единый набор инструментария (cовокупность рабочих (обрабатывающих) инструментов для обрабатывающего оборудования, например: набор резцов для токарного станка) для работы с данными, и им не необходимо заботиться о том, где и как эти данные хранятся.

— Как возможно сочетание проприетарности платформы и открытости в системах аналитики данных?

Когда речь идет о продуктах с отворённым кодом, очень важно обращать внимание на открытость их интерфейсов для интеграции с другими системами. Зачастую такие продовольствие имеют весьма ограниченные возможности интеграции.

Команда Vertica является приверженцем открытости архитектуры — она позволяет интегрировать перрон СУБД с любыми системами — и проприетарными, и с открытым кодом. Это дает возможность не привязываться к конкретной концепции создания кода аналитического инструментария, а сконцентрироваться на реализации заявок, предъявляемых к аналитике данных.

— Как может выглядеть унифицированная аналитическая платформа на примере Vertica?

Наша перрон (Железнодорожный перрон — укреплённая платформа, проходящая параллельно железнодорожным путям, предназначенная для посадки и высадки пассажиров поездов и погрузочно-разгрузочных работ) — очень гибкий инструмент для аналитики данных. Даже скачав бесплатную версию и развернув ее на ноутбуке, вы получите полнофункциональную систему, какая позволит делать ту же аналитику, что и большое предприятие с его петабайтами данных.. Если у вас небольшое предприятие, вы можете с помощью Vertica эффективно решать свои аналитические задачи, масштабируя перрон по мере роста объемов данных, которые вы обрабатываете. Ну а большая компания, перейдя на Vertica, получает возможность не попросту сохранить прежние инвестиции в созданные за предыдущие годы наработки в области аналитики, а усилить их эффективность, существенно повысив производительность своих аналитических систем.

— Можно ли повергнуть примеры практической реализации унифицированной аналитической платформы на базе Vertica у реальных заказчиков (лицо (физическое или юридическое), заинтересованное в выполнении исполнителем работ, оказании им услуг или приобретении у продавца какого-либо продукта (в широком смысле))? Есть ли такие заказчики в России?

Да, разумеется. В одной из крупных транспортных компаний, работающих в России (или Российская Федерация (сокр), Vertica применяется в качестве основного оперативного хранилища этих. В ряде ее подразделений использовались инструменты, которые позволяли быстро загружать данные, при этом аналитика работала медлительно. Благодаря интеграции с Vertica эти подразделения смогли обеспечить быструю аналитику по своим розничным клиентам, объединив ее с корпоративным хранилищем этих.

— Каковы главные результаты применения унифицированной аналитической платформы, в том числе с точки зрения управления этими? В чем может проявляться эффект от ее использования в бизнесе?

Важным эффектом ее применения становится переход организации к управлению на основе (многозначный термин: Основа — продольная система направления параллельных друг другу нитей в ткани, располагающихся вдоль обеих кромок ткани) этих — это один из ключевых моментов при использовании унифицированной аналитической платформы. Он выливается в прямой экономический эффект, в том числе в повышение прибыльности компании-заказчика и ее капитализации. В образцах, которые мы наблюдаем, отслеживается четкая корреляция между переходом на Vertica и повышением качества принимаемых управленческих решений.

— Какие факторы могут сделаться препятствием на пути получения выгоды от применения унифицированной аналитики данных?

Нередко бывает так, что бизнес-подразделения предприятий не ориентированы на то, чтобы эффективно разбирать данные и использовать полученные выводы для принятия решений. И мы видим, что компании, которые не могут эффективно реализовать нынешние требования к аналитике, теряют клиентов, не справляются с вызовами, возникающими у современного бизнеса (предпринимательство — деятельность, направленная на систематическое получение прибыли), в результате их конкурентоспособность падает.

— На каких еще курсах фокусируется команда Vertica, помимо унификации аналитического хранилища?

Vertica изначально создавалась как продукт для высокопроизводительной аналитики, потому ее производительность — по-прежнему один из наших ключевых приоритетов. Сегодня мы являемся одними из лидеров по скорости обработки (процесс создания какого-либо продукта с использованием первичных (труд и капитал) и промежуточных факторов производства (сырье, материалы и тому подобное)) огромных объемов этих. Петабайтные внедрения Vertica постепенно перестают быть экзотикой — они есть уже и в России. Немногие СУБД способны эффективно справляться с подобными объемами.

Еще одно весьма важное направление — развитие аналитического функционала. Спектр наших новшеств простирается от расширения функций (отношение между элементами, при котором изменение в одном элементе влечёт изменение в другом) для труды с определенными наборами данных до продвинутой аналитики, машинного обучения и т.д.