Ранее продукт назывался Arenadata Hadoop.
Целевые сценарии использования Arenadata Hyperwave (ADH)
Классический Data Lake
- Интеграция данных. Сбор и согласование данных из разнородных источников (например, IoT‑датчиков, веб‑логов, финансовых транзакций) в едином озере данных.
- Аналитика логов. Сохранение неструктурированных лог-файлов в озере данных с последующей их агрегацией в хранилище DWH для анализа взаимосвязей и выявления инцидентов.
- Анализ больших данных. Первичная обработка и хранение «сырых» данных в Data Lake для дальнейшего детального статистического и бизнес-анализа в DWH.
Lakehouse
- Генеративный ИИ и LLM. ADH предоставляет инструменты и инфраструктуру для эффективной обработки огромных массивов данных и выполнения сложных запросов.
- Анализ больших данных. Помогает выявлять рыночные тенденции.
- Выявление и предотвращение мошенничества в реальном времени. Потоковая обработка транзакций и событий, применение ML‑моделей непосредственно в ходе выполнения операций.
- Интеграция данных. Объединение данных из различных источников и форматов в единое, централизованное хранилище данных.
Data Mesh & Multitenancy
- Корпоративные инициативы по Data Mesh. Отдельные доменные команды строят собственные хранилища данных в рамках общего каталога, сохраняя независимость и единый стандарт метаданных.
- Безопасное разделение среды. Физическая или логическая изоляция кластеров для различных бизнес‑единиц, партнёров или сред (разработка, продуктив).
- Соответствие требованиям и контроль доступа. Детальная настройка политик безопасности и аудита.
Преимущества Arenadata Hyperwave
Российское ПО
Продукт включен в Единый реестр национального ПО и получил сертификат ФСТЭК
Универсальность
Возможность обрабатывать и хранить данные любых типов и форматов — как в реляционных базах, так и в виде файлов в распределённой иерархической файловой системе
Отказоустойчивость
Реализован режим высокой доступности с автоматическим управлением для таких сервисов, как HDFS, YARN, Flink и Airflow2
Система безопасности
Используется Arenadata Platform Security на основе Kerberos, Ranger и Knox, с возможностью интеграции с корпоративными службами Active Directory или FreeIPA
Офлайн-установка и настройка
Предоставляет набор инструментов для автоматизированной установки и конфигурирования компонентов как на физических серверах, так и в облачной инфраструктуре
Простота управления
Оркестратор Arenadata Cluster Manager поддерживает автоматический и полуавтоматический режимы работы, функционирует как multi-cloud-система и может быть развёрнут на любой существующей инфраструктуре
Внедрение Arenadata Hyperwave (ADH) c Первый Бит
Рассчитать стоимость разработки Data Lake/LakeHouse на базе Arenadata Hyperwave
Импортозамещение иностранных СУБД
Благодаря высокой технической зрелости и широкому функционалу ADH способна заменить решения Cloudera, Oracle BDA, Hortonworks, MapR.Прозрачная методика перехода, минимум рисков и сохранение всех преимуществ.
Состав компонентов Arenadata Hyperwave
| ADH 3.2.4.3 | ADH 3.3.6.1 | ADH 3.3.6.2 | ADH 4.0.0 | ADH 4.1.0 | |
|---|---|---|---|---|---|
|
HDFS
Масштабируемая и отказоустойчивая распределённая файловая система для хранения
данных — основа платформы ADH + cистема управления вычислительными ресурсами
и планирования задач в кластере Hyperwave
|
3.2.4 | 3.3.6 | 3.3.6 | 3.3.6 | 3.4.2 |
|
Ozone
Масштабируемое распределённое объектное хранилище в экосистеме Hyperwave
|
1.4.1 | 1.4.1 | 2.0.0 | ||
|
YARN
Масштабируемая и отказоустойчивая распределённая файловая система для хранения
данных — основа платформы ADH + cистема управления вычислительными ресурсами
и планирования задач в кластере Hyperwave
|
3.2.4 | 3.3.6 | 3.3.6 | 3.3.6 | 3.4.2 |
|
ZooKeeper
Сервис для координации больших распределённых систем, широко используемый в кластерах
Hyperwave
|
3.5.10 | 3.8.4 | 3.8.4 | 3.8.4 | 3.8.4 |
|
SSM
Smart Storage Manager — инструмент для оптимизации хранения и управления
данными в HDFS в зависимости от их востребованности
(«температуры»), настройки асинхронной репликации и др.
|
1.6.0 | 2.0.0 | 2.0.1 | 2.1.0 | 2.2.0 |
|
Zeppelin
Веб-блокнот для поиска и визуализации, их обмена и взаимодействия
с Hyperwave
и Spark
|
0.11.1 | 0.11.1 | 0.11.1 | 0.11.2 | 0.11.2 |
|
Kyuubi
Распределённый многопользовательский SQL-шлюз для операций на корпоративных хранилищах
и озёрах данных, простой и безопасный доступ к любому ресурсу кластера через
единую точку входа
|
1.8.1 | 1.9.0 | 1.9.0 | 1.10.1 | 1.10.2 |
|
HUE
Популярный веб-интерфейс для анализа данных: запрос, поиск и анализ имеющихся данных без
потери контекста
|
1.6.0 | 4.11.0 | 4.11.0 | 4.11.0 | 4.11.0 |
|
Hive
Инфраструктура хранилища данных для обобщения, запросов и анализа больших наборов данных,
хранящихся в Hyperwave
|
3.1.3 | 4.0.0 | 4.0.0 | 4.0.1 | 4.0.1 |
|
Spark2
Единый механизм для масштабируемой отказоустойчивой обработки больших объёмов данных,
обладающий расширенными аналитическими возможностями
|
2.3.2 | 2.3.2 | 2.3.2 | ||
|
Spark3
Единый механизм для масштабируемой отказоустойчивой обработки больших объёмов данных,
обладающий расширенными аналитическими возможностями
|
3.4.2 | 3.5.1 | 3.5.1 | 3.5.4 | 3.5.6 |
|
Spark4
Единый механизм для масштабируемой отказоустойчивой обработки больших объёмов данных,
обладающий расширенными аналитическими возможностями
|
4.0.0 | ||||
|
Impala
МРаспределённый сервис для быстрого и эффективного исполнения SQL-запросов
на сверхбольших объёмах данных в экосистеме Hyperwave
|
4.4.0 | 4.4.0 | 4.4.0 | 4.4.0 | 4.5.0 |
|
Flink
Компонент предоставляет распределённую вычислительную среду для обработки данных
в реальном времени, которая может быть легко интегрирована с пакетной обработкой
|
1.19.1 | 1.19.1 | 1.20.1 | 1.20.2 | |
|
Flink2
Компонент предоставляет распределённую вычислительную среду для обработки данных
в реальном времени, которая может быть легко интегрирована с пакетной обработкой
|
2.0.0 | ||||
|
HBase
База данных NoSQL, которая обеспечивает доступ в режиме реального времени для
чтения/записи больших массивов данных, хранящихся в Hyperwave
|
2.4.17 | 2.5.8 | 2.5.8 | 2.5.8 | 2.6.3 |
|
Solr
Сервис, обеспечивающий распределённую индексацию, репликацию и балансировку нагрузки при
запросах, автоматическое восстановление, централизованную настройку и др.
|
8.11.2 | 8.11.3 | 8.11.3 | 8.11.3 | 8.11.3 |
|
Sqoop
Инструмент для передачи данных между реляционными базами данных и кластерами Hyperwave
|
1.4.7 | 1.4.7 | 1.4.7 | ||
|
Trino
Федеративный аналитический SQL-движок для обработки больших объёмов данных из разных
источников
|
468 | 468 | 476 | ||
|
Airflow2
Сервис для программного создания, планирования и мониторинга выполнения сложных процессов
обработки данных (workflows)
|
2.6.3 | 2.6.3 | 2.6.3 | 2.6.3 | 2.6.3 |
|
Knox
Шлюз для обеспечения безопасного доступа к кластерам Hyperwave и другим системам
больших данных
|
2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 | 2.4.0 |
|
Ranger
Система безопасности, обеспечивающая контроль доступа на основе политик
и авторизацию для дата-приложений и аналитики в Hyperwave
|
1.18.1 | 2.5.0 | 2.5.0 | 2.6.0 | 2.6.0 |
|
Kerberos
Сетевой протокол аутентификации
|
latest | latest | latest | latest | |
|
ADCM
Arenadata Cluster Manager — универсальный оркестратор гибридного ландшафта
|
latest | latest | latest | latest |
Отличия Arenadata Hyperwave от open source
| Характеристика | Arenadata Hyperwave | open source |
|---|---|---|
| Поддержка | Профессиональная поддержка от Arenadata: SLA, оперативное решение проблем, обновления и патчи. | Отсутствие официальной поддержки: ответственность за решение проблем, установку обновлений и исправление ошибок лежит на вашей команде. Поддержка коммьюнити. |
| Управление и мониторинг | Arenadata Cluster Manager (ACM): интегрированный инструмент для управления, мониторинга и автоматизации развертывания кластера Hadoop. | Необходимость самостоятельной настройки и интеграции инструментов управления и мониторинга: Например, Apache Ambari (требует адаптации) или других сторонних решений. |
| Безопасность | Интегрированная система безопасности Arenadata Platform Security с поддержкой Kerberos, Ranger и Knox. Реализованы хранилище ключей, шифрование HDFS и единая защищённая точка доступа к сервисам. Поддерживается SSL, а также шифрование чувствительных данных в конфигурационных файлах. | Базовая поддержка безопасности: необходимость самостоятельной настройки и интеграции дополнительных инструментов для обеспечения соответствия требованиям безопасности. |
| Интеграция | Предварительно интегрированные компоненты: Arenadata Hyperwave включает в себя оптимизированный набор компонентов Hadoop (HDFS, YARN, Spark, Hive и т.д.), готовых к работе. | Необходимость самостоятельной интеграции компонентов: Требуется экспертиза для настройки и обеспечения совместимости различных Apache компонентов. |
| Производительность | Оптимизированная производительность: Arenadata Hyperwave включает в себя ряд оптимизаций и патчей, направленных на повышение производительности и эффективности использования ресурсов. | Стандартная производительность: производительность компонентов типовая, оптимизации и доработки выполняются вашей командой. |
| Установка и настройка | Упрощенная установка и настройка: Arenadata Cluster Manager облегчает и ускоряет процесс установки, настройки и развертывания кластера Hadoop. | Сложная установка и настройка: требуется значительная экспертиза и больше времени на развертывание и настройку Hadoop узлов и сервисов. |
| Стоимость | Коммерческая лицензия: включает в себя стоимость лицензии и поддержки. | Open Source лицензия: отсутствие затрат на лицензии, только внутренние ресурсы организации. |
| Обновления | Регулярные обновления и патчи: Arenadata предоставляет регулярные обновления безопасности и исправления ошибок от внутренней команды. | Самостоятельно необходимо устанавливать обновления: требуется экспертиза для оценки рисков и правильной установки обновлений. |
Коннекторы ADH
ADB Spark Connector
Специализированный коннектор, обеспечивающий параллельный обмен данными между Apache Spark в составе Arenadata Hyperwave и Arenadata DB.
Автоматически создаёт схему данных, поддерживает партиционирование, push-down операторы и пакетную обработку (batch-операции). Включён в состав Arenadata Hyperwave.
ADQM Spark Connector
Многофункциональный коннектор, обеспечивающий параллельные операции чтения и записи между Apache Spark (в составе Arenadata Hyperwave) и Arenadata QuickMarts.
Автоматически строит схему данных, поддерживает партиционирование, push-down операторы и batch-операции. Включён в пакет Arenadata Hyperwave.
Trino ADB Connector
Специализированный коннектор с поддержкой параллельных операций чтения/записи данных в кластере ADB — распределённой аналитической СУБД на базе МРР‑системы Greenplum. Эффективен при обработке больших наборов данных.
Поставляется как часть сервиса Trino, входящего в состав платформы Arenadata Hyperwave.
