Arenadata QuickMarts (ADQM) — решение для оперативной аналитики на базе структурированных данных. Продукт идеально подходит для подготовки простой и быстрой аналитической отчётности для разных подразделений компании: маркетинга, продаж, финансов, HR и других.
Целевые сценарии использования Arenadata QuickMarts (ADQM)
Реализация слоя витрин данных (Data Mart)
Позволяет значительно ускорить анализ больших массивов данных по сравнению с традиционными СУБД и снижает нагрузку на основное хранилище
Работа с временными рядами (timeseries)
Позволяет хранить и анализировать динамические данные, например, из финансовых рынков или промышленных IIoT-решений
Проверка гипотез для задач машинного обучения
Система служит источником данных и интегрирует встроенные модели для ML-алгоритмов
Анализ логов
Обеспечивает сбор, обработку и анализ событий, метрик из различных источников
E-commerce и финансы
Доступно быстрое хранение бизнес-транзакций, данных о поведении пользователей и рекламы с возможностью формирования гибких BI-отчётов
Преимущества Arenadata QuickMarts
Российское ПО
Продукт включен в Единый реестр национального ПО и получил сертификат ФСТЭК
Высокая скорость аналитики
Анализ больших объемов структурированных данных проходит намного быстрее по сравнению с традиционными СУБД
Масштабируемость и надёжность
Продукт легко наращивает производительность и объёмы хранения под задачи бизнеса
Система безопасности
Используется Arenadata Platform Security на основе Kerberos, Ranger и Knox, с возможностью интеграции с корпоративными службами Active Directory или FreeIPA
Офлайн-установка и настройка
Предоставляет набор инструментов для автоматизированной установки и конфигурирования компонентов как на физических серверах, так и в облачной инфраструктуре
Простота управления
Оркестратор Arenadata Cluster Manager поддерживает автоматический и полуавтоматический режимы работы, функционирует как multi-cloud-система и может быть развёрнут на любой существующей инфраструктуре
Внедрение Arenadata QuickMarts (ADQM) c Первый Бит
Оценка и пилот
Продемонстрируем возможности RPA-платформы Arenadata QuickMarts (ADQM), проведем пилот и оценим, насколько платформа отвечает вашим задачам
Внедрение
Проработаем с вами техническое задание, проведем необходимые интеграции и настройки роботов, протестируем и обучим сотрудников
Продажа лицензий
Поможем купить или продлить лицензию Arenadata QuickMarts (ADQM) без дополнительного договора с вендором
Поддержка
Поддержим работоспособность системы Arenadata QuickMarts (ADQM), проведем мелкие доработки и исправим возникшие проблемы
Рассчитать стоимость внедрения Arenadata QuickMarts (ADQM)
Импортозамещение иностранных СУБД
Благодаря высокой технической зрелости и широкому функционалу решения компании способны заменить решения многих иностранных вендоров как Oracle Exadata, SQL Server, Teradata, SAP BW, Vertica, Amazon TimeStream, InfluxDB, Timescale.
Технические возможности Arenadata QuickMarts
Arenadata QuickMarts (ADQM) — это кластерная колоночная СУБД на базе ClickHouse. Решение предназначено для высокопроизводительной обработки аналитических запросов в режиме реального времени, обеспечивая линейную масштабируемость, отказоустойчивость и надежность работы. ADQM может применяться в различных сферах, таких как электронная коммерция, финансы, а также для мониторинга логов и событий.
Данные быстрее считываются и лучше сжимаются
Эффективнее используются ресурсы процессора
Массивы и вложенные структуры данных, вероятностные структуры, возможность подключить внешнее хранилище key-value и другие
На несколько процессорных ядер или целых узлов кластера
Автоматическое восстановление данных после большинства сбоев
Отличия Arenadata QuickMarts от ClickHouse
| Компонент | ClickHouse OSS | ADQM |
|---|---|---|
| Ядро | C++ движок ClickHouse OSS | Fork ClickHouse, протестирован и стабилизирован |
| Роли | Без декларативных ролей (настраиваются вручную) | shard, replica, zk, keeper через ADCM |
| Доставка | Tarball, .deb, .rpm | Bundle (.tar.gz) через ADCM |
| Обновления | Вручную | Управляемые сценарии через ADCM |
| Инсталлятор | Отсутствует | Полный life cycle в ADCM |
| Поддержка | Сообщество | Коммерческая поддержка от Arenadata |
| Особенность | ClickHouse OSS | ADQM |
|---|---|---|
| Автоустановка | Только скриптами / вручную | Через ADCM с UI / CLI |
| Конфигурации | Ручное редактирование XML-файлов | Графическая и шаблонная настройка |
| Управление кластером | Нет встроенного средства | Полноценное управление через ADCM |
| Интеграция с ZooKeeper | Вручную | Готовые роли + автоматизация в ADCM |
| Репликация | Через Replicated* движки | То же, но с автоматическим созданием реплик |
| Масштабирование | Ручное добавление узлов | Управляемое добавление через ADCM |
| Функциональность | ClickHouse OSS | ADQM |
|---|---|---|
| Distributed таблицы | ||
| TTL и политики хранения | ||
| Materialized Views | ||
| Window Functions (окна) | Частичная | |
| Subqueries и CTE | ||
| Kafka Engine | ||
| Integration with NiFi/Kafka | (вручную) | |
| LDAP + TLS + RBAC | Ограничено | |
| JDBC/ODBC |
| Компонент | ClickHouse OSS | ADQM |
|---|---|---|
| Управление пользователями | Через SQL | Через SQL + ADCM UI |
| TLS | Требует ручной настройки | Готовые шаблоны ADCM |
| Quotas и профили | + профили ADCM | |
| Аудит и логирование действий | Ограничено | Поддержка через LogSearch и system.logs |
| Функция | ClickHouse OSS | ADQM |
|---|---|---|
| Prometheus Exporter | + преднастроенные шаблоны | |
| Grafana Dashboards | Только кастом | Из коробки в Monitoring Bundle |
| Логирование | В системные логи | Интеграция с LogSearch |
| Backup и Restore | Требует стороннего инструмента (например, clickhouse-backup) | Поддерживается CLI + стратегия хранения в ADCM |
| Репликация — проверка | Вручную через SQL | Отображение в ADCM и Grafana |
| Сценарий | ClickHouse OSS | ADQM |
|---|---|---|
| Создание аналитической витрины | ||
| Интеграция с Kafka (через ingestion) | (вручную) | через NiFi / Kafka в ADS |
| Подключение к BI-системам | + поддержка JDBC в Arenadata Data | |
| Интеграция с DWH (ADB, ADPG) | ||
| Интеграция с LogSearch |
Коннекторы ADQM
Новая версия Tkemali-коннектора. Инструмент используется для передачи данных между Arenadata DB (Greenplum) и Arenadata QuickMarts (ClickHouse).
Коннектор реализован на базе foreign data wrapper и foreign-таблиц. Благодаря этому упрощён синтаксис и появились возможности удобно и безопасно управлять учётными данными, обеспечивать многоуровневые настройки соединения, эффективно распределять нагрузку по хостам, гибко управлять кастомными настройками и контролировать освобождение ресурсов.
Многофункциональный коннектор с поддержкой параллельных операций чтения/записи между Apache Spark 2 и Apache Spark 3 в составе Arenadata Hyperwave и Arenadata QuickMarts.
Обладает большой гибкостью в настройке и множеством функций, таких как:
- высокая скорость передачи данных
- автоматическое формирование схемы данных
- гибкое партиционирование
- поддержка push-down-операторов
- поддержка batch-операций
