Уход с российского рынка зарубежных BI-систем: что будет дальше с рынком ПО для бизнес-аналитики
События 2022 года позволили ускорить развитие и совершенствование BI-индустрии в России. Приостановка работы иностранных вендоров, во-первых, привела к частичному или полному прекращению техподдержки. Во-вторых, закрылась возможность приобретения новых лицензий, что для компаний означает блокировку развития BI, невозможность масштабирования, ввода дополнительных пользователей в систему. В-третьих, вендоры приостановили продление лицензий, без чего система по завершении оплаченного периода перестает работать
В зоне риска оказались как крупные компании, так и среднего сегмента: ритейлеры, дистрибьюторы, аптечные сети, крупные и небольшие производители. Нестабильность зарубежных сервисов побудила бизнес спешно обратить внимание на российские аналоги.
Соответственно, российским разработчикам тоже пришлось в ускоренном режиме перестраивать BI-системы, максимально близко приближая их к зарубежным аналогам, к которым привыкли российские руководители и аналитики. Если раньше ядром их целевой аудитории были компании, еще не внедрившие BI-системы, то с 2022-го года внушительный сегмент потенциальных покупателей – организации с бэкграундом использования импортных BI-систем. И если пользователи были довольны внедренной системой, то основной их запрос при выборе российской альтернативы: “максимально схожая по функционалу и юзабилити платформа, работающая качественно и бесперебойно, без рисков ухода с рынка”.
Рассмотрим основные фичи зарубежных систем и разберем, какие из российских решений наиболее точно соответствуют им.
Особенности и преимущества зарубежной системы Qlik BI
Востребованные зарубежные BI-платформы чаще всего представляют собой комплексный продукт, который закрывает весь спектр задач по анализу данных – от получения данных до их хранения, защиты, анализа, с развитыми инструментами администрирования, настройки, разграничения доступа. Их первые версии были разработаны много лет назад, они постоянно совершенствовались и выкатывали новые релизы. Многие системы “приучили” пользователей к Self-Service – удобному интерфейсу, интуитивно понятному даже для далекого от ИТ пользователю. Одновременно с этим импортные платформы преимущественно ориентированы на хранение данных в облаке, что в России считается спорным с точки зрения безопасности.
BI-платформы QlikView и Qlik Sense разработаны компанией из США QlikTech. Система Qlik Sense выпущена в 2014 году и отличается возможностью более самостоятельной работы с данными для бизнес-пользователей, в отличие от продукта QlikView, который в большей степени предназначен для ИТ-специалистов.
Подробнее о решении Qlik Sense
Разнообразие и дизайн встроенных визуализаций в Qlik BI
Qlik Sense поставляется с большим количеством традиционных диаграмм и таблиц, в них возможно изменение цвета, меток, а на некоторых диаграммах даже стилей отображения. Встроенные визуализации бывают двух типов: диаграммы для представления данных при помощи визуальных элементов, их 14 видов; и текстовые визуализации – таблицы или фильтры, их 5 видов.
Пользователь может использовать функцию Insight Advisor, которая автоматически построит оптимальную визуализацию для выбранного набора данных и предложит несколько дополнительных вариантов.
Предусмотрены расширения, однако для создания уникального дизайна дашборда нужно уметь программировать.
Форматирование и кастомизация дашборда в Qlik BI
Qlik предлагает строить приложения по методологии D.A.R. (Dashboard, Analysis, Reporting): сначала дэшборд – визуальная интерпретация главных показателей, затем аналитика, и в завершении – детальная отчетность.
Дашборды могут группироваться в так называемые листы (Sheets). Рекомендуется сначала создать структуру пустых листов, каждый из которых представляет какую-либо идею или цель. К примеру, необходимо создать обзор ключевых показателей, продаж и маржи компании по региону и продукту. Можно структурировать информацию, чтобы она не отображалась в одном списке. Сведения о каждой из данных целей будут отображаться на отдельном листе. В режиме анализа пользователи могут делать выборки данных для отображения в визуализациях.
Загрузка и трансформация данных, интеграция в Qlik BI
Qlik Sense импортирует данные из большинства популярных источников, и их список постоянно расширяется.
Система имеет собственный формат хранения данных: данные из разных систем выгружаются и сохраняются в файлы QVD. Этот формат файлов в 10-100 раз быстрее, чем другие форматы, загружается в Qlik Sense для дальнейшей обработки. Это позволяет экономить на базе данных и обмениваться информацией между различными приложениями Qlik.
Иногда можно построить серьезные коммерческие проекты только на QVD файлах. В рамках инкрементальной загрузки рекомендуется выгружать только новые и/или изменившиеся данные. Далее из сырых данных формируются справочники, которые затем будут использоваться в моделях. На этом этапе подтягиваются различные параметры из смежных справочников и создаются QVD файлы, которые будут использоваться в разных приложениях и дальнейших ETL-процессах. В процессе агрегации и консолидации собираются специфические таблицы в формате QVD для конкретных моделей. Данные группируются, чтобы уменьшить размер таблиц.
На завершающем этапе ETL-процесса записи загружаются в приложение и создается модель данных.
Создание продвинутых расчётных мер и формул в Qlik BI
В 2021 году в Qlik Sense появился функционал подстановки меток мастер-мер в выражения. Например, если сохранить формулу выручки как основной элемент с названием Выручка, то в других выражениях можно ссылаться на это название вместо повторения формулы целиком. Единственное, чем мастер-меры уступают переменным как способу подстановки выражения – в них нельзя задать динамические параметры, в которые можно было бы подставлять пользовательские значения при вызове меры.
В Qlik есть репозитории серверного расширения с открытым исходным кодом: один из них содержит протокол SSE, общую документацию и примеры, написанные на языках Python и C++, другой – подключаемый модуль R, написанный на языке C#. Можно использовать такие функции, как регрессия, кластеризация и прогнозная аналитика, осуществляя подключение через API-интерфейс сторонних приложений.
Интерактивные элементы, создание «второго слоя» данных в Qlik BI
Qlik обеспечивает динамическую визуализацию за счет уникального механизма хранения данных в оперативной памяти, основанного на ассоциативных связях логических таблиц.
Технология Drill-Down позволяет переходить от сгруппированных данных к детальным данным. Можно создавать тултипы и задавать их настройки. Условное форматирование позволяет раскрашивать таблицы в зависимости от выбранных параметров, в том числе в мульти-варианте, когда в одном столбце присутствует несколько цветов. К визуализациям можно применять несколько различных видов фильтров, задавая такие параметры, как значение, условие, результаты поиска.
Предусмотрены инструменты визуализации данных для преобразования RAW данных в значимую информацию.
Сложность переобучения BI-специалистов и возможности Self Service в Qlik BI
Аналитика данных, широкий спектр визуализаций и интерактивность Qlik Sense делают этот инструмент удобным и легким для освоения и самостоятельного использования.
В Qlik Sense реализованы возможности самообслуживания. Например, пакет Vizlib Self-service – это уникальное решение для создания отчетов для Qlik Sense, предоставляющее приложениям расширенные функциональные возможности, благодаря которым данные передаются через интерактивные отчеты.
Отчёты в Qlik BI
NPrinting – это программный продукт, предназначенный для создания и автоматического распространения по заданному расписанию отчетов в форматах Excel, Word, PDF, PowerPoint, HTML из BI-систем QlikView и Qlik Sense, с возможность использования полного набора функций каждого формата отчета. Отчеты создаются перетаскиванием элементов мышью. Для работы в этой платформе нужно оформить отдельную подписку.
Пользователи могут настроить плановую рассылку отчетов по электронной почте как в виде вложений, так и встроенными в тело письма. Разные типы отчетов будут отправляться согласно разным правам доступа и должностям. Элементы для отчетов могут поступать сразу из нескольких приложений, а данные можно настраивать и фильтровать по мере необходимости.
Qlik позволяет быстро и легко создавать настраиваемые многостраничные отчеты в формате PDF или PowerPoint, во втором случае получатели смогут их редактировать.
Российские BI-системы: Visiology и PIX
Приостановка разработчиками BI-систем деятельности в России и потребность бизнеса в стабильной работе BI привела к всплеску интереса к российским аналогам. Проанализировав рынок, мы обнаружили несколько перспективных российских BI-решений, которые уже сейчас во многом соответствуют качеству и продуманности зарубежных “первопроходцев”, а в текущей ситуации высокой востребованности будут максимально активно развиваться.
К тому же, стоимость российских продуктов часто значительно ниже, что делает этот сегмент доступным и привлекательным не только для крупного, но и для среднего и малого бизнеса.
Visiology
Visiology – BI-платформа от одноименного российского разработчика программного обеспечения для анализа и визуализации данных. Ориентирована преимущественно на пользователей Power BI. Может использоваться для Self-Service разработки типовых дашбордов. Для создания дашбордов среднего и высокого уровня сложности BI-специалисту необходимо владеть JavaScript для разработки и кастомизации визуализаций и Python для обработки данных.
Подробнее о решении Visiology
Разнообразие и дизайн встроенных визуализаций в Visiology
В Visiology присутствуют все базовые визуализации. Визуальное решение выглядит современным. При необходимости использования более редких видов визуализаций можно купить готовые виджеты у партнеров Visiology или разработать самостоятельно на JS
Visiology позволяет представить информацию в удобном для восприятия виде, учитывая особенности отображаемых данных, технические характеристики средств отображения, эргономику восприятия. Платформа упрощает восприятие информации благодаря большому набору различных визуальных типов представления (виджетов), как стандартных – гистограмма, график, картосхема и др., так и специализированных – многослойная карта, сеть, тепловая карта, план-график. Все виджеты интерактивны, что позволяет представлять информацию с различной степенью детализации и в разных разрезах.
Форматирование и кастомизация дашборда в Visiology
Большую часть кастомизации и форматирования визуализаций и внешнего вида дашборда необходимо выполнять с помощью JS и CSS. Платформа предоставляет JavaScript API для настройки существующих или создания новых виджетов, а также SDK для разработки бизнес-логики отчетов для языков Python и C#. Скрипты на этих языках могут загружаться в систему на лету.
Типовые дашборды на основе объединенных данных из различных источников – учетных систем, СУБД, систем обработки Big Data, а также данных, собранных вручную через Excel или модуль сбора данных – по заявлению разработчика, аналитик может создавать после 2-дневного обучения.
Ассортимент виджетов можно расширять дополнительными загружаемыми наборами, как входящими в поставку, так и разрабатываемыми сторонними партнерами.
Загрузка и трансформация данных, интеграция в Visiology
Встроенных инструментов ETL в Visiology нет. Есть отдельный инструмент ViXtract – сборка на основе популярных открытых инструментов обработки данных, которая помогает аналитикам BI самостоятельно выгружать, очищать и преобразовывать данные без помощи ETL разработчиков. В основе ViXtract лежат три ключевых компонента: интерактивная среда для работы с Python, библиотека преобразования данных и планировщик. С его помощью можно подключаться к большому количеству готовых Python библиотек, файловым источникам и СУБД, а также API. AmoCRM, Google Analytics, 1С.
Есть собственный in-memory OLAP-движок ViQube для хранения данных и создания модели данных. Движок совместим с популярными распределенными системами хранилищ данных. С его помощью можно выбирать любые показатели и измерения из хранилища, и система будет скрывать неправильные комбинации аналитических параметров. Реализована бесшовная интеграция с Arenadata QuickMarts, что позволяет оптимально использовать аппаратные ресурсы для проектов, в которых одновременно требуется работа с большими объемами данных (1+ ТБ) в режиме онлайн (отклик менее 5 секунд) и обслуживание значительного количества пользователей (от 100 одновременно). При этом для аналитика разделения на “горячий" и “холодный" слои данных является полностью прозрачным.
Создание продвинутых расчетных мер и формул в Visiology
В Visiology в ограниченном объеме используется язык DAX, содержащий набор функций, операторов и констант, которые можно использовать в формуле или выражении, чтобы подсчитывать и возвращать одно или несколько значений. DAX поддерживает такие типы вычислений, как расчетные столбцы и меры, и такие категории функций, как дата и время, сведения, математические, логические, статистические, текст и функции логики операций со временем.
Встроенный движок позволяет агрегировать данные (sum, count, max, min, average), а также выполнять несложные расчеты с логическими и математическими операторами. Для более сложных вычислений необходимо использовать Python.
Интерактивные элементы, создание «второго слоя» данных в Visiology
В новой версии 3.0 реализована визуальная модель данных с табличным подходом, имеющая более простую настройку по сравнению с традиционной OLAP. Это обеспечило упрощение настройки модели за счет ее визуального представления и возможности использования drag-and-drop.
В Visiology реализована гибкая настройка кросс-фильтрации на уровне связанных визуализаций, а не на уровне датасета. Доступен функционал drill-down, однако для удобного представления иерархических данных необходима доработка в JS. Настройка условного форматирования выполняется с помощью JS-кода, без кода можно задать цвета по категориям. Отсутствует возможность настройки всплывающих окон.
Сложность переобучения BI-специалистов и возможности Self Service в Visiology
Платформа имеет интуитивно понятный интерфейс для создания стандартного дашборда, однако большая часть настроек и кастомизации доступна только с помощью JS, а обработку данных необходимо проводить на Python, либо выносить на сторону СУБД. Это увеличивает порог входа для BI-специалистов. В новой версии, вышедшей в ноябре 2022 года, добавлена визуализация модели данных, поддержка языка запросов DAX, реализована высокоскоростная внутренняя база данных на основе Clickhouse. Это шаг в сторону Self-Service.
Для освоения функционала платформы Visiology предлагает программы обучения и сертификации по работе со своей платформой. В свободном доступе документация, ролики на Youtube, есть возможность обращения в службу техподдержки.
PIX BI
Cистема PIX BI от PIX Robotics – ведущего российского разработчика программного обеспечения для роботизации бизнес-процессов – рассчитана на пользователей, знакомых с ведущими иностранными BI платформами: в системе реализован схожий набор функций и привычный интерфейс. Над платформой, позиционируемой как универсальная, работала зрелая команда с большим опытом работы с иностранными и российскими BI системами. Разработчики собрали весь удачный функционал из систем Qlik, Power BI и Tableau, и включили его в PIX BI.
Подробнее о решении PIX BI
Разнообразие и дизайн встроенных визуализаций в PIX BI
В системе 17 встроенных и более 100 добавляемых с помощью подключенных библиотек визуализаций. Реализована быстрая и гибкая настройка опций, представление на одном экране данных в нескольких разрезах. Визуализации имеют около 50 настраиваемых опций: от заголовков до шрифта осей. Добавлять новые данные на визуализации легко с помощью drag-and-drop. Технология drill-down обеспечивает погружение в данные в рамках одной визуализации по клику – и позволяет изучить несколько разрезов данных сразу.
Форматирование и кастомизация дашборда в PIX BI
Помимо общедоступных дашбордов, в PIX BI можно создавать персональные дашборды, где аналитик может смело проверить гипотезу, не мешая коллегам: добавлять графики и фильтры для анализа, экспериментировать с отчетами, визуализациями и другими настройками. Персональные дашборды можно разнообразить добавлением любых собственных изображений, будь то логотип компании или анимация.
Полезной функцией является сквозная фильтрация: фильтр, настроенный в одном дашборде, сохраняется и не слетает при переходе на другой дашборд.
Загрузка и трансформация данных, интеграция в PIX BI
В PIX BI встроен ETL модуль, который позволяет подключаться к различным источникам, упрощая и ускоряя процесс обработки, нормализации и загрузки данных. Для подключения загруженных значений достаточно сделать пару кликов. Данные импортируются один раз и впоследствии могут быть неограниченно использоваться в дашбордах.
Помимо этого, в комплект поставки входит робот PIX RPA, предназначенный для формирования и рассылки отчетов, автоматизированного сбора данных из форм, которые невозможно собрать, просто подключившись к базе и т.д.
Данные, собираемые системой из разных источников, хранятся в четкой иерархической системе, визуально немного похожей на Access. Визуальная модель данных дает наглядное понимание связей данных и таблиц и обеспечивает сочетание в одном отчете данных из разных источников.
Интерактивные элементы, создание «второго слоя» данных в PIX BI
С технологией drill-down погружение в данные в рамках одной визуализации осуществляется одним кликом: она позволяет раскрывать разные уровни иерархических данных в сводных таблицах и графиках. Например, можно показать сумму продаж по всему региону, а можно раскрыть и посмотреть продажи более подробно в разрезе каждого населенного пункта и даже конкретного магазина.
Есть расширенные возможности фильтрации: фильтры применяются на лету, данные сразу пересчитываются, визуализации перестраиваются. Комбинируя фильтры, можно создавать сложные модели анализа. Сквозная фильтрация обеспечивает сохранение примененных ранее выборок по всему дашборду. Фильтры – как доступные, так и включенные – расположены в самом верху экрана.
Сложность переобучения BI-специалистов и возможности Self Service в PIX BI
Концепция self-service, позволяющая не прибегать к помощи программиста при работе с дашбордами, стоит в основе PIX BI. Собирать аналитику, составлять модели данных и делать красивые визуализации за несколько часов может научиться обычный сотрудник, не связанный с IT. PIX BI адаптирован под любой гаджет, работает в браузере, не требует установки специальных приложений и программ.
Регулярно проводятся вебинары и BI-баттлы.
