Что такое BI (Business Intelligence)

Современные BI-системы – это отдельный класс систем, которые выполняют четыре ключевые функции:

• Собрать данные из различных внутренних и внешних систем.
• Обрабатывать и накапливать эти данные.
• Визуализировать информацию в понятном для бизнес-пользователя виде.
• Привести пользователя к верному управленческому решению.

BI-системы могут работать на различных устройствах, в том числе и мобильных, готовить как управленческую, так и регламентную отчетность, рассылать ее в виде презентаций пользователям и многое другое.

Когда-то BI-системы пользовались популярностью только в крупных компаниях, сейчас же аналитика является стандартом даже в совсем небольших компаниях, доступность BI-систем повысилась. Они актуальны для компаний любого масштаба и рода деятельности, и могут применяться как на уровне всей организации, так и в отдельных подразделениях.

Задачи BI

Помимо самой очевидной задачи BI – оперативного получения среза информации, необходимой для принятия бизнес-решений – эти системы закрывают ряд не менее актуальных для компании вопросов. Перечислим основные:

1. Сбор, структурирование и хранение актуальных данных в единой базе.
2. Анализ большого объема данных из одного или разных источников для создания отчетов и принятия бизнес-решений.
3. Моделирование гипотез для успешного развития компании.
4. Создание стратегической, тактической и оперативной отчетности для оповещения руководства об отклонениях KPI.
5. Систематизация и сохранение полученных выводов для передачи в работу сотрудникам.
6. Повышение качества данных, исключая дублирование, несогласованности и ошибки.
7. Поиск зон риска и определение новых возможностей для бизнеса.

Основные тенденции в BI на 2023 год, согласно исследованию BARC – это:

• управление основными данными (Master Data Management) и качеством данных;
• создание в компании подхода к управлению, основанного на собираемых данных;
• поддержание стратегии управления данными (Data Governance) с определением конкретных практики по управлению информацией;
• алгоритмы для обнаружения информации в неструктурированной совокупности сведений (Data Discovery) и их визуализация;
• подход, ориентированный на удобство и самостоятельную работу конечного пользователя (Self-service).

Принцип работы BI-систем

Обобщенно процесс работы BI-системы выглядит так: данные из разных источников консолидируется, определенным образом очищаются, трансформируются, агрегируются, классифицируются и загружаются в систему, где производится их анализ на основе разнообразных отчетов и визуализаций.

• Отчет выглядит как многофункциональная информационная панель со сгруппированными по разным логическим параметрам данными. 
• Панель настроена таким образом, чтобы фокус внимания падал на приоритетные для текущих задач направления. 
• Фильтры, варианты сортировки, виды визуализации, технология drill-down дают возможность гибко настраивать формат индикации показателей, корректируя их критерии, связи и глубину выборки. 
• Акцент на гибкости позволяет компании любого профиля настроить BI-систему под свои задачи и потребности. Визуально понятный интерфейс рассчитан на быстрое освоение и беспрепятственное пользование системой обычных сотрудников без глубоких познаний в IT сфере.

Источниками данных могут быть различные системы:

• облачные (Oracle Cloud, Google BigQuery, Microsoft Azure и другие веб-подключения);
• файловые (Excel, XML, PDF и иные табличные файлы); 
• реляционные (SQL Server, MySQL, Oracle).

Если говорить об информационных системах, то частыми источниками данных для BI являются:

• 1С;
• SAP;
• MS AX; 
• MS NAV;
• Битрикс;
• Яндекс.Метрика и другие.

Для всех этих систем есть коннекторы, облегчающие получение и обработку данных. Часто для упрощения сбора данных компании прибегают к помощи программных роботов (RPA), которые позволяют оперативно собрать и подготовить данные для BI-системы. Это стало особо актуально в России в 2022 году, когда многим представительствам зарубежных компаний и партнёрам ограничили доступ к зарубежным системам.

Инструменты интеграции и очистки данных (ETL)

Рассмотрим архитектуру BI-системы более подробно. Глобально она состоит из нескольких блоков, первым из которых является ETL.

ETL – аббревиатура от Extract, Transform, Load (извлечение, преобразование, загрузка). Эти системы применяются для загрузки данных из различных учетных систем.

ETL выгружает данные из нескольких платформ, которыми пользуется компания, например, CRM, ERP, логистической или складской системы. Загружает полученную информацию в хранилище данных (DWH) в консолидированном и нормализованном виде.

ETL-системы приводят все данные к единой системе значений и детализации, очищая их от ошибок и информационного мусора, что обеспечивает их качество и надежность. В спорных случаях после преобразования можно разобраться, из каких источников взяты те или иные данные.

Аналитическое хранилище данных

Второй этап – загрузка полученной информации в хранилище данных (DWH) в консолидированном и нормализованном виде.

DWH (Data warehouse) – единый склад всех нужных и важных для принятия решений данных компании. DWH хранит информацию разных филиалов и подразделений в виде, удобном для принятия решений: есть исторические записи, есть агрегированные значения.

Средства Data Mining

Инструменты Data Mining (глубинный анализ данных) обрабатывают данные и анализируют их по различным срезам. Система выявляет зависимости и тренды. При этом могут использоваться самые разные методы обработки информации: от статистики и прогнозирования до семантического анализа.

Это решение предназначено для того, чтобы специалисты по статистике и квалифицированные бизнес-аналитики создавали модели, способные автоматически выявлять и отслеживать закономерности и тенденции, генерировать статистические модели и правила.

Инструменты визуализации данных

Для визуализации данных используются отчеты, с которыми работают пользователи. 

Средства визуализации включают в себя широкие наборы диаграмм, графиков и карт на удобных и интуитивно понятных информационных панелях и позволяют менять визуализации одним кликом. 

Во всех BI-системах используются базовые шаблоны, которые позволяют создать как минимум простую графику, в некоторых платформах настройки позволяют генерировать более сложные инфографики или интерактивные визуализации. 

В зависимости от задач отчеты могут строиться по утвержденному формату или быть аналитическими. При построении аналитических отчетов пользователи самостоятельно устанавливают перечень отображаемых показателей, сортируют данные и выстраивают фильтры.

Зачем внедрять BI-системы в бизнесе

Рассмотрим простейший пример: на основе анализа продаж группы товаров «Молочные продукты» в магазинах сети за период в 2 месяца, специалист отдела снабжения принимает решение о том, сколько экземпляров товаров из линейки продуктов отгружать в каждый из магазинов и с какой периодичностью.

Если ему приходится уделить много времени для сбора данных из каждого филиала, он не сможет своевременно проанализировать ситуацию. Если данные не структурированы, невозможно разобраться, какой отчет к какому магазину относится – ошибки при принятии решения неизбежны. А это чревато финансовыми убытками: либо из-за чрезмерной поставки скоропортящегося товара, если его не раскупят до истечения срока хранения; либо из-за недостаточной поставки и упущенной выгоды; либо из-за необходимости срочно распродавать товар с существенной скидкой, чтобы получить хоть какую-то прибыль.

При использовании BI-систем все нужные данные поступают оперативно, в удобном для аналитики виде, с возможностью сравнить план/факт и другие параметры – и факторы риска убытков при принятии решения значительно уменьшаются.

Основная цель BI – предоставить бизнесу возможность принимать решения, непосредственно влияющие на финансовые и другие показатели, оперативно, эффективно и обоснованно, с учётом полной аналитики. В распоряжении компании, работающей с BI, полные, точные и организованные данные, полученные своевременно.

Внедрение BI-системы в общем случае состоит из шести этапов: бизнес-анализ, проектирование, разработка, оптимизация, тестирование, сдача работ. Внедрение востребованных на рынке решений, произведенных опытными разработчиками, осуществляется достаточно оперативно. 

Как понять, что компании нужно использовать Business Intelligence

BI-решения подходят для компании любого профиля, внедрить их можно как в отдельные подразделения, так и для всей организации.
Перечислим факторы, при которых руководству компаний целесообразно всерьез задуматься о внедрении BI-системы:

• необходимость интеграции данных в единый центр из нескольких источников (систем), особенно в случае прямого влияния показателей друг на друга (корреляции) или необходимости проведения сквозного анализа данных; 
• потребность в оперативном доступе к бизнес-данным большому количеству пользователей как среди руководства, так и аналитиков;
• процесс роста компании, изменения ее структуры, найма новых сотрудников, запуска новых линеек продукции;
  
• необходимость мониторить показатели и тенденции в любое время с любого гаджета;
  
• наличие ИТ-систем с большим объемом данных, а также независимого инструмента контроля;
  
• необходимость для бизнеса по-разному смотреть на свои данные (изменять визуальное представление, добавлять детализацию, менять аналитические разрезы и т.д.)
  

BI-системы универсальны, их применяют и в коммерческом, и в государственном секторе. BI-решения наиболее часто внедряют компании из финансового сектора, фармацевтической отрасли, ритейла, пищевой промышленности, энергетики, телекома, HoReCa.

Советы при выборе платформы для BI

Выделим несколько факторов, на которые имеет смысл обратить внимание при выборе подходящей для вашей компании BI-системы: 

	Возможности интеграции Проще работать с системами, в которых уже встроены интерфейсы для соединения с многочисленными источниками данных.
	Необходимые виды визуализаций Различные варианты визуализации – графики, диаграммы, карты, информационные панели – помогут яснее и быстрее, чем только таблицы, понять закономерности и тенденции.
	Совокупная стоимость владения Оценивая стоимость владения, стоит учесть не только стоимость внедрения (работы, лицензии на программное обеспечение, серверное обеспечение), но и затраты на дальнейшее развитие, масштабирование, обучение персонала.
	Функциональные возможности Решение должно уметь автоматизировать, структурировать и упрощать задачи, предлагать новые наборы данных для получения более точных результатов.
	Комплексное решение Единая платформа подразумевает, что информация собирается, хранится, обрабатывается и анализируется в одной системе.
	Self-service BI-система должна быть доступна для рядового пользователя без привлечения IT-специалистов. Ценится продуманный, логичный интерфейс с простой навигацией и достаточным количеством встроенных функций, которые если и нужно настроить, то приложив минимальные усилия.
	Тех.поддержка Успешное внедрение и последующие сопровождение и развитие, поддержание системы в актуальном состоянии по отношению к требованиям бизнеса и инфраструктуре компании – напрямую зависят от наличия в доступности достаточного количества специалистов с релевантным опытом.

Универсального ответа на вопрос, какая именно BI-система лучшая, нет: каждая компания выбирает инструмент в соответствии со своими потребностями и приоритетами.

Примеры BI-систем

До недавних пор в России были востребованы практически исключительно иностранные системы Business Intelligence, проверенные временем. Ситуация изменилась из-за ухода с рынка многих западных разработчиков и общей геополитической нестабильности, поэтому вырос спрос на российские BI-системы. Перечислим несколько зарубежных и отечественных платформ.

Power BI

Одна из самых популярных в мире BI-платформ от Microsoft. Является своего рода стандартом в индустрии и объединяет многолетний опыт работы компании с данными. Платформа способна работать с различными объемами данных, имеет большое количество коннекторов к различным системам, обладает большой библиотекой визуализаций и расширений.

Power BI совместима с продуктами Microsoft, интерфейс программы разработан по подобию офисных приложений MS Office, что позволяет пользователям чувствовать себя в комфортной среде. 

Решение подходит как для крупного, так и для малого бизнеса благодаря тому, что desktop решение Power BI бесплатно и доступно для скачивания и использования на локальных компьютерах. Также доступна бесплатная облачная версия. Бесплатные версии имеют некоторые ограничения, поэтому не подойдут для корпоративного сегмента.
Интерактивные дашборды показывают данные в реальном времени и доступны на любом устройстве. Пользователи могут делиться отчетами несколькими способами.

Qlik Sense

BI-система от шведского разработчика Qlik является пионером в индустрии, появилась в далёком 1993 году и уже тогда предложила инновационный подход и технологию по хранению и работе с данными. BI-система Qlik Sense хранит все данные в оперативной памяти сервера и связывает их с помощью ассоциативной модели. Благодаря этому Qlik Sense показывает высочайшую скорость обработки данных и предлагает пользователям уникальный формат работы.

Систему можно смело отнести к лидеру по уровню self-service, так как разобраться в работе можно за пару часов любому пользователю. Также в системе по умолчанию работает сквозная фильтрация, что делает анализ более полноценным. Qlik Sense замечательно работает на любых устройствах, может готовить презентации, регламентные отчеты, рассылку отчетности, информирование о событиях и т.д.

Tableau

Американская система выполняет углубленный анализ информации и представляет результаты на информационной интерактивной панели в режиме реального времени. 

Целевое использование платформы Tableau подразумевает наличие у клиента хранилища данных, куда предварительно поступают данные из систем источников. Скорость работы Tableau напрямую зависят от скорости DWH. 

Система в большей степени ориентирована на аналитиков, так как обладает гибким инструментарием настройки запросов к хранилищу и предполагает наличие у пользователя таких навыков. Tableau работает в вебе, на десктопе и мобильных устройствах.

PIX BI

Система PIX BI от российского разработчика PIX Robotics – альтернатива вышеупомянутым западным разработкам, по интерфейсу и функционалу идентичная им. 

В большей степени создатели PIX BI ориентировались на таких зарубежных игроков как Qlik Sense и Power BI. Например, в системе реализована полноценная модель данных, сквозная фильтрация, встроенный ETL, аналог языка формул Qlik Sense, лучший адаптивный интерфейс среди российских платформ и высокий уровень self-service (самостоятельной работы бизнеса).

Система работает на встроенном хранилище ClickHouse, что позволяет обрабатывать огромные массивы данных. Также стоит отметить гибкую ценовую политику PIX, благодаря которой система доступна даже небольшим компаниям.

Visiology

Эта аналитическая платформа – также российская разработка. Содержит основной функционал ведущих BI-систем. Создатели платформы фокусируются на зарубежном продукте Power BI, повторяют не только интерфейс, но и функциональность. 

В частности, в платформе реализована модель данных и эмуляция языка DAX (основной язык Power BI, используется для написания формул). Возможности Visiology в части разработки кастомных дашбордов достаточно широкие, но self-service ещё требует улучшений.

Также стоит отметить цифрового помощника под названием «виртуальный аналитик ViTalk», в основе которого лежит технология искусственного интеллекта. Он преобразовывает любой вопрос в запрос к системе и выдает ответ в виде отчета.

Modus BI

Это российская BI-система. Платформа имеет собственное ETL-решение, позволяющее собирать данные из множества источников, обеспечивать процессы верификации, нормализации и последующего формирования единого корпоративного хранилища данных. 

Также предусмотрена аналитическая платформа для визуализации показателей, определения трендов и зависимостей, создания прогнозов на основе данных. На ее базе создание отчетов в визуальном конструкторе производится в режиме self-service – путем нескольких кликов, без программирования, используя и настраивая фильтрацию, агрегацию данных, переходы в другие отчеты, детализацию.

Инструменты BI-аналитика

Аналитик BI собирает информацию из разных источников и представляет результаты анализа в виде таблиц и дашбордов с визуализацией. Аналитик тестирует гипотезы, выдвигает и приоритезирует их, подбирает эффективные инструменты для их проверки. Ему надо уметь работать с сырыми данными: получать информацию из разных источников с помощью SQL, загружать и обрабатывать их BI-инструментами. Для конечного пользователя он строит дашборды – наглядные интерактивные отчеты, помогающие принимать бизнес-решения, основанные на фактических данных.

Основные инструменты BI-аналитика:

• SQL-запросы.
  SQL (Structured Query Language) – это специальный язык, который формирует запросы к базе данных по определенной структуре. С его помощью аналитик достает данные и затем обрабатывает их с помощью другого, более гибкого языка программирования, например, Python.

• Языки Python и R. Python
  Универсальное решение для работы с данными. У него простой синтаксис и встроенный интерпретатор, с помощью которого аналитик кодирует и проверяет гипотезы в режиме реального времени. Другой язык программирования, R, был создан для статистических задач и анализа данных, тогда как Python более универсален и поэтому его знает большее количество аналитиков. R отлично подходит для сложных визуализаций, в отличие от Python. 

• Технология OLAP (Online Analytical Processing, аналитическая онлайн-обработка данных)
  Обработка крупных аналитических запросов со множеством параметров. Используется для товарной и поведенческой аналитики. OLAP-куб, построенный по специальной многоуровневой модели, способен за секунды вывести данные в нужных разрезах: сравнение периодов, совмещение данных из разных систем в единый интерфейс, сопоставление геоданных клиентов с местами реальных покупок, вычисление злоупотреблений сотрудников и т.д.

• ETL
  Это инструмент, с помощью которого выгружаются данные из первоисточника, трансформируются, очищаются, обогащаются и готовятся к размещению в системе хранения. Аналитик BI должен обладать навыками, позволяющими ему не только представлять массивы данных, но и влиять на их изменение. Чаще всего для подготовки используются такие языки как SQL или Python.

Дашборд BI-системы

Дашборд – информационная панель, на которой визуально представленные данные сгруппированы по смыслу.

Все данные на дашборде – интерактивные. Графики можно увеличивать и перестраивать, из них можно «проваливаться» в интересующий слой данных. Можно просматривать источники информации и детально изучать показатели аналитики. Для отображения доступны разные форматы: отчеты, таблицы, графики, диаграммы, карты.

Часто задаваемые вопросы