Содержание
Корпоративное хранилище данных (КХД, DWH) — что это?
Структура хранилища данных (DWH)
DWH имеет сложную многоуровневую архитектуру — «слоеный пирог». Она предусматривает логическое деление структур с данными на несколько функциональных уровней. На каждом из уровней данные трансформируются, чтобы в итоге предстать в виде согласованной информации, пригодной для анализа.
Перечислим наиболее значимые функциональные уровни структуры с данными:
- Стейджинг — уровень, на котором собираются и подгружаются в хранилище первичные данные из внешних источников: сайтов, таблиц, CRM, ERP, биллинговых систем и других БД.
- Ядро хранилища — уровень, где происходит структурирование и нормализация данных. Он обеспечивает единообразие формата хранения данных, их целостность и полноту.
- Аналитическая витрина – слой, на котором данные преобразуются в структуры, удобные для анализа и использования в BI-дашбордах и других аналитических системах. Витрины различаются по уровню сложности в зависимости от того, какие задачи предстоит решать с их помощью. Они выстраиваются под требования конкретного потребителя — BI-платформы, группы пользователей, либо внешней системы. Для сложной аналитики, нестандартных проектов, нетривиальных расчетов и трансформаций формируются вторичные витрины.
- Сервисный слой — на нем происходит управление предыдущими уровнями, бесперебойный мониторинг данных, оперативная диагностика ошибок, обработка данных, управление загрузкой и качеством данных. На сервисном уровне обеспечивается прозрачность и структурированность потоков данных в хранилище.
В некоторых DWH выделяется дополнительный уровень бизнес-логики. На нем данные из витрин и хранилищ агрегируются, после чего приводятся к упрощенной и структурированной форме.
Отличия DWH от обычных баз данных
Часто возникает вопрос, почему DWH выделены в отдельный класс хранилищ и рассматриваются в отрыве от остальных баз данных. Перечислим основные отличия DWH от обычных БД:
- Комплексность хранимых данных. В БД хранится информация только из определенных узконаправленных систем — например, базы сотрудников, складских запасов, клиентов и т.д. В хранилище аккумулируется информация обо всех аспектах деятельности компании из разных источников и отделов.
- Исторические данные. В БД представлена только актуальная информация, а в DWH также хранятся архивные данные за всю историю функционирования компании. Это помогает при анализе увидеть комплексную картину по интересующим параметрам в динамике.
- Последовательность работы. Сначала информация поступает в рабочие БД, откуда выборочно передается в хранилище. Таким образом, в локальных базах можно оставлять промежуточные, временные данные, а в DWH экспортировать данные, необходимые для консолидации и дальнейшей аналитической работы.
Резюмируя, можно сказать, что локальные БД предназначены для оперативной обработки данных, относящихся к отдельным сегментам деятельности предприятия — подразделениям, проектам, отраслям бизнеса. В DWH аккумулируются в структурированном виде все количественные и качественные данные компании из всех доступных источников. Эти данные используются для анализа, мониторинга, ведения статистики и других стратегических операций.
Отличия DWH от озера данных Data Lake
Data Lake («Озера данных») предназначены для хранения неструктурированных и нестандартизированных данных из множества внешних источников. Существует мнение, что они пришли на смену DWH, но это не совсем верно. Между этими видами хранилища есть существенные различия:
- Целевое назначение. DWH востребованы руководителями, аналитиками и другими конечными бизнес-пользователями. Озера данных используются в основном дата-сайентистами для быстрой отработки бизнес-гипотез с помощью алгоритмов машинного обучения.
- Подход к проектированию. Структура DWH построена на классической реляционной логике работы с данными. Проектирование озера данных основано на ETL-процессах с учетом многообразия источников и приемников разноформатной информации. Хранение Data Lake осуществляется в файловой системе, главными требованиями к которой является масштабируемость, отказоустойчивость и доступная цена.
- Качество данных. В DWH можно хранить только структурированные данные, которые прошли обработку. В Data Lake могут содержаться неструктурированные и полуструктурированные данные. Из-за этого в Data Lake могут встречаться дубликаты, ошибочные и непроверенные данные.
- Производительность. DWH предназначены для максимально быстрой обработки запросов. В Data Lake запросы обрабатываются не так быстро.
- Совокупная стоимость владения. Для проектирования и поддержки DWH необходимо приобрести дорогостоящую специализированную платформу. Озера данных обычно строятся на базе бюджетных серверов или облака.
Таким образом, Data Lake подходит для хранения больших массивов «сырых» данных — спутниковых снимков, показателей погоды, транспортной телеметрии, графических изображений, логов, метрик сайтов и т.п. Для их анализа нужно надстраивать дополнительные системы трансформации данных.
Отличия между хранилищем данных и Data Mart
Data Mart («Витрины данных») используются для предоставления обработанных данных в BI- или отчетную систему. Между ними и DWH есть следующие различия:
- Масштаб. Охват витрины ограничен отдельным подразделением или направлением бизнеса, его пользователями являются сотрудники конкретных отделов. В DWH консолидируется информация по всей компании. Соответственно, отличается размер базы — для Data Mart это десятки гигабайт, а для DWH — от сотен гигабайт до петабайтов.
- Источники данных. В витрины поступают однородные данные из одного или нескольких источников, запрашиваемые наиболее часто. В DWH содержатся разнородные данные из множества источников. В связи с этим витрины создаются легче и быстрее, чем хранилища.
- Комплексность. Витрина в общем случае может существовать в единственном экземпляре, потому что объединение витрин чревато потерей целостности данных из-за сложностей в контроле межвитринного взаимодействия. Для DWH такой вопрос не актуален, поскольку этот формат хранилища подразумевает объединение данных.
- Степень детализации данных. Если в DWH хранятся полные подробные данные за всю историю существования организации, то витрина может содержать обобщенные данные, а доступ к историческим данным в ней ограничен.
Data Mart, в отличие от DWH, не предназначены для решения задач комплексной автоматизации и не подразумевают глобальный охват деятельности всего предприятия. Они помогают оптимизировать работу отдельных пользователей или подразделений. Если задача именно такова, то нет необходимости внедрять DWH: финансовые и временные ресурсы на генерацию витрины значительно ниже, чем на создание хранилища.
Основные преимущества DWH для бизнеса
DWH строится для того, чтобы централизованно хранить все данные компании. Туда стекается информация из различных источников, приводится к единому формату и структурированному виду. Но зачем это нужно? Разберем ключевые преимущества DWH для развития бизнеса.
- Удобное и быстрое формирование отчетности на базе проверенных, прозрачных, полных, фактических данных.
- Оперативный доступ к любой готовой и качественной (а не «сырой») информации из единой точки входа без необходимости запрашивать доступ к локальным БД подразделений и проектов.
- Сохранение исторических данных, благодаря чему можно анализировать динамику интересующих показателей за годы и десятилетия.
- Экономия трудовых ресурсов за счет минимизации участия ИТ-специалистов в формировании отчетности.
- Отсутствие влияния на локальные процессы отделов и исключение чрезмерной нагрузки при работе аналитиков с большими массивами данных.
DWH предоставляет полную картину информации по всем направлениям деятельности предприятия. Это дает возможность мониторить показатели и тенденции компании в ведении бизнеса, и на основании полученного анализа своевременно вносить корректировки и принимать правильные управленческие решения.
DWH и BI
Кооперация функционала DWH и BI-систем способствует улучшению качества формируемой отчетности и выводит бизнес на новый уровень. BI-анализ позволяет находить перспективные возможности на рынке и быстро их реализовывать. С его помощью можно отследить узкие места, системные проблемы и другие недочеты, из-за которых происходит снижение прибыли, и проанализировать их причины.
В основе BI-подхода — возможность выдвигать гипотезы и ставить эксперименты. Это удобно делать на базе DWH, где хранятся объективные данные, реальные цифры, результаты измерений по сотням показателей. BI позволяет находить закономерности и взаимосвязи в данных, аналитически обрабатывать и визуализировать информацию, составлять статистические отчеты.
Резюме
DWH-системы востребованы, в основном, на крупных предприятиях, ориентированных на сохранение наиболее полного архива данных о деятельности компании. DWH помогает агрегировать данные из множества подразделений, филиалов, баз данных проектов, и привести их в единый формат, пригодный для дальнейшего использования в целях бизнес-анализа. На основе этих данных аналитик, например, может сделать выводы о динамике показателей роста компании за последние 10 лет. Или выявить изменение спроса на определенную линейку продукции после проведения маркетинговой кампании. Или оценить влияние сезонного фактора на продажи того или иного товара.
Важен и тот факт, что использование в компании DWH снижает нагрузку на ИТ-специалистов. В BI-системах реализован self-service подход, суть которого сводится к возможности конечным пользователям самостоятельно извлекать, анализировать и визуализировать данные без необходимости обращения в ИТ-службу.
