Содержание
Консультация эксперта
Что такое MDM системы?
Давайте разберемся, какая информация относятся к классу мастер-данных. Это данные, содержащие важные для бизнеса сведения: о клиентах, поставщиках, товарах, услугах, сотрудниках, технологиях, материалах и т.п. В России данные такого типа также называют нормативно-справочной информацией (НСИ) – этот термин синоним аббревиатуры MDM. Эти данные являются основой для принятия решений на всех уровнях, поэтому их релевантность, полнота и безошибочность очень важны.
MDM-системы представлены на рынке в виде программных продуктов, объединяющих в себе базы данных, непосредственно платформы MDM, аналитические инструменты и другие компоненты, различающиеся в зависимости от специфики решения.
Каждая из MDM-систем построена на базе выработанной методологии – четко определенных правил, стандартов и подходов к управлению данными, процедурам их обновления и использования. Как правило, в MDM-системах реализована возможность легкой настройки интеграции с множеством систем и сервисов для сбора и аккумуляции данных из различных внутренних и внешних источников.
MDM-система – это инструмент автоматизации. Но для того, чтобы он корректно и эффективно работал, невозможно обойтись без подготовительной стадии: определения состава основных и вспомогательных справочников, баз-источников и баз-подписчиков, конкретных средств интеграции. Перед настройкой системы выполняются работы по ее методологическому обеспечению, включая разработку документации к главным справочникам.
Задачи и функции MDM систем
- Обеспечение безопасного централизованного хранения мастер-данных с единой точкой доступа к ним.
- Поддержание высокого качества и чистоты данных за счет устранения дубликатов, ошибок, несоответствий.
- Агрегация данных из различных источников и приведение их к единому, унифицированному формату, что способствует успешной интеграции сервисов и систем.
- Соответствие мастер-данных внутренним регламентам и нормам, а также требованиям действующего законодательства.
- Осуществление анализа, формирование отчетности, принятие управленческих решений на основе актуальных и достоверных данных.
- Сокращение времени на обработку и систематизацию данных.
- Оптимизация бизнес-процессов благодаря быстрому оперированию качественными данными.
Сбор всех необходимых мастер-данных, проверка их достоверности, стандартизация, структурирование, предоставление удобного доступа к ним – это основа ведения бизнеса. Все процессы, задачи и решения базируются на данных, от их качества и прозрачности зависит корректность работы многих специалистов и скорость ее выполнения, лояльность клиентов, полнота и своевременность формирования отчетности. В отдельных сферах деятельности качество данных напрямую влияет на безопасность, охрану жизни и здоровья людей.
Data Catalog: ключ к эффективному управлению данными
Для ускорения получения пользователем достоверных данных, совместно с Data Catalog используется бизнес-глоссарий, помогающий обеспечить согласованность данных. Построение Data Catalog осуществляется посредством специализированных инструментов, различающихся методологией, принципом работы, архитектурой, количеством поддерживаемых источников данных, интеграционными возможностями и т.п. Современные каталоги базируются на потоковых API или на выполнении CRUD-операций с сервисным API каталога. Это позволяет компании формировать расширяемые модели метаданных со строгой типизацией и взаимосвязями.
Основные функции Data Catalog
- Исследование данных, отслеживание их происхождения, контроль доступа к ним.
- Оптимизация управления метаданными, обнаружения данных и управления ими.
- Быстрый полнотекстовый и ранжированный поиск данных, а также поиск похожих данных для установления взаимосвязей между ними.
- Сканирование метаданных при их извлечении из баз и хранилищ.
- Выстраивание ETL-процессов, в том числе поверх метаданных без ущерба для их согласованности и актуальности.
- Сбор статистики по наборам данных.
- Моделирование логики и обеспечение воспроизводимости ИИ-моделей.
- Профилирование наборов данных для оценки их качества, сбора статистики и получения детальной информации о них.
- Заключение контрактов с данными.
- Классификация данных по типу, формату, тематике и другим параметрам.
- Выявление доменов данных для определения соответствия названий реально хранимым данным.
- Сертификация данных для ускорения их поиска в разрозненных базах и хранилищах.
Каталоги данных используются в целях улучшения качества обслуживания и увеличения продаж, для управления доступом сотрудников к конфиденциальной информации, для анализа данных и создания отчетности, обеспечения согласованности данных между различными сервисами и т.д. С помощью каталога легко провести инвентаризацию или реструктуризацию данных, оценить их ценность и обеспечить максимально эффективное применение информационных ресурсов, находящихся в распоряжении компании.
Использование каталога данных позволяет комплексно повысить эффективность работы с ними, облегчить их поиск, осуществлять более глубокий анализ. Такие процедуры, как сканирование и профилирование данных, помогают повысить их качество, что, в свою очередь, конструктивно сказывается на аналитике данных и принимаемых на основе анализа решениях.
Обеспечение качества данных
Для начала определимся, что мы понимаем под качеством данных. Качество данных – это совокупный показатель таких их характеристик, как точность, полнота, надежность, релевантность, согласованность, своевременность. Высокое качество данных позволяет построить надежную и целостную ИТ-инфраструктуру, принимать эффективные управленческие решения, осуществлять достоверное прогнозирование. Расскажем, какую роль в обеспечении качества данных играют MDM-системы и каталоги данных.
Как MDM системы способствуют повышению качества данных
MDM-системы включают инструменты контроля качества мастер-данных: они позволяют автоматически проверять данные на наличие дубликатов, несоответствий, неполных или недопустимых записей, стандартизировать их и приводить к единому, унифицированному формату представления. Также MDM-системы могут разрешать конфликты данных и обеспечивать их полноту, осуществляя консолидацию информации из различных источников. Они выполняют выравнивание данных по заранее настроенным правилам – например, переводят все цены в единую валюту или габариты товара в миллиметры. Современные системы не только выявляют несоответствия данных указанным условиям, но и анализируют причины, по которым качество данных не достигает целевых показателей.
Как правило, MDM-система, развернутая в компании, синхронизирована с учетными и другими системами, используемыми в ней. Соответственно, высококачественные данные из MDM-системы экспортируются в другие программные продукты, приложения и сервисы компании, благодаря чему все сотрудники работают с актуальной и согласованной информацией. Система автоматически проверяет соответствие данных заданным критериям – например, диапазону допустимых значений, правилам динамической маскировки, соблюдению сроков удаления по истечении периода хранения. Также посредством MDM-систем реализуется обогащение данных – процедура дополнения сырых данных той информацией, которая изначально отсутствует в них, но требуется для проведения качественного анализа.
Роль Data Catalog в обеспечении качества
Одна из основных задач Data Catalog – обеспечение и контроль качества данных, их актуальности и чистоты. Для этого устанавливаются правила проверки качества данных, ведется статистика результатов работы правил, осуществляется оптимизация управления метаданными, обнаружение данных и их очистка. Также каталоги данных поддерживают их качество с помощью следующих функций:
- хранение информации о структуре данных, их типах и форматах;
- построение взаимосвязей между данными;
- возможность мониторинга источника и происхождения данных;
- анализ и настройка источников данных, правил их загрузки, обработки, удаления;
- контроль доступа пользователей к данным в соответствии с правилами, настройками и ролями;
- использование аналитических и статистических инструментов для проверки качества по различным параметрам.
Анализ качества данных по важным для компании критериям позволяет в дальнейшем улучшить их качество, устранив ошибки и неточности.
Прозрачность данных с помощью MDM и Data Catalog
MDM-системы и каталоги данных помогают повысить степень прозрачности данных. Под прозрачностью данных подразумевается понимание их происхождения – автора, владельца и источника, сохранение истории изменений и траектории движения данных, ясное прослеживание взаимосвязей и взаимозависимостей. Помимо этого, прозрачность данных – это такой формат их представления, в котором они понятны пользователю, возможна только однозначная их трактовка.
Централизация данных и использование единой точки доступа к ним – один из ключевых факторов обеспечения прозрачности данных. Применение современных инструментов для защиты данных и контроля доступа к ним гарантирует высокий уровень конфиденциальности и, соответственно, данные не могут быть несанкционированно искажены. Для каждого набора данных определена политика доступа, закреплены роли и зоны ответственности участников процесса, что также повышает безопасность их хранения и прозрачность. Осуществляется логирование всех транзакций и изменений, связанных с мастер-данными. Все эти и другие функции MDM-систем и Data-каталогов способствуют достижению и поддержанию высокого уровня прозрачности данных.
Будущее управления данными
Для автоматизации управления данными используются инновационные инструменты и технологии: в первую очередь это ИИ, Big Data, машинное обучение, прогнозная аналитика. Они отлично сочетаются друг с другом и позволяют как значительно расширить возможности MDM-систем, так и увеличить скорость обработки данных. MDM-системы повышают качество данных, используемых для машинного обучения, а алгоритмы машинного обучения позволяют MDM-системам автоматизировать процессы выявления взаимосвязей между данными, удаления дубликатов, поиска и маркировки ошибок и т.п.
Также использование технологий Big Data и машинного обучения существенно снижает трудозатраты аналитиков на поиск, очистку и реорганизацию наборов данных. Машинное обучение позволяет автоматизировать корректировки, внесенных ранее в данные вручную. С его помощью улучшается качество данных, поскольку алгоритмы машинного обучения оптимизируются, «тренируясь» на больших объемах данных. Ожидается, что в будущем интенсивное развитие инновационных технологий позволит управлять данными еще быстрее и легче. Мгновенное нахождение в больших массивах данных необходимых записей и преобразование их в аналитический дашборд, разработка механизмов валидации данных, голосовое управление данными, автоматическая консолидация и обогащение данных на основании предыдущих кейсов, выстраивание моделей данных и многоуровневых прогнозов – вот лишь несколько потенциальных направлений развития систем управления данными.
Заключение
Сегодня мир перенасыщен информацией, она доступна, но часто ее источник неизвестен, ее качество и достоверность подвергаются сомнению. В такой ситуации на первый план выходят инструменты, позволяющие поддерживать качество и прозрачность данных, однозначно верифицировать их. Использование специализированных систем управления данными может показаться прерогативой ИТ-компаний или крупных корпораций. Однако, если посмотреть шире, становится понятно, что они востребованы в любых сферах деятельности и могут принести бизнесу значительные конкурентные преимущества.
Зачастую руководство компании приходит к необходимости внедрения MDM-системы или каталога данных, когда предстоит интеграция нескольких систем с перспективой ведения единого учета и формирования консолидированной отчетности. Из других предпосылок автоматизации управления мастер-данными можем отметить наличие сквозных бизнес-процессов, где задействованы данные из разных систем, дублирование справочников и самих данных, возникновение конфликтов данных.
Конечно, запустить MDM-систему в эксплуатацию, можно и не дожидаясь возникновения проблем: это дает возможность компании в удобном ей темпе, без спешки, разработать методологию управления данными и автоматизировать ее. Это можно сделать собственными силами или обратиться к интегратору, специализирующемуся на внедрении систем управления данными. Эксперты компании «Первый Бит» имеют большой опыт внедрения MDM-систем и Data-каталогов на предприятиях различного профиля и готовы проконсультировать вас, подобрать оптимальный инструментарий для автоматизации, осуществить настройку и внедрение системы с ее дальнейшим сопровождением.
