Что такое MDM – ошибки и рекомендации в построении проектов, обзор российских систем

Понятие «данные», теория и зачем вообще это всё нужно

Задумывались ли вы о том, что такое «данные»? Часто под этим «простым» термином люди понимают принципиально разные вещи. Кто-то скажет, что это информация, сохраненная в цифровой форме. «Постойте, до появления компьютеров, данных разве не было? Как же Ньютон и Коперник сделали свои открытия, основываясь на интуиции?» - возразят им другие, имея в виду рукописные архивы. «Динозавры журналы не вели, но о многих из них мы знаем даже то, что они ели на завтрак», - ответят те, кто подразумевает под данными вообще любые сведения об окружающем нас мире и явлениях. Поэтому важно начать с определения. Международная организация по стандартизации (ISO) определяет данные как «многократно интерпретируемое представление информации, пригодное для передачи, интерпретации или обработки формализованным образом» (ГОСТ Р ИСО/МЭК 11179-1-2010). Несмотря на то, что даже у этой формулировки есть критики, её будет достаточно для данной статьи.

Когда данные организованы и структурированы определенным образом, они превращаются в информацию. Информация, в свою очередь, анализируется и интерпретируется, что позволяет получить знания и мудрость. Иллюстрирует этот концепт так называемая Пирамида DIKW:

Чтобы эффективно управлять организацией, необходимо принимать взвешенные решения (уровень «мудрость»), которые основаны на объективной и структурированной информации (уровень «знания»), которые опираются на измеримые в контексте количественные показатели (уровень «информация»), которые опираются на отдельные факты, показатели, измерения (уровень «данные»).

Вот почему в настоящее время данные воспринимаются как актив, и выстроенная система управления данными является критически важным фактором для конкурентоспособности организации.

Кейс по внедрению MDM систем в ГК Спецобъединение:

Rutube YouTube

 

Консультация эксперта по MDM системам

Мы позвоним вам и поможем подоборать MDM-систему для вашего предприятия

Оформить заявку

Что такое MDM на самом деле

MDM (Master Data Management) в точном переводе на русский означает «управление основными данными». Gartner, Inc. предлагает следующее определение понятия «управление основными данными»: «высокотехнологичная дисциплина на стыке бизнес-управления и ИТ, призванная обеспечить единообразие, точность, ответственность, семантическую согласованность и подотчетность распространяемых или открываемых для совместного доступа официальных основных данных, имеющихся в активе организации». При этом основные данные включают в себя критически важную информацию о продуктах, клиентах, поставщиках и других сущностях, необходимых для операционной деятельности компании (то есть то, что принято называть «НСИ»).

Само определение подчеркивает комплексный характер MDM. Это не просто какой-то специализированный софт, но целая Система в широком смысле этого слова, состоящая из немалого количества отдельных компонентов. Отраслевые эксперты выделяют разный набор этих компонентов. Далее будет приведены те из них, которые используются в нашей практике, в нашей трактовке. Мы разделяем эти компоненты на 2 основных кластера: методологический и прикладной.

• Определение правил и подходов к ведению основных данных: разработка стандартов и методик для управления данными, включая правила их обновления и использования.
• Управление качеством данных: процессы очистки, валидации и обогащения данных, направленные на обеспечение их точности и полноты.
• Управление жизненным циклом данных: определение этапов, через которые проходят данные от момента их создания до удаления.

• ИТ-архитектуру: структура информационных систем и технологий, поддерживающих процессы MDM.
• Программное обеспечение: системы для управления данными, такие как базы данных, платформы MDM и аналитические инструменты.
• Интеграционное окружение: механизмы для объединения данных из различных источников, как внутренних, так и внешних.

Для создания в рамках вашей организации эффективной Системы MDM необходимо проработать каждый из этих аспектов. Такая проработка и является сутью MDM-проектов.

Как не надо начинать MDM-проект

Несмотря на то, что рынок MDM-проектов развивается в России с 2000-х годов, практика взаимодействия с бизнесом показывает, что даже в последние годы MDM не воспринимается как комплексная дисциплина. В подтверждение этого тезиса, далее будет приведен обезличенный пример реального кейса, с которым мы столкнулись на практике.

К нам обращается компания со следующей постановкой задачи: «необходимо провести нормализацию справочников». В рамках уточняющих вопросов выяснилось, что:

• Сам состав справочников до конца неизвестен.
• Неизвестен полный перечень баз-источников.
• Какая-либо методологическая документация отсутствует (соответственно, процессы, тоже) и не предполагается к разработке.
• Справочники никак и никем не управляются.
• Проектная инициатива исходит только от ДИТ.

1. Прежде, чем запускать MDM-проект (с момента «идеи»), необходимо либо проработать внутри перечень входящих в проект справочников самостоятельно, либо привлечь для подобного рода исследования (консалтинга) специалистов. Без четкого понимания границ проекта, корректно оценить его бюджет и сроки невозможно. Либо потенциальный поставщик заложит в оценку риски, сопоставимые со стоимостью всего проекта (или двух). С точки зрения справочников критически важным является понимание, сколько ссылочных реквизитов они содержат (иными словами – справочник ссылается на справочник, например, «Номенклатура» - «Штрих-коды», «Договоры» - «Контрагенты», «Контрагенты» - «Контактные лица», и т.д.). От этого параметра также очень сильно зависит объем проекта, и соответственно, его масштаб.
2. Справочники не существуют сами по себе, вне контекста ИТ-ландшафта. Без понимания в части баз-источников и баз-потребителей информации, с которыми критически важно настраивать интеграции, невозможно как разработать саму структуру справочников, так и оценить работы по интеграциям MDM-системы с этими базами.
3. Без проработанной методологии шансы того, что после нормализации справочники будут находиться в целевом состоянии хотя бы несколько месяцев, равны нулю. На этапе методологии закладываются такие вещи, как правила ведения справочников, регламент (бизнес-процесс) по управлению жизненным циклом записей, методика нормализации и многое другое. Естественно, не для каждого справочника необходимо разрабатывать такой пакет документации. Как правило, он разрабатывается для «Номенклатуры», «Контрагентов», «Договоров», исходя из соображений целесообразности.
4. Поиск ответственных за справочники – порой, нелегкое занятие в сложных корпоративных структурах. Владельцы бизнес-процессов являются источниками требований для справочников, но не всегда желают выступать арбитрами в спорных ситуациях (например, для бухгалтерии важно вести номенклатуру в разрезе счетов учета, для службы снабжения – в разрезе онтологического классификатора). Без наличия единого ответственного подразделения за справочник (или максимум, двух ответственных с четким разделением границ), решение спорных вопросов, и приемка результатов проекта (регламентирующих документов, настройки системы и т. д.) может затягиваться на годы.
5. В связи с проблематикой, обозначенной в предыдущем пункте, зачастую ответственность за справочники берет на себя ДИТ. Однако, именно бизнес-подразделения (производство, снабжение, сбыт и т. д.) формируют ценность компании, и они являются основными «потребителями» справочников (порой, не подозревая об этом), и без активного включения них в проект, достичь заявленных результатов проекта будет невозможно. Поэтому, критически важно, перед стартом проекта, «продать» его внутри основным заинтересованным подразделениям и руководству. Случаи, когда в команде MDM-проекта со стороны заказчика были только представители ДИТ, и проект был признан успешным, нам доподлинно неизвестны.

Резюмируя вышесказанное, «быстрых» решений в области MDM не бывает. Если не инвестировать время в определение понятной ценности для ключевых подразделений компании, не заниматься методологией, и тем самым игнорировать основные компоненты MDM как Системы, то такой «проект» будет обречен превратиться в пустую трату ресурсов.

А как все-таки надо?

Частично ответ на этот вопрос был представлен выше по принципу противопоставления. Но если всю информацию консолидировать, то идеальная формула MDM-проекта выглядит вот так:

• Зрелый заказчик. Руководители ключевых бизнес-функций понимают, для чего им нужны корректные справочники. Определены ответственные за справочники.
• Проект имеет четкие границы. Определен состав справочников, включая вспомогательные, которые требуют проработки. Определен состав баз-источников и подписчиков. Определены конкретные средства интеграции (шина данных, брокер сообщений, и т. д.). Если в компании отсутствуют внутренние ресурсы для такой подробной проработки, то лучше привлечь их со стороны и начать с «пред-проекта».
• В объеме проекта предусмотрены работы по методологическому обеспечению, перед настройкой системы. В рамках проекта планируется разработать всю необходимую документацию по ключевым справочникам.
• Участие (не номинальное) в проекте представителей бизнеса. Команда проекта со стороны заказчика должна состоять не только из представителей ДИТ, но и из представителей ключевых подразделений-потребителей справочников. Зафиксирован % участия данных сотрудников в проекте (не менее 30%). Сотрудники мотивированы KPI или иными видами поощрения по результатам проекта.
• Опытная команда исполнителей. Подобные проекты имеют собственную специфику, и опытный исполнитель с большей вероятностью сэкономит ресурсы заказчика, предусмотрев различные типовые «ошибки» при проектировании и реализации. Отдельное внимание стоит уделить такой неочевидной вещи, как ценностная политика организации-Подрядчика. Если миссия заключается только в извлечении прибыли, то многие проектные решения будут приниматься в целях минимизации собственных затрат. Цель Первого Бита – делать бизнес клиента сильнее. Исходя из этой парадигмы, мы заинтересованы не столько в коммерческой составляющей, сколько в конкретных результатах, которых смог добиться клиент, благодаря нашей помощи.

Поговорим о софте

Если встроенного функционала недостаточно, то на рынке существуют дополнительные расширения к типовым конфигурациям. Например, решение Granat от наших партнеров из офиса NFP встраивается в 1C:Управление Холдингом (или 1С:ERP) и обогащает данные конфигурации дополнительным функционалом по управлению справочников (например, возможность создания заявок на создание элементов справочников из филиальных баз).

Что касается альтернативных 1С отечественных платформ, то мы бы выделили:

• Semantic MDM.
• Юниверс Дата.
• Datareon Platform.
• Compo MDM.
• 7TECH MDM.
• Гармония MDM.

Разбор достоинств и недостатков данных платформ – предмет для отдельной объемной статьи. Единственным, на наш взгляд, неоспоримым объективным критерием для сравнения, является количество довольных клиентов, успешно эксплуатирующих внедренное решение в течение многих лет. Многие платформы попросту ещё слишком молоды, чтобы ему соответствовать. Тем не менее, с учетом распространенности на отечественном рынке именно решений на платформе 1С, с точки зрения эксплуатации, поддержки и развития ИТ-систем, для компаний более оптимальным является иметь дело с одной платформой.

Актуальные тренды и вызовы рынка

Говоря об актуальных трендах 2024 года, просто невозможно не сказать про импортозамещение. Причем, с точки зрения области MDM – речь не только про замену иностранного MDM-софта (SAP MDG, IBM Infosphere и т.д.) на российский. Большая доля клиентов сталкивается с проблематикой некачественных основных и справочных данных в рамках проектов перехода с иностранных систем класса ERP на российские аналоги. Миграция справочников, перенос остатков, интеграции – без этих вещей (и не только) не обходится ни одно внедрение ERP-систем. И перед компанией встает вопрос – сразу заложить прочный фундамент в виде Системы MDM, и создавать новый ландшафт, опираясь на корректные основные и справочные данные или отложить решение этой проблемы «на потом», когда основные задачи обеспечения непрерывности производственной деятельности будут решены.

Естественно, если перед организацией стоит жесткий дедлайн в виде полного закрытия доступа к критически важным системам (например, один из кейсов команды Первого Бита – экстренный переход с SAP ERP на 1C:ERP за 1,5 мес.), то времени на выстраивание MDM просто нет, и решение вопросов с качеством данных по приоритету отходит на второй план. Но в случае, если дедлайны не такие жесткие, риск остановки финансовой и производственной деятельности отсутствует, то мы настоятельно рекомендуем параллельно с основным ERP-проектом инициировать MDM-проект. Это позволит запустить новую систему уже с настроенными процессами и контролями, что предотвратит хаотический рост некачественных данных в справочниках. В любом случае организация вернется к этой проблеме потом, однако её решение будет более ресурсоёмким.

Еще одна вещь, которую нельзя игнорировать в 2024 г., это искусственный интеллект (ИИ) и машинное обучение. Они не просто дополняют традиционные методы, но и существенно расширяют возможности MDM-систем, делая их более эффективными и надежными. Основные направления применения технологий ИИ в MDM:

Автоматическое обнаружение и устранение дубликатов

Одним из наиболее распространенных применений ИИ в MDM является автоматическое обнаружение и устранение дубликатов записей. Например, компания Procter & Gamble (P&G) внедрила ИИ для автоматизации процесса обнаружения и удаления дубликатов в своих системах. Это позволило не только сократить количество дубликатов, но и значительно улучшить качество данных, что в свою очередь повысило точность и оперативность аналитики.

Очистка и нормализация данных

ИИ также активно используется для очистки и нормализации данных. Например, IBM в своей платформе InfoSphere MDM применяет алгоритмы машинного обучения для автоматической очистки и нормализации данных. Алгоритмы анализируют данные, выявляют аномалии и предлагают корректировки, что снижает объем ручной работы и повышает качество данных.

Предсказание и предотвращение ошибок в данных

ИИ может предсказывать и предотвращать ошибки в данных. SAP интегрировал ИИ в свои решения MDM для анализа исторических данных и выявления паттернов, которые могут указывать на потенциальные ошибки. Это позволяет предотвратить ошибки на этапе ввода данных, что снижает затраты на их исправление в будущем.

Обогащение данных

Microsoft использует ИИ для автоматического обогащения данных в своей платформе Azure MDM. ИИ анализирует внешние источники данных и автоматически обновляет внутренние данные компании, обеспечивая их актуальность и полноту. Это позволяет компаниям получать более точную и полную информацию для принятия решений.

Персонализация данных

Amazon применяет ИИ для персонализации данных в своих системах MDM. Алгоритмы машинного обучения анализируют поведение пользователей и их предпочтения, что позволяет создавать более персонализированные предложения и улучшать пользовательский опыт. Это особенно важно для маркетинговых кампаний и повышения уровня удовлетворенности клиентов.

Мы также активно используем инструменты ИИ в своих проектах, и считаем, что потенциал данных технологий ещё не раскрыт.