Миграция данных: виды, способы и применение в современной IT‑инфраструктуре

Что такое миграция данных

• переход на новое ПО;
• обновление ИТ‑инфраструктуры;
• внедрение облачного решения;
• объединение данных из нескольких источников в единую базу.

При миграции данных необходимо сохранить их целостность, безопасность, доступность, связанность, и нивелировать или хотя бы минимизировать потери. Для этого потребуется тщательно подготовить «почву» для миграции: в частности, произвести очистку, стандартизацию, валидацию данных. Миграцию можно совместить с оптимизацией бизнес-процессов и структуры данных. Поэтому целесообразно подойти к процессу миграции как к проекту со всеми его основными составляющими: выделением ответственного и исполнителей, планированием, постановкой задач, управлением рисками, определением критериев ожидаемой результативности.

Виды миграции данных

Каждый вид миграции данных имеет свою специфику. Перечислим основные виды миграции:

1. Миграция приложений — производится при обновлении устаревшего ПО, переходе на более эргономичную систему или импортозамещении.
2. Миграция баз данных — перемещение базы данных в новое место, например, из локальной среды в облачное хранилище или в другую СУБД.
3. Миграция форматов — преобразование данных из одного формата хранения в другой.

Выделяют источник или источники, из которых необходимо извлечь данные, и приемник — новое место, в котором будут храниться данные. Миграция может быть полной или частичной. Если при полной миграции переносу подлежат все данные из источника, то при частичной нужно определить критерии выбора и зафиксировать подлежащий переносу набор данных. Миграция может производиться с остановкой или без остановки рабочих процессов. Разные подходы применяются при переносе структурированных данных из реляционных баз и неструктурированных — например, файлов и документов.

Миграция в облака: особенности и преимущества

Миграция данных из локального в облачное хранилище стала особенно востребованной.

Популярность облачных технологий возрастает по совокупности причин:

• возможность работы с данными из любой точки;
• масштабируемость и увеличение объема хранилища без затрат на приобретение оборудования;
• отсутствие необходимости обслуживания серверной инфраструктуры;
• возможность одновременной работы сотрудников с данными;
• автоматическое резервное копирование;
• мгновенная синхронизация данных на всех подключенных к хранилищу устройствах;
• удобный обмен данными через ссылки.

Если кратко, то миграция в облако способствует экономии расходов и упрощению масштабирования. Раньше многие компании с подозрением относились к облачным технологиям из-за сомнений в обеспечении должной безопасности и конфиденциальности данных в них. Сейчас облачные провайдеры повысили уровень безопасности за счет внедрения сквозного шифрования, многофакторной аутентификации, ИИ-инструментов для мониторинга угроз. В то же время затраты на покупку, апгрейд и обслуживание полноценной серверной инфраструктуры за последние годы сильно выросли. Поэтому часто переход в облако становится вынужденной необходимостью.

Выделяют следующие виды облачных миграций:

Получает распространение гибридная миграция, когда наиболее чувствительная и критическая часть данных из соображений безопасности остается в локальной инфраструктуре, а остальные данные переносятся в облако.

Способы миграции данных

Существуют следующие способы миграции данных:

1. Ручная миграция. Такой способ подходит только для переноса небольшого объема данных, поскольку в иных случаях высок риск ошибок из-за человеческого фактора и технических сбоев.
2. Автоматизированная миграция. Готовые программы и сервисы обеспечивают быструю и безошибочную — при условии правильной подготовки — миграцию данных.
3. Кастомизированная миграция. Отличается от предыдущего способа тем, что для выполнения миграции используется не готовое решение, а самописные скрипты, разработанные для конкретного проекта переноса данных. Это более долгий и дорогой способ, но он позволяет учесть все нюансы ИТ‑инфраструктуры и форматов данных.
4. Роботизированная миграция. Миграцию выполняет не сервис, а настроенные под эту задачу программные роботы. Бот копирует данные из старой системы, преобразует их в нужный формат, проверяет, загружает в новую систему, производит верификацию и тестирование.

Возможно сочетание этих способов. Для больших объемов данных удачным решением может стать поэтапная миграция, в ходе которой массив данных разделяется на небольшие пакеты и выполняется приоритезация их переноса. Такой подход позволяет минимизировать риски, упростить тестирование корректности переноса и оперативно обнаружить ошибки при их наличии.

Применение миграции данных в IT‑инфраструктуре

Миграция данных производится не только вынужденно при переходе на новую систему или другой тип хранилища. Одна из ключевых задач миграции — оптимизация и модернизация ИТ‑инфраструктуры, и сокращение издержек на ее эксплуатацию. Для этого выполняется реорганизация данных и их перенос в систему с удобным интерфейсом, более подходящим для потребностей компании функционалом.

При такой стратегии миграции осуществляется комплексная реконструкция ИТ‑инфраструктуры:

• оптимизация бизнес-процессов;
• повышение уровня безопасности данных;
• централизация хранения данных;
• вертикальное или горизонтальное масштабирование;
• интеграция систем;
• стандартизация форматов данных;
• расширение функциональности;
• внедрение современных технологий на основе ИИ, ML, предиктивной аналитики и т.д.;
• обеспечение бизнес-непрерывности и отказоустойчивости.

В современных реалиях большую долю кейсов миграции ИТ‑инфраструктуры составляет «переезд» в облако. Случается и миграция между облаками, когда условия или ограничения изначально выбранного облачного хранилища перестают устраивать компанию.

Перед началом проекта миграции рекомендуем ответить на ряд вопросов:

• Каких результатов вы ожидаете от миграции?
• Какие данные подлежат переносу в облако, а какие останутся в локальном доступе?
• Каким способом будет производиться миграция?
• По каким критериям выбрать провайдера?
• Какая модель облачных услуг лучше всего подходит вашей компании?
• Как реализовать достаточный уровень безопасности в облаке?

После того, как вы проясните для себя эти моменты, необходимо будет выбрать облако — публичное, частное или гибридное — и его провайдера. Как правило, крупные предприятия выбирают частные и гибридные хранилища, поскольку уровень безопасности публичных облаков не позволяет хранить в них персональные, финансовые и другие конфиденциальные данные.

Практические рекомендации и лучшие практики миграции в облака

Проект миграции нужно начинать с подготовительного этапа. В него входят следующие процессы:

1. Аудит текущей ИТ‑инфраструктуры или конкретной системы, подлежащей миграции.
2. Составление схемы информационных систем и их взаимосвязей.
3. Оценка объема данных, их формата и структуры.
4. Выявление и оценка рисков.
5. Разработка концепции миграции, сопоставление структуры в старой и новой системе/хранилище, определение правил конвертации.
6. Выбор первого пакета данных для тестового переноса.
7. Очистка, стандартизация, обогащение данных.
8. Создание резервных копий данных и проверка их работоспособности.
9. Составление подробного плана миграции данных.
10. Выбор платформы для миграции.

Многие компании откладывают миграцию из-за рисков, связанных с непредсказуемостью этого процесса, вероятностью потери данных и простоями в работе. Перед тем, как принимать решение о миграции, нужно провести анализ, оценить возможные риски и зафиксировать способы минимизации их возникновения и негативных последствий.

Этому способствуют следующие меры:

• Определение максимально допустимого времени простоя (RTO) и объема потери данных (RPO) для выбора подходящего метода миграции.
• Применение механизма репликации для поддержания актуальности данных в приемнике без остановки работы источника.
• Проверка целостности данных перед переходом на новую систему.
• Разбиение данных на небольшие блоки для поэтапного проведения миграции.
• Использование кластерных решений для обеспечения отказоустойчивости.

После каждой итерации по переносу данных нужно выполнять тестирование. Для этого используются средства автоматизации или программные роботы. Они производят сверку количества записей, выборочную проверку данных и заполнения обязательных полей, валидацию форматов, контроль отсутствия дубликатов и т.п. Также проводится нагрузочное тестирование, проверка прав доступа к данным, сканирование на наличие уязвимостей.

В дополнение к этому рекомендуем на регулярной основе осуществлять мониторинг обновленной ИТ‑инфраструктуры для выявления скрытых сбоев и других ошибок. Это позволит своевременно реагировать на проблемы и оптимизировать систему, не допуская снижения производительности, появления дыр в безопасности и несбалансированной нагрузки.

Заключение

Наша практика показывает, что миграцию данных целесообразно выполнять, проведя полноценную подготовку, разработав подробный план и, в ряде случаев, перенося данные поэтапно. В первую очередь нужно сформулировать цель, с которой вы осуществляете миграцию данных — от этого зависит стратегия действий. Перенос данных в облачное хранилище может не привести к ожидаемым результатам, если первоначально не выполнен анализ действующей инфраструктуры, очистка данных, оптимизация их взаимосвязей и сопряженных бизнес-процессов. Необходимо оценить все риски и взвешенно выбрать способ миграции, место хранение, инструменты миграции, провайдера, если речь идет об облачном хранилище.

Специалисты компании «Первый Бит» готовы оказать вам помощь в миграции данных. Мы проведем аудит вашей ИТ‑инфраструктуры, составим дорожную карту миграции и предложим инструменты, наиболее подходящие для реализации ваших задач. Затем наша команда выполнит миграцию под ключ и продолжит оказывать сопровождение, обеспечивая высокую производительность, необходимый уровень безопасности данных, бесперебойность и отказоустойчивость вашей ИТ‑инфраструктуры.