Миграция данных между системами: план, проверка и подтверждение результата

Миграция данных — это перенос данных из одной системы, структуры или хранилища в другую с проверкой качества и подтверждением результата. Она не равна интеграции: интеграция поддерживает регулярный обмен, а миграция обычно нужна для перехода, запуска новой системы, объединения источников или очистки исторических данных.

План миграции должен заранее отвечать на вопросы: что переносим, откуда, куда, в каком формате, как чистим, как проверяем и кто принимает результат.

• внедряется новая система вместо старой;
• нужно объединить данные из нескольких источников;
• меняется структура справочников, карточек, клиентов, договоров, заявок или операций;
• данные нужны для аналитики, отчетности или запуска нового процесса;
• старую систему нужно вывести из эксплуатации без потери истории.

• нужен постоянный обмен между системами — это задача интеграции;
• не определены владельцы данных и правила качества;
• источник не позволяет выгрузить данные в проверяемом виде;
• бизнес не готов решить, какие старые данные переносить, архивировать или исключить;
• нет среды для тестового переноса и сверки результата.

• перечень объектов данных: клиенты, товары, договоры, документы, операции, файлы;
• источник, целевую систему и владельцев данных;
• правила сопоставления полей и справочников;
• критерии качества: обязательные поля, дубли, форматы, статусы, архивные записи;
• план тестового переноса и отката;
• выборку для ручной проверки;
• критерии приемки и список отчетов сверки.

При переносе карточек с разными наборами характеристик заранее сопоставьте определения свойств, типы и единицы измерения. Разделение основных полей и динамических атрибутов помогает определить целевую структуру и проверить, что дополнительные значения не потерялись.

Если переменные свойства переносятся в PostgreSQL, проверьте границы JSONB и запросы к нему. Перед сменой формата сопоставьте старые документы и потребителей по правилам совместимости версий данных.

1. Собрать инвентаризацию данных и решить, что переносится, архивируется или исключается.
2. Описать соответствие полей между источником и целевой системой.
3. Подготовить правила очистки и нормализации.
4. Сделать тестовую выгрузку и загрузку на ограниченном наборе данных.
5. Сверить количество записей, ключевые поля, статусы, связи и контрольные суммы.
6. Зафиксировать ошибки и повторить прогон до приемлемого результата.
7. Провести финальный перенос по согласованному окну и подтвердить результат.

• начать перенос без карты данных и владельцев справочников;
• считать успешную загрузку доказательством корректной миграции;
• не проверить связи между объектами: клиентами, договорами, заявками, файлами;
• переносить весь исторический мусор без правил архивации;
• не согласовать окно миграции, откат и ответственность за финальную сверку.

Результат миграции — не только загруженные данные. Нужны отчет сверки, список исключений, подтверждение владельца данных, описание известных ограничений и решение, что делать со старой системой после переноса.