Обработка больших данных: когда нужна и что подготовить

Обработка больших данных нужна, когда обычной базы, отчета или ручной выгрузки уже недостаточно: данных много, они приходят из разных источников, быстро обновляются, требуют очистки, объединения и регулярного расчета показателей. Big Data не является самоцелью; часто задачу можно решить обычным хранилищем, BI-слоем или интеграцией.

Перед выбором технологий нужно описать бизнес-вопрос, источники данных, частоту обновления, требования к качеству и то, какое решение будет принято по результату анализа.

• данные приходят из нескольких систем, файлов, потоков или внешних источников;
• объем или скорость обновления мешают обычным отчетам;
• нужны регулярные расчеты, сегментация, прогнозы или поиск аномалий;
• качество данных влияет на управленческие решения;
• результаты обработки должны попадать в отчеты, ML-модели, операционные системы или API.

• достаточно одной регулярной выгрузки в таблицу или BI;
• нет владельца данных и правил качества;
• непонятно, какое решение будет принято по результатам анализа;
• источники не описаны, а доступы и состав данных неизвестны;
• проблема на самом деле в интеграции систем или динамической структуре данных.

• бизнес-вопросы и показатели, которые нужно получить;
• перечень источников данных и владельцев каждого источника;
• форматы, объемы, частоту обновления и историю данных;
• правила качества: полнота, дубли, актуальность, справочники, единицы измерения;
• ограничения по персональным данным и доступам;
• потребителей результата: дашборд, API, отчет, модель, операционный процесс;
• критерии пилота: какой расчет или витрина должны подтвердить полезность подхода.

• BI-витрина подходит, если данные уже структурированы и нужен регулярный отчет.
• Хранилище данных нужно, когда источников несколько и важна единая модель показателей.
• Потоковая обработка оправдана, если решения зависят от событий почти в реальном времени.
• Data lake полезен, когда данные разнородные и не все сценарии анализа известны заранее.
• ML/AI-слой добавляют только после подготовки данных, признаков качества и понятного сценария использования.

• начать с выбора Hadoop, Spark или облака вместо вопроса, который нужно решить;
• загрузить данные без правил качества и владельцев справочников;
• не отделить историческую аналитику от оперативного процесса;
• не согласовать персональные данные, коммерческую тайну и права доступа;
• построить витрину, которую нельзя использовать в решениях из-за недоверия к цифрам.

Хорошая подготовка дает карту источников, правила качества, выбранный архитектурный вариант, критерии пилота и понятный результат: отчет, витрина, расчет, API или модель, которые можно проверить на реальных данных.