Процесс подготовки данных для прогнозирования

Почему подготовка данных — это 80% успеха прогноза

Если вы работаете с прогнозированием спроса, то наверняка сталкивались с ситуацией: модель выбрана, алгоритм настроен, а прогноз всё равно "не бьёт" в реальность. Чаще всего проблема кроется не в методах прогнозирования, а в том, что было на входе.

Ошибки в подготовке данных могут привести к неверным выводам и негативным последствиям для бизнеса.

Подготовка данных — это фундамент, на котором строится всё здание прогнозирования. Можно построить самую изящную модель экспоненциального сглаживания, но если на вход подать "грязные" данные с пропусками, выбросами и неучтёнными факторами, результат будет предсказуемо плохим.

В этой статье мы разберём пошаговый процесс подготовки данных для прогнозирования — от сбора до финальной проверки качества.

 1. Сбор данных: где и что искать?

Первый и самый очевидный этап — собрать все необходимые данные. Но на практике именно здесь возникает большинство проблем.

Источники данных для прогнозирования

Данные для прогноза могут поступать из разных систем:

• Учётные системы: 1С, SAP, Oracle (данные о продажах, отгрузках, остатках)

• BI-системы: Qlik Sense, QlikView, Tableau (агрегированные данные)

• CRM-системы: информация о клиентах, воронке продаж

• Маркетинговые системы: данные о рекламных кампаниях, промо-акциях

• Внешние источники: рыночная статистика, данные конкурентов, макроэкономические показатели

• Excel-отчёты: часто самый недооценённый, но распространённый источник

Основные проблемы сбора данных

Практический совет: Начните с инвентаризации всех источников данных, которые потенциально могут влиять на спрос. Создайте реестр источников с указанием ответственного лица и периодичности обновления.

 2. ETL-процесс: извлечение, трансформация, загрузка

После того как источники определены, начинается ETL-процесс (Extract, Transform, Load) — извлечение, трансформация и загрузка данных.

 Извлечение (Extract)

На этом этапе данные выгружаются из источников в сыром виде. Важно:

• Определить периодичность: ежедневно, еженедельно, ежемесячно

• Установить технические соединения: API, ODBC, прямые выгрузки

• Контролировать объём: не перегружать системы, выбирать только нужные поля

 Трансформация (Transform)

Самый важный и трудоёмкий этап. Здесь данные:

• Очищаются от ошибок и дублей

• Нормализуются к единым форматам

• Агрегируются до нужного уровня детализации

• Обогащаются дополнительными признаками

Пример: выгружены данные по продажам за 3 года. На этапе трансформации нужно:

• Привести все даты к единому формату (ДД.ММ.ГГГГ)

• Пересчитать суммы в единую валюту

• Удалить тестовые и служебные записи

• Создать признаки: месяц, квартал, день недели, праздничные дни

Загрузка (Load)

Очищенные и структурированные данные загружаются в целевое хранилище — базу данных, OLAP-куб или просто в Excel-таблицу для дальнейшего прогнозирования.

 3. Очистка данных: удаляем "мусор"

На этом этапе мы избавляемся от того, что может исказить прогноз.

Удаление дублей

Проверьте, нет ли в вашем наборе повторяющихся записей. Это особенно актуально, если данные собираются из нескольких источников.

 Проверка на пропуски (Null, пустые значения)

Пропуски могут быть:

• Случайными: технический сбой, ошибка ввода

• Системными: товар не продавался в определённый период

Для каждого пропуска нужно принять решение: заполнить (например, средним значением) или оставить как есть (если это действительно нулевые продажи).

Выявление выбросов

Выбросы — это значения, которые сильно отклоняются от общего паттерна. Они могут быть вызваны:

• Ошибками ввода (например, продажа 10 000 единиц вместо 100)

• Реальными событиями (акция, дефицит поставки)

О том, как правильно работать с выбросами, мы подробно поговорим в следующей статье.

 Проверка логической целостности

• Отрицательные продажи? — ошибка.

• Продажи в будущем? — ошибка.

• Цена ниже себестоимости в 100 раз? — скорее всего, ошибка.

 4. Подготовка факторов прогнозирования

Прогноз редко строится только на исторических продажах. На спрос влияют десятки факторов — внутренних и внешних. Их учёт значительно повышает точность прогноза.

Внутренние факторы

• Ценовая политика

• Промо-акции и скидки

• Маркетинговые кампании

• Ассортиментные изменения

• Вывод новых товаров

Внешние факторы

• Сезонность

• Макроэкономические показатели (инфляция, курс валют)

• Погодные условия

• Акции конкурентов

• Праздничные дни

Важно: Не все факторы одинаково влияют на ваш бизнес. Задача аналитика — отобрать действительно значимые факторы и корректно интегрировать их в модель.

 5. Проверка качества подготовленных данных

Перед тем как запускать прогнозную модель, обязательно проверьте:

1. Полнота данных: все ли периоды покрыты?

2. Согласованность: совпадают ли итоги на разных уровнях детализации?

3. Актуальность: данные не устарели? (используйте самые свежие данные)

4. Стабильность: нет ли резких, необъяснимых скачков?

6. Создание групп прогнозирования

Не все товары или клиенты нужно прогнозировать одинаково. Товары с высокой долей в обороте требуют индивидуального подхода, а "хвост" можно прогнозировать агрегированно.

Для группировки обычно используют:

• ABC-анализ — по доле в обороте или прибыли

• XYZ-анализ — по стабильности спроса

Подробнее про XYZ-анализ

На основе этих классификаций формируются группы прогнозирования, для которых выбираются разные модели и методы.

Каждый этап критически важен. Пропуск одного из них — и вы рискуете получить прогноз, который будет не просто неточным, а вредным для принятия бизнес-решений.

Когда вы подготовите свои данные можно прочитать статью:

Что такое прогнозирование продаж и зачем оно бизнесу?

Точных Вам прогнозов!