24.05.2026
Сравнение «до» и «после» — интуитивно понятный способ оценить эффект от любого действия. Переверстали сайт, сменили поставщика, внедрили новый процесс — хочется посмотреть на цифры и сделать вывод. Проблема в том, что большинство таких сравнений построены на шатком фундаменте. Базовая точка выбрана неверно, и выводы получаются либо слишком оптимистичными, либо необоснованно мрачными.
Человеческий мозг склонен к подтверждению своих ожиданий. Если изменения затратные и болезненные, подсознательно хочется увидеть положительный результат. Для этого доставероятно выбрать для сравнения неудачный период — например, месяц с аномально низким трафиком из-за технического сбоя или сезонного спада. И наоборот: чтобы доказать бесполезность чужой инициативы, берут в качестве базы рекордный месяц.
Обе ситуации — манипуляция, причём часто неосознанная. Человек честно верит, что сравнивает корректно, потому что цифры взяты из реальной отчётности. Но контекст вокруг этих цифр проигнорирован.
В январе упали продажи — внесли изменения в феврале, и в марте продажи выросли. Кажется, изменения сработали. Но если посмотреть данные за прошлый год, окажется, что январь всегда провальный из-за новогодних праздников, а март — традиционный пик. Рост был бы и без вмешательства.
Неделя или две до изменений — ненадёжная база. На таком отрезке легко попасть на случайный всплеск или провал. Минимальный горизонт для большинства бизнес-метрик — месяц, а лучше два-три. За это время проступает реальная картина, сглаженная от недельных колебаний.
Если метрика три месяца подряд росла на 5% ежемесячно, а после изменений рост составил те же 5%, это не значит, что изменения не сработали. Возможно, без них рост бы замедлился или прекратился. Но это невозможно увидеть без понимания существующего тренда.
Конкурент ушёл с рынка, изменился алгоритм поисковой системы, вышло новое законодательство, наступила ранняя весна — всё это влияет на метрики и не имеет отношения к вашим изменениям. Если базовый период и период «после» попадают в разные внешние условия, сравнение некорректно.
Надёжное сравнение строится на нескольких простых принципах, которые требуют дисциплины rather than сложных инструментов.
Когда возникает необходимость сравнить «до» и «после», имеет смысл действовать по чёткой последовательности.
Бывают ситуации, где «до/после» принципиально не даёт ответа. Например, если изменения затронули только часть аудитории. Сравнение общих средних значений размывает эффект: улучшение в одной группе может быть компенсировано ухудшением в другой. Тему «до изменений и после» проверьте через инструмент поисковой аналитики.
В таких случаях нужен другой подход — разделение на сегменты или A/B-тестирование. Но это не отменяет правил выбора базы: каждая группа сравнивается с собой, по тем же принципам сопоставимости периодов.
Правильная точка сравнения — это не про академическую щепетильность. Это про практическую пользу. Ложный положительный результат ведёт к тиражированию неэффективных решений. Ложный отрицательный — к отказу от работающих подходов. В обоих случаях ресурсы тратятся впустую.
Фиксация методологии сравнения до того, как станут известны результаты «после», — простейший способ защитить себя от предвзятости. Записали, какую базу берёте и почему. Потом увидели результат. Если результат не нравится — базу менять уже поздно.
Если после всех корректировок результат остаётся неоднозначным, честный вывод — «недостаточно данных», а не «изменения не сработали». Недостаточность данных — это тоже результат, и он полезнее ложной определённости.
| Что проверяете | Минимальная база «до» | С чем сравнивать |
|---|---|---|
| Дневной трафик сайта | Несколько сопоставимых недель | Соответствующие дни недели из сопоставимого сезона |
| Ежемесячные продажи | Несколько месяцев с учётом сезонности | Тот же месяц прошлого года + тренд |
| Конверсия лендинга | Период с достаточным стабильным трафиком | Следующий сопоставимый период с достаточным трафиком |
| Время ответа поддержки | Период с типичной нагрузкой | Следующий сопоставимый период с учётом нагрузки |
Нет универсального правила, которое подошло бы всем. Но есть универсальный вопрос, который стоит задавать перед каждым сравнением: «Если бы я ничего не менял, какой результат я бы увидел?» Если на этот вопрос нет ответа — сравнение преждевременно.