Как выбирать статистические тесты для маркетинговых экспериментов

Когда я смотрю на результаты очередного A/B-теста, который клиентская команда считает «успешным» только потому, что график красиво разошёлся на глаз, — я сразу задаю один и тот же вопрос: «А какой тест использовали?» Чаще всего ответа нет. Или звучит что-то вроде «мы просто посчитали конверсию в Excel». Проблема в том, что маркетинговый эксперимент — это не сравнение двух цифр в сводной таблице. Это проверка гипотезы с конкретным типом данных, своей дисперсией и ограничениями. Ошибка в выборе теста приводит к двум одинаково опасным исходам: либо вы заявляете о победе там, где её нет, либо хороните реально работающий вариант.

Зачем вообще подбирать тест под задачу

Распространённое заблуждение: «p-value — он везде p-value, какая разница, чем считать». На практике один и тот же показатель статистической значимости, полученный разными методами, может отвечать на совершенно разные вопросы. А если метод не соответствует природе данных — вы рискуете получить ложную уверенность в результате.

Разберём на конкретных маркетинговых метриках:

• Конверсия по клику — это доля, бинарный исход: 0 или 1. Здесь работает биномиальная логика, а не нормальное распределение.
• Средний чек — количественная непрерывная метрика, но почти всегда с правым хвостом из-за дорогих заказов.
• ROMI или CPA — отношение двух величин, где числитель и знаменатель имеют собственную вариацию. Просто взять среднее таких отношений — верный путь к нестабильным выводам.
• Время на сайте — почти всегда смещённое распределение, которое t-тест моделирует плохо.
• Многовариантный тест — здесь проблем добавляет множественность сравнений: чем больше вариантов, тем выше шанс случайно найти «победителя».

В моей практике A/B-анализа сложилась следующая рабочая схема: для пропорций и конверсий базово используется χ²-тест, для количественных метрик — t-test с оговорками на нормальность и гомогенность дисперсий, а когда данные не укладываются в стандартные предположения — перехожу к bootstrap. Для метрик-отношений вроде CPA или ROMI применяю дельта-метод или блочный bootstrap, потому что обычное сравнение средних здесь даёт сбой. Это не просто набор предпочтений — это результат проверки каждого подхода на воспроизводимость: берёшь один и тот же дата-сет, прогоняешь через разные тесты, и видишь, где выводы устойчивы, а где плывут от выборки к выборке.

С чего начинать: пять вопросов перед выбором теста

До того как открывать калькулятор или писать SQL-запрос для расчёта значимости, я всегда прохожу по короткому чек-листу из пяти вопросов. Он помогает не уйти в метод, который технически корректен, но концептуально не подходит под задачу.

• Что измеряется? Доля, среднее, медиана, отношение, счётчик? Тип метрики сразу отсекает часть неподходящих тестов.
• Независимы ли наблюдения? Если один пользователь может попасть в обе группы — тест невалиден. Это критично при некорректной настройке сплит-систем.
• Достаточно ли большой объём выборки? Малая выборка — это не только шум, но и нарушение асимптотических предпосылок многих тестов.
• Есть ли сильная асимметрия, выбросы, нули? В маркетинговых данных это норма, а не исключение. Выручка почти всегда имеет длинный хвост.
• Сравниваете два варианта или несколько? Множественные сравнения требуют поправок, иначе false discovery rate улетает в небо.

Когда на эти пять вопросов есть чёткие ответы, выбор теста становится почти механическим. Остаётся только наложить на них конкретные предпосылки метода — и принимать решение.

Какой тест подходит под тип маркетинговой метрики

1. Доли и конверсии

Это самый частый случай в маркетинговых экспериментах: CTR, конверсия в заявку, доля оплат, отказы. Метрика бинарная — событие либо произошло, либо нет. И здесь работает биномиальная природа данных.

Какие тесты применяю:

• χ²-тест — базовый инструмент для больших выборок и сравнения двух и более долей. Он проверяет, есть ли статистически значимая связь между группой и исходом. Устойчив при достаточном количестве наблюдений в каждой ячейке.
• z-тест для долей — по сути, близкий родственник χ², часто встроен в A/B-платформы. Удобен, когда нужно быстро получить доверительный интервал для разницы конверсий.
• Fisher exact test — спасает, когда выборка маленькая и событий мало. Он не опирается на асимптотику и считается точным, но вычислительно более затратен.

Когда использовать: метрика бинарная (клик/не клик, купил/не купил), сравниваются две или более групп, наблюдений достаточно для устойчивой аппроксимации.

Типичная ошибка: применение t-test к конверсиям в процентах без проверки предпосылок. Процент — это всё та же доля, просто умноженная на 100, и t-тест с его предположением о непрерывности и нормальности здесь работает некорректно.

2. Количественные метрики

Средний чек, выручка на пользователя, глубина просмотра, число сессий, число заказов на пользователя — всё это непрерывные или счётные метрики, где нас интересует центральная тенденция, обычно среднее.

Какие тесты применяю:

• t-test — классика для сравнения средних двух групп. Но он предполагает нормальность распределения и равенство дисперсий, что в маркетинге встречается редко.
• Welch t-test — более гибкий вариант, не требующий равенства дисперсий. Почти всегда предпочитаю его обычному t-тесту, если нет уверенности в гомогенности.
• Bootstrap — универсальный инструмент для тяжёлых распределений и выбросов. Не требует предположений о форме распределения, строит эмпирическое распределение разницы средних на основе перевыборок.

Когда использовать: интересует именно среднее значение, данные не слишком «рваные», один пользователь вносит один независимый вклад в метрику.

Типичная ошибка: сравнивать средний чек простым t-test, не проверив, не съедают ли результат единичные крупные покупки. Один клиент с чеком в 50 раз выше среднего может сместить среднее так, что тест покажет значимость там, где её нет. Я всегда проверяю распределение на выбросы до запуска теста.

3. Метрики-отношения

CPA, CPC, ROMI, доля затрат в выручке, LTV/CAC — это метрики, которые представляют собой дробь. И здесь кроется главная методологическая ловушка: отношение двух случайных величин имеет свою собственную дисперсию, которая не сводится к простому среднему.

Если анализировать такие метрики напрямую, как будто это обычное среднее, вывод может оказаться крайне нестабильным. При перезапуске эксперимента на тех же данных результат может измениться просто из-за вариации в знаменателе.

Какие тесты применяю:

• Дельта-метод — хорошо работает на больших выборках, аппроксимируя дисперсию отношения через разложение в ряд Тейлора.
• Блочный bootstrap — полезен, когда данных мало или структура сложная, и нужно сохранить внутригрупповые корреляции при перевыборке.

Когда использовать: метрика выглядит как «одно делим на другое», и нужно оценить разницу между агрегированными показателями.

Типичная ошибка: считать CPA по итогам двух групп и делать вывод «на глаз», без статистической оценки. Разница в 10 рублей может быть шумом, а не сигналом.

4. Непараметрические и устойчивые тесты

Когда распределение сильно отклоняется от нормального, есть выбросы, длинные хвосты или много нулей, параметрические тесты начинают врать. В маркетинге это скорее правило, чем исключение.

В таких случаях на первый план выходят:

• Mann–Whitney U — сравнивает не средние, а сдвиг распределений. Отвечает на вопрос: «значения в одной группе систематически выше или ниже, чем в другой?»
• Bootstrap — строит доверительные интервалы без жёстких предположений о распределении. Даёт устойчивый результат даже при сильной асимметрии.

Эти методы особенно полезны, когда вы имеете дело с выручкой или средним чеком — метриками, где единичные экстремальные значения могут полностью переопределить вывод параметрического теста.

Быстрый ориентир: какой тест выбрать

Собрал таблицу, которая помогает быстро сориентироваться по типу метрики и условиям эксперимента. Она не заменяет глубокого анализа, но даёт стартовую точку.

Как не ошибиться с предпосылками

Любой статистический тест — это математическая модель с набором условий, при которых её выводы корректны. Игнорирование предпосылок — одна из главных причин, почему «статистически значимый» результат не воспроизводится при повторном запуске.

Независимость наблюдений

Если один пользователь может попасть в несколько групп или видеть несколько вариантов подряд, тест ломается на фундаментальном уровне. Это частая проблема при плохой настройке сплит-системы или при использовании cookie-базированного деления без учёта кросс-девайсности.

Что проверять до запуска:

• один пользователь — одна группа, жёсткая фиксация;
• отсутствие пересечения аудиторий между вариантами;
• отсутствие повторного учёта одного и того же события.

Достаточный размер выборки

Маленькая выборка делает выводы шумными. Даже идеально подобранный тест не спасёт, если данных недостаточно для обнаружения эффекта того размера, который вы считаете практически значимым.

Перед стартом всегда рассчитываю:

• минимально значимый эффект (MDE) — какой прирост конверсии или чека я хочу поймать;
• требуемый объём выборки под этот эффект, мощность 80% и уровень значимости 5%;
• длительность теста с учётом текущего трафика.

Стабильность распределения

Если в данных есть сильные выбросы, тест на среднее может дать ложный сигнал. Один оптовый заказ на百万 в тестовой группе, и t-тест радостно рапортует о «росте среднего чека», хотя медиана не изменилась. В таких случаях перехожу на устойчивые методы: bootstrap, сравнение медиан, усечённое среднее.

Множественные сравнения

Если тестируется сразу несколько заголовков, креативов или сегментов, вероятность случайной «победы» растёт экспоненциально. При уровне значимости 5% и 20 независимых сравнениях ожидаемое число ложных открытий — 1. А на практике их может быть больше.

Что делать:

• заранее ограничивать число сравнений жёстким дизайном эксперимента;
• применять поправки на множественные проверки (Бонферрони, Холм, контроль FDR);
• не объявлять победителя после первого удачного сегмента без кросс-валидации.

Пошаговый алгоритм выбора теста

За годы тестирования у меня сложился пятишаговый алгоритм, который превращает выбор теста из «искусства» в воспроизводимую процедуру. Важно проходить шаги именно в этом порядке, до того как вы посмотрели на результаты.

Шаг 1. Определите тип метрики

Сначала ответьте на базовый вопрос: это доля, среднее, сумма или отношение? От этого зависит класс теста. Если метрика неоднозначна — например, вы считаете конверсию в заявку как отношение лидов к кликам, — определите, что именно вы сравниваете: долю лидов в трафике или само отношение.

Шаг 2. Проверьте форму данных

Посмотрите на распределение ещё до запуска теста — на исторических данных за аналогичный период. Оцените: есть ли сильная асимметрия, много ли выбросов, какова доля нулей, какой объём выборки ожидаете. Это даст понимание, насколько стандартные параметрические тесты применимы.

Шаг 3. Оцените структуру эксперимента

Убедитесь, что группы независимы и распределение трафика действительно случайное. Проверьте логи сплит-системы на предмет пересечений. Если эксперимент многовариантный — сразу закладывайте поправку на множественные сравнения.

Шаг 4. Выберите класс теста

Сопоставьте тип метрики и особенности данных:

• доли — χ² или Fisher;
• средние — t-test или Welch;
• нестандартные распределения — bootstrap;
• отношения — дельта-метод или bootstrap.

Шаг 5. Зафиксируйте правила до старта

Нельзя выбирать тест после просмотра результата. Это открывает дорогу к p-hacking — подгонке метода под желаемый вывод. Пропишите в дизайне эксперимента: какой тест используется, какой уровень значимости, какой MDE, когда останавливаем тест. Это дисциплинирует и защищает от соблазна «подкрутить» анализ.

Практические примеры

Чтобы алгоритм не остался абстракцией, приведу три типовых кейса из моей практики тестирования.

Пример 1. Тест заголовка на лендинге

Метрика: CTR кнопки.

Что использую: χ²-тест для сравнения долей.

Почему: метрика бинарная — клик либо есть, либо нет; выборки обычно большие, что обеспечивает устойчивость аппроксимации; тест напрямую отвечает на вопрос, есть ли связь между вариантом заголовка и вероятностью клика. Дополнительно строю доверительный интервал для разницы конверсий через z-тест — это даёт понимание не только значимости, но и размера эффекта.

Пример 2. Тест новой корзины

Метрика: средний чек.

Что использую: Welch t-test, если дисперсии отличаются (а они почти всегда отличаются); bootstrap, если в распределении есть сильные выбросы.

Почему: средний чек редко распределён нормально — несколько дорогих заказов могут сильно исказить результат и создать иллюзию значимости. Welch-тест снимает проблему с неравенством дисперсий, но не с выбросами. Поэтому я всегда проверяю распределение на исторических данных и при наличии хвостов перехожу на bootstrap: он строит распределение разницы средних эмпирически и не опирается на предположение о нормальности.

Пример 3. Тест нового рекламного креатива

Метрика: CPA.

Что использую: дельта-метод или bootstrap.

Почему: CPA — это отношение затрат к числу конверсий, и простое сравнение средних здесь часто даёт нестабильный результат. Вариация в знаменателе (число конверсий) может переопределить вывод. Дельта-метод аппроксимирует дисперсию отношения, а bootstrap даёт устойчивый результат без предположений о форме распределения. Выбор между ними зависит от объёма данных: на больших выборках дельта-метод быстрее и точнее, на малых — bootstrap.

Типовые ошибки, которые ломают анализ

За годы работы с клиентскими и собственными экспериментами я собрал список ошибок, которые встречаются с пугающей регулярностью:

• Выбор теста после просмотра результата. Классический p-hacking: увидели, что t-тест не дал значимости — переключились на Mann-Whitney, и он показал p=0.04. Проблема в том, что каждый такой перебор повышает вероятность ложного открытия.
• Применение t-test к долям без оснований. Проценты — это не непрерывная переменная, и t-тест здесь методологически некорректен.
• Игнорирование выбросов в выручке и чеке. Один крупный заказ может создать ложную значимость там, где её нет.
• Сравнение групп с пересекающейся аудиторией. Если пользователь видит оба варианта, наблюдения перестают быть независимыми — и любой тест теряет валидность.
• Остановка теста «когда стало красиво». Peeking — подглядывание за результатами и остановка в момент, когда p-value опустилось ниже 0.05. Это резко повышает вероятность ошибки первого рода.
• Проверка слишком многих сегментов без поправок. Разбили аудиторию на 20 сегментов, в одном нашли значимость — и объявили, что «для женщин 25–34 лет вариант B работает». Без поправки на множественность это почти гарантированно шум.
• Интерпретация p-value как вероятности истинности гипотезы. p=0.03 не означает, что с вероятностью 97% вариант B лучше. Это означает, что если бы между вариантами не было разницы, мы бы наблюдали такой или более экстремальный результат в 3% случаев.

Чек-лист перед запуском теста

Перед каждым экспериментом я прохожу по этому списку. Он занимает 10 минут, но экономит недели на перепроверку результатов.

• Метрика определена заранее и зафиксирована в дизайне.
• Понятно, что является единицей наблюдения: пользователь, сессия, заказ?
• Группы независимы — проверено по логам сплит-системы.
• Размер выборки рассчитан под ожидаемый эффект и мощность 80%.
• Порог значимости выбран до старта и зафиксирован.
• Тест под тип метрики выбран заранее, а не после сбора данных.
• Учтены выбросы и ненормальность — через визуализацию распределения на исторических данных.
• Заранее определены сегменты для анализа и правила остановки теста.

Когда одного теста мало

Статистический тест отвечает на узкий вопрос: есть ли сигнал, который вряд ли объясняется случайностью. Но для бизнес-решения этого недостаточно. Я всегда смотрю на четыре показателя вместе:

• p-value — есть ли статистический сигнал вообще;
• доверительный интервал — в каком диапазоне лежит истинный эффект. Широкий интервал при значимом p-value — повод насторожиться;
• абсолютная разница — насколько эффект важен для бизнеса в деньгах, заказах, марже;
• защитные метрики — не просела ли выручка на пользователя, маржинальность, удержание или качество лидов при росте основной метрики.

Для маркетинга это критично: рост CTR сам по себе ещё не означает рост прибыли. Я видел кейсы, где кликбейтный заголовок поднимал CTR на 20%, но средний чек и конверсия в оплату падали так, что итоговый ROMI уходил в минус. Без защитных метрик такой тест выглядит как победа, а на деле — убыток.

Вывод

Выбор статистического теста в маркетинговом эксперименте начинается не с формулы, а с понимания трёх вещей: что именно вы измеряете, как устроены ваши данные и как спроектирован эксперимент. Для долей чаще всего уместны χ²-тест и Fisher exact test, для средних — t-test или Welch, для выбросных и нестандартных данных — bootstrap, для отношений — дельта-метод или блочный bootstrap.

Если держать в голове три правила — тип метрики, размер выборки и независимость наблюдений — большая часть ошибок исчезает ещё до запуска анализа. А это и есть разница между красивым отчётом и действительно воспроизводимым экспериментом, который можно повторить на новых данных и получить те же выводы.

FAQ

Какой тест чаще всего используют в A/B-тестах маркетинга?

Для конверсий и других долей чаще всего применяют χ²-тест как наиболее устойчивый и интерпретируемый. Для количественных метрик — t-test или bootstrap, в зависимости от того, насколько данные отклоняются от нормальности и есть ли в них выбросы.

Можно ли всегда использовать t-test?

Нет. Он подходит не для всех метрик и плохо переносит сильные выбросы и ненормальные распределения. Для долей t-тест методологически некорректен, для метрик-отношений — нестабилен. Даже для количественных метрик я предпочитаю Welch-тест как минимум, а при наличии хвостов — bootstrap.

Что делать, если выборка маленькая?

Для долей использовать Fisher exact test — он не опирается на асимптотические приближения. Для сложных метрик — bootstrap, который эмпирически моделирует распределение тестовой статистики. Но иногда честнее признать: данных недостаточно, и лучше увеличить длительность теста, чем делать вывод по шумным данным.

Почему CPA и ROMI нельзя проверять как обычное среднее?

Потому что это метрики-отношения. Их распределение и дисперсия ведут себя иначе: вариация в знаменателе может резко изменить итоговое значение, даже если числитель стабилен. Обычное сравнение средних таких отношений часто даёт нестабильный и невоспроизводимый результат — поэтому нужны специализированные методы вроде дельта-метода.

Что важнее: p-value или практический эффект?

Оба показателя важны, но для бизнеса решающим обычно становится размер эффекта. Можно получить статистически значимый прирост конверсии на 0.1%, который при объёмах трафика в миллион визитов будет заметен, а при тысяче — не окупит затраты на тестирование. Поэтому я всегда смотрю на p-value в связке с доверительным интервалом и абсолютной разницей в деньгах.