Значимый A/B-тест при реальном росте конверсии на 2% способен показать в отчёте 7,37% — если мощность A/B-теста составляет лишь 10%. Формально p-value будет в порядке, но бизнес-прогноз окажется завышен почти в 3,7 раза: именно такой риск разбирает Habr / Карьера на примере продуктовых экспериментов.
Сценарий знаком любой продуктовой команде: новый экран заказа даёт +6% к конверсии при p-value 0,03, вариант выкатывают на всех пользователей, а через квартал обещанного эффекта в выручке уже не видно. Обычно начинают искать внешние причины — сезонность, конкурирующие релизы, угасание новизны. Но часть расхождений появляется ещё до релиза: команда выбирает для прогноза только те результаты, которым повезло пройти статистический порог.
Этот эффект называют проклятием победителя, или Winner’s Curse. Оценка эффекта в одном тесте сама по себе может быть несмещённой: если многократно повторять эксперимент, среднее значение сойдётся с реальным. Проблема возникает после фильтрации. В презентацию попадают только положительные результаты с достаточной статистической значимостью, а тесты с более скромной, но близкой к истине оценкой остаются в папке «нет результата». Шум не исчезает — он просто становится условием попадания в отчёт.
Автор исходного разбора приводит расчёт для базовой конверсии 5% и 44 137 пользователей в каждой группе. Если настоящий относительный рост равен 2%, стандартная ошибка оценки составляет около 2,93%. Для двустороннего теста на уровне 5% наблюдаемый рост должен превысить примерно 5,75%, чтобы стать значимым в ожидаемую сторону. То есть честная оценка около 2% почти наверняка не попадёт в категорию «успешных»: значимым окажется либо необычно удачный прогон, либо редкий результат с неправильным знаком.
Симуляция 200 тысяч экспериментов показывает масштаб проблемы. При мощности 10% средний рост среди «победителей» составил 7,37% при настоящем эффекте 2%; при мощности 20% — 4,57%; при 30% — 3,65%. Даже 50% мощности дают среднюю оценку 2,83%, то есть завышение на 41%. Более привычный стандарт в 80% заметно безопаснее, но не магический: победившие варианты в среднем показывают 2,26% вместо 2%. Для решения «выкатывать или нет» это может быть приемлемой погрешностью, а для годового плана по выручке — уже вполне материальной.
Похожая ловушка видна и в опубликованных исследованиях. В работе Бисваса, Абелл и Чако, вышедшей онлайн в Journal of Consumer Research в декабре 2023 года, скругление веб-элементов связывали с ростом CTR на 55% при p-value 0,037 и выборке 919 визитов. Позже Рон Кохави, Эндрю Гельман, Гуидо Имбенс и соавторы перепроверили идею в трёх тестах с аудиторией более чем в две тысячи раз больше. Они получили оценки 0,16%, 0,29% и 0,73%, причём доверительные интервалы включали ноль. В материалах KDD 2026 та же группа описала восемь тестов четырёх популярных приёмов с медианой 2,4 млн пользователей на эксперимент: значимый ожидаемый эффект появился лишь в двух случаях.
Для аналитиков и разработчиков вывод не сводится к призыву бесконечно наращивать трафик. Пользователи — ограниченный ресурс, а эффект в ключевой бизнес-метрике иногда слишком мал, чтобы измерить его за разумный срок. Поэтому до запуска теста полезно фиксировать минимально интересный для бизнеса эффект и рассчитывать выборку именно от него, а не от желаемого результата. После победы стоит смотреть не только на p-value, но и на доверительный интервал, плановую мощность, повторный эксперимент и прогноз с поправкой на завышение. Если тест прошёл порог лишь потому, что оценка оказалась в верхнем хвосте шума, переносить эту цифру в финансовую модель без дисконта — дорогая форма оптимизма.
Главный вопрос для команд теперь не «есть ли значимость», а «какая часть наблюдаемого роста переживёт следующий запуск». Чем ниже мощность A/B-теста, тем менее честно воспринимать результат как готовое обещание бизнесу. Зелёная строка в дашборде остаётся полезным сигналом — просто ей не стоит выдавать доверенность на квартальный план.