A/B-тесты и статистическая значимость
«Вариант B победил» — это не вывод, а заявка на вывод. Между зелёной ячейкой в отчёте и решением поменять продукт стоит десяток проверок, и почти любая из них способна отменить результат. Эта лекция — про них.
Начать стоит с неприятного факта о профессии. Только около трети идей, протестированных на платформе экспериментов Microsoft, улучшали метрику, ради которой затевались; разбивка ровная — треть значимый плюс, треть отсутствие значимой разницы, треть значимый минус. В Google и Bing положительный результат дают 10–20% контролируемых экспериментов. Мы очень плохо предсказываем, что сработает у людей, — и именно поэтому инструмент, отличающий работающую идею от неработающей, обязан быть надёжнее самой идеи.
17 тем, в каждой — проверка на понимание. Опора: Kohavi, Tang, Xu «Trustworthy Online Controlled Experiments» (2020); заявление Американской статистической ассоциации о p-value (The American Statistician, 07.03.2016); Johari, Koomen, Pekelis, Walsh «Peeking at A/B Tests» (KDD '17); Fabijan et al. о sample ratio mismatch (KDD 2019); Kohavi & Thomke в Harvard Business Review (сентябрь–октябрь 2017); симуляции Optimizely; работа о расходящейся доставке в рекламных экспериментах (arXiv:2508.21251, 2025); обучающие материалы Яндекса для рекламодателей и справки Директ Про, Вариокуба и VK Рекламы. Материал собран на 24 августа 2026 года.
Выборка считается до запуска. В знаменателе формулы стоит квадрат искомого эффекта: уменьшили эффект, который хотим заметить, вдвое — нужная выборка выросла вчетверо. Поэтому маленькая правка на маленьком трафике непроверяема в принципе, а не «плохо проверяема».
p-value — утверждение про данные, а не про вашу гипотезу. «p = 0,03» значит «если бы разницы не было, данные вроде этих или ещё более крайние выпадали бы в 3 случаях из 100». Это не вероятность того, что вариант B лучше, и не вероятность того, что результат случаен.
Каждый лишний взгляд в дашборд — отдельная попытка пройти порог. Тест, который вы считали пятипроцентным по риску ложного вывода, при регулярном подглядывании работает с риском в разы выше.
Две группы объявлений в одной кампании — не A/B-тест. Площадка смещает показы и бюджет в сторону раннего лидера, а алгоритм доставки старается показать каждый вариант «своей идеальной» аудитории. Сравниваются два креатива на двух разных выборках.
Тема письма и отправитель в рассылке, объявление и посадочная в контекстной рекламе, креатив и аудитория в таргете, экран и сценарий в продукте. Статистика в них одна и та же, а вот ограничения разные: в рассылке выборка конечна и не «набежит завтра», в рекламном кабинете за деление аудитории отвечаете не вы, а аукцион.
Уровень — продвинутый по практике и нулевой по статистике: предполагается, что вы уже запускали тесты и видели отчёты кабинетов, но не обязаны помнить, что такое дисперсия. Всё, что нужно, разбирается здесь с нуля.
Почему тест, а не мнение: восемь идей из десяти не работают
Спор «как лучше — так или так» почти всегда выигрывает тот, кто выше по должности или громче говорит. Проблема не в несправедливости, а в точности: данные о том, кто прав в таких спорах, собраны, и они неутешительны для всех участников независимо от должности.
По публикациям Microsoft, только около трети идей, протестированных на платформе экспериментов, улучшали метрику, ради которой затевались. В докладе Kohavi «Online Controlled Experiments: Lessons from Running A/B/n Tests for 12 years» (KDD 2015) разбивка ровная.
В Google и Bing положительный результат дают 10–20% контролируемых экспериментов (Kohavi и Thomke, Harvard Business Review, сентябрь–октябрь 2017). По отдельным компаниям цифры расходятся и живут в пересказах выступлений, поэтому осторожная формулировка звучит так: в зрелых продуктах доля удачных гипотез падает до 10–15%. Единственная компания, у которой это опубликовано напрямую, — Spotify: около 12% выигравших экспериментов при доле «из которых мы что-то поняли» около 64%.
Идея, пролежавшая полгода в конце очереди
Хронология одного эксперимента Bing разобрана в статье Kohavi и Thomke и в первой главе «Trustworthy Online Controlled Experiments».
В истории Bing на десятки тысяч экспериментов пришлось всего два, изменивших выручку больше чем на 10%. Кейс с заголовком — один из этих двух. Это не «вот что бывает от простого теста», это исключение, названное исключением.
Практическая польза кейса в другом: приоритет идеи, выставленный экспертным мнением, не имел никакого отношения к её реальной ценности. Дешёвую в реализации гипотезу дешевле проверить, чем обсуждать.
Отсюда ориентир, который стоит держать в голове при чтении любого отчёта, включая свой: доля выигрышных тестов в хорошо работающей программе экспериментов — 10–30%. Команда, которая рапортует 50–60% побед с приростами больше 20%, почти наверняка меряет шум. Высокая доля побед — красный флаг, а не повод для гордости.
Но чтобы отличить находку от шума, нужно сначала договориться, что именно проверяется. С этого и начинается дизайн эксперимента.
Дальше нужен аккаунт
Прогресс и монеты сохранятся.