Поток догадок против потока решений
На ревью бэклога спорят трое. Дизайнер уверен, что новый онбординг поднимет активацию. Аналитик считает, что дело в цене. Директор говорит: «Очевидно же, что нужен онбординг», — и на этом спор заканчивается. Через полтора месяца онбординг выкачен, активация не изменилась, а в отчёте стоит строка «гипотеза не подтвердилась».
Самое дорогое в этой истории — не потраченные полтора месяца. Дорого то, что команда не узнала ничего: ни про онбординг, ни про цену, ни про то, почему не сработало. Следующий квартал начнётся с того же спора и того же победителя.
Эта лекция — не про то, как поставить один корректный тест, и не про конверсию сайта. Она про цикл: что вообще считается гипотезой, из чего состоит проверка, по каким правилам её останавливают и кто в итоге ставит точку.
- Доля срабатывающих идей — величина внешняя и низкая. Значит объём проверок становится параметром планирования наравне со сроками.
- Гипотеза отличается от задачи и от мнения ровно одним свойством: её можно опровергнуть. Нет исхода, который её похоронит, — нет гипотезы.
- Метрика решения и все три правила остановки записываются до запуска. Правило, придуманное после взгляда на данные, — это уже объяснение, а не правило.
- Результат «эффекта нет» означает одно из трёх разных событий, и действия во всех трёх случаях разные.
- Спор с самым влиятельным человеком в комнате выигрывается не данными после, а договорённостью до.
Границы намеренно узкие. Статистику эксперимента — сколько наблюдений нужно, как читать значимость, что такое подглядывание — разбирает «A/B-тесты и значимость». Поиск утечек конверсии и приоритизацию правок интерфейса — «CRO: гипотезы роста». Технику интервью — «Кастдев-интервью». Каталог способов собрать проверку без разработки — «MVP и валидация». Здесь — цикл и решения.
Двенадцать тем, после каждой — проверка. Отвечать придётся: следующая тема открывается ответами.
Треть идей работает — и это в Microsoft
Начнём с цифры, которая меняет постановку задачи. Ронни Кохави, много лет строивший платформу экспериментов Microsoft, сформулировал её как отдельный принцип — «мы плохо оцениваем ценность идей».
«Only one third of the ideas tested on the Experimentation Platform at Microsoft improved the metric(s) they were designed to improve». И следом: «Success is even harder to find in well-optimized domains like Bing».
Это не особенность Microsoft. В том же разделе Кохави собирает свидетельства других компаний — и все они сходятся в одном порядке величин.
| Кто | Что сказано |
|---|---|
| около 10% контролируемых экспериментов приводили к изменениям в бизнесе | |
| Avinash Kaushik | «80% of the time you/we are wrong about what a customer wants» |
| Netflix | считает, что 90% того, что они пробуют, — ошибка |
| Quicken Loans, Regis Hadiaris | «I've been doing this for 5 years, and I can only "guess" the outcome of a test about 33% of the time!» |
| Etsy, Dan McKinley | «nearly everything fails»; успех с первой попытки — редкость |
| Colin McFarland | «No matter how much you think it's a no-brainer… sometimes, more often than you might think, experiment ideas simply fail» |
Вывод самого Кохави звучит так: «we are poor at assessing the value of ideas, and that is the greatest motivation for getting an objective assessment of features using controlled experiments».
Что это меняет в планировании
План «мы сделаем три доработки, и метрика вырастет» — не план. Это ставка на то, что из трёх сработает хотя бы одна. Если считать идеи независимыми испытаниями с вероятностью успеха около трети, шанс на «хотя бы одну» — примерно 70%, а на «все три» — около 4%. Команда, проверяющая четыре гипотезы в квартал, в среднем получит чуть больше одной победы. Команда, проверяющая двенадцать, — четыре.
Эти проценты — иллюстрация независимых испытаний с вероятностью 1/3, а не измеренная величина. Никто не замерял, сколько побед в квартал получает команда из двенадцати гипотез. Смысл прикидки в другом: объём проверок — такой же параметр планирования, как сроки и штат.
Продуктовый вывод из этого не «идеи плохие». Идеи нормальные — просто угадывание работает хуже, чем кажется изнутри спора.
Не обещайте, что ваши гипотезы станут точнее от правильной формулировки, шаблона или фреймворка. Ровно это обещание опровергает каждый источник выше — включая людей, которые занимались этим по пять лет на живых продуктах. Растёт не точность догадки, а скорость и честность её проверки.
Дальше нужен аккаунт
Прогресс и монеты сохранятся.