Две школы, один продукт, 12% и 35%
Доходимость курса (completion rate, COR) — доля тех, кто дошёл до конца. Это число ставят в отчёт инвестору, в презентацию отдела продаж и в спор двух методистов о том, чей модуль виноват. И почти всегда ставят без знаменателя.
Медиана по 221 массовому открытому курсу — 12,6%, разброс от 0,7% до 52,1%. А внутри одного и того же курса доходимость бывает 18,12%, 31,32% и 34,67% одновременно: меняется только то, кого посчитали участником.
Почти всё, что продаётся как «приёмы поднятия доходимости», на масштабе не воспроизвелось. Подсказки-планы дали +29% завершения в одном полевом эксперименте — и почти ноль при проверке на 247 курсах и четверти миллиона студентов.
Устояли две вещи: дедлайны, назначенные извне, и живой человек. Обе дорогие. Обе неудобные. Поэтому их и не продают на вебинарах про рост доходимости.
- Как считается доходимость и в каком месте она врёт даже без злого умысла
- Где именно люди уходят — и почему обрыв на входе, а не в середине
- Что из вмешательств выдержало проверку на масштабе, а что усохло до нуля
- Сколько стоит один процентный пункт и как читать отчёт подрядчика
- Где метрика ломается изнутри и где упирается в закон о рекламе и в правила платных образовательных услуг
Лекция написана сразу для двух рабочих мест. Методист держит в руках конструкцию программы: длину модуля, тип проверки, обратную связь, интервалы. Продюсер держит деньги: сколько стоит поднять доходимость на пять процентных пунктов, окупится ли живой куратор, что метрика делает с возвратами. Примеры дальше чередуются между этими двумя контекстами.
Соседние лекции сюда не пересказываются. Как учатся взрослые — в лекции «Андрагогика»; продуктовая аналитика вообще, включая закон Гудхарта на продуктовом примере, — в «Продуктовых метриках». Здесь только одна метрика и её механика.
Доходимость — это дробь, а не число
Первое, что нужно сделать с любой цифрой доходимости, — спросить, что стоит в знаменателе. В сравнительном исследовании 2024 года один и тот же курс дал три разных значения.
Разрыв между крайними значениями — почти двукратный, и внутри него нет ни одной правки курса. Поменялось только определение участника.
Откуда берётся первый разрыв, известно точно: 52% зарегистрировавшихся на массовый открытый курс вообще никогда его не начинают — ни одного действия после регистрации. Эта половина целиком сидит в знаменателе «от записавшихся» и полностью выпадает из знаменателя «от активных».
Окно наблюдения — третий скрытый параметр
У курсов со свободным темпом (self-paced), где нет дат старта и финиша, знаменатель вообще не определён: человек может записаться сегодня и завершить через год. Исследователям приходится вводить произвольную отсечку — Perna с соавторами, например, считали доходимость по двухмесячному окну.
Доходимость пишется дробью с явным знаменателем и окном, а не одним числом. Это вывод из фактов выше, а не измеренный результат: ни одно исследование не обязывает так делать. Но без этих трёх параметров два числа просто несравнимы.
Считая от активных, вы вычитаете из отчёта провал на входе. А он и есть самая крупная точка потери — и единственная, до которой ваша программа ещё не успела дотронуться.
Подрядчик с 35% и конкурент с 12% могут работать одинаково хорошо. Прежде чем платить за разницу, выясните знаменатель, определение «завершил» и окно. Три вопроса, две минуты.
Дальше нужен аккаунт
Прогресс и монеты сохранятся.