Лекция «Контроль качества разговоров — оценка звонка как измерительный прибор: форма, выборка, калибровка оценщиков»

Около 55 минут на 16 тем. Прогресс сохраняется, поэтому лекцию можно проходить частями и возвращаться к ней позже.

Начало — да: первые 1 тема открыты сразу, без регистрации. После бесплатной регистрации откроются темы до 2-й — вместе с частью из 39 тестов и монетами за верные ответы. Полная лекция — 99 ₽ навсегда, либо подписка на все лекции платформы от 499 ₽ в месяц.

Шестнадцать тем об оценке звонка как об измерительном приборе. Отправная точка — пара чисел из метаанализа Висвесварана, Онс и Шмидта: межоценочная надёжность 0,52 при внутриоценочной выше 0,80, то есть оценщик устойчиво воспроизводит сам себя, но шкала у него личная. Величина подаётся диапазоном 0,52–0,65, потому что метаанализы расходятся: цифра 1996 года на три четверти определена одной работой Ротштейна, независимые базы Сальгадо дали те же 0,52, а два метаанализа 2024 года — 0,65. Рядом разложение разброса из работы Скаллена, Маунта и Гоффа: 62 и 53 процента приходится на идиосинкразию оценщика, причём перевес над разбросом оцениваемого наименьший у руководителей и наибольший у коллег — отсюда прямой аргумент против взаимной прослушки операторов. Конструкция формы выведена из этого же: наблюдаемое поведение, одно поведение на пункт, двоичный ответ там, где поведение не градуировано, опция «не применимо», проверяемость по одной записи, а автопровал устроен как порог, а не как вес. Метаанализ Сальгадо и Москосо показывает, что детализация формы помогает при исследовательской цели (0,70 против 0,63) и перестаёт помогать при административной (0,45 в обоих случаях), а главный разрез той же работы — падение надёжности с 0,61 до 0,45, как только оценка идёт в кадровое решение. Механика измерения согласия дана целиком: почему доля совпадений в 91 процент при перекошенной форме не значит ничего, как работает поправка на случайное согласие, что такое два парадокса Файнстайна и Чиккетти и почему позиция Ваха 2005 года противоположна. Пороги Лэндиса–Коха и Криппендорфа приведены таблицами и тут же помечены как конвенции: на одних данных невзвешенная каппа дала 0,53, линейно взвешенная 0,63, квадратично взвешенная 0,74. Практическое ядро — арифметика выборки: формула SE = SD / √n с подстановкой, таблица ширины интервала для трёх значений разброса и десяти объёмов, таблица необходимого объёма для интервала ±5 баллов и таблица размера выборки для различения двух операторов, из которой следует, что месячный рейтинг на четырёх звонках не различает людей, отличающихся меньше чем на пятнадцать баллов. Невозможность слушать 23 звонка на человека разобрана как перестройка задачи: диагностика группы, обучение по одному звонку, накопление периода, порог вместо шкалы. Дальше — шесть способов отбора звонков и цена каждого, направление связи из работы Бхаве о частоте контроля, три свойства контроля из исследования Холмана и соавторов на 347 операторах, порядок работы с самооценкой, выведенный из противоречия между Стилом и находкой Шора и Ташчяна, калибровка как процедура замера с эталонной разметкой, обмен между согласованностью и дешевизной имитации пункта и правовой контур: пункт 1 статьи 86 ТК как основание, пункт 6 той же статьи как безусловный запрет автоматического решения, статья 16 закона о персональных данных, два ознакомления под роспись и рабочий минимум документов.

Скорее всего нет. Расхождение двух оценщиков — нормальное свойство измерения суждением, и его величина известна по литературе: два оценщика об одном работнике сходятся на уровне 0,52–0,65 в зависимости от метаанализа, тогда как сам с собой оценщик согласен выше 0,80. То есть каждый из них устойчиво воспроизводит собственную шкалу, и обе шкалы личные. Практический ход тут не «выяснить, кто прав», а посмотреть на разбивку расхождения по пунктам формы: пункт, на котором оценщики расходятся сильнее всего, почти всегда дефект формулировки этого пункта, а не дефект людей. Его переписывают по правилам конструкции — наблюдаемое поведение вместо свойства человека, одно поведение на пункт, обязательная опция «не применимо», проверяемость по одной записи — и проверяют следующим замером. Три-четыре таких круга убирают из формы основную часть спорных мест. И отдельно: если каждый супервайзер оценивает только свою группу, его смещение полностью совпадает с делением на группы, и сравнивать группы между собой по такой оценке нельзя ни при каком объёме прослушки.

Единого норматива не существует, и в лекции его намеренно нет: число выводится из разброса оценок в вашей команде и из того, какой вопрос вы задаёте. Разброс измеряется за полчаса — берёте одного оператора, 20–30 его оценённых звонков, считаете стандартное отклонение баллов. Дальше подставляете в SE = SD / √n и получаете ширину интервала ±1,96 × SE. При разбросе в 12 баллов и четырёх звонках оператор с оценкой 82 находится где-то между 70 и 94, а чтобы сузить интервал до ±5 баллов, нужно 23 звонка на человека. Если задача — не оценить человека, а различить двоих, объём ещё больше: разница в 10 баллов требует 23 звонков на каждого, разница в 5 баллов — 91. При команде в 40 человек первое означает 920 оценённых звонков в месяц, то есть четырёх оценщиков на полной загрузке. Вывод из этих таблиц не в том, чтобы найти компромиссную цифру, а в том, чтобы перестать строить сплошной персональный рейтинг и переложить те же часы на диагностику группы, разбор конкретных звонков и порог «есть проблема — нет проблемы», который различает 20 баллов разницы уже на шести звонках.

Юридического запрета здесь нет, но у такого решения есть измеренная цена. В метаанализе Сальгадо и Москосо межоценочная надёжность оценок при административной цели, то есть когда оценка идёт в кадровое решение, составила 0,45 против 0,61 при исследовательской цели, и разрыв после исправления равен 0,24 по всем трём измерениям результата. Механизм не в том, что оценщик хочет занизить или завысить: оценка, от которой зависит чужая зарплата, ставится осторожнее, с оглядкой на защищаемость перед спором и с личными допущениями о справедливости. Детализация формы эту потерю не компенсирует — в том же метаанализе многопунктовая форма выигрывала у одношкальной при исследовательской цели (0,70 против 0,63) и не выигрывала ничего при административной (0,45 в обоих случаях). Оговорка обязательна: административных выборок мало, k = 18 и k = 6, поэтому вывод направленный, а цифру корректно подавать как «в этом метаанализе». Отдельный риск связан не с надёжностью, а с содержанием формы: чем сильнее оценка завязана на деньги, тем точнее оператор оптимизирует ровно то, что оплачено, — и если в форме преобладают дёшево имитируемые пункты вроде «произнёс завершающую фразу», премиальная схема превратится в тренажёр произнесения фраз. Конструирование самой схемы разбирает отдельная лекция про премирование операторов.

Как вход в решение — да, как основание решения — нет. Пункт 6 статьи 86 Трудового кодекса говорит прямо: при принятии решений, затрагивающих интересы работника, работодатель не имеет права основываться на персональных данных работника, полученных исключительно в результате их автоматизированной обработки или электронного получения. Здесь важна деталь, которую часто упускают: статья 16 закона «О персональных данных» допускает решение на основании исключительно автоматизированной обработки при наличии согласия субъекта в письменной форме, а у пункта 6 статьи 86 ТК исключений нет вовсе — формулировка запрета безусловная. В трудовых отношениях норма строже, и подпись работника её не снимает. Практически это означает, что между баллом алгоритма и последствием для оператора обязан стоять человек, который посмотрел запись и принял решение сам. Что именно автоматический разбор ловит и чего не ловит — отдельная лекция про речевую аналитику.