Один звонок, два оценщика, разница в 14 баллов
Входящая линия поддержки, команда 34 оператора, выделенный оценщик QA и два супервайзера групп. Одну и ту же запись — обращение по неверно списанной сумме, семь минут — дали послушать всем трём. По одной форме, в один день. Оценки: 91, 84, 77.
Обычная реакция руководителя — собрать троих и «договориться». Реакция, которую предлагает эта лекция, другая: вы только что измерили свой измерительный прибор и получили его погрешность. Разброс в 14 баллов — это не спор о вежливости. Это характеристика вашей системы контроля качества, и она действует на все оценки, которые эта система когда-либо выставила.
Шестнадцать тем этой лекции — про оценку звонка как измерительный прибор. У прибора есть погрешность, у погрешности — источники, и часть источников устраняется конструкцией, а часть не устраняется вообще. Главный вывод, из которого растёт остальное: типовая система контроля качества измеряет оценщика сильнее, чем оператора, и это доказано числами, а не мнением.
Есть: устройство формы оценки, три способа посчитать согласие оценщиков и понять, какому числу верить, арифметика выборки с формулами и таблицами, процедура калибровки, порядок работы с самооценкой оператора, правовой контур оценки работника по записи.
Нет: нормативов Service Level, AHT, FCR и CSAT — это отдельная лекция о метриках колл-центра. Нет конструкции премиальной схемы — это лекция о премировании операторов. Нет процедуры взыскания, аттестации и увольнения — это лекция о работе с отстающими. Нет права записывать разговор с абонентом — это лекция «Звонки по закону». Здесь о другом праве: оценивать работника по уже сделанной записи.
Числа в лекции двух сортов, и они честно разделены. Одни взяты из метаанализов и полевых исследований — с авторами, годом и оговоркой, где источники расходятся. Другие посчитаны по учебным формулам точности выборки, и для них дан сам расчёт, чтобы вы подставили своё значение разброса вместо примера.
Оценщик согласен с собой, но не с коллегой
Начнём с пары чисел, которая переворачивает привычный взгляд на спор оценщиков. Висвесваран, Онс и Шмидт свели в метаанализе надёжность оценок рабочего результата и посчитали её двумя разными способами.
Наблюдённое значение, взвешенное по размеру выборки. Двое смотрят на одного и того же человека и сходятся примерно наполовину.
Тот же оценщик, тот же объект, повторная оценка. Сам с собой человек согласен хорошо.
Вывод авторов прямой: основной источник ошибки в оценках руководителя — идиосинкразическое восприятие результата конкретным оценщиком. Оценщик не шумит случайно. Он устойчив: воспроизводит сам себя при повторном прослушивании. Но шкала, по которой он устойчив, — его личная.
Оператор получает не оценку звонка. Он получает оценку звонка этим человеком. И если завтра ту же запись слушает другой оценщик, цифра будет другой — не потому, что кто-то из двоих халтурит, а потому, что так устроено измерение суждением.
Ещё один факт из того же метаанализа полезен при выборе, кто оценивает: оценки руководителей согласованнее между собой, чем оценки коллег. Прослушка «operator peer review», где звонки друг другу оценивают сами операторы, ощущается как развивающая практика, но как измерение она хуже.
Одной цифры здесь нет, и это важно
Число 0,52 живёт в литературе тридцать лет и за это время уточнялось. Вот вся картина честно, потому что руководителю, который будет этой цифрой аргументировать, придётся отвечать на вопросы.
| Источник | Что получилось | Оговорка |
|---|---|---|
| Висвесваран, Онс, Шмидт, 1996 | 0,52 наблюдённая | Работа Ротштейна (1990) дала около 75 % суммарной выборки — цифра в большой мере определена одним исследованием |
| Сальгадо и соавторы, 2003; Сальгадо и Тауриз, 2014 | То же 0,52 на независимых базах | В гражданских профессиях выше — около 0,64 |
| Спир и соавторы, 2024; Чжоу и соавторы, 2024 | 0,65 в двух независимых метаанализах | Свежие данные, верхняя граница диапазона |
| Вилмот и соавторы, 2014 | Уточнение смысла | 0,52 — надёжность одношкальной оценки общего результата, не многокритериальной формы |
Честная формулировка звучит так: два оценщика об одном работнике сходятся на уровне 0,52–0,65 в зависимости от того, чей метаанализ брать. И дальше — то, что верно при любой цифре из диапазона: даже верхняя граница означает, что примерно треть разброса оценки к оператору отношения не имеет.
Все исследования базы 1996 года — США и Канада, только опубликованные работы. Это оценки рабочего результата вообще, а не оценки звонков по чек-листу. Механизм переносится: там, где измеряют суждением, оценщик вносит свою долю. Точная величина для вашей команды берётся не отсюда, а из собственного замера — им занимается тема про калибровку.
Дальше нужен аккаунт
Прогресс и монеты сохранятся.