Лекция

Приёмка — это проверка состояния, а не правка

Автор прислал текст. Дальше редактор делает одно из двух, и разница между ними решает всё остальное. Либо он открывает файл и начинает поправлять — здесь слово, тут абзац местами, вот этот заголовок переписать. Либо он читает текст целиком, сверяет его с заранее записанным перечнем и ставит одно решение: принято или на доработку.

Первый способ выглядит быстрее и добрее. У него два последствия, которые проявляются не сразу. Редактор выполняет работу автора — и получает её насовсем. А в системе не остаётся ни одной независимой проверки: тот, кто правил, уже не может проверить.

Три числа, вокруг которых собрана лекция

23,0%
доля работ, по которым два независимых комитета, читавшие одно и то же, дали разные решения — эксперимент на 882 продублированных материалах
61%
доля газетных материалов, в которых названные там же источники нашли хотя бы одну ошибку; отдельно фактических — 48% (Maier, 3 287 материалов)
171 проект
крупнейшая проверка правила «чем позже поймали, тем дороже»: подтверждений эффекта не найдено

Первое число говорит, что экспертная приёмка без общих критериев близка к жребию сильнее, чем принято думать. Второе — что ошибки доживают до публикации в половине материалов и это измеряли семьдесят лет подряд с одинаковым результатом. Третье — что самый популярный аргумент в пользу ранней проверки держится на таблице, у которой нет первоисточника.

Что внутри

  • Почему приёмка без критериев случайна. Замер разброса решений у двух независимых комитетов. Асимметрия отказа и приёма. Три условия, без которых перечень критериев не повышает согласованность. И перечень оснований, на которые приёмку опирать нельзя.
  • Режим приёмки и устройство перечня. Разница между «иду по списку и делаю» и «работа сделана, я сверяю состояние» — из отчёта NASA о полётных чек-листах. Замер на 215 тысячах операций, в котором чек-лист не дал ничего. Правила расположения пунктов и формулировка пункта, на который два редактора отвечают одинаково.
  • Проходы, которые не делаются попутно. Слой фактов: сколько ошибок доживает до публикации и какие три типа встречаются чаще всего. Насколько редко их потом исправляют. Что меняется, когда черновик писала модель, и почему детектор машинного текста не годится в доказательство.
  • Решение, право и документ. Четыре вида правки как готовая шкала вмешательства. Статья 720 Гражданского кодекса и цена молчаливого «принято». Льготный срок в одну четвёртую и потолок ответственности автора. Минимальный состав письма приёмки.
Чем эти числа не являются

Оговорка, которая действует на всю лекцию. Ни одна цифра здесь не измерена на русскоязычных коммерческих редакциях. Замеры взяты из рецензирования научных статей, американской газетной журналистики, хирургии и авиации. Это переносимые механизмы, а не отраслевая статистика редактуры — и ниже каждый раз сказано, что именно переносится.

Соседние темы разобраны в других лекциях каталога и здесь только называются: порядок редакторского прохода по уровням, постановка задачи автору и полезное действие, формулировки замечаний и тон комментария, работа с правками от заказчика.

Тема 1 из 18 · Почему приёмка без критериев случайна

Два редактора, один текст, разные решения

В бренд-медиа два редактора. Автор отдал материал первому — получил «слабо, переписывай вступление и половину примеров». Через неделю похожий материал попал ко второму — тот принял его почти без замечаний. Автор делает вывод: качество тут оценивают по настроению.

Проверить это на редакциях никто не пробовал. Зато проверили на рецензировании научных статей, где решение принимается тем же способом: несколько экспертов читают текст и голосуют.

Эксперимент, в котором одну работу оценивали дважды

На конференции NeurIPS в 2021 году десятую часть поданных работ продублировали и отдали двум независимым комитетам. Комитеты не знали об эксперименте и не знали друг о друге.

9 122
работы подано всего, принято 2 334 — доля приёма 25,6%
882
продублированные работы, попавшие в анализ: каждую читали два независимых комитета
203
работы, по которым комитеты дали разные решения, — 23,0% от продублированных

Двадцать три процента расхождений звучат как приговор. Но сравнивать их надо не с нулём, а с тем, что дал бы жребий при той же доле приёма.

Экспертиза против жребия: доля работ с разными решениями
Расхождение двух экспертных комитетовфактический результат эксперимента
Расхождение, которое дал бы жребий при той же доле приёма 22,7%случайная база для сравнения

Экспертная оценка лучше случайной примерно на треть по относительной величине. Не в разы. Это и есть честный ответ на вопрос, насколько приёмка «на вкус» отличается от подбрасывания монеты: отличается, но меньше, чем хочется верить.

Повтор на другой выборке

Тот же эксперимент проводили в 2014 году. Из 166 продублированных работ комитеты разошлись на 43 — это 25,9% при случайной базе 37,5%. За семь лет и на выборке в пять раз больше картина не изменилась.

Половина принятых

Самое неприятное следствие эксперимента: около половины принятых работ другой комитет отклонил бы. При доле приёма 22,7% этот показатель составил 50,6%.

Переведите на редакцию. Если текст приняли — это наполовину решение конкретного человека, а не свойство текста.

Что из этого следует для редакции

Два редактора одной редакции, читая один и тот же текст без общих записанных критериев, дадут разные решения примерно в четверти случаев. Приёмка «на вкус» — это не строгость, это разброс. И автор, получивший «не то» дважды подряд от разных людей, имеет дело не со своим качеством, а с их несогласованностью.

Отсюда не следует, что критерии сделают оценку верной. Следует только, что без них разброс не измерен и не управляем.

Два независимых комитета разошлись на 23,0% работ при случайной базе 35,1%. Какой вывод корректен?
Сравнивать 23,0% надо не с нулём, а с 35,1% — тем, что дал бы жребий при той же доле приёма. Экспертиза выигрывает, но выигрыш умеренный. Формулировка «почти не отличается» занижает результат, «бесполезна» его игнорирует, а случайная база в эксперименте посчитана именно для того, чтобы было с чем сравнивать.
Редактор говорит автору: «Я принял твой текст, значит он объективно хороший». Что в этом утверждении не сходится с данными эксперимента?
При доле приёма 22,7% показатель составил 50,6%: примерно половину принятых работ другой комитет отклонил бы. «Принято» — это в значительной части свойство принимающего, а не текста.
Главный редактор просит перенести цифру 23,0% в свою редакцию: «Значит, и у нас четверть решений случайна». Насколько это корректно?
Переносится механизм, а не число. Ни одна цифра лекции не измерена на русскоязычных коммерческих редакциях. Полный отказ от переноса тоже неверен: процедура «несколько людей независимо читают текст и голосуют» в обоих случаях одна.
Бесплатный доступ

Дальше нужен аккаунт

Прогресс и монеты сохранятся.