Лекция «Приёмка текста по критериям — как редактор решает «принято» или «на доработку», не садясь править»

Около 70 минут на 18 тем. Прогресс сохраняется, поэтому лекцию можно проходить частями и возвращаться к ней позже.

Начало — да: первые 1 тема открыты сразу, без регистрации. После бесплатной регистрации откроются темы до 2-й — вместе с частью из 51 теста и монетами за верные ответы. Полная лекция — 99 ₽ навсегда, либо подписка на все лекции платформы от 499 ₽ в месяц.

Лекция разбирает приёмку готового текста как отдельную процедуру со своим режимом, порядком и решением. Отправная точка — замер разброса: на конференции NeurIPS 2021 года десятую часть работ продублировали и отдали двум независимым комитетам; из 882 продублированных работ комитеты разошлись на 203, то есть 23,0%, при случайной базе 35,1%, а около половины принятых работ второй комитет отклонил бы. Разбор эксперимента 2014 года добавляет асимметрию: процедура хороша для опознания слабых работ и плоха для опознания сильных, и потому обосновывать пунктами нужно в первую очередь решение «принято». Обзор 75 исследований называет три условия, при которых записанные критерии повышают согласованность — аналитичность, привязка к теме и жанру, образцы и калибровка оценщиков, — и прямо оговаривает, что правоты критерии не дают. Отдельно разобрано, чем приёмку обосновывать нельзя: таблица «1 к 10 к 100» опубликованного первоисточника не имеет, а проверка эффекта на 171 проекте подтверждений не нашла. Смысловой центр взят из отчёта NASA о полётных чек-листах: список, по которому работу делают, и список, которым проверяют уже сделанную работу, устроены противоположно, и редактор, правящий на ходу, выполняет работу автора и не оставляет в системе независимой проверки. Далее — измеренный провал формального внедрения: 101 больница Онтарио, 215 тысяч операций, значимых изменений нет, при том что 90% перечней были неизменёнными образцами и обучения команды не проводилось. Из того же отчёта NASA взяты правила расположения пунктов и требование формулировать ответ как желаемое состояние. Слой фактов разобран по двум замерам с интервалом в семьдесят лет: 46% материалов с ошибкой в 1936 году и 61% в 2005-м, из них 48% чисто фактических, с тремя самыми частыми типами — искажённая цитата, неточный заголовок, неверное число; найденное и исправленное при этом расходятся на порядок. Для черновиков, написанных моделью, приведён разбор 636 ссылок из 84 текстов: 55% выдуманных у одной версии и 18% у другой, а среди настоящих ссылок 43% и 24% с существенными ошибками. Детекторы машинного текста как основание решения отвергнуты: 26% верных срабатываний у классификатора, отключённого разработчиком через полгода, и систематический перекос против неносителей языка. Решение приёмки строится по шкале четырёх видов правки: вычитка и сокращение — работа редактора, обработка решается объёмом, переделка означает, что приёмка провалилась раньше — на постановке задачи или на выборе автора. Правовая часть собрана из трёх статей Гражданского кодекса: 720 о цене молчаливого «принято» с оговоркой, что это глава о подряде, 1289 о льготном сроке в одну четвёртую и 1290 о потолке ответственности автора. Завершают лекцию минимальный состав письма приёмки и десять красных линий — перечень того, чего приёмка не обещает.

Потому что это другой режим работы, и у него два побочных эффекта. Различие описано в отчёте NASA о полётных чек-листах 1990 года. В режиме call-do-response список ведёт исполнителя по шагам: назвали пункт, выполнили, доложили статус, — и работа делается во время прохода. Авторы отмечают, что из-за устранения избыточности конфигурации ошибка легко проходит незамеченной, как только последовательность прервана, а сами такие списки обычно очень подробные и отнимают много времени. В режиме challenge-verification-response работа уже выполнена, а список используется как проверка: пункт зачитывается, статус сверяется, подтверждается вслух — работают обе избыточности, исполнения и проверки. Редактор, который правит на ходу, попадает в первый режим: он выполняет работу автора, любое прерывание теряет пункты незаметно, и независимой проверки в системе после него не остаётся, потому что правивший уже не может проверить. Приёмка — это второй режим: текст сделан, редактор сверяет состояние и фиксирует расхождение, не трогая файл. Правка при этом никуда не девается, она становится отдельным следующим шагом, и решение о ней принимается после прохода.

Скорее всего, нарушено одно из трёх условий, названных в обзоре 75 эмпирических исследований оценочных рубрик 2007 года. Дословно из абстракта: надёжность оценки повышается при использовании рубрик, особенно если они аналитические, привязанные к теме, и дополнены образцами и обучением оценщиков. Аналитичность означает, что оценка разложена по отдельным измерениям, а не сведена к одной цифре вроде «текст на 7 из 10». Привязка к теме и жанру означает, что универсальная рубрика «хороший текст» согласованности не даёт: критерии письма в рассылке и лонгрида в бренд-медиа — разные перечни. Третье условие — приложенные образцы принятого и отклонённого материала плюс сведение оценщиков между собой — единственное, которое требует времени людей, а не написания документа, и именно поэтому его выбрасывают первым. Отдельно стоит проверить второй вывод того же обзора: критерии повышают согласованность, но не делают оценку верной. Если оба редактора теперь одинаково принимают то, что принимать не стоило, перечень сработал как обещано, а чинить надо сами критерии.

Тремя основаниями, каждое из которых проверяемо. Первое правовое: по пункту 3 статьи 720 Гражданского кодекса заказчик, принявший работу без проверки, лишается права ссылаться на недостатки, которые могли быть установлены при обычном способе приёмки. Второе репутационное: ошибка выходит под именем редакции, а не автора, и, по сводке замеров точности, после публикации исправляется около 3% ошибок — то есть остаётся там же, под именем редакции. Третье производственное: переделка после вёрстки задевает дизайнера, верстальщика и того, кто согласовал дату выхода, а это уже не время редактора. Множитель «в десять или в сто раз дешевле» в этот список не входит намеренно. Таблица «1 к 10 к 100» не имеет опубликованного исследования за собой — след обрывается на внутренних учебных материалах, цитируемых через учебник, — а прямая проверка эффекта на 171 проекте, выполненном с 2006 по 2014 год, подтверждений не нашла: усилие на исправление на поздней стадии не было устойчиво или существенно больше. Направление «позже дороже» остаётся правдоподобным, выдуманы именно множители.

На основании детектора — нет. Собственный классификатор OpenAI был запущен 31 января 2023 года и отключён 20 июля того же года с формулировкой о низкой точности; по документации на запуске он верно опознавал 26% машинных текстов и при этом помечал как машинные 9% человеческих, а на текстах короче 1 000 знаков не работал вовсе. Работа 2023 года в журнале Patterns проверила семь коммерческих детекторов и показала систематический перекос: тексты неносителей английского языка устойчиво помечаются как машинные, тогда как тексты носителей опознаются верно. Механизм назван прямо — у ошибочно помеченных текстов значимо ниже перплексия, то есть детектор наказывает за бедный словарь и простой синтаксис. Те же авторы показали, что простые приёмы в запросе одновременно снимают перекос и обходят детектор. Обвинение автора в машинном тексте на основании такого инструмента — не приёмка. Проверяемо другое и без детектора: существование источника, совпадение цифры с источником, наличие в тексте того, чего в источнике нет. Разбор 636 ссылок из 84 машинных текстов даёт масштаб: 55% ссылок выдуманы у одной версии модели и 18% у другой, а среди настоящих ссылок существенные ошибки нашлись у 43% и 24% соответственно.

По шкале четырёх видов правки, принятой в русской редакторской школе. Правка-вычитка — редакционно-техническая доводка: сверка с выверенным источником, устранение опечаток, творческого вмешательства нет. Правка-сокращение — работа с объёмом. Обе относятся к работе редактора и поводом возвращать текст не являются. Правка-обработка — анализ фактического материала, устранение нарушений логических связей, работа с грамматикой, стилистикой и лексикой при сохранении индивидуального стиля автора; это пограничная зона, и решается она объёмом: два абзаца из двадцати — принято, двадцать из двадцати — на доработку. Правка-переделка — по сути пересоздание материала: у автора есть фактура, но текста нет, и нужен соавтор или литературный исполнитель. Переделка решением приёмки не является вовсе: если текст её требует, приёмка провалилась раньше — либо на постановке задачи, либо на выборе автора. Редактор, который в этом случае садится писать сам, принимает производственное решение под срок, и называть его приёмкой нельзя: разбор не состоялся, автор не узнал, что было не так, а работа перешла к редактору вместе со всеми будущими её повторениями.

Пять элементов. Решение одним словом — принято или на доработку: оно снимает неопределённость, которую создаёт разброс оценок. Перечень расхождений по пунктам, каждое сформулировано как состояние, а не как отметка «проверено». Оговорка о недостатках либо о праве предъявить их позже — это прямо следует из пункта 2 статьи 720 Гражданского кодекса: ссылаться на обнаруженные при приёмке недостатки можно, только если они оговорены в акте либо ином документе, удостоверяющем приёмку, либо там оговорена возможность предъявить требование позже. Срок доработки: для договора авторского заказа пункт 2 статьи 1289 уже устанавливает льготный срок в одну четвёртую от срока договора, то есть при месячном сроке это около недели. И наконец, что редактор доделает сам и почему — это проводит границу между обработкой и переделкой вслух. Устное «ну там пара мест не очень» правовых последствий не имеет ни по одной главе кодекса. Важная оговорка: статья 720 живёт в главе о подряде, к возмездному оказанию услуг применяется через статью 783 в части, не противоречащей главе 39, а к авторскому заказу напрямую не применяется — какая глава работает, определяется предметом конкретного договора, а не словом в его шапке.