Лекция

Быстро и ровно то, что не работает

Ускорение от нейросети измерено, но оно неравномерное, а цена ошибки платится не там, где выигрывается скорость. В контролируемом эксперименте письменные задачи выполнялись на 40% быстрее при росте оценки качества на 18%. В другом эксперименте те же модели на задаче, специально выведенной за пределы их возможностей, уронили правильность на 19 процентных пунктов — участники с ИИ отработали хуже тех, кто работал без него. Обе цифры верны одновременно, и вся работа контент-конвейера состоит в том, чтобы знать, в какой из двух ситуаций вы находитесь.

Эта лекция — про производственный поток текста, а не про нейросети вообще. Она написана сразу для четырёх рабочих контекстов, и примеры идут по всем четырём: контент-маркетолог агентства или бренда, который отвечает за трафик и воронку; коммерческий редактор, который правит чужие черновики, в том числе машинные; штатный автор продуктовой команды, который пишет базу знаний и справку; владелец малого бизнеса, который пишет сам, потому что редактора и фактчекера у него нет.

−40%
времени на профессиональных письменных задачах, качество +18% — эксперимент на 453 специалистах
−19 п.п.
правильности на задаче за пределами возможностей модели — полевой эксперимент на 758 консультантах
41 из 77
статей CNET потребовали корректировок после того, как их выпустили через автоматизацию
~50%
новых англоязычных статей в вебе детекторы относят к преимущественно машинным — и рост встал на этой отметке

Тон здесь без паники и без энтузиазма. Данные по теме противоречивы, и лекция это показывает, а не сглаживает. Слепые оценщики ставили работам с ИИ выше человеческих — и это тот же массив данных, из которого берётся вывод про потерю разнообразия. Утверждения «машина пишет хуже» в лекции не будет: оно не подтверждается.

Смысловой центр лекции — одна фраза

Генеративный ИИ повышает креативность отдельного текста и одновременно снижает разнообразие всего корпуса текстов. Каждый автор в отдельности выигрывает, а вместе производится более узкий спектр нового. Это социальная дилемма, а не дефект инструмента, и она бьёт ровно туда, где живёт контент-маркетинг: в различение.

Чего в этой лекции нет — и где это лежит
  • Как устроена языковая модель, почему она врёт и как собирать промпт — это лекция «ИИ-навыки будущего».
  • 243-ФЗ, авторские права на результат генерации, обязанность маркировки — это лекция «Нейросети и закон». Юридических выводов здесь не будет ни одного.
  • Общая редактура: вычитание, канцелярит, структура — это лекция «Информационный стиль и саморедактура». Наша редактура узкая: правка именно машинного черновика, у которой есть собственные ловушки.

Семнадцать тем впереди. Порядок такой: сначала сколько ИИ экономит на самом деле, потом где машина выдаёт себя, потом что теряется даже тогда, когда всё получилось, потом три кейса с посчитанной ценой и конвейер проверки, потом среда — веб, поиск, рынок, и в конце правка, раскрытие и красные линии.

Тема 1 из 17 · Сколько ИИ экономит на самом деле

Сорок процентов — это про задачу, а не про ваш блог

Ной и Чжан, Science, 2023: преregistered онлайн-эксперимент, 453 специалиста с высшим образованием — менеджеры, HR, грантрайтеры, маркетологи, консультанты, аналитики. Задачи реальные для профессии и короткие, 20–30 минут: письмо на деликатную тему, пресс-релиз, заявка на грант. Половине случайно дали доступ к ChatGPT. Среднее время выполнения снизилось на 40%, оценка качества выросла на 18%. В стандартизованных единицах: время −0,8 SD, качество +0,4 SD.

Дальше начинается то, ради чего эту работу стоит читать целиком. Проценты — самое неинтересное, что в ней есть.

Три вывода, которые важнее процентов

  1. Неравенство между работниками сократилось. Выигрыш оказался больше у тех, кто до эксперимента писал хуже. Инструмент сжал распределение производительности снизу — подтянул слабых, а не разогнал сильных.
  2. ИИ замещал усилие, а не дополнял навык. Формулировка авторов дословно: «mostly substituted for worker effort rather than complementing worker skills». Это не «человек стал умнее», это «человек стал меньше работать над тем же результатом».
  3. Структура задачи изменилась. Работа сместилась от чернового написания к генерации идей и редактуре. Профессия та же, операции внутри неё другие.

Сами авторы добавляют оговорку, которую в пересказах теряют первой: в реальной работе выигрыш по скорости может быть меньше, чем в эксперименте, — из-за времени на фактчек и на написание промптов. В эксперименте задача занимала 20–30 минут и заканчивалась сдачей. В вашем конвейере она заканчивается публикацией, а между черновиком и публикацией лежит всё остальное.

Что нельзя делать с этими сорока процентами

Нельзя обещать конкретный процент экономии времени себе, руководителю или клиенту. Цифра получена на конкретных задачах в конкретных условиях: короткие письменные формы, один проход, оценка сразу. Перенос на «наш блог», «нашу базу знаний», «наши карточки товара» — это экстраполяция, и она обязана быть названа экстраполяцией вслух. Обещанные 40% превращаются в невыполненный план ровно тогда, когда в конвейер добавляется фактчек.

Как эти 20–30 минут выглядят в четырёх контекстах

Эксперимент мерил левую и среднюю колонку. Правая в замер не входила ни у кого.
РольЗадача того же классаЧто осталось за границей эксперимента
Контент-маркетолог агентстваЧерновик анонса, письмо в рассылку, пять вариантов заголовка лендингаСверка с позиционированием клиента, согласование, проверка фактов о продукте
Коммерческий редакторСокращение чужого черновика, переписывание лида, вариант подводкиПроверка источников автора, ответственность издания за напечатанное
Штатный автор продуктовой командыОписание настройки по готовому сценарию, черновик FAQСверка с реальным поведением продукта — цена ошибки в обращениях в поддержку
Владелец малого бизнесаПост, описание услуги, ответ на типовой вопрос клиентаВсё перечисленное выше, потому что редактора и фактчекера нет

Отсюда первое рабочее правило: сравнивать надо не «сколько я писал черновик» и «сколько я его генерировал», а полное время от брифа до публикации. В первой паре выигрыш почти гарантирован. Во второй он ещё не измерен — вами.

Эксперимент Ноя и Чжана показал −40% времени и +18% качества. Какой перенос этого результата на свой конвейер корректен?
Красная линия: конкретный процент экономии обещать нельзя, потому что цифра получена на конкретных задачах в конкретных условиях. Но и выбрасывать результат не нужно — он задаёт направление и порядок величины. Правильная форма — назвать источник, назвать условия и назвать перенос экстраполяцией, а свою цифру получить замером. Вариант с «будет меньше» — такая же выдумка, как и «будет 40%», просто в другую сторону.
Кто в эксперименте выиграл от доступа к модели больше всех?
Неравенство между работниками сократилось, и выигрыш был больше у тех, кто писал хуже. У этого есть прямое следствие для команды: инструмент выравнивает слабое звено, но не создаёт преимущества там, где вы уже сильны. Если вы отвечаете за различение бренда, эффект выравнивания работает против вас — к этому лекция вернётся в теме про разнообразие корпуса.
Авторы пишут, что ИИ «mostly substituted for worker effort rather than complementing worker skills». Что это означает практически?
Замещение усилия, а не дополнение навыка: тот же результат достигается меньшей работой человека. Вывод про «заменит профессию» из этой формулировки не следует и в этой лекции не разбирается — будущее профессий лежит в лекции «ИИ-навыки будущего». Практическое следствие другое и неприятное: если усилие замещено, то и внимание к результату падает вместе с ним. Именно на этом ломается следующий эксперимент.
Бесплатный доступ

Дальше нужен аккаунт

Прогресс и монеты сохранятся.