Один и тот же запрос — два разных ответа
Ольга ведёт претензионную работу в компании и с весны отдаёт часть переписки языковой модели. За одну неделю она собрала три вопроса, на которые ей никто не смог ответить. В понедельник она отправила один и тот же текст дважды, с одинаковыми настройками, и получила два разных ответа. В среду загрузила договор на сорок страниц и попросила найти все условия о неустойке — модель нашла пункт из начала, пункт с последней страницы и пропустила тот, что стоял в середине. В пятницу пришёл счёт за API, и выяснилось, что десятое сообщение в переписке оплачено вместе с девятью предыдущими.
Ни одно из трёх не было сбоем. Это три прямых следствия того, как устроена модель: она получает последовательность токенов, считает по всему словарю вероятности следующего токена, выбирает один — и повторяет. Всё остальное, включая счёт за API и потерянный пункт договора, выводится из этой одной операции.
Семнадцать тем разбирают механику и только механику. Что такое токен и почему он не равен слову. Из чего модель выбирает следующий кусок текста и что делают температура и top_p. Что помещается в контекстное окно, почему заявленный размер окна больше рабочего и почему модель ничего не помнит между запросами. Откуда берётся её поведение и во сколько обходится тысяча токенов.
Чего здесь не будет: как формулировать запрос, какие приёмы применять, какую модель выбрать, как проверять ответ на выдумки и что можно отправлять в модель. Это отдельные темы, и у каждой своя лекция. Специальной подготовки не требуется: математики сверх словесного описания одной формулы и кода здесь нет.
Модель не отвечает на вопрос — она продолжает последовательность
Языковая модель не «отвечает». Она получает последовательность токенов и считает распределение вероятностей по всему своему словарю: какой токен идёт следующим. Выбирает один, дописывает его к последовательности и запускает тот же расчёт заново. Весь ответ собирается по кусочку, слева направо. Это называется авторегрессией.
Модель не знает конца фразы, когда начинает её писать. Первое слово выбрано до того, как существует остальное предложение. Плана ответа, составленного заранее и потом изложенного, не существует.
Следующий токен выбирается по вероятности, а не по истинности. Правдоподобное и верное совпадают часто, но совпадают не потому, что есть проверка. Проверки нет вообще — в механизме выбора токена ей негде находиться.
Обе привычные формулировки — оценочные, а не механические, и обе одинаково мешают. «Модель понимает, думает, знает» приписывает ей то, чего в описании операции нет. «Это просто автодополнение, там ничего нет» — то же самое с обратным знаком, оценка вместо описания.
Рабочая формулировка одна: модель считает распределение вероятностей и выбирает из него токен. Дальше по лекции все объяснения строятся на этой фразе, и ни в одном месте не понадобится ни «понимает», ни «просто автодополнение».
Дальше нужен аккаунт
Прогресс и монеты сохранятся.