Лекция «Как устроены LLM — токены, вероятности и контекстное окно, из которых складывается ответ»

Около 60 минут на 17 тем. Прогресс сохраняется, поэтому лекцию можно проходить частями и возвращаться к ней позже.

Начало — да: первые 1 тема открыты сразу, без регистрации. После бесплатной регистрации откроются темы до 2-й — вместе с частью из 41 теста и монетами за верные ответы. Полная лекция — 99 ₽ навсегда, либо подписка на все лекции платформы от 499 ₽ в месяц.

Семнадцать тем об одной операции и её следствиях. Модель получает последовательность токенов, считает по всему словарю вероятность следующего и выбирает один — критерий выбора вероятность, а не истинность, и шага проверки в этом цикле нет. Дальше механика по частям. Токен: замеры токенизатором o200k_base на 24.09.2026 показывают «счёт» в три токена при четырёх буквах и «contract» в один при восьми, а официальная оценка Сбера — 3—4 символа на токен. Словарь: тот же деловой текст стоит 174 токена на cl100k_base и 110 на o200k_base, экономия в 1,58 раза без единой правки текста, а разрыв между русским и английским на современном словаре — 1,05, а не «в 3—4 раза». Выбор токена: логиты, softmax, температура как делитель логитов с диапазоном от 0 до 2 у OpenAI и top_p как обрезка хвоста, при которой значение 0,9 иногда оставляет ровно один вариант. Отдельно — то, что на моделях Claude Fable 5, Opus 5 и Sonnet 5, как и на GPT-5, параметры сэмплирования удалены и запрос с ними возвращает ошибку 400, и то, что нулевая температура в облаке не даёт одинаковый ответ: причина в размере пачки на сервере, а не в гонке потоков, и починка стоит около 60% производительности. Контекстное окно: 32 000 токенов у YandexGPT 5 Pro, 128 000 у линейки GigaChat 2, миллион у Claude Opus 5 — это примерно 60, 240 и 1 890 страниц русского текста; API при этом не хранит состояние и вся переписка отправляется заново каждый раз. Два исследования о том, почему заявленное окно больше рабочего: U-образная кривая точности по позиции у Liu и соавторов в TACL 2024 и падение надёжности от одной только длины на 18 моделях у Chroma, чей конфликт интересов назван прямо. Завершают лекцию три разных числа — окно, квота API и потолок вывода, — три стадии обучения по данным команды YandexGPT с корпусом в 15 триллионов токенов и прайс GigaChat на 24.09.2026, где тысяча токенов стоит от 0,065 до 0,65 ₽, а страница русского текста на входе — около трёх копеек.

Нет, и это осознанное ограничение. Лекция разбирает устройство: что такое токен, как из логитов получается распределение вероятностей, что делают температура и top_p, что помещается в контекстное окно и почему заявленный размер окна больше рабочего, из каких стадий состоит обучение и как считается цена. Как собирается запрос, какие приёмы работают, как проверять ответ на выдумки, что можно отправлять в модель и какую модель брать под задачу — отдельные темы, и у каждой своя лекция. Названия моделей встречаются здесь только как источник конкретного числа: размера окна, диапазона параметра или цены за тысячу токенов, — а не как рекомендация.

В облачном API — нет, и это главное практическое заблуждение темы. Публикация Thinking Machines Lab от сентября 2025 показывает: один и тот же запрос при нулевой температуре, запущенный тысячу раз, даёт много разных ответов. Причина не та, которую называют обычно: гипотезу про гонку потоков и плавающую точку авторы проверили и отвергли, потому что типовые реализации матричного умножения детерминированы от запуска к запуску. Дело в размере пачки, которой сервер обрабатывает запросы: он зависит от текущей нагрузки, от него меняется порядок накопления в нормализации, матричном умножении и внимании, и разница в последних разрядах иногда переворачивает выбор токена. Починка существует — batch-инвариантные ядра дают тысячу одинаковых ответов на тысячу запусков, — но стоит около 60% производительности и включается на стороне того, кто держит сервер, а не параметром вашего запроса.

По-разному, и это разделено намеренно. Механика устаревает медленно: авторегрессия, softmax, температура как делитель логитов и разница между окном и памятью не менялись годами. Замеры токенизации привязаны к конкретному словарю и дате — 24.09.2026, библиотека tiktoken 0.12.0, словари o200k_base и cl100k_base, — и меняются вместе со сменой словаря у вендора. Быстрее всего устаревают три вещи: цены за тысячу токенов, размеры контекстных окон и список моделей, на которых параметры сэмплирования удалены. Все они приведены с датой и ссылкой на страницу источника, чтобы каждое число можно было перепроверить в один переход, а не поверить на слово.