Как на самом деле работают LLM

Зачем нужна ментальная модель

Вам не нужно разбираться в нейронах и линейной алгебре. Но базовое понимание того, как работают LLM, поможет писать значительно лучшие промпты. Это как с вождением автомобиля — не обязательно быть механиком, но полезно знать, что топливо заливается в бак, а не в бачок стеклоомывателя.

Большинство ошибок в промптинге вытекают из неверных представлений о том, что такое ИИ и как он работает. Люди ожидают, что ИИ «поймёт» их намерение, «запомнит» предыдущие разговоры или «знает» актуальную информацию. Когда понимаешь реальность, перестаёшь совершать эти ошибки, и промпты резко улучшаются.

LLM = самое продвинутое автодополнение в мире

Большие языковые модели работают по одному фундаментальному принципу: они предсказывают следующее слово. Точнее — следующий токен. Вся «магия» — это сложная система предсказаний: на основе того, что вы написали, модель оценивает, что должно быть дальше. Она не планирует заранее, у неё нет скрытых мотивов — она генерирует текст токен за токеном.

Это не значит, что результаты простые. Современные модели имеют сотни миллиардов параметров и обучались на триллионах токенов текста. Результат — система, которая выдаёт удивительно связные, полезные и нередко блестящие ответы, но всё равно на основе предсказания, а не понимания.

Токены: как ИИ читает ваш текст

Токен — это не слово. Это фрагмент текста: целое слово, часть слова или даже просто символ. Английское «hello» — один токен. Слово «unbelievable» может быть двумя-тремя токенами. Числа токенизируются поцифрово. Почему это важно? Потому что лимиты ИИ измеряются в токенах, а не в словах — и некоторые языки «дороже» других с точки зрения токенов на слово.

Современные модели имеют контекстное окно — общее количество токенов, с которыми они могут работать одновременно. В него входят и ваш промпт, и ответ ИИ. У GPT-4o — 128K токенов, у Claude Sonnet — 200K, последние модели обрабатывают миллион и более. При превышении лимита модель «забывает» начало разговора — информация из начала теряется.

Температура и top-p: почему ИИ каждый раз отвечает по-разному

Замечали, что один и тот же промпт каждый раз даёт немного другой ответ? Это не баг — это замысел. Параметр «температура» управляет случайностью. Низкая температура (0–0,3) = более стабильные, предсказуемые ответы — идеально для фактических задач, кода, анализа. Высокая температура (0,7–1,0) = более творческие, разнообразные ответы — идеально для брейнсторминга, творческого письма, генерации идей.

Механизм внимания: не все токены равны

LLM используют механизм «внимания». При генерации каждого токена модель «взвешивает» все предыдущие токены — но не одинаково. Одним она уделяет больше внимания, другим меньше. На практике это означает: инструкции в начале и в конце промпта, как правило, оказывают большее влияние, чем те, что находятся в середине. Это называется эффектом «потерянного в середине».

Что это значит для промптинга

Понимание того, как работает модель, напрямую влияет на вашу стратегию промптинга. Зная, что модель предсказывает следующий токен, понимаешь, почему помогает чёткая структура — она направляет предсказание в нужную сторону. Зная, что у модели нет памяти между разговорами, перестаёшь ожидать, что она «вспомнит» чат прошлой недели. Зная об эффекте «потерянного в середине», размещаешь ключевые инструкции в начале и конце промпта.

Три правила, которые из этого следуют

Первое: будьте явными, а не неявными. Модель не будет угадывать, что у вас в голове — она работает только с тем, что вы написали. Второе: порядок важен. Модель обрабатывает текст слева направо, токен за токеном. Ставьте важные инструкции на первое место. Третье: если ответ плохой, проблема почти всегда в промпте, а не в модели. Переформулируйте вместо того, чтобы раздражаться.