Как на самом деле работают LLM

Зачем нужна ментальная модель

Вам не нужно разбираться в нейронах и линейной алгебре. Но базовое понимание того, как работают LLM, поможет писать значительно лучшие промпты. Это как с вождением автомобиля — не обязательно быть механиком, но полезно знать, что топливо заливается в бак, а не в бачок стеклоомывателя.

Большинство ошибок в промптинге вытекают из неверных представлений о том, что такое ИИ и как он работает. Люди ожидают, что ИИ «поймёт» их намерение, «запомнит» предыдущие разговоры или «знает» актуальную информацию. Когда понимаешь реальность, перестаёшь совершать эти ошибки, и промпты резко улучшаются.

LLM = самое продвинутое автодополнение в мире

Языковая модель создаёт текст, предсказывая следующие токены по контексту. Современные продукты могут также использовать внутреннее рассуждение, планирование и инструменты. Автодополнение — полезная упрощённая аналогия, а не полный обзор всех современных систем.

Это не значит, что результаты простые. Современные модели имеют сотни миллиардов параметров и обучались на триллионах токенов текста. Результат — система, которая выдаёт удивительно связные, полезные и нередко блестящие ответы, но всё равно на основе предсказания, а не понимания.

Токены: как ИИ читает ваш текст

Токен может быть словом, частью слова, символом или группой цифр. Разбиение зависит от токенизатора; числа не всегда делятся по одной цифре. Проверяйте количество токенов инструментом соответствующего провайдера. Соотношение слов и токенов — лишь грубая оценка, особенно для разных языков.

Объём контекста зависит от конкретной модели, продукта и тарифа; сверяйтесь с актуальной документацией и оставляйте место для ответа. Чат может сокращать или обобщать старые сообщения либо отклонять слишком большой ввод. Большой контекст не гарантирует точного использования каждой детали.

Температура и top-p: почему ИИ каждый раз отвечает по-разному

У моделей, которые поддерживают temperature, этот параметр меняет случайность выбора токенов. Низкое значение не гарантирует детерминизм или фактическую правильность. Проверяйте диапазон и доступные параметры конкретной модели; некоторые reasoning-модели ограничивают их.

Механизм внимания: не все токены равны

LLM используют механизм «внимания». При генерации каждого токена модель «взвешивает» все предыдущие токены — но не одинаково. Одним она уделяет больше внимания, другим меньше. На практике это означает: инструкции в начале и в конце промпта, как правило, оказывают большее влияние, чем те, что находятся в середине. Это называется эффектом «потерянного в середине».

Что это значит для промптинга

Понимание того, как работает модель, напрямую влияет на вашу стратегию промптинга. Зная, что модель предсказывает следующий токен, понимаешь, почему помогает чёткая структура — она направляет предсказание в нужную сторону. Зная, что у модели нет памяти между разговорами, перестаёшь ожидать, что она «вспомнит» чат прошлой недели. Зная об эффекте «потерянного в середине», размещаешь ключевые инструкции в начале и конце промпта.

Три правила, которые из этого следуют

Первое: будьте явными, а не неявными. Модель не будет угадывать, что у вас в голове — она работает только с тем, что вы написали. Второе: порядок важен. Модель обрабатывает текст слева направо, токен за токеном. Ставьте важные инструкции на первое место. Третье: если ответ плохой, проблема почти всегда в промпте, а не в модели. Переформулируйте вместо того, чтобы раздражаться.