Jak LLM modely fungují

Proč potřebujete mentální model

Nemusíte rozumět neuronům a lineární algebře. Ale základní představa o tom, jak LLM modely fungují, vám pomůže psát výrazně lepší prompty. Je to jako s autem — nemusíte být mechanik, ale pomůže vědět, že benzín patří do nádrže a ne do ostřikovačů.

Většina chyb v promptování pramení z mylných představ o tom, co AI je a jak funguje. Lidé čekají, že AI 'pochopí' jejich záměr, 'si zapamatuje' předchozí konverzace, nebo 'ví' aktuální informace. Když pochopíte realitu, přestanete dělat tyto chyby a vaše prompty se dramaticky zlepší.

LLM = nejpokročilejší automat na dokončování textu

Jazykový model generuje text předpovídáním dalších tokenů podle kontextu. Moderní produkty mohou navíc používat interní uvažování, plánování a nástroje. Autocomplete je užitečná zjednodušující analogie, nikoli úplný popis všech dnešních systémů.

To neznamená, že výstupy jsou jednoduché. Moderní modely mají stovky miliard parametrů a byly trénovány na bilionech tokenů textu. Výsledkem je systém, který produkuje překvapivě koherentní, užitečné a často geniální odpovědi — ale stále na základě predikce, ne porozumění.

Tokeny: jak AI čte váš text

Token může být slovo, část slova, znak nebo skupina číslic. Rozdělení závisí na tokenizeru; čísla se neštěpí vždy po jednotlivých číslicích. Počet tokenů ověřujte nástrojem příslušného poskytovatele. Poměry slov a tokenů jsou jen hrubé odhady, zejména napříč jazyky.

Velikost kontextu závisí na konkrétním modelu, produktu a tarifu; ověřte aktuální dokumentaci a počítejte i s místem pro výstup. Chat může starší zprávy zkracovat, shrnovat nebo odmítnout příliš velký vstup. Velký kontext nezaručuje přesné využití každého detailu.

Temperature a top-p: proč AI odpovídá pokaždé jinak

U modelů, které ho podporují, parametr temperature mění náhodnost výběru tokenů. Nižší hodnota nemusí zaručit determinismus ani faktickou správnost. Rozsah a podporované parametry ověřte u konkrétního modelu; některé reasoning modely je omezují.

Pozornostní mechanismus: ne všechny tokeny jsou si rovny

LLM modely používají mechanismus zvaný 'attention' (pozornost). Při generování každého tokenu model 'zvažuje' všechny předchozí tokeny — ale ne stejnou měrou. Některým věnuje více pozornosti než jiným. Prakticky to znamená: instrukce na začátku a na konci promptu mají typicky větší vliv než ty uprostřed. Tomuto se říká 'lost in the middle' efekt.

Co z toho plyne pro promptování

Znalost, jak model funguje, přímo ovlivňuje strategii promptování. Když víte, že model předpovídá další token, pochopíte, proč pomáhá jasná struktura — navádí predikci správným směrem. Když víte, že model nemá paměť mezi konverzacemi, přestanete čekat, že si 'pamatuje' minulý chat. Když víte o 'lost in the middle' efektu, dáte klíčové instrukce na začátek a konec promptu.

Tři pravidla, která z toho vyplývají

Za prvé: buďte explicitní, ne implicitní. Model neuhádne, co máte v hlavě — vychází jen z toho, co napíšete. Za druhé: na pořadí informací záleží. Model zpracovává text zleva doprava, token po tokenu. Důležité instrukce dejte na začátek. Za třetí: když odpověď není dobrá, problém je skoro vždy v promptu, ne v modelu. Přeformulujte místo toho, abyste se zlobili.