Jak LLM modely fungují

Proč potřebujete mentální model

Nemusíte rozumět neuronům a lineární algebře. Ale základní představa o tom, jak LLM modely fungují, vám pomůže psát výrazně lepší prompty. Je to jako s autem — nemusíte být mechanik, ale pomůže vědět, že benzín patří do nádrže a ne do ostřikovačů.

Většina chyb v promptování pramení z mylných představ o tom, co AI je a jak funguje. Lidé čekají, že AI 'pochopí' jejich záměr, 'si zapamatuje' předchozí konverzace, nebo 'ví' aktuální informace. Když pochopíte realitu, přestanete dělat tyto chyby a vaše prompty se dramaticky zlepší.

LLM = nejpokročilejší automat na dokončování textu

Velké jazykové modely (Large Language Models) fungují na jednom základním principu: předpovídají další slovo. Přesněji další token. Celá ta 'magie' je sofistikovaná predikce: na základě toho, co jste napsali, model odhaduje, co by mělo následovat. Neplánuje dopředu, nemá skrytý záměr — generuje text token po tokenu.

To neznamená, že výstupy jsou jednoduché. Moderní modely mají stovky miliard parametrů a byly trénovány na bilionech tokenů textu. Výsledkem je systém, který produkuje překvapivě koherentní, užitečné a často geniální odpovědi — ale stále na základě predikce, ne porozumění.

Tokeny: jak AI čte váš text

Token není slovo. Je to kousek textu — může to být celé slovo, část slova, nebo třeba jen písmeno. Anglické 'hello' je jeden token. České 'přepočítávat' může být tři nebo čtyři tokeny. Čísla se tokenizují po jednotlivých číslicích. Proč na tom záleží? Protože limity AI se měří v tokenech, ne ve slovech — a čeština je 'dražší' než angličtina.

Moderní modely mají kontextové okno — celkový počet tokenů, se kterými můžou pracovat najednou. To zahrnuje váš prompt I odpověď AI. GPT-4o má 128K tokenů, Claude Sonnet má 200K tokenů, nejnovější modely zvládnou i milion. Když překročíte limit, model 'zapomene' začátek konverzace — informace na začátku se ztratí.

Temperature a top-p: proč AI odpovídá pokaždé jinak

Všimli jste si, že stejný prompt dává pokaždé trochu jinou odpověď? To není chyba — je to záměr. Parameter 'temperature' řídí míru náhodnosti. Nízká teplota (0-0.3) = konzistentnější, předvídatelnější odpovědi — ideální pro faktické úlohy, kód, analýzu. Vysoká teplota (0.7-1.0) = kreativnější, rozmanitější odpovědi — ideální pro brainstorming, kreativní psaní, generování nápadů.

Pozornostní mechanismus: ne všechny tokeny jsou si rovny

LLM modely používají mechanismus zvaný 'attention' (pozornost). Při generování každého tokenu model 'zvažuje' všechny předchozí tokeny — ale ne stejnou měrou. Některým věnuje více pozornosti než jiným. Prakticky to znamená: instrukce na začátku a na konci promptu mají typicky větší vliv než ty uprostřed. Tomuto se říká 'lost in the middle' efekt.

Co z toho plyne pro promptování

Znalost, jak model funguje, přímo ovlivňuje strategii promptování. Když víte, že model předpovídá další token, pochopíte, proč pomáhá jasná struktura — navádí predikci správným směrem. Když víte, že model nemá paměť mezi konverzacemi, přestanete čekat, že si 'pamatuje' minulý chat. Když víte o 'lost in the middle' efektu, dáte klíčové instrukce na začátek a konec promptu.

Tři pravidla, která z toho vyplývají

Za prvé: buďte explicitní, ne implicitní. Model neuhádne, co máte v hlavě — vychází jen z toho, co napíšete. Za druhé: na pořadí informací záleží. Model zpracovává text zleva doprava, token po tokenu. Důležité instrukce dejte na začátek. Za třetí: když odpověď není dobrá, problém je skoro vždy v promptu, ne v modelu. Přeformulujte místo toho, abyste se zlobili.