Lokální LLM na vlastním hardwaru: praktický průvodce pro rok 2026

Ještě před dvěma lety znamenal lokální model kompromis: pomalý, hloupější, spíš hračka než nástroj. V roce 2026 se to změnilo. Open-weight modely dohnaly velkou část rozdílu pro běžnou práci — psaní kódu, refaktoring, vysvětlení chyby, generování testů. A běží na hardwaru, který už možná máte na stole.

Tenhle článek je praktický průvodce: které modely stojí za pozornost, čím je spustit, jaký hardware potřebujete a kdy se self-hosting vyplatí. Cílíme na české týmy, které řeší dvě věci — nechtějí posílat svůj kód cizímu vendorovi a nechtějí platit nepředvídatelný účet za tokeny.

Proč (a kdy) běžet model lokálně

Důvody jsou vždycky stejné čtyři. Za prvé soukromí dat — váš kód, logy a interní dokumenty nikdy neopustí vaši síť. Za druhé předvídatelné náklady — zaplatíte jednou za hardware, nikdo vám neúčtuje per-token. Za třetí offline a air-gapped práce — model funguje ve vlaku i v izolované síti bez internetu. A za čtvrté compliance — pro regulovaná data (zdravotnictví, finance, veřejná správa) je „data neopustí perimetr" často tvrdý požadavek.

Modely: open-weight dozrál

Pro většinu vývojářů je dnes první volbou rodina Qwen3, konkrétně Qwen3-Coder. Je pod licencí Apache-2.0 (můžete ho použít komerčně bez starostí), varianta okolo 30B je výborný all-round lokální coding model a vejde se na jedinou 24GB GPU s velkým kontextovým oknem. Pro workstationy existují větší MoE flagshipy, ale ta ~30B varianta je sweet spot pro jednotlivce i malý tým.

• Qwen3 / Qwen3-Coder — go-to volba pro většinu vývojářů, Apache-2.0, ~30B Coder varianta na jedné 24GB GPU
• GLM — další silná open-weight rodina, dobrá alternativa pro chat i kód
• Llama, Mistral, Gemma — etablované open-weight rodiny s širokou podporou nástrojů a komunitou

Kvalitu neberte jako přesná čísla — benchmarky se mění každý měsíc a desetinná místa jsou marketing. Realistický rámec zní takhle: pro každodenní úkoly open-weight modely uzavřely velkou část rozdílu vůči frontieru. Rozdíl cítíte až u těch nejtěžších, dlouhých úloh. Pro „napiš mi tenhle endpoint", „vysvětli tenhle stacktrace", „přidej testy" je lokální ~30B model naprosto použitelný.

Open-weight neznamená „skoro tak dobrý jako placené". Pro běžnou práci to dnes znamená prostě „dobrý". Rozdíl se schovává v těch posledních deseti procentech.

Nástroje: čím to spustit

Ollama — správný start pro ~95 % vývojářů

Pokud nevíte, čím začít, začněte Ollamou. Jeden příkaz stáhne model, druhý ho spustí. Nabízí OpenAI-kompatibilní API, takže ho napojíte na existující nástroje (editor, Aider, vlastní skripty) prakticky beze změn kódu. Runs na Macu, Linuxu i Windows.

# Instalace (macOS / Linux):
curl -fsSL https://ollama.com/install.sh | sh

# Stáhni a spusť Qwen3 coder model — jeden příkaz:
ollama run qwen3-coder

# Nebo ho nech běžet jako server s OpenAI-kompatibilním API:
ollama serve
# ... a volej ho na http://localhost:11434/v1

llama.cpp — lehký a CPU-friendly

Pod Ollamou i pod spoustou dalších nástrojů běží llama.cpp. Sáhnete po něm přímo, když chcete co nejmenší závislosti, běh čistě na CPU, nebo maximální kontrolu nad tím, jak se model načítá. Je to volba pro slabší stroje a embedded scénáře.

vLLM — high-throughput a produkční serving

Jakmile chcete model obsluhovat pro celý tým nebo aplikaci — mnoho paralelních requestů, vysoký throughput — přejděte na vLLM. Je stavěný na produkční serving s efektivním batchováním. Pro jednotlivce je to overkill; pro interní službu na sdílené GPU je to správný nástroj.

Hardware a quantization

Čísla berte jako orientační — hardware i modely se hýbou rychle. Hrubý průvodce podle toho, co máte k dispozici:

• 16 GB RAM, jen CPU — malé modely 3B–7B v Q4, pomalejší, ale funkční pro chat a jednoduché úkoly
• 8–12 GB VRAM (GPU) — pohodlně 7B–13B modely, slušná rychlost
• ~24 GB VRAM (např. RTX 4090) nebo Apple M-series s 32 GB unified memory — zvládne ~30B modely v Q4, tady žije ten Qwen3-Coder sweet spot
• Workstation s více GPU / velkou VRAM — větší MoE flagshipy pro náročné nasazení

Quantization je komprese modelu — menší, rychlejší, o něco méně přesný. V praxi se řídíte jednoduchým pravidlem: Q4_K_M je v pohodě pro chat a běžnou konverzaci; pro kód, kde záleží na přesnosti, preferujte Q5_K_M nebo výš. Rozdíl v paměti je pár GB, rozdíl v kvalitě u kódu bývá znát.

Realistické doporučení

Nekomplikujte to. Nainstalujte Ollamu, stáhněte Qwen3-Coder model, spusťte ho na té GPU nebo Macu, co máte. Napojte ho na editor přes OpenAI-kompatibilní API. Používejte ho na každodenní práci — endpointy, testy, refaktoring, vysvětlování kódu.

A na těch posledních 10 % — nejtěžší bugy, velká architektonická rozhodnutí, úlohy přes celý codebase — si nechte frontier API. Tenhle hybridní režim je dnes nejlepší poměr cena/soukromí/kvalita: lokální model dělá objem a citlivá data zůstávají doma, vendorský model řeší špičku. Nemusíte volit jedno nebo druhé.

Pro české týmy citlivé na soukromí a náklady je to zvlášť dobrá zpráva. Rok 2026 je první rok, kdy „běžet AI na vlastním železe" není kompromis, ale pragmatická volba. Začněte v malém, změřte si to na vlastní práci, a rozšiřujte podle toho, co skutečně potřebujete.