Kolik paměti potřebuje lokální LLM. Tabulka, ze které to spočítáte

Kolik paměti potřebuje lokální LLM. Tabulka, ze které to spočítáte

Když si lidé chtějí spustit model doma nebo ve firmě, první otázka bývá stejná: kolik paměti na to potřebuju? Odpověď není jedno číslo. Záleží na třech věcech: jak velký model chcete, jak silně ho stlačíte kvantizací a jak dlouhý kontext mu dáte. Poslední věc se zapomíná nejčastěji a přitom dokáže zabrat víc paměti než model samotný.

Krátká odpověď: model s 8 miliardami parametrů potřebuje v kvantizaci Q4 kolem 5 GB pro váhy. S rezervou a kontextem 8 tisíc tokenů se dostanete na 7 až 8 GB. Sedmdesátimiliardový model v Q4 zabere 42,5 GB, v plné přesnosti 141 GB. Kontext 128 tisíc tokenů u něj přidá dalších 43 GB.

Tabulka: kolik zabere model bez kontextu

Čísla nejsou odhady. U každého modelu jsem vzal skutečnou velikost souborů z Hugging Face, u kvantizovaných verzí z veřejných GGUF převodů. BF16 znamená plná přesnost, Q8_0 osmibitová kvantizace, Q4_K_M čtyřbitová, dnes výchozí volba u většiny veřejných převodů.

Model	Parametrů	Q4_K_M	Q8_0	BF16
Llama 3.1 8B	8,0 mld.	4,9 GB	8,5 GB	16,1 GB
Qwen3 14B	14,8 mld.	9,0 GB	15,7 GB	29,5 GB
Qwen3 32B	32,8 mld.	19,8 GB	34,8 GB	65,5 GB
Llama 3.1 70B	70,6 mld.	42,5 GB	75,0 GB	141,1 GB
Qwen3 30B-A3B	30,5 mld., z toho 3,3 mld. aktivních	18,6 GB	32,5 GB	61,1 GB

Poslední řádek stojí za pozornost. Model se 30,5 miliardami parametrů je jen o málo menší než 32B model a váhy má skoro stejné. Rozdíl je v tom, že patří mezi takzvané MoE modely, tedy modely se směsí expertů. Vysvětlím to níž, protože právě MoE mění, co se z paměti vyplatí.

VRAM a RAM nejsou totéž

VRAM je paměť grafické karty, RAM je paměť počítače. Model musí být celý v paměti, ze které počítá. Když se vejde do VRAM, běží rychle. Když se nevejde a část leží v RAM, rychlost klesne, protože se data musí posílat přes sběrnici. Proto se u lokálních modelů řeší hlavně VRAM. Výjimkou jsou stroje se společnou pamětí, jako je DGX Spark nebo Mac Studio. Tam rozdíl mezi VRAM a RAM mizí, ale propustnost paměti rozhoduje pořád.

Vzorec, který stačí

Paměť = váhy + KV cache + rezerva.

• Váhy jsou velikost modelu v dané kvantizaci. Najdete je v tabulce výše.
• KV cache je paměť pro kontext, tedy pro text, který model právě drží. Počítá se z architektury modelu a délky kontextu.
• Rezerva je paměť pro běh enginu, dočasné výpočty a fragmentaci. Server vLLM si standardně bere 92 % paměti karty, zbytek nechává systému.

Kolik paměti sežere kontext

Token je kousek textu, zhruba tři čtvrtiny slova. KV cache se počítá jako dvojnásobek počtu vrstev krát počet hlav pro klíč a hodnotu krát velikost hlavy krát počet tokenů krát dva bajty. Zní to složitě, ale stačí si zapamatovat výsledek pro typické modely:

Model	Na jeden token	8k kontext	32k kontext	128k kontext
Llama 3.1 8B	128 KiB	1,1 GB	4,3 GB	17,2 GB
Qwen3 14B	160 KiB	1,3 GB	5,4 GB	21,5 GB
Qwen3 32B	256 KiB	2,2 GB	8,6 GB	34,4 GB
Llama 3.1 70B	320 KiB	2,7 GB	10,7 GB	43,0 GB
Qwen3 30B-A3B	96 KiB	0,8 GB	3,2 GB	12,9 GB

U osmimiliardového modelu zabere kontext 128 tisíc tokenů 17 GB, tedy třikrát víc než váhy. Kdo chce dlouhý kontext na malém modelu, narazí na paměť dřív, než by čekal. Naopak u Qwen3 30B-A3B je KV cache malá, protože má jen čtyři hlavy pro klíč a hodnotu.

Kvantizace: co udělá s pamětí

Kvantizace snižuje počet bitů na jeden parametr. Místo 16 bitů použije 8, 5 nebo 4. Model se zmenší, ale část přesnosti se ztratí. Nástroje z llama.cpp to měří perplexitou a divergencí, tedy tím, jak moc se výstup změní proti původnímu modelu.

Kvantizace	Bity na parametr	Velikost proti BF16
Q3_K_M	3,9	24 %
Q4_K_M	4,9	30 %
Q5_K_M	5,7	36 %
Q6_K	6,6	41 %
Q8_0	8,5	53 %

Z praxe: Q8_0 bývá od plné přesnosti těžko rozeznatelná a model je poloviční. Q4_K_M zmenší model zhruba na třetinu a pro většinu úloh stačí. Čím menší model, tím opatrněji je potřeba kvantizaci volit, protože každý parametr v něm nese větší díl znalosti.

MoE: velké váhy, málo práce

MoE model má v sobě mnoho malých podsítí, kterým se říká experti. Při každém tokenu se jich zapojí jen několik. DeepSeek V4.1 Flash má 552 miliard parametrů a 384 expertů, z nichž se na jeden token použije šest a jeden sdílený. Váhy všech expertů ale musí být v paměti, protože se střídají podle obsahu.

Důsledek je praktický. MoE model potřebuje paměť jako velký model, ale počítá jako malý. Proto se vyplatí tam, kde je paměť dostupná a kde rozhoduje rychlost. Klasický model se stejným počtem parametrů by byl mnohem pomalejší.

Naše měření: 552 miliard parametrů na třech malých strojích

V naší laboratoři běží DeepSeek V4.1 Flash na třech DGX Spark. Každý má 128 GB společné paměti a propustnost 273 GB/s, dohromady tedy 384 GB. Model má 552 miliard parametrů a je uložený v kvantizaci EXL3 s 3,51 bitu na parametr. Váhy tak vycházejí na 242 GB.

V době psaní článku ukazoval monitoring 97,6 % obsazené paměti a KV cache na 56,4 %. Model drží kontext až 401 408 tokenů a sdílí ho mezi požadavky, takže cache je pro provoz klíčová. Bez sdílení by se stejný kontext musel počítat znovu při každém dotazu.

Tohle je přesně ten případ, kdy se počítání vyplatí. Model by v plné přesnosti potřeboval přes 1,1 TB paměti a na tři Sparky by se nevešel. Kvantizace a MoE architektura z něj udělaly něco, co se vejde do 384 GB a přitom zvládá 63 tokenů za sekundu při jednom požadavku. Podrobnosti jsou v našem lab záznamu.

Kolik nechat rezervy

Nikdy nepočítejte s tím, že model zaplní celou paměť. Engine potřebuje prostor na dočasné výpočty, grafická karta na kontext a systém na sebe. vLLM standardně bere 92 % paměti a zbytek nechává. U llama.cpp si limity nastavujete sami, ale princip je stejný.

Praktické pravidlo: k součtu váhy a KV cache přidejte 1 až 2 GB u malých modelů a 5 až 10 % u velkých. Když se dostanete na 95 % paměti, narazíte na problémy při delším kontextu nebo při souběhu požadavků.

Kdy to neplatí

• Čísla platí pro běh modelu, tedy inference. Trénování a doladění potřebují několikanásobek paměti, protože se ukládají mezivýsledky i stavy optimalizátoru.
• U modelů s posuvným oknem pozornosti KV cache neroste do nekonečna, zastaví se na velikosti okna.
• Kvantizace KV cache na osm bitů sníží její nároky zhruba na polovinu. Náš lab ji používá.
• Multimodální modely mají navíc kodér pro obrázky nebo audio, který také zabírá paměť.
• Konkrétní číslo se liší podle enginu, verze a nastavení. Tabulka platí pro běžné servery (llama.cpp, vLLM) s výchozím nastavením.

Časté otázky

Stačí 8 GB VRAM na lokální model?

Na osmimiliardový model v Q4 ano, pokud mu dáte krátký kontext. Se 32 tisíci tokeny už potřebujete kolem 10 GB, se 128 tisíci 23 GB. Na delší práci s dokumenty je 8 GB málo.

Mám vzít menší model ve vyšší přesnosti, nebo větší v Q4?

Často platí, že větší model v Q4 podá lepší výsledek než menší v Q8, hlavně u porozumění a uvažování. Není to ale pravidlo, záleží na úloze. Rozdíl se zmenšuje, když kvantizace klesne pod 4 bity. Pro práci s textem je Q4_K_M rozumný kompromis, pro kód a přesné výpočty sáhněte po Q5 nebo Q6.

Kolik paměti potřebuje 70B model?

V Q4 42,5 GB, v Q8 75 GB, v BF16 141 GB. K tomu kontext: 32 tisíc tokenů přidá 10,7 GB, 128 tisíc 43 GB. Pro 70B v Q4 se 32 tisíci tokeny potřebujete kolem 58 GB, se 128 tisíci kolem 90 GB.

Můžu model provozovat z běžné RAM místo VRAM?

Můžete, ale bude pomalejší. Rozhoduje propustnost paměti. Grafická karta má vyšší, společná paměť u malých strojů je někde mezi. Pro dávkové zpracování to nevadí, pro chat ano.

Co si odnést

Paměť pro lokální model se nepočítá z počtu parametrů, ale ze tří čísel: velikost vah v dané kvantizaci, KV cache pro délku kontextu a rezerva pro engine. Kdo počítá jen s váhami, narazí na kontext. Kdo počítá s kontextem, má rezervu.

Pokud řešíte nasazení ve firmě a nechcete počítat ručně, podívejte se na naše služby kolem lokálních modelů. Navrhujeme konfiguraci podle vašich dat a způsobu práce, od jednoho modelu po tým agentů. Pro práci s firemními dokumenty se hodí i RAG a pro agenty, kteří si mají pamatovat kontext, persistentní paměť. Pokud sledujete, jak se otevřené modely mění, hodí se i náš přehled o tom, které modely si dnes můžete stáhnout a provozovat sami.

Zdroje

• Llama 3.1 8B na Hugging Face, konfigurace a velikost vah
• Qwen3 32B a Qwen3 30B-A3B, konfigurace a počet aktivních parametrů
• GGUF převody Llama 3.1 a Qwen3 32B, skutečné velikosti kvantizací
• DeepSeek V4.1 Flash, model card s počtem parametrů a architekturou
• DGX Spark hardware overview, 128 GB společné paměti a 273 GB/s
• llama.cpp kvantizace, perplexita a divergence
• vLLM konfigurace cache, výchozí gpu_memory_utilization 0,92