RAG vs fine-tuning pro firemní dokumenty. Rozhodovací tabulka

RAG vs fine-tuning pro firemní dokumenty. Rozhodovací tabulka

Když firma řeší, jak dostat AI nad vlastní dokumenty, objeví se dvě možnosti: RAG, tedy hledání ve vašich dokumentech, a fine-tuning, tedy doladění modelu na vlastních příkladech. Rozhodnutí se často dělá podle ceny nebo podle toho, co dodavatel umí prodat. Ve skutečnosti ho určuje jediná otázka: má model něco vědět, nebo něco dělat?

Krátká odpověď: když má model znát obsah vašich dokumentů, potřebujete RAG. Když má psát vaším stylem, dodržovat formát a postup, potřebujete fine-tuning. Když máte nejvýš padesát dokumentů, které se nemění, může stačit dlouhý kontext. Typický postup podle OpenAI obojí kombinuje: nejdřív RAG, potom doladění modelu na datech, která obsahují i výstupy RAG.

Rozhodovací tabulka

Co je špatně	Co to znamená	Řešení
Model nezná naše interní dokumenty	chybí znalost	RAG
Dokumenty se mění každý týden	znalost je neaktuální	RAG
Model odpovídá správně, ale špatným tónem	chybí konzistence chování	fine-tuning
Model nedodržuje formát výstupu	chybí konzistence chování	fine-tuning
Model neposlouchá předepsaný postup	chybí konzistence chování	fine-tuning
Potřebujeme u odpovědi citovat zdroj	potřebujeme dohledatelnost	RAG
Máme 20 dokumentů, které se nemění	malý a stabilní objem	dlouhý kontext
Potřebujeme obojí	znalost i chování	RAG a fine-tuning

Co RAG skutečně dělá

RAG je zkratka pro retrieval augmented generation, tedy hledání s doplněním kontextu. Funguje ve třech krocích. Dokumenty se rozdělí na malé kousky, kterým se říká chunky. Z každého chunku se udělá číselný otisk, takzvaný embedding, a ten se uloží do vektorové databáze. To je úložiště, které umí najít otisky podobné dotazu. Když přijde dotaz, systém najde několik nejpodobnějších chunků, vloží je do zadání a model odpoví na jejich základě.

Důsledek je praktický: model nemusí dokumenty znát předem, dostane je při každém dotazu. Když se dokument změní, stačí ho znovu zpracovat do indexu. Když přibude nový, stačí ho uložit do databáze. Znalost je oddělená od modelu, což je přesně to, co firma s měnícími se dokumenty potřebuje.

RAG selhává na třech místech: špatný chunk, tedy kousek textu, který sám o sobě nedává smysl, hledání, které najde podobný, ale nesprávný text, a model, který z nalezeného textu vyvodí víc, než v něm je. Kvalita RAG není jen otázka modelu, ale hlavně kvality indexu a hledání. Proto se RAG bez měření kvality nedá rozumně nasadit.

Co fine-tuning skutečně dělá

Fine-tuning je doladění modelu na vlastních příkladech. Model se učí na dvojicích zadání a správné odpovědi. Nemění se tím, co model ví o světě, ale jak reaguje: tón, struktura, dodržování postupu, formát výstupu.

OpenAI to popisuje stejně. Kontextová optimalizace, tedy RAG, řeší chybějící, neaktuální nebo vlastní firemní znalosti. Optimalizace modelu, tedy fine-tuning, řeší nekonzistentní formát, tón a nedodržované postupy uvažování. Jinými slovy: RAG přidává fakta, fine-tuning přidává zvyk.

Na chybějící nebo neaktuální znalosti je proto určena kontextová optimalizace, ne doladění modelu. Fakta se v modelu špatně aktualizují, v odpovědi nejde doložit zdroj a při změně dokumentu musíte doladit znovu. Fine-tuning je nástroj na chování, ne na znalosti.

Cena doladění: díky metodě QLoRA se dá doladit model se 65 miliardami parametrů na jedné grafické kartě s 48 GB paměti za 24 hodin. OpenAI doporučuje začít s 50 a více příklady a kvalitu trénovacích dat staví nad jejich množství. Příklady musí někdo napsat a zkontrolovat, a to je práce, kterou žádný výpočet neudělá.

Třetí cesta: dlouhý kontext

Moderní modely zvládají kontext stovek tisíc tokenů. Token je nejmenší jednotka textu, se kterou model pracuje. Model DeepSeek V4.1 Flash, který provozujeme v labu, zvládne 401 408 tokenů včetně odpovědi. To je dost na to, aby se do jednoho dotazu vešla celá sada dokumentů, a nemusíte stavět index ani doladovat model.

Kolik místa český text zabere, jsme změřili 27. 10. 2026. Jedenáct českých článků Wikipedie, celkem 59 755 slov, zabralo 142 634 tokenů, tedy 2,39 tokenu na slovo a 2,88 znaku na token. Deset anglických článků na stejná témata vyšlo na 1,33 tokenu na slovo, takže čeština potřebuje na stejný obsah zhruba 1,8krát víc tokenů.

Z toho vychází, že 401 408 tokenů je zhruba 168 tisíc slov. To je 560 stran po 300 slovech, nebo 56 desetistránkových směrnic. Do jednoho dotazu se tak vejde celá směrnice, katalog nebo sada dvaceti dokumentů po osmadvaceti stranách.

To mění rozhodnutí. Když má firma 20 dokumentů, které se nemění, nemusí stavět RAG ani doladovat model. Stačí dát dokumenty do kontextu. Ušetříte index, vektorovou databázi a starost o to, jak dokumenty správně nakrájet.

Kdy to nestačí: když má firma stovky dokumentů, kontext přestane stačit. Do 401 tisíc tokenů se vejde zhruba 560 stran, takže stovky dokumentů se do něj nevejdou. A i kdyby se vešly, posílat při každém dotazu celý objem je drahé a pomalé.

Jak jsme to měřili

Měřeno 27. 10. 2026 nástrojem tiktoken 0.14.0 s kódováním o200k_base. To je tokenizer, který používají modely GPT-4o, GPT-4.1 i řada GPT-5. Vzorkem bylo jedenáct českých článků Wikipedie z různých oborů, od Umělé inteligence po Historii, celkem 59 755 slov, a deset anglických článků na stejná témata s 80 812 slovy. Počítal se holý text bez šablony a navigace. Přepočet na strany počítá s 300 slovy na stranu. Ceny v ilustraci jsou zaokrouhlené na celé centy.

Kolik to stojí

Počítejme se sazbou 0,10 dolaru za milion vstupních tokenů. To je krátká sazba nejlevnějšího modelu řady GPT-6 v ceníku OpenAI.

• Dotaz s celým kontextem 401 tisíc tokenů vyjde při této sazbě kolem 4 centů
• RAG, který pošle 5 tisíc tokenů, vyjde kolem 0,05 centu

Pozor na jednu věc: u těchto modelů má OpenAI pro požadavky nad 272 tisíc tokenů dvojnásobnou sazbu. Dotaz s celým kontextem tak vyjde kolem 8 centů a RAG kolem 0,1 centu. Rozdíl zůstává osmdesátinásobný. U lokálního modelu neplatíte za tokeny, ale za hardware a elektřinu, takže se rozdíl neprojeví v účtu, ale v kapacitě a v rychlosti odpovědi. Čím delší kontext při každém dotazu, tím méně dotazů stroj zvládne za stejný čas.

Na totéž upozorňuje studie z konference EMNLP 2024. Dlouhý kontext při dostatku prostředků podává lepší výsledky než RAG, ale RAG zůstává výrazně levnější. Autoři navrhli metodu Self-Route: model sám odhadne, jestli dotaz zvládne dlouhý kontext, a podle toho se dotaz pošle k RAG, nebo k dlouhému kontextu.

Když potřebujete obojí

RAG a fine-tuning nejdou proti sobě, dají se kombinovat. RAG dodá fakta z dokumentů, fine-tuning naučí model, jak s nimi pracovat: jak strukturovat odpověď, jak citovat, jak odmítnout, když odpověď v dokumentech není.

Postup podle doporučení OpenAI je takový: nejdřív zadání a RAG, protože to je nejrychlejší cesta k funkčnímu výsledku. Teprve když model odpovídá věcně správně, ale nekonzistentně, přidá se fine-tuning. Doladění na datech, která obsahují i výstupy RAG, je poslední krok, ne první.

Kdy to neplatí

• U regulovaných dokumentů nestačí, že model odpoví. Musíte umět doložit, z čeho odpověď vznikla. RAG to umí, dlouhý kontext hůř.
• Fine-tuning neaktualizuje znalosti. Když se směrnice změní, doladění nepomůže. Musí se změnit data v RAG nebo v kontextu.
• Dlouhý kontext nezvládne dokumenty, které se do něj nevejdou. U stovek dokumentů je RAG praktičtější cesta.
• Kvalita RAG závisí na tom, jak jsou dokumenty nakrájené, a na hledání. Špatně nastavený RAG je horší než dobře nastavený dlouhý kontext.

Časté otázky

Můžeme fine-tuningem naučit model naše dokumenty?

Technicky ano, ale nedoporučuje se to. Model si fakta nezapamatuje spolehlivě, v odpovědi nejde doložit zdroj a při změně dokumentu musíte doladit znovu. Na fakta je RAG.

Kolik dokumentů zvládne RAG?

Do kontextu jde vždy jen několik nejrelevantnějších kousků, takže počet dokumentů není hlavní limit. Rozhoduje kvalita hledání a toho, jak jsou dokumenty nakrájené.

Jak poznám, že potřebuji fine-tuning?

Když model odpovídá věcně správně, ale špatným tónem nebo formátem, případně nedodržuje předepsaný postup. To je signál, že problém je v chování, ne ve znalostech.

Je fine-tuning dražší než RAG?

Jednorázově ano, protože potřebujete připravit desítky až stovky kvalitních příkladů a zaplatit výpočet. Dlouhodobě záleží na objemu dotazů. RAG má průběžné náklady na indexaci a hledání.

Co si odnést

Rozhodnutí mezi RAG a fine-tuningem není otázka módy, ale otázka toho, co je špatně. Chybí znalost? RAG. Chybí konzistence chování? Fine-tuning. Málo stabilních dokumentů? Dlouhý kontext. Když potřebujete obojí, kombinujete RAG i doladění.

Pokud potřebujete poradit s konkrétním případem, naše služba RAG nad firemními dokumenty začíná auditem dat a rozhodnutím, jestli RAG, dlouhý kontext nebo doladění. Pro lokální provoz se hodí i lokální LLM a naše měření dlouhého kontextu. Pokud řešíte, kolik paměti takový provoz potřebuje, spočítali jsme to v samostatném článku.

Zdroje

• OpenAI: Optimizing LLM Accuracy, kdy použít kontext a kdy optimalizaci modelu
• RAG or Long-Context LLMs?, EMNLP 2024, srovnání dlouhého kontextu a RAG
• QLoRA: Efficient Finetuning of Quantized LLMs, 65B model na jedné 48GB kartě
• OpenAI pricing, cena vstupních tokenů použitá v ilustraci
• Wikipedie, vzorek českých a anglických článků pro měření tokenizace
• Warpy lab: DS41F 1.0.0, kontext 401 408 tokenů