WARPYAI MAGAZÍN
Srozumitelné návody, srovnání a zkušenosti z provozu. Podklady pro výběr modelů, práci s daty i nasazení AI ve firmě.
PŘEHLED ČLÁNKŮ
4 články
Čtyři DGX Sparky za 876 tisíc korun vyjdou na 25 559 Kč měsíčně, z toho elektřina je necelých 5 procent. Při plném vytížení zvládnou 693 milionů tokenů, tedy 36,9 Kč za milion. Stejný model přes API DeepSeeku stojí 13 až 26 Kč. Rozhoduje vytížení, ne cena elektřiny.
Kontext se dá při předání práce mezi agenty vměstnat do stovek tokenů. V našich 40 reálných sessions měl plný přepis medián 93 346 tokenů, předávací záznam 677 tokenů. Co do záznamu patří, co je jen šum a kolik tokenů model skutečně přečte.
Když má model znát obsah dokumentů, potřebujete RAG. Když má psát vaším stylem a dodržovat formát, potřebujete fine-tuning. Rozhodovací tabulka a měření, kolik dokumentů se vejde do dlouhého kontextu.
Velikost modelu, kvantizace a délka kontextu rozhodují o tom, kolik paměti lokální LLM potřebuje. Tabulka s reálnými velikostmi souborů a výpočtem pro 8k, 32k a 128k kontext.
