Otevřené modely ztratily na špičku. Nový žebříček Artificial Analysis stojí z většiny na soukromých testech
Artificial Analysis vydal Intelligence Index v5. Poprvé stojí většina testů na soukromých datech a otevřené modely si pohoršily. Nejlepší model se skutečně vydanými váhami ztrácí na špičku 26 bodů.
Redakce: Warpy AI lab.
Otevřené modely ztratily na špičku. Nový žebříček Artificial Analysis stojí z většiny na soukromých testech
Artificial Analysis zveřejnil v úterý 27. října pátou verzi svého Intelligence Indexu, žebříčku, podle kterého se v oboru posuzuje schopnost jazykových modelů. Nová verze je podle firmy největší změna od ledna, kdy vyšla verze v4. Přinesla i nepříjemnou zprávu pro každého, kdo sází na modely s otevřenými váhami: rozdíl mezi nejlepším z nich a nejlepším modelem světa se zvětšil.
Čísla jsou jednoznačná. Lídr Claude Opus 5.5 (max) má 58 bodů. Nejlepší model, jehož váhy si můžete stáhnout, DeepSeek V4.1 Flash 1017 (max), má 32 bodů. Rozdíl je 26 bodů. V předchozí verzi indexu přitom byla mezera mezi nejlepším otevřeným a nejlepším uzavřeným modelem tři body.
Co se v indexu změnilo
Index v5 stojí na devíti testech rozdělených do čtyř kategorií po pětadvaceti procentech: práce se znalostmi, programování, věda a obecné znalosti. Dva testy jsou nové, tři prošly úpravou a tři z indexu vypadly.
Nový je FrontierCode 2.0 od firmy Cognition. Má 132 úloh z reálných open-source repozitářů a hodnotí se podle toho, jestli by úpravu správce projektu přijal. Druhý nový test se jmenuje Terminal-Bench-Science. Má sedmdesát úloh z vědecké praxe, které experti připravili a zkontrolovali, a agent je řeší v terminálu.
Zásadnější je ale jiná změna: 60 procent indexu teď stojí na testech se soukromou sadou otázek nebo se skrytými odpověďmi. To je poprvé, co soukromá data převažují. U testu CritPt v2, který se týká výzkumné fyziky, vybrali autoři ze sedmdesáti otázek čtyřicet. Vyhodili třicet těch, které sedm špičkových modelů vyřešilo ve všech pěti pokusech hned při uvedení testu.
Smysl je jasný. Veřejné testy se dřív nebo později dostanou do trénovacích dat a přestanou měřit schopnost, soukromá sada tomu brání. Zároveň výsledky nejde nezávisle přehrát: ověřit si můžete metodu, ne čísla.
Jak vypadá žebříček
| Model | Body | Váhy |
|---|---|---|
| Claude Opus 5.5 (max) | 58 | uzavřené |
| GPT-6 Astra (max) | 57 | uzavřené |
| GPT-6.1 Sol (max) | 55 | uzavřené |
| Claude Sonnet 5.5 (max) | 54 | uzavřené |
| GPT-6.1 Terra (max) | 51 | uzavřené |
| Gemini 4 Argon (high) | 50 | uzavřené |
| Muse Wonder Full (max) | 50 | uzavřené |
| Claude Fable 5.1 (max) | 49 | uzavřené |
| Kimi K3.1 Pro | 46 | otevřené, bez vah |
| Muse Wonder (max) | 43 | uzavřené |
| Grok 4.7 (xhigh) | 34 | uzavřené |
| DeepSeek V4.1 Flash 1017 (max) | 32 | otevřené |
| GLM-5.3 (max) | 32 | otevřené |
| MiMo-V2.6-Pro | 30 | otevřené |
Prvních pět míst drží Anthropic a OpenAI. Kimi K3.1 Pro je devátý v pořadí a mezi modely s otevřenými váhami vede, jenže své váhy zatím nevydal. Modely se skutečně vydanými váhami začínají až na 32 bodech.
Slib, který vydržel čtyři dny
V pátek 23. října představil Moonshot model Kimi K3.1 Pro. Na tehdejší verzi indexu dostal 55 bodů a skončil čtvrtý. Artificial Analysis k tomu napsal, že jakmile Moonshot váhy vydá, bude Kimi K3.1 Pro nejlepší model s otevřenými váhami a mezera se z dvanácti bodů zúží na tři.
V úterý 27. října, o čtyři dny později, přišel index v5. Kimi K3.1 Pro v něm má 46 bodů a mezera na lídra je znovu dvanáct bodů. Váhy přitom pořád nejsou venku.
Kde přesně se rozdíl otevírá
Největší rozdíl není v programování. Na Terminal-Bench 4.0, testu práce v terminálu, je Kimi K3.1 Pro nejlepší model celého žebříčku s 67 procenty.
Rozdíl se otevírá jinde. V testu HLE-Diamond, nové verzi zkoušky Humanity's Last Exam s tisícem otázek rozdělených napůl na uvažování a znalosti, má Kimi K3.1 Pro 37 procent a Claude Opus 5.5 68 procent. Na Terminal-Bench-Science, kde jde o vědecké postupy v terminálu, má Kimi 34 procent a GPT-6 Astra 63 procent. DeepSeek V4.1 Flash 1017, nejlepší model se skutečně vydanými váhami, tam má 13 procent a většina ostatních modelů s otevřenými váhami zůstala pod deseti procenty. Zajímavé je, že v uvažovací části HLE-Diamond mají Claude Opus 5.5 i GPT-6 Astra shodně 78 procent, v té znalostní 58 a 50 procent. Slabší místo nejlepších modelů je tedy znalost, ne logika.
Úlohy jsou delší než dřív
Každý měřený model vygeneruje na jednu úlohu víc tokenů než ve verzi v4.3. Medián vzrostl o dvě třetiny, z 35 tisíc na 59 tisíc tokenů. Testy, kde model pracuje s nástroji, tvoří 55 procent váhy indexu, ale zhruba 90 procent spotřebovaných tokenů. Jen Terminal-Bench-Science spotřebuje asi třetinu.
Víc než dřív jde o to, jak model vydrží dlouhou práci s nástroji, ne jak rychle odpoví na jednu otázku. Artificial Analysis v oznámení neříká, proč se otevřené modely na těchto úlohách drží hůř.
Cena za bod
Druhá věc, která vyčnívá, je cena. Mezi deseti nejlépe hodnocenými modely, které firma v oznámení srovnává, se cena za jednu úlohu indexu liší víc než třináctkrát. Nejlevnější GPT-6.1 Terra (max) stojí 0,96 dolaru za úlohu, nejdražší Claude Fable 5.1 (max) 13,04 dolaru.
Nejužitečnější srovnání je ale jinde. Claude Opus 5.5 (max) má 58 bodů a stojí 10,04 dolaru za úlohu. GPT-6.1 Sol (max) má 55 bodů a stojí 1,27 dolaru. Za tři body ztráty zaplatíte osminu.
Pozor ještě na jednu věc: nastavení úsilí ovlivňuje výsledek mnohem víc než dřív. Claude Opus 5.5 má při nízkém úsilí 35 bodů a při maximálním 58, ale cena za úlohu je desetinásobná, 0,98 dolaru proti 10,04 dolaru. Kdo modely srovnává, musí srovnávat stejné nastavení, jinak srovnává něco jiného.
Co z toho plyne pro lokální provoz
DeepSeek V4.1 Flash 1017 provozujeme v labu. Model má 552 miliard parametrů celkem a 16 miliard aktivních při každém tokenu, licence MIT. Na novém indexu má 32 bodů, tedy 26 za lídrem.
U lokálního modelu neplatíte za tokeny. Rozpočet se počítá z hardwaru a elektřiny, takže cena 10,04 dolaru za úlohu se s lokálním během nedá srovnávat stejnou měrou. Index měří devět úloh a žádný model nevede všechny. Než se rozhodnete podle jednoho čísla, podívejte se na test, který odpovídá vaší práci.
Kolik paměti takový model potřebuje, jsme spočítali v článku Kolik paměti potřebuje lokální LLM. Jak vypadá provoz lokálního modelu v praxi, popisujeme na stránce lokální LLM, naměřené hodnoty našeho DeepSeeku najdete v labu.
Kde má index hranice
Co index neříká: Artificial Analysis sám uvádí, že jde primárně o textový test v angličtině a že obrázky, řeč a další jazyky měří zvlášť. Soukromé sady znamenají, že výsledky nejde přehrát, takže číslo od firmy berte jako její měření, ne jako nezávisle ověřený fakt. A konečně: Kimi K3.1 Pro je nejlepší otevřený model jen podle plánu. Dokud Moonshot váhy nevydá, je to uzavřený model s příslibem.
Co si odnést
- Index v5 stojí z 60 procent na soukromých testech. Je to obrana proti kontaminaci, ale zároveň to znamená, že čísla nejde nezávisle ověřit.
- Mezera mezi nejlepším otevřeným modelem a špičkou se zvětšila ze tří bodů na dvanáct. Mezi modely se skutečně vydanými váhami je to 26 bodů.
- Rozdíl není v programování v terminálu, kde otevřený model vede. Otevírá se u vědeckých a znalostních úloh, které jsou delší a spotřebují víc tokenů.
- Cena za úlohu se mezi špičkou liší víc než třináctkrát. Tři body na indexu mohou stát osminu.
Zdroje
- Artificial Analysis: Announcing Artificial Analysis Intelligence Index v5, 27. 10. 2026, složení indexu, váhy testů a výsledky
- Artificial Analysis: Intelligence Benchmarking, metodika jednotlivých testů a soukromé sady otázek
- Artificial Analysis: Kimi K3.1 Pro launches at 4th on the Intelligence Index, 23. 10. 2026, skóre 55 a očekávané vydání vah