Dva špičkové modely za dva dny. Čtyřnásobná cena za token, necelé dva body navíc

Dva špičkové modely za dva dny. Čtyřnásobná cena za token, necelé dva body navíc

V pondělí 9. listopadu vydal Anthropic dvojici modelů Claude Fable 5.2 a Claude Mythos 5.2. O den později, v úterý 10. listopadu, otevřel Google svůj nejsilnější model Gemini 4 Carbon všem platícím vývojářům a firmám. Dva špičkové modely tak vyšly během dvou dnů a jejich rozdíl se dá měřit i na penězích.

Na nezávislém žebříčku Artificial Analysis vede Fable 5.2. Za milion tokenů ale stojí čtyřikrát víc než Carbon a za dokončený úkol jen o sedmnáct procent víc. Právě tenhle rozdíl mezi cenou za token a cenou za práci je pro každého, kdo AI platí z rozpočtu, důležitější než pořadí v tabulce.

Co vydal Anthropic

Fable 5.2 a Mythos 5.2 jsou podle Anthropicu stejný základní model ve dvou podobách. Fable má silnější ochrany proti zneužití v kybernetice a biologii, a proto ho firma dává všem uživatelům. Mythos tyto ochrany nemá a zájemci o něj musí požádat o přístup a projít schválením. Model generuje odpovědi až o třicet procent rychleji než předchozí verze 5.1 a stojí osm dolarů za milion vstupních a čtyřicet dolarů za milion výstupních tokenů, tedy méně než u verze 5.1. Kdo potřebuje vyšší rychlost, může zapnout takzvaný rychlý režim. Ten zrychlí generování až 2,5krát, ale cena se zvedne na šestnáct dolarů za vstup a osmdesát za výstup.

Zajímavější než cena je, co Anthropic o modelu říká sám. Nedoporučuje ho jako každodenní nástroj. Na běžné kódování a práci se znalostmi doporučuje Claude Opus 5.5 a Fable nasazovat jen na nejtěžší, otevřené úlohy. Model se tak prodává jako specialista na to, co jiné modely nezvládnou, ne jako univerzální náhrada.

Co otevřel Google

Gemini 4 Carbon Google představil 28. října, ale nejdřív ho pustil jen skupině obránců v programu Fairwind, kteří ho testují na hledání zranitelností. Teprve 10. listopadu se otevřel všem platícím vývojářům a firmám, v aplikaci ho dostanou i předplatitelé Google AI Ultra.

Cena je zaváděcí: dva dolary za milion vstupních a deset za milion výstupních tokenů platí do 30. listopadu, od 1. prosince se obojí zdvojnásobí na čtyři dolary za vstup a dvacet za výstup. Model má kontextové okno milion tokenů a účtuje i tokeny, které spotřebuje na uvažování, jako výstup. To je důležité: čím déle model přemýšlí, tím víc platíte, i když odpověď zůstane krátká.

Google zároveň říká, že Carbon není náhrada staršího Gemini 4 Argon pro všechno. Argon zůstává podle firmy ideální pro většinu programování a znalostní práce, Carbon je na úlohy, které testují hranice modelu, a spotřebuje přitom víc tokenů než Argon.

Co ukazuje nezávislý žebříček

Artificial Analysis měří modely na vlastní sadě úloh a z nich skládá index inteligence. V jeho aktuální verzi vede Fable 5.2 s 64,6 body při maximálním úsilí. Při vysokém úsilí, které je pro většinu práce rozumnější, má 61,8 bodu. Gemini 4 Carbon dosahuje při vysokém úsilí 60,0 bodu a při středním 58,3. Pro srovnání: Claude Opus 5.5 má na maximu 59,1 bodu, GPT-6 Astra 56,9 a starší Gemini 4 Argon 50,4.

Žebříček zveřejňuje i cenu za jeden úkol ze své testovací sady. Fable 5.2 na vysoké úsilí vyjde na 9,08 dolaru, Carbon na stejné úrovni na 7,76 dolaru, Opus 5.5 na maximu na 10,04 dolaru a Argon na 9,95 dolaru. Nejlevnější není nejslabší: GPT-6.1 Sol na maximu stojí 1,27 dolaru za úkol a má 54,6 bodu.

Cena za token není cena za práci

Nejužitečnější číslo z té tabulky je srovnání Carbonu s Argonem. Oba modely mají stejnou cenu za token, čtyři dolary za vstup a dvacet za výstup, ale Carbon je na úkol levnější (7,76 proti 9,95 dolaru), přitom o necelých deset bodů lepší. Rozdíl nevzniká v ceníku, ale v tom, kolik tokenů model spotřebuje a jakou část tvoří výstup. Kdo porovnává modely podle ceny za milion tokenů, může se splést právě tady.

Druhý příklad je Fable. Má čtyřikrát dražší token než Carbon, ale na úkol je dražší jen o sedmnáct procent, protože ho spotřebuje méně. Anthropic k tomu uvádí, že na střední úsilí zvládne těžké úlohy s menším počtem tokenů než verze 5.1. Platí ale jedna výhrada: Artificial Analysis počítá s cenou čtyři dolary za vstup a dvacet za výstup, která u Carbonu platí až od prosince. Do konce listopadu je Carbon za polovinu, takže rozdíl v ceně za úkol bude dočasně větší.

Co tvrdí výrobci

Výrobci zveřejnili i vlastní čísla a ta bývají lepší než nezávislý žebříček. Anthropic uvádí, že Fable 5.2 na vysoké úsilí dosáhl v testu FrontierCode 2.0 na 45,3 procenta, tedy prakticky stejně jako Opus 5.5 na maximu (45,5 procenta), ale za zhruba poloviční cenu za úkol. Na nejvyšší úsilí má 49,1 procenta, což je podle firmy nejvíc ze všech vydaných modelů. V testu návrhu elektroniky BenchCAD 2.1 skóroval 83,5 proti 65,3 u Opusu 5.5. V testu znalostí Humanity's Last Exam prý na nízké úsilí vyrovná maximum Opusu za méně než desetinu ceny.

Google zase uvádí, že Carbon skončil druhý v novém testu MKA, který firma vyvíjela společně s Artificial Analysis, a to s víc než šestkrát nižší průměrnou cenou za úkol než vítěz. V kybernetice podle Googlu vede v hledání zranitelností (SEC-bench Pro), v jejich zneužití (ExploitGym) i v opravách (CWE-bench). Jeho interní systém Big Sleep dosáhl při skenování stoprocentního záchytu a pětadevadesátiprocentní přesnosti při třídění nálezů. Při skenování dvou velkých poskytovatelů softwaru jako služby našel dosud neznámé zranitelnosti za méně než dvě hodiny.

Všechna ta čísla jsou od firem, které modely vyrobily. Nezávislé ověření kybernetických výsledků zatím chybí, u indexu Artificial Analysis naopak chybí podrobný rozbor, jak přesně cenu za úkol počítá.

Bezpečnost jako nový způsob distribuce

Zajímavé je, jak obě firmy silný model vydaly. Google ho nejdřív na dva týdny půjčil jen obráncům, kteří hledají zranitelnosti, a teprve potom ho pustil na trh. Anthropic zvolil jinou cestu: Fable dal všem, ale s ochranami, které mají zabránit zneužití, a plnou verzi bez nich (Mythos) nabízí jen po schválení.

Čísla, která Google k ochranám zveřejnil, stojí za pozornost. Carbon podle firmy zablokoval 99 procent útočných postupů v simulovaném prostředí a míra průniku klesla z 3,1 procenta u Argonu na 0,8 procenta. V testech agentury Gray Swan uspělo 2,17 procenta automatických útoků proti 9,86 procenta u Argonu. Firma Trajectory Labs nenašla za 132 hodin a třináct tisíc požadavků žádný nový univerzální způsob, jak ochrany obejít.

Co si z toho odnést

• Špička se rozdvojila. Dva nejsilnější modely od dvou velkých laboratoří vyšly ve dvou dnech a rozdíl mezi nimi je necelé dva body indexu.
• Rozhoduje cena za dokončený úkol. Rozdíl v ceně za token je čtyřnásobný, rozdíl v ceně za práci sedmnáctiprocentní.
• Dražší model nemusí být dražší v provozu, pokud spotřebuje méně tokenů. U agentních úloh, kde model volá nástroje desítkykrát za sebou, se to sčítá.
• U zaváděcích cen pozor na datum. Carbon zdraží 1. prosince na dvojnásobek, což může změnit, který model se vyplatí.

Co sledovat dál

První nezávislé testy Fable 5.2 v kybernetice, kde Anthropic drží plnou verzi za schválením. Pak prosincové zdražení Carbonu a s ním i to, jestli bude Google konkurovat cenou, nebo výkonem. A hlavně obyčejnou praxi: jestli se rozdíl mezi oběma modely projeví na skutečné práci, ne jen v tabulkách, které si každý výrobce sestavuje sám.