Největší model nemusí vyhrát. Mercury 3 a SKY-001 zabraly tam, kde jde o čas a cenu

Největší model nemusí vyhrát. Mercury 3 a SKY-001 zabraly tam, kde jde o čas a cenu

V pondělí 19. října vyšly dva modely, které nejdou cestou „čím větší, tím lepší“. Inception představila Mercury 3, který text neskládá slovo za slovem, ale upravuje celý naráz. Skyfall AI ukázala SKY-001, který místo psaní rovnou plánuje ve 3D. Oba na svém úzkém úkolu tvrdí, že dohnaly nebo předehnaly nejlepší dostupné modely, a to za zlomek času a ceny. Obě čísla ale pocházejí od firem, které modely vyrobily. Číst je proto třeba jako slib, ne jako změřený fakt.

Mercury 3: model, který nepíše slovo za slovem

Většina dnešních modelů funguje jako psací stroj. Předpoví další slovo, připíše ho a pokračuje zleva doprava. Dlouhá odpověď je proto dlouhá řada kroků a ani seberychlejší krok tenhle problém neobejde. Diffusion model pracuje jinak. Začne s hrubým návrhem celé odpovědi a v několika průchodech ho zpřesňuje najednou, podobně jako redaktor, který přepisuje celý odstavec, ne jedno slovo.

Inception tvrdí, že Mercury 3 je nejschopnější diffusion model, jaký kdy vyšel. Proti prvnímu Mercury je víc než 40krát větší, a přesto stejně rychlý. Firma uvádí 1 068 tokenů za sekundu na svých GPU, kontext milion tokenů (u Mercury 2.5 to bylo 260 tisíc) a cenu 0,20 dolaru za milion vstupních a 0,70 dolaru za milion výstupních tokenů. Při startu platí poloviční cena, tedy 0,10 a 0,35 dolaru.

Podle tabulky, kterou Inception zveřejnila, model poráží GPT-6 Luna i Claude Haiku 5.5, oba při střední míře uvažování. Nejlepší skóre měl v osmi z dvanácti testů, proti každému soupeři zvlášť vyhrál deset z dvanácti. Největší rozdíly jsou na agentních úlohách: SWE-Bench Atlas 51,1 proti 33,3 u Luna, test zákaznického servisu τ³-bench 30,2 proti 23,0. Prohrál naopak na vybavování z dlouhého kontextu a v jednom kódovacím testu, kde byl Haiku 5.5 lepší.

Praktický test přišel od partnera TinyFish: na padesáti živých úlohách navigace ve webovém prohlížeči (Mind2Web) Mercury 3 dokončil polovinu, výrazně víc než GPT-6.1 Sol, a to při stejném objemu tokenů a stejném počtu kroků.

Kde se slibované číslo rozchází s provozem

Hlavní číslo je 1 068 tokenů za sekundu, naměřených na hardware Inception. Server eesel.ai se 20. října podíval na OpenRouter, kde Mercury 3 běží u jediného poskytovatele, tedy u samotné Inception. Medián tam byl 160 tokenů za sekundu, druhý odběr ve stejný den 254, týdenní průměr 203. Pořád je to rychlejší než zhruba 130 tokenů u GPT-6 Luna, ale jen asi pětina slibovaného čísla.

Ani spoluzakladatel Inception to nepřehání. Volodymyr Kuleshov v diskusi na Hacker News napsal, že v jejich vlastním každodenním použití je model na úrovni Haiku nebo Luna. Nenahradí Opus ani Fable jako hlavní model, ale osvědčil se pro subagenty. Inception také nezveřejnila počet parametrů a váhy modelu si stáhnout nejdou.

SKY-001: model, který místo textu kreslí

Druhý případ je ještě užší. Navrhnout strojní součást nebo půdorys bytu v textu nejde dobře, protože rozhoduje geometrie a vzájemné vazby stovek dílů. Skyfall AI proto postavila model, který plánuje přímo v obraze. SKY-001 nejdřív rozdělí zadání na strom celků a dílů, potom pro každý díl vygeneruje posloupnost kroků, kterými se staví. Tomu se v oboru říká world model, tedy model, který si drží představu o prostoru a o tom, co v něm platí.

Benchmark CAD obsahoval tisíc komponent z reálných objektů, mimo jiné z vozu Jaguar E-Type, průmyslového ramene FANUC, minitraktoru, vrtulníku Bell 222 a proudového motoru. Každý díl se staví zhruba ve stu krocích a výsledek se porovnává s referencí mírou IoU, tedy překryvem tvarů. SKY-001 dosáhl 79,7 procenta, GPT-6 Astra 79,1 procenta. Rozdíl v čase a ceně je ale jiný příběh: 3,9 sekundy proti 199 sekundám a 0,005 dolaru proti 0,75 dolaru za díl. Podle Skyfallu je to zhruba 50krát rychlejší a 150krát levnější.

Test BIM měl tisíc půdorysů s průměrně sedmdesáti kroky kreslení. SKY-001 skóroval 43,6 procenta IoU, GPT-6 Astra 40,6 procenta, a byl přitom zhruba 120krát rychlejší a 185krát levnější: 1,22 sekundy a 0,0024 dolaru proti 144,6 sekundy a 0,446 dolaru za plán.

Model se učil na víc než 200 tisících dílech a 600 tisících ukázkách stavby. Pro půdorysy přidala firma zhruba 35 tisíc plánů a dva miliony mezistavů kreslení. Kvalitu porovnávaly dva jiné modely jako slepí rozhodčí (GPT-6.1 Sol a Claude Opus 5.5) a dávaly SKY-001 průměrně 7,8 bodu z deseti, GPT-6 Astra 6,4.

Platí stejná výhrada jako u Mercury: všechno jsou čísla Skyfallu z jeho vlastních testů, nezávislé ověření zatím chybí. Model není produkt ke stažení, firma ho představila jako výzkum. A že je GPT-6 Astra v této úloze nejlepší, tvrdí také Skyfall.

Co si z toho vzít

• Specializace se vyplácí. Když je úkol úzký a dobře popsaný, nemusí ho řešit největší obecný model. Stačí systém, který je na ten jeden úkol postavený.
• U agentů rozhoduje latence. Dvanáct volání za sebou znásobí každou vteřinu. Proto se výrobci předhánějí v tokenech za sekundu, i když u jedné chatové odpovědi rozdíl nepoznáte.
• Čísla od výrobce nejsou důkaz. Dokud nepřijde nezávislé měření, berte je jako slib. Mercury 3 je přesně ten případ: 1 068 na papíře, kolem dvou set v provozu.
• Rozhoduje cena za dokončený úkol, ne za token. U SKY-001 je vidět, jak hluboko může cena spadnout, když se model neplete do všeho ostatního.

Co sledovat dál

Nezávislé benchmarky Mercury 3, které Inception sama označuje za probíhající. První vnější test SKY-001, protože bez něj zůstane číslo od firmy. A také to, jak dlouho vydrží startovní sleva u Mercury 3.

Oba modely ukazují stejnou věc z jiné strany. Nestačí přidávat parametry. Kdo chce levnější a rychlejší AI, musí změnit architekturu nebo zúžit úlohu. A kdo chce vědět, jestli to funguje, musí se podívat na nezávislé měření, ne na tiskovou zprávu.