Otevřené modely se vracejí ve velkém. Meta a Nvidia vydaly modely, které si můžete stáhnout a provozovat sami

Otevřené modely se vracejí ve velkém. Meta a Nvidia vydaly modely, které si můžete stáhnout a provozovat sami

Dva velké modely s otevřenými váhami vyšly ve stejný den. Ve čtvrtek 15. října zveřejnila Meta Muse Spark Open, svůj zatím nejsilnější model s otevřenými váhami, který si kdokoli může stáhnout a provozovat na vlastním počítači. Nvidia vydala Nemotron 3.5 Super VL, model určený pro agenty, kteří pracují nepřetržitě dny i týdny. Obě firmy tím vysílají stejný signál: nejlepší modely už nemusí běžet jen v cloudu.

Otevřené váhy znamenají, že firma zveřejní soubor s naučenými parametry modelu. Kdokoli si ho stáhne, spustí na vlastním hardwaru a může ho dál upravovat. Je to jiný přístup než u modelů, které jsou dostupné jen přes placené rozhraní a běží výhradně na serverech výrobce. Právě otevřené modely stojí za vzestupem lokálních AI nástrojů, které fungují bez připojení k internetu a bez posílání dat do cloudu.

Meta otevřela svůj nejlepší model

Muse Spark Open má 816 miliard parametrů, z nichž je při každém kroku aktivních 42 miliard. Parametry jsou čísla, která si model uložil během tréninku, a jejich počet zhruba odpovídá jeho velikosti. Že je aktivní jen zlomek, je záměr: architektura označovaná jako mixture of experts nechá pro každé slovo pracovat jen část modelu, takže je běh rychlejší a levnější. Model zvládá text, obrázky, zvuk i video a udrží v paměti kontext až jeden milion tokenů. Token je základní jednotka textu, se kterou model počítá, zhruba tři čtvrtiny slova. Milion tokenů tak odpovídá celé knize najednou.

Meta tvrdí, že jde o nejschopnější americký model s otevřenými váhami, jaký kdy vznikl. Zajímavější než čísla je ale to, kde běží. Muse Spark Open je podle Mete první model své třídy, který se dá provozovat na dvou počítačích Mac Studio s čipem M5 Ultra. Každý z nich má 512 gigabajtů paměti, dohromady tedy terabajt, a díky propustnosti 1,2 terabajtu za sekundu fungují jako jeden velký stroj. Meta k tomu používá MLX, framework Applu pro běh modelů na jeho čipech. Podle šéfa Meta AI Alexandr Wanga firmy na spolupráci pracují už několik měsíců, což je vzhledem k napjatým vztahům obou firem překvapení.

Meta ukázala i to, co model zvládne na vlastním počítači bez cloudu. Její nástroj Muse Code s ním opravil a rozšířil open source klient Mastodonu Ice Cubes, včetně sestavení celé aplikace, a ovládal střihový program DaVinci Resolve, ve kterém sám procházel záběry a vybíral ty nejlepší pro svislé video.

Model si můžete stáhnout z Hugging Face, Amazon SageMaker, Google Cloud Model Garden a Microsoft Foundry. Kdo nechce řešit hardware, může model používat přes rozhraní u sedmi poskytovatelů, mezi nimi Baseten, Fireworks, Groq, Modal, Nebius, OpenRouter a Together AI. Licence Mete dovoluje mnoha vývojářům používat model zdarma, komerční nasazení ale podléhá omezením. Firma také model dodatečně dotrénovala na bezpečnost, protože otevřené váhy běží bez ochranných systémů, které firmy nasazují u svých cloudových služeb.

Na nezávislém indexu Artificial Analysis dostal Muse Spark Open 39 bodů a umístil se na desátém místě ze 119 hodnocených modelů. Mezi otevřenými modely ho ale stále předhánějí čínské GLM 5.3 se 45 body a Kimi K3 se 44 body. Americký primát tedy platí, světový ne. Cena přes rozhraní je 1,25 dolaru za milion vstupních a 4,25 dolaru za milion výstupních tokenů.

Nvidia: model pro agenty, kteří nikdy nespí

Druhý velký model dne cílí na jiný problém. Nemotron 3.5 Super VL má 120 miliard parametrů, z toho 12 miliard aktivních, a je postavený pro takzvané nepřetržité agenty. To jsou programy, které běží dny až týdny a průběžně čtou dokumenty, tabulky, grafy, webové stránky nebo video a podle toho jednají. Nvidia staví Nemotron jako rodinu modelů: velký zvládá náročné uvažování, menší obsluhují rutinní úkoly.

Podle Nvidie je Nemotron 3.5 Super VL až pětkrát rychlejší než srovnatelné otevřené modely a na indexu Artificial Analysis získal 26 bodů, tedy dvojnásobek proti svému předchůdci. Zásadní je, kde běží: vejde se na jediný DGX Spark, malý počítač Nvidie pro lokální AI, a s úspornější kvantizací, tedy zmenšením modelu, se dá spustit i na stroji se 64 gigabajty paměti. Kvantizace znamená, že se čísla v modelu ukládají s menší přesností, model je menší a rychlejší, může ale mírně ztratit na kvalitě.

Nvidia k němu přidala dva menší modely řady Bolt. První s 74 miliardami parametrů se vejde do 24 gigabajtů paměti, takže běží na běžné grafice RTX nebo na DGX Spark, a zvládne každodenní práci agenta. Druhý s označením E4B je určený pro hlasové asistenty a zařízení, jako jsou roboti nebo chytré přístroje, a vyjde 23. října. Firma zároveň zveřejnila datasety, na kterých se dá model dál učit, a řada společností už to dělá: Scale AI ho dotrénovala pro zpracování faktur ve firmě Skydance a hlásí čtyřicetkrát nižší náklady na provoz, Ramp desetkrát nižší odezvu při čtení účtenek a AI21 s Alicí o 41 procent vyšší přesnost v analýze hrozeb.

Co z toho plyne

Ještě před rokem platilo, že ty nejlepší modely zůstávají uzamčené v cloudu a otevřené alternativy za nimi zaostávají. Letošní říjen ukazuje opak. Během jediného dne vyšly dva modely, které se na nezávislých testech drží vysoko nad průměrem a oba se dají stáhnout a provozovat na vlastním hardwaru. Pro firmy to znamená kontrolu nad daty, která nemusí opouštět jejich servery, a možnost model dotrénovat na vlastní obor. Pro jednotlivce je hlavní překážkou cena hardwaru: dva Mac Studia nebo DGX Spark nejsou levná záležitost. Menší modely jako Bolt se 24 gigabajty už ale běží na běžné grafice a hardware dál zlevňuje.

Zároveň je dobré držet se při zemi ve dvou věcech. Otevřené váhy nejsou totéž co open source: každý model má vlastní licenci, která určuje, co se s ním smí dělat. A americký primát mezi otevřenými modely není absolutní, protože čínské modely GLM 5.3 a Kimi K3 skórují výš. Závod otevřených modelů je dnes globální a rozhodně neskončil.