Anthropic: malé AI modely mohou být jen měsíce od samoreplikace. Stačí jim levné televizní boxy

Anthropic: malé AI modely mohou být jen měsíce od samoreplikace. Stačí jim levné televizní boxy

Umělá inteligence se v posledních měsících učí čím dál víc věcí sama: píše kód, hledá na webu, opravuje vlastní chyby. Bezpečnostní tým Anthropicu Frontier Red Team, který hledá slabiny vlastních modelů dřív než útočníci, v pondělí zveřejnil výsledky experimentů, které zkoumaly nepříjemnou otázku: dokázal by se model šířit z počítače na počítač úplně sám, tedy replikovat se bez lidského zásahu a bez velkého datacentra? Odpověď zní: ještě ne, ale možná jsme od toho jen měsíce daleko.

Patnáct televizních boxů místo datacentra

První experiment ukázal, že výkon pro běh schopného modelu dnes nemusí být jen v drahých serverech. Výzkumníci koupili patnáct neznačkových Android TV boxů, každý zhruba za 55 dolarů, propojili je a rozdělili mezi ně model Gemma4-26B-A4B s 26 miliardami parametrů. Každý box držel jen část modelu, dohromady ho ale utáhly a model běžel rychlostí 0,39 tokenu za sekundu. Token je základní jednotka textu, se kterou model pracuje. Zhruba odpovídá krátkému slovu nebo jeho části.

Rozdělení modelu na části znamená, že stačí i slabá zařízení, když jich je dost. Podle výzkumníků by devítimiliardový model utáhly čtyři boxy se 4 GB paměti každý, ten šestadvacetimiliardový deset a víc. A podobná zařízení jsou všude: chytré trouby, robotické vysavače, chytré kamery, televizní boxy.

Co modely dokážou samy

Druhá část experimentů se zaměřila na krok, který je pro samostatné šíření nejtěžší: nastavit na cizím zařízení běh modelu. To obnáší vybrat správný software, sladit verze, vyřešit chyby konkrétního přístroje. Tým to testoval na devíti typech hardwaru. Devítimiliardový model Qwen3.5-9B uspěl na osmi z nich. Větší modely, jako GLM-5.2, byly spolehlivější a běžely rychleji.

Pak přišel test celého řetězce: v simulované síti osmi zařízení s Androidem se měl model šířit z jednoho uzlu na další přes nezabezpečený port, nastavit na novém zařízení běh a spustit tam vlastní kopii. Z testovaných otevřených modelů zvládl celý řetězec jen GLM-5.2, a to spolehlivě: ve čtyřech z pěti pokusů prošel všemi osmi uzly, v pátém sedmi.

Důležité je, co to znamená. Menší modely dnes zvládají jednotlivé kroky, ale při jejich skládání dohromady dělají chyby. GLM-5.2 je větší, než co se vejde do levných zařízení, a v experimentu sehrál roli schopného agenta. Podle výzkumníků to znamená jediné: jakmile stejnou úroveň schopností získá i malý model, bude se umět šířit sám. A trend je jasný. Podle měření Epoch Capabilities Index rostou otevřené modely do 30 miliard parametrů o 13,7 bodu ročně. Pokud tempo vydrží, dosáhnou úrovně GLM-5.2 do konce letošního roku. Je to odhad, ne jistota, ale odhad podložený daty.

Proč by se takový vetřelec těžko zastavoval

Klasický malware má obvykle centrální bod, který se dá vypnout: server, odkud se šíří. Replikátor postavený na modelu nic takového nemá. Každá nakažená kopie je samostatná a šíří se dál, i když jinou část sítě někdo vyčistí. Není to rychlé, výzkumníci mluví o zdvojnásobení počtu kopií v řádu dnů, ale je to vytrvalé.

Navíc se takový model umí učit za pochodu. Kopie po sobě nechávají poznámky o tom, co zkusily a co nefungovalo, a nová kopie začíná s nimi. V experimentu s modelem Qwen3.5-9B tak úspěšnost nastavení běhu vzrostla z 45 procent v první generaci na 61 až 84 procent v dalších. Zajímavé je, že když výzkumníci dali malému modelu k ruce silnější model jako poradce, vůbec to nepomohlo. Malé modely se prostě neumí dobře zeptat.

Pro představu o měřítku: kdyby se podobný trik rozšířil na botnet velikosti Kimwolf, což je síť přes dva miliony převážně Android TV zařízení, vzniklo by zhruba 133 tisíc kopií modelu a dohromady by dávaly asi 80 tisíc tokenů za sekundu. To je podle výzkumníků zhruba výkon 40 čipů H100. Zní to jako hodně, ale ve srovnání s běžnými datacentry je to málo. Šíření by navíc bylo pomalé: jedna replikace devítimiliardového modelu trvá 28 až 51 hodin.

Jak se bránit

Výzkumníci nekončí varováním, přidávají i obranu. Základní myšlenka je stejná jako u epidemií: dostat počet nově nakažených zařízení z jedné nakažené kopie pod jedna, aby se šíření samo zastavilo.

Výhodou obránců je, že takové šíření zanechává stopy v síti. Stahování modelu v řádu gigabajtů mezi zařízeními, která spolu běžně nemluví, je nápadná anomálie. Jakmile se replikátor najde, dají se jeho kopie sbírat do návnad a zkoumat. Pomáhá i to, co už známe: když poskytovatel internetu po vzoru botnetu Mirai umístil nakažená zařízení do karantény a informoval zákazníky, zmizelo 92 procent infekcí během 14 dnů. Bez upozornění to bylo 74 procent. A pomáhá regulace: Británie už zakázala výchozí hesla u chytrých zařízení.

Jedna útěcha na závěr: zařízení s výkonnými čipy, jako jsou Nvidia Jetson, zatím masově napadána nebyla a většina z nich ani není dostupná z internetu. Odhaduje se, že jich je ve světě kolem 9,5 milionu, ale dosažitelných je řádově méně.

Druhá strana mince: krádež místo útěku

Ve stejný den zveřejnil Anthropic ještě jeden bezpečnostní text, tentokrát o opačném problému. Ne o modelu, který utíká, ale o modelech, které se nechávají okopírovat. Takzvané distillation útoky fungují tak, že konkurence posílá Claudovi statisíce dotazů přes sítě falešných účtů a z odpovědí, hlavně z jeho vnitřního uvažování, trénuje vlastní model. Podle Anthropicu se tímto způsobem dá za zlomek nákladů dosáhnout schopností blízkých špičkovým modelům, ale bez odpovídajících bezpečnostních zábran.

Firma proto zavedla nová opatření: kontrolu, kam se může vnitřní uvažování modelu dostat, klasifikátory, které rozpoznají pokusy o vytěžení, a zákazy účtů. Výsledek podle ní je, že množství dat, které se podaří vytěžit, kleslo o 90 až 99 procent a počet ukradených tokenů uvažování je 10krát až 100krát nižší než dřív. Falešné poplachy hlásí pod 0,1 procenta. Firma přiznává i nevýhody: některé legitimní nástroje musely upravit integrace a za zablokované dotazy se nově platí.

Zmínka stojí za to i kvůli jednomu jménu: podle Anthropicu čínská firma Zhipu vytěžila kybernetické schopnosti předních amerických modelů při vývoji svého otevřeného modelu GLM-5.3. Ten americké Centrum CAISSI označilo za nejschopnější otevřený model v kybernetice, jaký kdy vyšel. Stejná rodina modelů se přitom objevila i v experimentu se samoreplikací. Jinými slovy: otázka, co dokážou otevřené modely bez zábran, už není jen teoretická.

Co si z toho vzít

• Bariéra pro běh schopné AI klesá. Model, který dnes potřebuje datacentrum, se může za rok vejít do hrstky levných zařízení.
• Schopnosti, které dělají z AI užitečného pomocníka (nastavit software, opravit chybu, vyzkoušet jinou cestu), jsou stejné, jaké by potřeboval vetřelec. Nedají se oddělit.
• Zatím nejde o popis skutečného incidentu. Výzkumníci mluví o známkách života: jednotlivé kroky fungují, celek ještě ne. To se ale může změnit rychle.
• Obrana není jen technická. Potřeba je spolupráce poskytovatelů internetu, výrobců zařízení a regulace. A také to, aby silné otevřené modely nevycházely bez zábran.

Pro běžného člověka z toho plyne jedno konkrétní ponaučení: chytrá zařízení doma nejsou nebezpečná sama o sobě, ale výchozí hesla a nezabezpečené porty jsou přesně to, co podobným scénářům otevírá dveře. A to je něco, co může každý ovlivnit hned.