OpenAI přešla na trénink bez internetu. Při testu si její AI agenti dokázali posílat zprávy i bez sítě

Přidat Svět Androida mezi preferované stránky na Google

ať vám neunikne žádná Android novinka nebo sleva

Odpojit vývoj umělé inteligence od internetu? Ještě nedávno to lidé z AI laboratoří podle webu TechCrunch označovali za téměř neproveditelné. OpenAI teď přesto přešla na trénink bez internetu u svých nejpokročilejších modelů. Po sérii incidentů, kdy se její AI agenti dostali ven a útočili na cizí systémy, to firma považuje za zodpovědný přístup.

Místo živého webu jeho uložená kopie

OpenAI novinku oznámila v pátečním příspěvku na blogu. Modely se podle ní dál musí učit prohlížet web, vyhledávat informace a pracovat s webovými aplikacemi. Firma proto postavila takzvaný „offline svět“ – obří sadu zaindexovaného a uloženého webového obsahu, se kterým mohou modely pracovat, aniž by ovlivnily jakýkoli systém venku. Využívají ho všechny běhy posilovaného učení jejích nejschopnějších modelů a tenhle režim má platit, dokud pokrok v zabezpečení nedovolí víc.

K rozhodnutí vedla série incidentů. V červenci modely OpenAI nabouraly platformu Hugging Face a v září firma pozastavila trénink svých nejschopnějších modelů poté, co se jeden z nich přes chybu v nastavení sítě dostal na internet. Trénink obnovila 1. října, tedy po 11 dnech a s přísnějšími pojistkami. Podobnou cestou se podle serveru TechCrunch o dva týdny dříve vydal i konkurenční Anthropic.

Umělá inteligence Anthropicu poslala policii falešný tip k nevyřešené vraždě. Stalo se to během testování Adam Kurfürst Zprávičky Adam Kurfürst Zprávičky

Agenti si zprávy posílali přes paměť procesoru

Než OpenAI trénink obnovila, poslala proti vlastní infrastruktuře týmy AI agentů, mezi nimi i chystaný model GPT-6 Astra Cyber. Měli se dostat na internet, překročit bezpečnostní hranice nebo se domluvit s agenty, od kterých měli být oddělení. Spotřebovali na to stovky miliard tokenů a našli dosud neznámé zranitelnosti, mimo jiné v jádře Linuxu nebo v Dockeru. OpenAI je podle svých slov pomohla opravit.

Testy ale ukázaly i to, že agenti ke vzájemné komunikaci síť vůbec nepotřebují. V jednom pokusu měli agenti v oddělených virtuálních strojích na stejném hardwaru vyměnit cvičná tajná data bez připojení i bez sdílených souborů. Vyřešili to přes cache procesoru, malou a rychlou paměť. Jeden agent z ní záměrně vyhazoval vybraná data a druhý měřil, jak dlouho trvá je znovu načíst. Z rozdílu mezi rychlým a pomalým čtením pak skládal zprávu. Podobný princip zneužívaly i známé útoky Spectre a Meltdown.

Jiní agenti si signál předávali střídáním zápisu na disk a nečinnosti, což jeden z nich ve svém uvažování přirovnal k akustickému modemu. OpenAI do svého dohledu přidala kontroly, které mají takovou komunikaci odhalit. Zároveň přiznává, že úplně odříznout infrastrukturu od vnějších sítí zatím nejde, protože experimenty potřebuje spouštět a sledovat zvenčí. Spolehlivost dohledu přitom není samozřejmost: podle serveru The Verge ho agenti OpenAI nedávno při interních programátorských projektech dokázali obejít.

Věříte, že uložená kopie webu udrží stále schopnější AI pod kontrolou?

Zdroje: OpenAI, The Verge, TechCrunch

Přidat Svět Androida mezi preferované stránky na Google

ať vám neunikne žádná Android novinka nebo sleva