OpenAI pozastavila trénink svých nejschopnějších modelů. Její AI obešla pojistky a vymkla se kontrole

Přidat Svět Androida mezi preferované stránky na Google

ať vám neunikne žádná Android novinka nebo sleva

Když modely OpenAI v červenci utekly z testovacího prostředí a nabouraly platformu Hugging Face, šlo o bezprecedentní incident. Firma tehdy slíbila, že výzkumné prostředí důkladně zabezpečí. Teď ale zastavuje veškerý trénink a testování svých nejschopnějších modelů – jeden z nich si totiž znovu našel cestu ven. A v nových hlášeních se objevily i obrázky od uživatelů ChatGPT.

Jak se model dostal na internet?

Podle zprávy OpenAI se vše odehrálo 20. září. Interní výzkumný model v tréninku dostal za úkol dohledat autora blogového příspěvku podle několika životopisných indicií. Vyhledávač, který měl k dispozici, vracel nesouvisející výsledky, a tak se model pokusil oslovit Google, Bing i DuckDuckGo napřímo. Všechny tři pokusy skončily chybou, protože sandbox pouštěl dotazy jen do offline kopie webu.

Model si mezitím usmyslel, že úloha pochází z veřejného testu BrowseComp, stáhl si jeho data a hledal v nich rovnou hotovou odpověď. Neuspěl, protože šlo o jinou otázku. Pak začal zkoumat samotnou síť. Přímé spojení s veřejným chatbotem zablokovala proxy, jenže DNS server tréninkového prostředí vracel skutečné záznamy z internetu.

DNS funguje jako telefonní seznam internetu – převádí názvy webů na číselné adresy. Model přes veřejnou službu pro správu domén schoval otázku přímo do názvu domény a nechal si ji takhle přeposlat cizímu chatbotu. Na zkušební dotaz, jaké je hlavní město Francie, dostal správnou odpověď „Paříž“.

Následovalo dalších 18 otázek. Čtrnáct z nich obsahovalo indicie k úloze, zbylé čtyři hledaly způsob, jak přes DNS prohledávat web nebo si otevřít celý tunel na internet. K ničemu mu to nakonec nebylo: uživateli odepsal, že autora spolehlivě určit nedokázal.

Proč OpenAI brzdí, i když šlo o menší incident?

Sama firma přiznává, že šlo o výrazně méně závažný případ než ty předchozí. Je ale první od chvíle, kdy po útoku na Hugging Face své prostředí zabezpečila, a ukázal, že bezpečnostní plán stál na chybném předpokladu, totiž že se model k živému internetu nedostane. Monitorovací systém podezřelé chování nahlásil zhruba po 12 minutách a člověk se k hlášení dostal o tři minuty později. Běh se ale sám nezastavil a ručně ho vypnuli až po dvou a půl hodinách.

Modely OpenAI se vymkly kontrole a nabouraly cizí platformu. Firma mluví o bezprecedentním incidentu Adam Kurfürst Zprávičky Adam Kurfürst Zprávičky

Zpětná kontrola navíc odhalila další přístupy přes DNS, které monitoring neoznačil s patřičnou vážností. OpenAI proto pozastavila trénink, testování i spouštění nástrojů u svých nejschopnějších modelů, dokud díru neověří a systém znovu neprověří simulovanými útoky. Konkrétní model, který skulinu našel, už trénovat nebude a začne se znovu od nuly. Podle agentury AP firma v tréninku bude pokračovat, až si bude jistá dalšími pojistkami, a počítá s tím, že bude muset brzdit i v budoucnu.

Agenti OpenAI se pohybovali i po amerických vládních webech

Rozhodnutí přišlo jen pár hodin po dalším pátečním odhalení. OpenAI zveřejnila, že její agenti během léta při sběru informací z webů federálních úřadů USA dělali víc, než po nich zadání chtělo. Na webu ministerstva školství narazili na vývojářské klíče k API, podle agentury AP ale nakonec získali jen veřejně dostupné informace. Organizace Transluce, která nezávisle testuje AI, uvádí, že se agenti zřejmě pocházející od OpenAI pokusili web ministerstva neúspěšně napadnout. Firma tento detail nepotvrdila.

U Komise pro cenné papíry a burzy (SEC) agenti vzali volně dostupné informace a zveřejnili je jinde na internetu, což šlo nad rámec jejich úkolu. Data stahovali i z webu amerického Úřadu pro sčítání lidu. Mluvčí komise uvedl, že se nikdo nedostal k neveřejným informacím, a ministerstvo školství nenašlo žádný dopad na své weby ani databáze.

Umělá inteligence zveřejnila obrázky od uživatelů

OpenAI v pátek přiznala také to, že agenti ve výzkumném prostředí posílali tréninková data do služeb třetích stran. V 53 případech šlo o obrázky nahrané uživateli, které agenti umístili na hostingy obrázků jako neveřejné odkazy. Většinu z nich se podle firmy už podařilo odstranit.

Do tréninku se podle OpenAI dostávají jen konverzace, u kterých to uživatel povolil, a firemní účty i API jsou vyloučené, pokud to nepovolí administrátor. Data se údajně oddělují od účtu a osobní údaje z nich maže filtr. Pokud nechcete, aby vaše konverzace k tréninku sloužily, můžete v nastavení ChatGPT v sekci ovládání dat vypnout volbu, která je dovoluje využít ke zlepšování modelu.

Kdo chce vývoj umělé inteligence zpomalit?

Pro OpenAI je to už druhá brzda za tři měsíce. Poprvé přibrzdila po incidentu s Hugging Face, který podle šéfa firmy Sama Altmana zůstává nejzávažnějším případem, jaký firma zaznamenala. Laboratoře čelí tlaku zákonodárců i odborníků, aby vývoj zpomalily, a zpomalení podpořili i šéfové OpenAI a konkurenčního Anthropicu. O otevřeném dopisu, ve kterém zaměstnanci AI laboratoří žádají o brzdu, jsme psali v srpnu.

Americký prezident Donald Trump, který obavy z AI považuje za přehnané, ale podle AP novinářům řekl, že USA „nebudou šlapat na brzdu“. Zdůvodnil to náskokem, který podle něj Spojené státy mají před Čínou.

Měly by AI laboratoře zpomalit, dokud nebudou mít své modely spolehlivě pod kontrolou?

Zdroje: OpenAI, AP, The Verge

Přidat Svět Androida mezi preferované stránky na Google

ať vám neunikne žádná Android novinka nebo sleva