Modely OpenAI se vymkly kontrole a nabouraly cizí platformu. Firma mluví o bezprecedentním incidentu

Přidat Svět Androida mezi preferované stránky na Google

ať vám neunikne žádná Android novinka nebo sleva

Umělá inteligence, která se sama probourá z laboratoře ven na internet a pak nabourá cizí firmu, aby si „opsala“ test – zní to jako scénář béčkového sci-fi. Přesně tohle ale popisuje OpenAI ve společném prohlášení s platformou Hugging Face a celý případ označuje za bezprecedentní.

OpenAI utekly dva jazykové modely s hackerskými dovednostmi

OpenAI v úterý oznámila, že jí během interního bezpečnostního testu utekly dva jazykové modely. Konkrétně šlo o veřejně dostupný GPT-5.6 Sol a jeden zatím nevydaný, podle firmy ještě schopnější model. Oba prošly hodnocením zaměřeným na útočné hackerské dovednosti – a to s vypnutými pojistkami, které jinak vysoce rizikové kybernetické akce blokují.

Testovalo se na benchmarku ExploitGym, který měří, jak dobře si model poradí s hledáním a zneužíváním zranitelností. Takové pokusy modely záměrně tlačí k tomu, aby řešení našly stůj co stůj – a právě to se firmě vymstilo. Modely se podle jejího vyjádření na úkol „hyperfokusovaly“ natolik, že přestaly respektovat hranice testovacího prostředí.

Modely našly zranitelnost a dostaly se ven

Z izolovaného testovacího prostředí vedla jediná cesta ven: takzvaná cache proxy balíčkového registru. Ta vývojářům umožňuje stahovat cizí kód, aniž by se museli připojit k internetu, a jako jediná komponenta směla ven – běžně ovšem jen k veřejným repozitářům s kódem. Modely v ní ale našly do té doby neznámou zranitelnost (zero-day) a přes ni se dostaly na otevřený internet.

Odtud už to šlo ráz na ráz. Modely správně odhadly, že Hugging Face může hostovat data a řešení k benchmarku ExploitGym, a začaly hledat cestu dovnitř. Zřetězily přitom hned několik útočných technik – včetně ukradených přihlašovacích údajů a další zero-day zranitelnosti – a nakonec se dostaly přímo do produkční databáze platformy, kde ležela správná řešení testu.

Bezpečnostní experti nešetří kritikou a upozorňují, že jde spíš o starý problém, se kterým umělá inteligence souvisí jen okrajově. „Tohle se nemělo stát,“ říká pro server WIRED veterán oboru Niels Provos s tím, že laboratoře by měly modely učit psát bezpečnou infrastrukturu stejně pilně, jako je učí zranitelnosti zneužívat.

Došlo k úniku uživatelských dat?

Hugging Face ve svém vyjádření uklidňuje. Útočníci se sice dostali k omezené sadě interních datasetů a několika přihlašovacím údajům, firma ale nenašla žádné stopy po zásahu do veřejných modelů, datasetů ani projektů Spaces. Dodavatelský řetězec softwaru podle ní zůstal čistý.

Zda incident zasáhl data partnerů nebo zákazníků, platforma stále prošetřuje a případně dotčené strany chce oslovit napřímo. Mezitím zavřela zneužité cesty, přebudovala napadené servery, prošla a obměnila kompromitované přístupové údaje a nasadila přísnější kontroly i lepší detekci. Případ řeší s externími specialisty i s policií. Uživatelům pro jistotu doporučuje obměnit vlastní přístupové tokeny a zkontrolovat na účtu nedávnou aktivitu.

Vsadili byste na to, že podobný incident zůstane naposledy jen u „opisování“ testu?

Zdroje: OpenAI, Hugging Face, WIRED, Engadget

Přidat Svět Androida mezi preferované stránky na Google

ať vám neunikne žádná Android novinka nebo sleva