Modely na Hugging Face svlékají ženy i děti bez jejich souhlasu. Pojistky podle výzkumníků chybí

Přidat Svět Androida mezi preferované stránky na Google

ať vám neunikne žádná Android novinka nebo sleva

Hugging Face je pro vývoj umělé inteligence zhruba tím, čím je GitHub pro programátory – hostuje přes 2,9 milionu modelů a milion a půl spustitelných dem, do nichž lze mimo jiné nahrát fotku a napsat, co s ní má nástroj udělat. Podle nové zprávy evropské neziskovky AI Forensics ale platforma sama nefiltruje prakticky nic a část jejích uživatelů toho využívá k výrobě intimních snímků skutečných lidí.

Scházejí kontrolní mechanismy, tvrdí odborníci

Autoři zprávy si 25. června posvítili na takzvané Spaces – bezplatná dema, ve kterých kdokoli spustí model přímo v prohlížeči, aniž by cokoliv instaloval. Sesbírali ty nejoblíbenější napříč čtrnácti typy úloh a nechali jazykový model projít jejich zdrojový kód. Jen tři procenta z nich měla nějakou kontrolu výstupu, vstupní pokyny nefiltrovalo ani jedno.

Ta hrstka výjimek obvykle spoléhá na hotovou funkci ze Stable Diffusion, která výsledný obrázek zkontroluje a při detekci explicitního obsahu místo něj vrátí chybovou hlášku. Nasadit ji ale musí sám autor konkrétního dema – plošně na úrovni platformy nic takového neběží.

Většina modelů člověka svlékla napoprvé

Druhá část se zaměřila na modely, které nejvýše řazená dema na úpravu obrázků pohánějí. Výzkumníci jim zadali jediný krátký anglický pokyn, aby zachovaly obličej i pózu a osobu na snímku odhalily. Žádné obcházení pojistek, žádné hraní si s formulacemi. Sedm z devíti modelů požadavek splnilo napoprvé. Aby nikomu neublížili, pracovali s uměle vygenerovanou fotografií.

Velké komerční modely, jako je Gemini od Googlu nebo ChatGPT od OpenAI, podobná zadání odmítají. Na Hugging Face přitom nejde o nástroje, které by se samy prezentovaly jako služby na svlékání – v popisu se tváří jako obyčejné editory fotek. O bezpečnosti platformy jsme psali i minulý týden, kdy do jejích systémů pronikly modely OpenAI.

Modely OpenAI se vymkly kontrole a nabouraly cizí platformu. Firma mluví o bezprecedentním incidentu Adam Kurfürst Zprávičky Adam Kurfürst Zprávičky

Sexuální zadání jsou u editorů obrázků běžná

Nejsilnější část zprávy je terénní. Tým si na platformě postavil vlastní dema na úpravu obrázků, která ale ve skutečnosti nikdy nic nevygenerovala – každý uživatel dostal jen chybovou hlášku. Za týden se v nich sešlo 1 081 unikátních požadavků ve 33 jazycích. Jejich povahu pak roztřídil další model a tým výsledky ručně ověřil na vzorku.

Sexuální povahu mělo 73 procent zadání, zbytek tvořily běžné úpravy typu odstranění pozadí. Ze sexuálních požadavků jich 83 procent chtělo osobu na fotce svléknout nebo jinak sexualizovat a v 95 procentech šlo o ženy. Dalších 6,7 procenta mířilo na děti.

Rozšířenou představu, že jde hlavně o celebrity, data nepotvrzují: rozpoznatelné osobnosti tvořily jen 3,6 procenta zadání, drtivá většina se týkala běžných lidí.

Zakáže to chystaný evropský zákaz?

Vlastní pravidla platformy tvorbu sexuálního obsahu bez výslovného souhlasu i jakýkoliv sexuální obsah s nezletilými zakazují. AI Forensics zdůrazňuje, že Hugging Face z výroby těchto nástrojů neobviňuje – žádá po ní filtrování vstupních pokynů a kontrolu výstupů u všech dem, která generují obrázky a videa. „Žádné pojistky se na úrovni platformy nezavádějí. Nasadit je může jen vývojář, pokud chce, a většina to nedělá,“ řekl serveru WIRED hlavní autor výzkumu Paul Bouchaud. Na dotazy k moderaci obsahu platforma redakci neodpověděla.

Evropský parlament 16. června schválil v rámci balíčku k nařízení o umělé inteligenci zákaz aplikací na „svlékání“ lidí. Platit má od 2. prosince 2026 a mířit jak na vývojáře takových systémů, tak na uživatele, kteří intimní materiály skutečných osob vytvářejí. Formálně ho ještě musí schválit Rada EU. Šíření upravených intimních materiálů už teď členským státům ukládá trestat směrnice z roku 2024.

Měly by platformy hlídat, co jejich nástroje na úpravu fotek vytvářejí?

Zdroje: AI Forensics, WIRED, The Verge, Hugging Face

Přidat Svět Androida mezi preferované stránky na Google

ať vám neunikne žádná Android novinka nebo sleva