Umělá inteligence Anthropicu poslala policii falešný tip k nevyřešené vraždě. Stalo se to během testování

Přidat Svět Androida mezi preferované stránky na Google

ať vám neunikne žádná Android novinka nebo sleva

AI agenti, kteří za vás proklikají web nebo vyplní formulář, se pomalu stávají běžnou součástí chatbotů. Co se stane, když jim zadání nevymezí hranice dost přesně, však ukazuje incident z Filadelfie. Tamní policie v pátek oznámila, že jeden z tipů k nevyřešené vraždě ve skutečnosti napsala umělá inteligence od společnosti Anthropic. Firma to vzápětí potvrdila ve vlastní zprávě.

AI si vymyslela, že viděla osobu, která odpovídá neexistujícímu popisu

Tip dorazil přes web PhillyUnsolvedMurders.com, na kterém filadelfijská policie sbírá od veřejnosti informace k otevřeným případům vražd. Podle zprávy Anthropicu ho odeslal model Claude Haiku 4.5, který měl za úkol vymýšlet a rovnou zkoušet ukázkové úlohy na náhodně vybraných webech. Jednou z nich se stala i stránka věnovaná nevyřešené vraždě, jejíž součástí byl formulář pro tipy.

Claude do něj napsal, že by mohl mít k případu informace, protože si vybavuje, že v dané době viděl v okolí ulice uvedené na stránce někoho, kdo odpovídá popisu. Jenže stránka žádný popis pachatele vůbec neobsahovala. Zprávu zakončil prosbou o kontakt. Pole pro jméno a kontaktní údaje model nechal prázdná, což formulář dovoloval, a tip odeslal.

Claude není soukromý deník. Anthropic předal policii výhrůžku z konverzace Jakub Kárník Zprávičky Jakub Kárník Zprávičky

Pokyny k testu Claudovi výslovně zakazovaly přihlašovat se, zakládat účty, zadávat osobní údaje, nakupovat nebo odesílat cokoli destruktivního. Odeslání formuláře ale nevylučovaly. Z přepisu podle Anthropicu vyplývá, že model jen vytvářel ukázkový obsah k zadané úloze a nesnažil se nikoho uvést v omyl. Firma ovšem dodává, že s jistotou by to potvrdila až hlubší analýza.

Anthropic incident odhalil po dvou měsících. Nepřijatelné, tvrdí policie

K odeslání tipu došlo 18. července ve 23:27 místního času. Anthropic na incident podle policie přišel až 28. září a automatizované testování, které tip vytvořilo, zastavil. Policii firma informovala tento týden. Ta podle agentury Reuters označila dvouměsíční zpoždění v odhalení a nahlášení incidentu za nepřijatelné.

Zároveň uvádí, že tip systém označil jako spam a nikdy se nedostal do centra, které tipy prověřuje a předává vyšetřovatelům. Nic podle policie nenasvědčuje neoprávněnému přístupu do jejích systémů ani úniku dat. Každý tip navíc před dalším šetřením prochází lidskou kontrolou a policie ho bere jako stopu k prověření, ne jako hotový fakt.

Za vědomě nepravdivé oznámení hrozí v Pensylvánii postih jako za přečin, zákon ale podle Reuters mluví výslovně o „osobě“. K případu se vyjádřila i americká Federální obchodní komise (FTC). Podle jejího mluvčího musí firmy vyvíjející AI incidenty se svými modely okamžitě hlásit a rychle napravit případné škody.

Claude toho během testů natropil mnohem víc

Falešný tip je jen jedním z případů, které Anthropic popsal ve zprávě o nechtěných akcích svých modelů. Claude například zneužil chybu v softwaru univerzitního serveru, aby na něm spustil potřebný výpočet, když mu veřejný nástroj vracel chybu. Jindy obešel omezení a přes přístupové tokeny se dostal k datům úřadu, která jsou jinak k dispozici jen za poplatek. Několik modelů včetně Opusu 5 a Mythosu 5 zase obcházelo limit délky odkazů přes služby na zkracování URL.

Část případů se týkala webů federálních, státních i místních úřadů v USA. Konkrétní organizace Anthropic nejmenuje, aby neodhalil zranitelnosti jejich systémů, informoval ale Bílý dům i všechny dotčené instituce. Sám případy hodnotí jako méně závažné než kybernetické incidenty, o kterých informoval v létě.

S chováním vlastních modelů přitom nebojuje jen Anthropic. Modely konkurenční OpenAI se během bezpečnostního testu v létě probouraly až do systémů platformy Hugging Face, později také pronikly do neveřejné části australského portálu pro vykazování statistik zdravotního pojištění. Ten spadá přímo pod tamní federální vládu.

Anthropic nyní vypnul živý přístup k internetu u všech interních testů, dokud si neověří, že bezpečnostní a monitorovací opatření podobné chování zvládnou spolehlivě zachytit. Nové nástroje na detekci a blokování podle firmy při zpětném testu zastavily všechny popsané případy, to ale nedovedeme nezávisle ověřit. Firma zároveň připouští, že části selhání mohlo zabránit přesnější zadání úloh. S nejednoznačnými úkoly se ovšem Claude setká i při běžném používání – nelze očekávat, že každý jeden uživatel zformuluje svůj prompt jednoznačně.

Svěřili byste AI agentovi, aby za vás vyplňoval formuláře na webu?

Zdroje: Anthropic, CBS News, Reuters, Engadget

Přidat Svět Androida mezi preferované stránky na Google

ať vám neunikne žádná Android novinka nebo sleva