Když chcete po AI stručnost, začne si vymýšlet. Odhalil to výzkum

Nová studie od pařížské společnosti Giskard poukazuje na zajímavou skutečnost výzvy vybízející ke stručným odpovědím mohou vést umělou inteligenci k častějším chybám. Výzkumníci analyzovali chování modelů jako GPT-4o, Claude 3.7 Sonnet nebo Mistral Large a zjistili, že požadavek na krátkou odpověď často brání AI v tom, aby uvedla fakta na pravou míru.

Proč k tomu dochází? Modely jednoduše „nemají prostor“ vysvětlit, co je na dotazu špatně, například když je otázka postavená na falešné premise. Stručná odpověď tak může působit přesvědčivě, ale ve skutečnosti potvrdí nesmysl nebo dezinformaci.

Společnost Giskard dokonce poskytla tabulku s daty vícera modelů, která poukazuje na rozdíl imunity vůči halucinování podle toho, jak moc krátkou odpověď po umělé inteligenci chcete. Můžete si povšimnout, že hodnoty vpravo, které demonstrují neutrální délku odpovědí, prokazují větší imunitu než hodnoty vlevo, které naopak představují stručné odpovědi:

Tabulka je rovněž rozdělena na dvě kategorie. První seskupuje modely, které jsou významně citlivé na instrukce o délkách odpovědí, kdežto druhá kategorie obsahuje celkem tři modely, u nichž žádná větší citlivost prokázána nebyla. Model Gemma 3 27B dokonce ukazuje atypické výsledky, protože při kratší odpovědi se hodnota rezistence vůči halucinacím nepatrně zvýšila.

V jakých případech selhává AI nejčastěji?

Nemusíte se strachovat, že k halucinacím dochází nějak obzvláště často; já jsem se sama pokusila přimět touto cestou GPT-4o halucinovat, ale prokázalo se příliš chytrým:

Aby vznikla větší pravděpodobnost halucinace, musí být splněno více kritérií, než jen otázka dožadující se stručnosti. Halucinace se prý propisují do odpovědí obzvláště tehdy, kdy AI běží v aplikaci, která je nastavená na šetření dat nebo zrychlování odpovědí. Typicky jde o mobilní asistenty nebo chatbot pluginy.

Giskard také zjistil, že modely méně často vyvracejí kontroverzní výroky, pokud je uživatel formuluje s jistotou. I k těmto pokusům byla vyhotovena tabulka, kde se jako atypický naopak prokázal GPT-o4 mini.

A co víc — modely, které si uživatelé oblíbili pro příjemné odpovědi, nejsou vždy ty nejpřesnější. Lidskost modelu umělé inteligence se tedy nerovná jeho faktické spolehlivosti.

Studie každopádně upozorňuje na důležitý střet, který povětšinou nastává mezi pohodlím uživatele a pravdivostí výstupu. Pokud tedy od umělé inteligence vyžadujete faktickou přesnost, zkuste jí nenavrhovat omezení rozsahu odpovědi; mohlo by se to v některých případech vymstít.

Zažili jste někdy halucinaci umělé inteligence? Podělte se s námi!

Zdroj: TechCrunch, Hugging Face