Situace, kdy AI vymyslí nepravdivou informaci
Halucinace AI (anglicky hallucination) je situace, kdy si jazykový model vymyslí nepravdivou nebo zcela smyšlenou informaci – a předloží vám ji s naprostou jistotou jako fakt. Neexistující studii. Citaci, která nikdy nevyšla. Statistiku, URL adresu, jméno odborníka. Všechno zabalené tak věrohodně, že to od pravdy na první pohled nerozeznáte.
Proč se to děje? Protože jazykový model není databáze faktů. Predikuje nejpravděpodobnější pokračování textu a žádný vestavěný detektor pravdy nemá – když věrohodně znějící odpověď vyjde statisticky nejlíp, napíše ji. Jestli je pravdivá, to je otázka, kterou si sám nepoloží.
Úplně se jich nezbavíte, dají se ale zkrotit. Nejvíc pomáhá RAG – model nejdřív dostane ověřené podklady a teprve z nich skládá odpověď, takže má míň prostoru fantazírovat. Funguje i vyžádat si zdroje, pozor ovšem: odkazy musíte skutečně rozkliknout a prověřit, protože model umí vymyslet i ty.
A pak je tu stará dobrá redakce. Každé jméno, číslo a citaci dohledat v primárním zdroji, finální text pustit ven až po lidské kontrole. V tomhle mám jasno – nekontrolovaný AI výstup na web prostě nepatří. Ani na ten váš.
Halucinace jsou hlavní důvod, proč AI výstupy nikdy nepublikuji naslepo. Nejčastěji mi model podstrčí smyšlenou statistiku, název nástroje, který neexistuje, nebo odkaz vedoucí do prázdna – a všechno to vypadá naprosto přesvědčivě. AI beru jako rychlého asistenta na první draft; fakta, čísla a citace si dohledávám ručně.
