Halucinace AI: proč si model vymýšlí a jak to omezit

Halucinace je situace, kdy AI uvede něco, co zní věrohodně, ale není to pravda: neexistující paragraf zákona, smyšlenou knihu, parametr příkazu, který nikdy neexistoval. Nejde o „lhaní“ – je to vedlejší efekt toho, jak jazykové modely fungují. Úplně se jim vyhnout nelze, ale dají se výrazně omezit.

Proč halucinace vznikají

Jazykový model generuje text tak, že postupně volí pravděpodobné pokračování. Nemá vestavěnou databázi faktů, kterou by „kontroloval“. Pokud si informaci nepamatuje přesně, vytvoří takovou, která do kontextu dobře zapadá.

Riziko roste, když:

se ptáte na málo známé věci (malé firmy, lokální předpisy, okrajové knihovny),
chcete přesná čísla, data, citace nebo URL,
otázka předpokládá něco nepravdivého („Proč je v Pythonu funkce list.sum()?“),
požadujete odpověď za každou cenu a nedovolíte „nevím“.

1. Dovolte AI říct „nevím“

Nejjednodušší a velmi účinná instrukce:

Pokud si odpovědí nejsi jistý nebo informaci nemáš,
řekni to otevřeně. Raději přiznej nejistotu, než abys hádal.

Bez tohoto pokynu má model tendenci odpovědět vždy něco.

2. Dejte AI zdrojový text

Halucinací výrazně ubude, když AI odpovídá z textu, který jí dodáte, místo „z hlavy“:

Odpověz POUZE na základě přiloženého dokumentu.
Pokud odpověď v dokumentu není, napiš "V dokumentu to není uvedeno."
U každého tvrzení uveď, ze které kapitoly pochází.

Přiložit můžete PDF, textový soubor nebo vložit text přímo. Požadavek na odkaz ke kapitole navíc usnadní kontrolu.

3. Požadujte citace z textu

Ještě silnější varianta: nechte AI nejdřív vypsat doslovné citace a teprve z nich odpovědět.

Krok 1: Vypiš doslovné citace z dokumentu, které se týkají otázky.
Krok 2: Na základě jen těchto citací odpověz.
Pokud žádná relevantní citace neexistuje, odpověď nevytvářej.

Doslovnou citaci snadno najdete v originále (Ctrl+F). Pokud ji nenajdete, víte, že je něco špatně.

4. Neformulujte zavádějící otázky

Zavádějící	Neutrální
„Jaký parametr má `git push` pro šifrování?“	„Má `git push` nějaký parametr pro šifrování? Pokud ne, jak se řeší šifrování přenosu?“
„Který paragraf zakazuje X?“	„Existuje v českém právu ustanovení, které se týká X?“

Otázka, která předpokládá existenci něčeho, svádí model k tomu, aby to „našel“.

5. Rozdělte znalost a úsudek

AI je obvykle spolehlivější v úsudku (porovnání, strukturování, vysvětlení principu) než ve vybavování si přesných faktů. Využijte to:

fakta dodejte vy (dokument, data, dokumentaci),
AI nechte analyzovat, shrnout, navrhnout.

6. Ptejte se na jistotu

U každého bodu odpovědi uveď, jak moc si jsi jistý (vysoká / střední / nízká)
a co by bylo potřeba ověřit.

Odhad jistoty není dokonalý, ale často správně označí místa, která stojí za kontrolu.

7. U kódu si nechte vysvětlit zdroj

Halucinace v programování vypadají jako neexistující funkce, parametry nebo balíčky. Pomáhá:

uvést verzi knihovny („Django 5.1“),
vložit relevantní část dokumentace nebo chybové hlášky,
kód spustit a otestovat, ne jen přečíst,
ověřit, že balíček opravdu existuje, např. pip index versions nazev nebo npm view nazev.

pip index versions requests
npm view express version

Pozor zejména na balíčky, jejichž název AI navrhne a vy ho neznáte – útočníci záměrně registrují balíčky s názvy, které modely často vymýšlejí.

8. Použijte hlubší přemýšlení

U složitých otázek, kde se kombinuje víc kroků, pomáhá, když model postupuje systematicky. V ColdHost AI k tomu slouží model Polaris s hlubokým přemýšlením – stojí víc tokenů, ale u složitějších úloh bývá pečlivější. Ani ten ale ověření nenahradí.

Shrnutí

Halucinace nejde vypnout, ale můžete je výrazně omezit: dovolte „nevím“, dodávejte zdroje, chtějte citace, ptejte se neutrálně a cokoliv důležitého ověřte. Pravidlo zní jednoduše: čím vyšší sázka, tím víc ověřování.