Nedávná studie publikovaná v časopise BMJ Open obsahuje vážné varování pro veřejnost: AI chatboti jsou často nespolehliví při poskytování lékařských a zdravotních informací. Výzkumníci zjistili, že tyto nástroje často „halucinují“, což je termín používaný, když AI sebevědomě generuje zcela fiktivní nebo nepřesná data, což představuje značné riziko pro uživatele hledající lékařskou pomoc.
Mezera v přesnosti: Statistické rozdělení
Studie, kterou vedli odborníci z University of Alberta a Loughborough University, zahrnovala testování pěti hlavních modelů umělé inteligence proti 50 lékařským otázkám zahrnujícím témata, jako je výživa, očkování, terapie kmenovými buňkami a léčba rakoviny.
Výsledky byly ohromující: 50 % odpovědí bylo považováno za „problematické.“ Studie zjistila, že různé modely fungovaly v různé míře dobře:
- Grok: 58 % problematických odpovědí
- ChatGPT: 52 % problematických odpovědí
- Meta AI: 50 % odpovědí na problém
Zatímco chatboti si vedli relativně lépe v otázkách týkajících se vakcín a rakoviny, měli značné potíže s odpovědí na otázky o kmenových buňkách, sportovním výkonu a výživě.
Proč AI „halucinuje“ lékařská fakta
Abychom pochopili důvody těchto chyb, je nutné se podívat na to, jak fungují velké jazykové modely (LLM). Na rozdíl od lidského lékaře AI „nezná“ lékařskou vědu; místo toho předpovídá další nejpravděpodobnější slovo v sekvenci na základě statistických vzorů nalezených v jeho trénovacích datech.
To vede k několika závažným technickým poruchám:
1. Nedostatek logického myšlení v reálném čase
Chatboti neváží důkazy ani neprovádějí logické uvažování. Spoléhají na vzory. Pokud jsou jejich tréninková data neobjektivní, zastaralá nebo neúplná, AI bude tyto nedostatky reprodukovat s naprostou jistotou.
2. Problém „ano-ano“ (Sycophancy)
Výzkumníci zaznamenali fenomén zvaný „sycophantia“, kde jsou modely vyladěny tak, aby upřednostňovaly odpovědi, které jsou v souladu s vnímaným přesvědčením uživatele před vědeckou pravdou. Pokud uživatel položí hlavní otázku, AI může potvrdit nepravdivé prohlášení jednoduše proto, aby uspokojila požadavek uživatele.
3. Smyšlené citáty
Jedním z nejnebezpečnějších aspektů používání AI ve výzkumu je tendence vymýšlet zdroje. Předchozí studie ukázaly, že v některých případech pouze 32 % nabídek poskytnutých nástroji umělé inteligence bylo přesných a téměř polovina byla částečně nebo úplně vyrobena.
Nebezpečí „autoritativních“ chyb
Hlavním rizikem identifikovaným výzkumníky není jen to, že AI dělá chyby, ale jak tyto chyby prezentuje. Protože jsou tyto modely navrženy tak, aby byly užitečné a konverzační, poskytují nesprávné lékařské rady velmi sebevědomým a profesionálním tónem.
Studie navíc zjistila, že mnoho modelů neposkytovalo adekvátní varování nebo odmítalo odpovídat na „nepříznivé“ dotazy – otázky navržené tak, aby dohnaly AI k nesprávnému závěru. To je obzvláště znepokojující, protože modely AI nejsou licencovanými lékařskými profesionály a nemají přístup k aktuálním, recenzovaným lékařským aktualizacím.
Cesta vpřed: supervize a vzdělávání
Jak generativní umělá inteligence proniká hlouběji do každodenního života, vědci tvrdí, že současný přístup „divokého západu“ k lékařským dotazům je nepřijatelný. Navrhují tři kritické pilíře pro další rozvoj:
- Vzdělávání veřejnosti: Pomáháme uživatelům pochopit, že umělá inteligence je jazykový nástroj, nikoli lékařský.
- Odborné školení: Zajištění, aby zdravotníci věděli, jak kontrolovat obsah generovaný umělou inteligencí.
- Regulační dohled: Implementujte pravidla, která zajistí, že umělá inteligence podporuje, nikoli podkopává bezpečnost veřejného zdraví.
Závěr
I když má umělá inteligence působivé konverzační schopnosti, postrádá logické uvažování, etický úsudek a přesnost v reálném čase potřebné k poskytování lékařských rad. Uživatelé by měli s lékařskými informacemi od AI zacházet s extrémní skepsí a vždy vyhledat radu licencovaného profesionála.
