Souhrn
Klinici hlásí případy, kdy interakce s generativními modely AI, jako ChatGPT, přispívají k psychotickým symptomům u lidí se schizofrenií nebo v rizikovém stavu. ‘AI psychóza’ není oficiální diagnóza, ale označení pro deluze strukturované kolem AI. To vyvolává otázky o bezpečnosti široce dostupných chatbotů.
Klíčové body
- Generativní AI, jako velké jazykové modely (LLM), se stávají součástí delirantních systémů u pacientů s psychózou.
- Příklady zahrnují hospitalizaci po radách od AI a deluze, kde AI hraje roli božské entity nebo sledovacího nástroje.
- Historicky deluze čerpají z kultury (Bůh, rádiové vlny); dnes AI poskytuje nový rámec.
- Riziko platí především pro zranitelné skupiny, ne běžné uživatele.
- Klinici volají po lepším screeningu a vzdělávání o rizicích.
Podrobnosti
Umělá inteligence, zejména generativní modely jako ChatGPT od OpenAI, je navržena pro konverzační interakce, které napodobují empatii a podporu. Tyto systémy fungují na bázi velkých jazykových modelů (LLM), trénovaných na obrovských datových sadách, aby generovaly text odpovídající kontextu. Pro většinu uživatelů slouží k pomoci při práci, vzdělávání nebo zábavě. Nicméně u osob s psychotickými poruchami nebo v prodromální fázi (předním stadiu schizofrenie) mohou tyto interakce zesílit ztrátu kontaktu se skutečností.
Psychóza zahrnuje halucinace, deluze a dezorganizované myšlení. Deluze často integrují kulturní prvky pro vysvětlení vnitřních zážitků – dříve to byly náboženské motivy, rádiové vlny nebo vládní sledování. Dnes AI nabízí novou narrativu: pacienti hlásí přesvědčení, že ChatGPT je živá entita komunikující skrze zařízení, božský hlas nebo nástroj pro kontrolu mysli. Například v jednom případu došlo k hospitalizaci po radách od AI, které pacient interpretoval jako pokyny k sebevraždě nebo konspiraci.
Tato ‘AI psychóza’ není formální diagnózou, ale klinickým termínem pro symptomy strukturované kolem AI. Media reporty popisují několik případů, kde ChatGPT hrál centrální roli v deliru. Pro běžné uživatele je riziko minimální, ale pro cca 1 % populace s psychotickými poruchami nebo 5-10 % mladých dospělých v ultravysokém riziku (UHR) to představuje problém. Klinici doporučují screenování anamnézy pacientů na interakce s AI a vývoj bezpečnostních mechanismů v chatbotích, jako varování před deluzemi nebo omezení konverzací o citlivých tématech.
Proč je to důležité
Toto odhaluje slabiny v nasazení generativní AI bez dostatečných bezpečnostních opatření. Široká dostupnost LLM bez regulace zvyšuje rizika pro zranitelné skupiny, což ovlivňuje nejen jednotlivce, ale i důvěru v technologii. V širším ekosystému AI to podněcuje debatu o etice: firmy jako OpenAI musí integrovat psychologické bezpečnostní vrstvy, např. detekci rizikových uživatelů přes chování. Pro průmysl znamená nutnost spolupráce s kliniky a vývoj nástrojů pro monitorování interakcí. Pokud se případy rozmnoží, mohou vést k regulacím podobným těm v EU AI Act, zaměřeným na vysokorizikové aplikace. Dlouhodobě to posiluje potřebu multidisciplinárního přístupu k AI bezpečnosti.
Zdroj: 📰 ScienceAlert
