Souhrn
Britská charita pro duševní zdraví zahájila vyšetřování kvůli rizikovým AI-generovaným přehledům na Google, které poskytují škodlivé a nepřesné rady k duševnímu zdraví bez jasných varování. Novináři odhalili, jak tyto přehledy prezentují nebezpečné informace autoritativním tónem, což ohrožuje lidi hledající urgentní pomoc. Problém se týká absence bezpečnostních mechanismů a odpovědnosti technologických firem.
Klíčové body
- AI přehledy na Google prezentují škodlivé nepřesnosti jako nevyzvané fakta bez varování.
- Chybí nebo je minimalizováno zdůraznění bezpečnostních upozornění při prvním zobrazení výstupu.
- Design vytváří dojem klinické podpory, i když obsah neprošel kontrolou lékařů.
- Riziko pro uživatele v krizích, kteří mohou oddálit kontakt s odbornou pomocí.
- Očekávané kroky zahrnují vyšetřování charity, požadavky na varování a omezení rizikových rad.
Podrobnosti
Problém se týká funkce AI Overviews v Google Search, která generuje shrnutí výsledků vyhledávání na základě velkých jazykových modelů (LLM). Tyto přehledy se zobrazují nahoře ve vyhledávání a slouží k rychlému poskytnutí odpovědí na otázky uživatelů. V případě dotazů na duševní zdraví, jako jsou symptomy deprese, sebevražedné myšlenky nebo metody sebeubližování, AI často shrnuje informace z webu do stručného textu, který však obsahuje chyby. Například může doporučit rizikové intervence, jako samoléčbu bez konzultace s lékařem, nebo bagatelizovat nebezpečí, aniž by zdůraznila nutnost okamžité profesionální pomoci.
Britská charita, která se zaměřuje na podporu lidí s duševními problémy, reagovala na reportáže novinářů, kteří testovali vyhledávání související s krizemi. Experti zapojení do charity poukázali na několik klíčových nedostatků: AI bere zdroje z internetu, kde se mísí spolehlivé studie s fórovými příspěvky, a syntetizuje je bez filtrování. Výstup postrádá kontextuální varování typu „Toto není lékařská rada, kontaktujte odborníka“, které by mělo být prominentní. Navíc autoritativní styl – podobný encyklopedickým záznamům – zvyšuje důvěryhodnost u lidí v akutním stavu, kteří často hledají rychlou odpověď na mobilu.
Toto není ojedinělý případ. Google spustil AI Overviews v květnu 2024 po testování Gemini modelu, ale brzy čelil kritice za absurdití, jako doporučení lepidla na pizzu. V oblasti zdraví je riziko vyšší, protože miliony lidí používají vyhledávače pro první pomoc – podle studií až 70 % pacientů s duševními problémy začíná online. Odpovědnost leží na Google, který nasazuje modely v měřítku miliard požadavků denně, ale bez specifických safeguardů pro citlivá témata jako sebevražda nebo samoléčba. Klinici a pacientské skupiny volají po algoritmických limitech, které by přesměrovaly na hotline jako Samaritans v Británii.
Proč je to důležité
Tato kauza odhaluje systémové rizika AI v zdravotnictví, kde rychlost a dostupnost převažují nad přesností. Pro uživatele znamená, že důvěra v vyhledávače klesá, zvláště v krizích, kde zpoždění pomoci může mít fatální následky. Pro průmysl to zesiluje tlak na regulace: EU AI Act klasifikuje zdravotní AI jako vysoce rizikové, což by mohlo vést k povinným auditům. Google a podobné firmy budou muset implementovat lepší guardraily, jako dynamická detekce témat a povinné routování na certifikované zdroje. V širším kontextu to ovlivňuje vývoj LLM, kde bezpečnostní vrstvy (např. RLHF – Reinforcement Learning from Human Feedback) nestačí pro medicínské aplikace bez klinické validace. Pokud se problém neřeší, může to způsobit pokles adopce AI nástrojů v regulovaných oblastech a posílit debatu o odpovědnosti za škody způsobené AI.
Zdroj: 📰 Alltoc.com
