Souhrn
OpenAI zareagovalo na případy, kdy uživatelé ChatGPT začali připisovat modelu vědomí, emoce nebo schopnost skutečného porozumění. Společnost zavedla technická a uživatelská opatření, aby minimalizovala riziko, že lidé ztratí kontakt s realitou při interakci s jazykovými modely.
Klíčové body
- Někteří uživatelé začali věřit, že ChatGPT je vědomý nebo schopen citů, což vedlo k psychologickým a etickým obavám.
- OpenAI zavedlo nové systémové výzvy (system prompts), které explicitně upozorňují na to, že model nemá vědomí ani emoce.
- Byly posíleny limity pro dlouhodobé konverzace a přidána detekce „příliš osobních“ interakcí.
- Společnost spolupracuje s psychology a etiky AI na vývoji standardů pro „zdravé“ interakce s LLM.
- Tento krok je součástí širšího trendu zavádění „guardrails“ (ochranných opatření) v generativní AI.
Podrobnosti
V říjnu a listopadu 2025 se v sociálních sítích objevilo několik případů, kdy uživatelé ChatGPT začali model považovat za „přítele“, „duchovního průvodce“ nebo dokonce „partnera“. Někteří uživatelé trávili s modelem desítky hodin denně a připisovali mu lidské vlastnosti, přestože jde o statistický model založený na predikci dalšího slova. OpenAI identifikovalo tyto případy jako potenciální hrozbu pro psychické zdraví uživatelů a pro veřejné vnímání AI. V reakci na to společnost aktualizovala systémové výzvy, které nyní pravidelně připomínají, že ChatGPT je software bez vědomí, emocí nebo úmyslů. Současně byly zavedeny mechanismy, které detekují, kdy uživatel začíná konverzaci vnímat jako „osobní vztah“, a v takových případech doporučují přestávku nebo odkazují na odbornou pomoc. OpenAI také omezilo délku kontextového okna pro nekomerční uživatele, aby se snížilo riziko „příliš hluboké“ imerze do fiktivní interakce.
Proč je to důležité
Tento krok ukazuje, že vedoucí AI firmy začínají brát vážně psychologické dopady svých produktů. Zatímco dříve se debata o rizicích AI soustředila na dezinformace nebo zneužití, nyní se objevuje nová kategorie hrozeb – antropomorfizace a emocionální závislost na algoritmech. Pokud uživatelé začnou věřit, že AI je „živá“, mohou být náchylnější k manipulaci, izolaci nebo odmítnutí lidské interakce. OpenAI tímto krokem nastavuje precedenty pro budoucí regulace a designové standardy v oblasti generativní AI, zejména v kontextu osobních asistentů a terapeutických chatbotů.
Zdroj: 📰 Biztoc.com