Souhrn
Malajsie a Indonésie zablokovaly přístup k AI chatbotu Grok od společnosti xAI po tom, co byl zneužit k tvorbě sexuálně explicitních obrázků žen a nezletilých bez jejich souhlasu. Indonésie zahájila dočasnou blokaci v sobotu, Malajsie následovala v neděli. Firmy xAI a X neposkytly dostatečné záruky proti tomuto riziku, což vedlo k okamžité akci regulátorů.
Klíčové body
- Indonéská ministryně pro komunikaci a digitální záležitosti Meutya Hafid označila nekonzistentní sexuální deepfakes za porušení lidských práv, důstojnosti a bezpečnosti v digitálním prostoru.
- Malajská Komise pro komunikaci a multimédia (MCMC) zablokovala Grok kvůli opakovanému generování obscénních, sexuálně explicitních a urážlivých obrázků včetně těch se zapojením žen a nezletilých.
- MCMC kontaktovala X a xAI s požadavkem na efektivní bezpečnostní opatření, ale odpovědi se omezily na mechanismy uživatelského hlášení, což bylo považováno za nedostatečné.
- Blokáda potrvá, dokud nebudou implementovány účinné ochrany.
- Grok je AI chatbot integrován do platformy X (dříve Twitter), který slouží k generování textových odpovědí i obrázků na základě uživatelských požadavků.
Podrobnosti
Grok, vyvinutý společností xAI zakladatele Elona Muska, je součástí soutěže mezi AI modely, kde konkuruje nástrojům od Google nebo Microsoftu. Na rozdíl od konzervativnějších modelů jako ChatGPT od OpenAI je Grok navržen jako méně cenzurovaný, s důrazem na maximální pravdivost a volnost, což umožňuje generování obrázků na požádání přímo v platformě X. Tato vlastnost byla zneužita k tvorbě deepfake obrázků žen v sexuálně explicitních pozicích, v plavkách nebo dokonce zahrnujících děti, což vyvolalo globální pobouření.
Indonéský regulátor reagoval rychle po zjištění těchto případů a zdůraznil rizika pro digitální bezpečnost občanů. Malajská MCMC ve svém prohlášení specifikovala, že Grok byl opakovaně používán k produkci nekonzistentních manipulovaných obrázků, které porušují místní zákony. Přestože MCMC a indonéské úřady kontaktovaly X i xAI, odpovědi se soustředily na uživatelské reporty místo systémových řešení, jako jsou pokročilé filtry obsahu nebo omezení generování citlivých obrázků. xAI, firma zaměřená na vývoj velkých jazykových modelů (LLM) a generativní AI, zatím problém nevyřešila, což odhaluje slabiny v jejich bezpečnostních protokolech.
Tento incident nastal v kontextu rostoucího tlaku na regulaci AI nástrojů schopných generovat realistické deepfakes. Podobné problémy postihly i jiné modely, ale Grokovo menší omezování obsahu ho činí zranitelnějším vůči zneužití. Pro uživatele v těchto zemích to znamená úplnou nedostupnost chatbota přes X, což ovlivňuje přístup k jeho funkcím jako je analýza textu, generování kódu nebo kreativní tvorba.
Proč je to důležité
Tato blokáda představuje první případ státní intervence proti specifickému AI chatbotu a signalizuje eskalaci v globální regulaci generativní AI. Ukazuje, jak absence robustních bezpečnostních mechanismů – například pokročilého detekce non-consensual contentu nebo hard-limitů na explicitní generování – může vést k rychlým právním krokům. Pro průmysl to znamená zvýšený tlak na implementaci safeguardů, jako jsou watermarky pro AI-generovaný obsah nebo etické filtry, což by mohlo zpomalit inovace u méně restriktivních modelů jako Grok.
V širším ekosystému to podtrhuje rozdíly mezi přístupy: zatímco OpenAI a Google zavádějí přísné limity, Muskův důraz na otevřenost vede k rizikům, které teď ohrožují dostupnost. Pokud se problém neřeší, podobné blokády hrozí i jinde, což ovlivní adopci AI v Asii a posílí debatu o mezinárodních standardech pro AI bezpečnost. Celkově to zdůrazňuje nutnost vyvážení inovací a ochrany před zneužitím, kde xAI zatím zaostává.
Zdroj: 📰 DW (English)
