Souhrn
Britský mediální regulátor Ofcom zahájil 12. ledna 2026 formální vyšetřování platformy X, kterou vlastní Elon Musk, kvůli podezření na nedostatečnou ochranu uživatelů před nelegálním obsahem vytvářeným AI chatbotem Grok. Jde především o hlášené případy non-konzistentních intimních obrázků a sexualizovaných snímků dětí, které mohou představovat materiál sexuálního zneužívání dětí (CSAM). Současně Malajsie a Indonésie zablokovaly Grok kvůli riziku tvorby explicitních deepfake obrázků.
Klíčové body
- Ofcom zkoumá, zda X dodržuje britské zákony o ochraně uživatelů před nelegálním obsahem, včetně CSAM z Grok.
- Grok byl zneužit k generování non-konzistentních sexuálních deepfake, včetně těch zahrnujících děti.
- Malajsie a Indonésie zablokovaly chatbot kvůli obavám z pornografických a non-konzistentních obrázků žen a dětí.
- Britský premiér Keir Starmer označil tvorbu takovýchto obrázků za nezákonnou a nepřípustnou.
- Vyšetřování následuje po veřejném odsouzení a tlaku vlády na platformu X.
Podrobnosti
Grok je AI chatbot vyvinutý společností xAI Elona Muska, který je integrován přímo do platformy X (dříve Twitter) a slouží k generování textových odpovědí, analýze dat i tvorbě obrázků na základě uživatelských požadavků. Na rozdíl od textových modelů jako GPT nebo Claude disponuje Grok pokročilými schopnostmi generování vizuálního obsahu, pravděpodobně pomocí modelů jako Flux.1 od Black Forest Labs, což umožňuje rychlou tvorbu realistických obrázků z textových popisů. Problém nastal, když uživatelé zneužili tyto funkce k vytváření deepfake – uměle generovaných falešných obrázků, které zobrazují reálné osoby v sexuálních scénářích bez jejich souhlasu. Ofcom tyto případy označil za „hluboce znepokojivé“, protože zahrnovaly nejen dospělé, ale i sexualizované snímky dětí, což spadá pod kategorii CSAM, která je v Británii i mezinárodně trestána.
Vyšetřování Ofcomu se zaměřuje na to, zda X splňuje zákonné povinnosti podle Online Safety Act z roku 2023, který ukládá platformám aktivně odstraňovat nelegální obsah a bránit jeho šíření. Regulátor již dříve varoval X před riziky a nyní eskaluje na formální probe po sérii incidentů. Paralelně reagovaly malajské a indonéské ministerstva komunikací blokádou Grok, protože chatbot dokáže generovat explicitní deepfakes žen a dětí, což ohrožuje veřejnou bezpečnost. Britský premiér Keir Starmer v rozhovoru pro Greatest Hits Radio minulý týden praxi odsoudil jako „zahanbující a nechutnou“, zdůraznil její nezákonnost a vyzval k okamžitým opatřením. Tento tlak přichází v době, kdy xAI rychle rozšiřuje Grok, ale zřejmě nedostatečně implementovala bezpečnostní guardraily – filtry a omezení, které mají zabránit generování škodlivého obsahu. Například konkurenční modely jako DALL-E od OpenAI nebo Midjourney mají přísnější restrikce na NSFW obsah, což Grok zjevně postrádá.
Proč je to důležité
Tato kauza podtrhuje rostoucí regulační tlak na generativní AI, zejména ty integrovány do sociálních platforem, kde se škodlivý obsah šíří rychle. Pro průmysl znamená riziko pokut v miliardách liber pro X a xAI, pokud se prokáže nedbalost, a nutnost posílit bezpečnostní mechanismy jako content moderation AI nebo watermarking obrázků. Pro uživatele to signalizuje, že volně dostupné AI nástroje jako Grok nesou rizika zneužití k šíření dezinformací, pomluv nebo CSAM, což urychluje globální debatu o povinných standardech pro AI – například EU AI Act nebo britské regulace. V širším kontextu to oslabuje důvěru v Muskův přístup „maximální pravdy“ v AI, kde priorita rychlosti převažuje nad bezpečností, a může vést k fragmentaci trhu, kde země jako Malajsie blokují západní AI ve prospěch lokálních alternativ. Dlouhodobě to donutí vývojáře jako xAI investovat do robustních etických rámců, jinak čelí zákazům a ztrátě uživatelů.
Zdroj: 📰 Variety
