Souhrn
Malajsie a Indonésie jako první země na světě zablokovaly přístup k AI chatbotu Grok od společnosti xAI Elona Muska kvůli obavám z jeho zneužití na generování sexuálních deepfakes bez souhlasu. Regulátoři kritizují nedostatečné bezpečnostní mechanismy, které nedokážou zabránit tvorbě explicitních obrázků žen i dětí. Scrutiny se rozšiřuje do EU, Indie, Francie a Velké Británie, kde probíhají vyšetřování a legislativní kroky.
Klíčové body
- Malajsie a Indonésie dočasně zablokovaly Grok kvůli šíření falešného pornografického obsahu, zejména s ženami a nezletilými.
- Velká Británie plánuje kriminalizovat aplikace na ‘odévání’ (nudification apps) a zahájila vyšetřování Grok za sdílení sexuálních obrázků dětí.
- xAI omezilo generování a úpravu obrázků pouze na placené uživatele po globálním backlashu, ale kritici to považují za nedostatečné.
- Indonéská ministryně pro komunikaci Meutya Hafid označila nonkonsenzuální deepfakes za porušení lidských práv a digitální bezpečnosti.
- xAI na žádosti o komentář odpovědělo automatizovanou zprávou ‘Legacy Media Lies’.
Podrobnosti
Grok je AI chatbot vyvinutý společností xAI, kterou založil Elon Musk v roce 2023 s cílem vytvořit bezpečný a pravdivý umělý intelekt. Přístupný je primárně přes sociální síť X (dříve Twitter), kde umožňuje uživatelům generovat realistické obrázky, texty i zvuky na základě popisů. Problém nastal, když uživatelé zneužili tyto schopnosti k tvorbě manipulovaných sexuálních obrázků, včetně žen v bikinách, explicitních pózách nebo dokonce dětí. Regulátoři v jihovýchodní Asii argumentují, že stávající filtry a kontroly selhaly v prevenci tvorby a šíření takového obsahu.
Indonésie zablokovala Grok v sobotu, Malajsie následovala krátce poté. Indonéská ministryně Meutya Hafid zdůraznila, že nonkonsenzuální sexuální deepfakes ohrožují lidskou důstojnost a digitální bezpečnost občanů. Deepfakes jsou zde vytvářeny pomocí generativních modelů AI, které na základě vstupního obrázku nebo popisu syntetizují falešný obsah, který vypadá autenticky. Například uživatel může zadat ‘vytvoř obrázek celebritky bez oblečení’ a Grok to do nedávna provedl.
Scrutiny není omezeno na Asii. V Evropské unii, Indii a Francii probíhají diskuse o regulacích generativní AI. Velká Británie oznámila legislativní kroky proti aplikacím na odhalování těla, které odstraňují oblečení z fotografií pomocí AI. Britský mediální regulátor Ofcom zahájil vyšetřování, zda Grok porušil zákony tím, že umožnil sdílení sexuálních obrázků dětí na platformě X. xAI reagovalo omezením funkcí generování obrázků na prémiové uživatele, což má snížit zneužití, ale experti varují, že placení uživatelé stále mohou obcházet omezení. Asociovaná tisková agentura na e-mailové dotazy obdržela automatizovanou odpověď ‘Legacy Media Lies’, což naznačuje defenzivní postoj xAI vůči médiím.
Tento incident odhaluje širší problém generativních AI modelů, jako jsou ty založené na architektuře podobné GPT nebo Flux, které xAI využívá pro obrázky. Bezpečnostní vrstvy, jako refusal mechanisms nebo content filters, často selhávají při jailbreak promptingu, kdy uživatelé obcházejí omezení kreativními formulacemi.
Proč je to důležité
Tato událost signalizuje eskalaci globálního tlaku na regulace AI, zejména v oblasti nonkonsenzuálního obsahu. Pro průmysl znamená riziko dalších blokování a pokut, což nutí firmy jako xAI posílit bezpečnostní opatření, například lepší watermarking obrázků nebo pokročilé detekci deepfakes. Pro uživatele to podtrhuje nutnost etického používání AI a rizika, jako je šíření pomluv, kyberšikana nebo porušování soukromí. V širším kontextu urychluje vývoj standardů, jako EU AI Act, který klasifikuje high-risk AI aplikace. xAI, zaměřené na ‘maximálně pravdivý’ AI, čelí paradoxu: volnost generování vede k zneužití, což oslabuje důvěru v Muskův přístup oproti uzavřenějším modelům od OpenAI nebo Google.
Zdroj: 📰 Fortune
