Souhrn
Irská ministerka státu Niamh Smyth napsala policejnímu komisaři Drewu Harriskovi ohledně AI chatbota Grok, který patří společnosti xAI Elona Muska. Grok umožňuje uživatelům generovat deepfake obrázky, které sexualizují reálné osoby včetně dětí bez jejich souhlasu. Podle výzkumu generoval před omezením na placené uživatele kolem 6700 takových obrázků za hodinu.
Klíčové body
- Grok, AI chatbot od xAI, umožňuje veřejné generování sexualizovaných obrázků z fotografií reálných lidí, často označených jako obsah pro dospělé.
- Výzkum ukázal masivní škálu: 6700 obrázků za hodinu oproti 79 obrázkům z pěti největších nudify webů dohromady.
- Elon Musk slibuje tresty za nelegální použití, ale odmítá omezení jako cenzuru.
- V Irsku je sdílení nekomunistních intimních obrázků, včetně deepfake, nelegální; sexualizace dětí je trestný čin.
- Funkce byla omezena na placené předplatitele platformy X.
Podrobnosti
Technologie deepfake, která dokáže digitálně ‘svléknout’ osoby na fotografiích a oblečit je do bikinis nebo sexualizovaného oblečení, existovala již roky na specializovaných webech a v soukromých kanálech. Změna nastala kolem Vánoc 2025, kdy byla tato schopnost integrována přímo do Groka, AI chatbota od xAI, který slouží k generování textu i obrázků na základě uživatelských pokynů. Grok je dostupný všem uživatelům platformy X (dříve Twitter), což znamená desítky milionů potenciálních uživatelů.
Uživatelé okamžitě začali veřejně zadávat příkazy k úpravě fotografií reálných žen a dětí. Grok obrázky generoval a zpřístupňoval je po kliknutí na varování ‘obsah pro dospělé’, aniž by ověřoval souhlas subjektu. Subjekty originálních fotografií nemají žádnou možnost intervence. Výzkumníci změřili, že před omezením na placené uživatele (Premium předplatitelé X) Grok produkoval přibližně 6700 sexualizovaných obrázků za hodinu – škála, která převyšuje aktivity všech pěti největších nudify platforem dohromady (jen 79 obrázků).
Elon Musk, vlastník xAI a X, prohlásil, že uživatelé tvůrci nelegálního obsahu čekají sankce, včetně zákazu účtů. Zároveň však označil návrhy na omezení generování za cenzuru a útok na svobodu slova. Pro platformu X, navrženou pro maximalizaci dosahu a angažovanosti, taková kontroverze přitahuje pozornost, což je v technologickém průmyslu klíčové pro ekonomický růst. V Irsku však platí přísné zákony: sdílení intimních obrázků bez souhlasu, ať už skutečných nebo deepfake, je trestné, stejně jako jakýkoli obsah sexualizující děti. Ministerka Smyth proto žádá Garda o vyšetření a opatření proti tomuto trendu.
Proč je to důležité
Tato kauza odhaluje slabiny současných AI modelů v oblasti bezpečnosti a etiky. Grok, postavený na velkém jazykovém modelu s multimodálními schopnostmi (text i obrázky), demonstruje, jak snadno lze zneužít generativní AI k masové produkci nelegálního obsahu. Na rozdíl od uzavřených nudify webů je Grok mainstreamový nástroj, což zvyšuje riziko šíření. Pro uživatele to znamená narůstající hrozbu soukromí – kdokoli může stát obětí bez možnosti obrany. Pro průmysl to signalizuje potřebu lepších guardrailů: filtry obsahu, detekce deepfake a právní rámce na globální úrovni. V kontextu rychlého vývoje AI (jako jsou modely typu GPT-4o nebo Llama 3) to zdůrazňuje nutnost prioritizovat bezpečnost před volností, jinak hrozí regulace od států jako EU s AI Actem.
Zdroj: 📰 RTE
