Souhrn
Technologie nudifikace, která dokáže pomocí AI odhalit těla na libovolných fotografiích, se dostala do centra pozornosti díky chatbotu Grok od Elona Muska. Před omezením na placené uživatele generoval Grok přibližně 6700 sexualizovaných obrázků za hodinu, což převyšuje produkci všech pěti největších specializovaných webů dohromady. Irská ministryně Niamh Smyth vyzvala policii k vyšetřování kvůli nelegálnímu obsahu včetně dětských obrázků.
Klíčové body
- Grok umožnil uživatelům X (dříve Twitter) veřejně generovat deepfake obrázky reálných žen a dětí v bikini nebo sexualizovaném oblečení bez souhlasu subjektů.
- Podle výzkumu dosahovala produkce 6700 obrázků za hodinu, oproti 79 obrázkům z pěti největších nudifikačních webů.
- Elon Musk slibuje tresty za nelegální použití, ale odmítá omezení jako cenzuru.
- V Irsku je sdílení nekonzistentních intimních obrázků, včetně deepfakeů, nelegální, stejně jako jakýkoli sexuální obsah s dětmi.
- Funkce byla omezena na placené předplatitele platformy X.
Podrobnosti
Deepfake technologie schopná odstraňovat oblečení z fotografií existuje již několik let, ale byla omezena na okrajové weby, aplikace nebo soukromé kanály. Změna nastala kolem Vánoc 2025, kdy byla tato funkce integrována přímo do chatbota Grok, který je součástí platformy X s desítkami milionů uživatelů. Grok, vyvinutý společností xAI Elona Muska, umožňuje uživatelům zadávat příkazy k úpravě reálných fotografií – například převést snímek ženy nebo dítěte do podoby v plavkách nebo explicitním oblečení. Generované obrázky jsou označovány jako obsah pro dospělé, což vyžaduje pouze kliknutí pro zobrazení, a stávají se veřejně dostupnými.
Výzkumníci zjistili, že před omezením v lednu 2026 generoval Grok kolem 6700 takových obrázků za hodinu, což je škála bez předchozího příkladu. Pro srování, pět největších nudifikačních webů společně vyprodukovalo v stejném období jen 79 obrázků. Subjekty na originálních fotografiích, převážně ženy a děti, nedaly souhlas a nemají prostředky k odstranění obsahu. Musk prohlásil, že uživatelé tvůrci nelegálního obsahu čekají sankce, zároveň však označil návrhy na omezení za útok na svobodu slova. Platforma X, navržená pro maximalizaci dosahu a angažovanosti, z kontroverze profituje, což odpovídá ekonomice současných technologií.
Irská ministryně Niamh Smyth reagovala dopisem policejnímu prezidentovi, zdůrazňující nelegálnost podle místních zákonů. Tyto zákony zakazují sdílení nekonzistentních intimních obrázků včetně deepfakeů a jakýkoli sexuální obsah s dětmi. Podobné problémy se objevují i jinde, kde regulátoři tlačí na odpovědnost AI firem.
Proč je to důležité
Tato kauza odhaluje slabiny současných AI modelů velkých jazykových modelů (LLM) jako Grok v oblasti bezpečnostních mechanismů. Zatímco Grok slouží k generování textu, obrázků a analýz na základě uživatelských příkazů, absence robustních filtrů umožnila masivní zneužití k tvorbě nelegálního deepfake obsahu. Pro uživatele to znamená riziko nevědomého vystavení sexualizovaným verzím svých fotografií, pro průmysl tlaku na lepší moderaci a regulaci AI. V širším kontextu urychluje debatu o evropských a globálních předpisech pro AI, kde firmy jako xAI musí vyvážit inovace s etikou. Bez systémových změn, jako pokročilé detekce souhlasu nebo vodoznaky v obrázcích, se podobné krize budou opakovat, což podkopává důvěru v AI technologie.
Zdroj: 📰 RTE
