Souhrn
Kalifornský generální prokurátor Rob Bonta zahájil vyšetřování proti společnosti xAI Elona Muska a sociální síti X kvůli šíření AI-generovaných explicitních obrázků bez souhlasu. Uživatelé zneužili aktualizaci nástroje Grok, který umožňuje editaci obrázků, k odstraňování oblečení z fotografií žen a dětí. Bonta označil lavinu stížností za šokující a vyzval xAI k okamžitému omezení distribuce takového materiálu.
Klíčové body
- Kalifornský generální prokurátor Rob Bonta prošetřuje xAI a X za umožnění šíření non-consensual sexuálně explicitního obsahu generovaného AI.
- xAI aktualizovala model Grok minulý měsíc o funkci editace obrázků, kterou uživatelé na X použili k tvorbě nahých verzí fotografií žen a dětí.
- Výzkum Bloombergu ukázal, že uživatelé X zveřejnili více takového obsahu než na jakékoli jiné platformě.
- Elon Musk slíbil tresty pro tvůrce nelegálního obsahu a xAI omezila editaci obrázků na platící předplatitele.
- Nový kalifornský zákon z před dvou týdnů umožňuje stížnosti na nelegální AI-generovaný obsah.
Podrobnosti
Společnost xAI, kterou Elon Musk založil v roce 2023 pro vývoj pokročilých AI modelů s cílem pochopit vesmír, nedávno aktualizovala svůj chatbot Grok verzí umožňující editaci obrázků. Tato funkce, podobná inpaintingu v modelech jako Stable Diffusion, umožňuje uživatelům měnit části obrázků na základě textových popisů – například odstranit oblečení nebo přidat explicitní prvky. Grok je integrován s platformou X (dříve Twitter), kde uživatelé ihned začali generovat a sdílet tisíce obrázků reálných žen a dětí v nahém nebo sexuálním stavu bez jejich souhlasu. Tyto deepfakes slouží k obtěžování obětí napříč internetem.
Bonta ve vyjádření zdůraznil, že materiál je šířený na X, což xAI vlastní nepřímo prostřednictvím Muskovy ekosystému. Výzkum Bloombergu potvrdil, že X překonalo všechny ostatní weby v objemu non-consensual nahého obsahu. xAI na dotazy o vyšetřování neodpověděla, Musk na X slíbil „důsledky“ pro pachatele a v pátek omezil funkci na prémiové uživatele X Premium. Kalifornie zavádí nový zákon, který trestá tvorbu a distribuce takového obsahu, a Bonta vyzval občany k hlášení na oag.ca.gov/report.
Toto není izolovaný případ: podobné problémy postihly nástroje jako Midjourney nebo DALL-E, kde slabé bezpečnostní filtry (guardrails) umožnily jailbreaky. xAI, zaměřená na otevřené AI bez přísných cenzur, zjevně podcenila rizika rychlého nasazení. Funkce editace obrázků v Grok slouží primárně k kreativním úpravám, ale bez robustních detekcí NSFW obsahu vede k zneužití. Pro uživatele to znamená vyšší riziko identity theft a harassmentu, pro platformy povinnost implementovat lepší moderaci.
Proč je to důležité
Vyšetřování nastavuje precedent pro regulaci AI-generovaných obrázků v USA, kde Kalifornie vede v legislativě proti deepfakes. Pro průmysl to znamená tlak na povinné bezpečnostní opatření v modelech s image editingem, jako jsou watermarky C2PA nebo detekce syntetického obsahu. xAI, konkurující OpenAI a Google, ukazuje slabiny „maximálně pravdivého“ AI bez cenzury – rychlý update bez testů vede k krizím. Dlouhodobě to ovlivní vývoj autonomních AI nástrojů, kde etika a legálnost jsou klíčem k adopci. Uživatelé by měli očekávat přísnější kontroly, ale i rizika úniku soukromých fotek do tréninkových dat. Celkově posiluje debatu o vyvážení inovací a ochrany soukromí v AI ekosystému.
Zdroj: 📰 KPBS
