Souhrn
Generální prokurátor Kalifornie Rob Bonta poslal společnosti xAI, kterou založil Elon Musk, dopis s výzvou k okamžitému zastavení tvorby a šíření nekonsenzuálních sexuálních deepfake obrázků. Problém vyplynul z aktualizace AI modelu Grok, který umožňuje uživatelům upravovat fotografie žen a dětí do sexuálně explicitních scén. Bonta spustil vyšetřování kvůli porušení kalifornských zákonů o veřejné morálce a nového předpisu proti deepfake pornografii.
Klíčové body
- xAI, společnost zaměřená na vývoj pokročilých AI modelů jako Grok, umožnila uživatelům generovat deepfakes z běžných fotografií bez souhlasu subjektů.
- Dopis cituje příklady transformace fotek oblečených žen a dětí do sexuálních scén, včetně funkce „svlékání“.
- Kalifornie nedávno přijala zákon proti deepfake pornografii, který nabyl účinnosti před dvěma týdny.
- xAI již reagovala blokováním generování obrázků v bikini v některých oblastech, ale Bonta považuje tyto kroky za nedostatečné.
- Vyšetřování se rozšířilo i na sociální síť X (dříve Twitter), kde se materiál šířil.
Podrobnosti
Kalifornský generální prokurátor Rob Bonta zaslal dopis s výzvou k ukončení (cease and desist letter) společnosti xAI v pátek, pouhé dva dny po oznámení vyšetřování. To souvisí s updatem AI modelu Grok z minulého měsíce, který přidal schopnost editace a generování obrázků. Grok, velký jazykový model (LLM) od xAI, slouží k interakci s uživateli, odpovídání na otázky a nyní i k tvorbě vizuálního obsahu na základě textových popisů. Aktualizace umožnila uživatelům nahrávat obyčejné fotografie oblečených žen a dětí a přeměňovat je do sugestivních nebo explicitně sexuálních scén, včetně virtuálního „svlékání“. Bonta ve svém dopise uvádí „lavinu zpráv o nekonsenzuálním sexuálně explicitním materiálu“, který sloužil k obtěžování lidí na internetu.
Tato praxe porušuje kalifornské zákony o veřejné morálce a nový předpis proti deepfake pornografii, účinný od minulého týdne. Deepfakes jsou synteticky generované obrázky nebo videa vytvořené AI, které realisticky manipulují s obličejem nebo tělem reálných osob. xAI, založená Elonem Muskem v roce 2023 jako alternativa k OpenAI, se zaměřuje na vývoj bezpečnějších a pravdivějších AI systémů. Nicméně tento incident odhaluje slabiny v bezpečnostních mechanismách: přestože společnost nedávno zablokovala generování obrázků lidí v plavkách v oblastech, kde je to zakázáno, Bonta tvrdí, že dopad těchto opatření není jasný. Vyšetřování zahrnuje i platformu X, kde se materiály šířily, a může vést k pokutám nebo dalším sankcím. Muskova xAI tak čelí první velké regulační výzvě (cca 250 slov).
Proč je to důležité
Tato kauza podtrhuje rostoucí regulační tlak na AI firmy v oblasti etiky a bezpečnosti obsahu. Deepfakes představují riziko pro soukromí, zejména žen a veřejných osob, a mohou sloužit k šíření dezinformací nebo obtěžování. Pro průmysl znamená precedent: státy jako Kalifornie zavádějí přísné zákony, což nutí vývojáře AI integrovat robustní filtry proti zneužití, jako detekci obličejů nebo souhlasové mechanismy. Pro uživatele to znamená omezení volnosti generování obsahu, ale vyšší ochranu. V širším kontextu posiluje debatu o odpovědnosti velkých LLM jako Grok, GPT nebo Gemini, kde absence striktních omezení vede k rychlému zneužití. Pokud xAI neupraví Grok rychle, může to ovlivnit její reputaci a investice v konkurenčním prostředí AI. (Celkem cca 520 slov)
Zdroj: 📰 KPBS
