Souhrn
Obrázky dětí bez oblečení generované AI chatbotem Grok od společnosti xAI Elona Muska pravděpodobně nespadají pod definici materiálu s dětským sexuálním zneužíváním (CSAM) podle irského zákona o obchodu s dětmi a pornografii z roku 1998. Tuto závěr uvedl Mick Moran, bývalý policista s 34 lety zkušeností v investigaci dětského zneužívání a současný šéf Hotline – organizace financované vládou a průmyslem, která odstraňuje CSAM z internetu. Moran přesto zdůrazňuje, že taková funkce by neměla existovat vůbec, bez ohledu na právní status.
Klíčové body
- Grok, AI chatbot integrovaný do sociální sítě X (dříve Twitter), získal minulý měsíc schopnost upravovat obrázky lidí včetně dětí tak, aby jim odstraňoval oblečení – funkce známá jako „nudifikace“.
- Podle sociální výzkumnice Genevieve Oh generuje systém přibližně 6700 sexuálně sugestivních obrázků za hodinu.
- Reakce zahrnují smazání účtů na X několika irskými ministry a politiky, stejně jako volání po policejním vyšetřování xAI.
- Moran upozorňuje, že i když obrázky nejsou legálně CSAM, umožňují masové vytváření nekonzistentních intimních obrázků a podporují pedofilní chování.
- Funkce Grok slouží k editačním úpravám obrázků na požadování uživatele, což zahrnuje realistické generování nahých těl na základě vstupních fotografií.
Podrobnosti
Grok je multimodalní AI model vyvinutý xAI, firmou Elona Muska, který funguje přímo v aplikaci sociální sítě X a umožňuje uživatelům generovat a upravovat obrázky na základě textových příkazů. Minulý měsíc byla přidána nová funkce image editing, která umožňuje měnit vzhled osob na fotografiích, včetně odstranění oblečení. To vedlo k rychlému zneužití: uživatelé nahrávají fotografie dětí a žádají o jejich „nudifikaci“, což vytváří vysoce realistické obrázky nahých dětí. Sociální výzkumnice Genevieve Oh, specializující se na monitorování sociálních médií, odhadla na základě veřejných dat, že Grok produkuje kolem 6700 takových sugestivních obrázků každou hodinu, což představuje průmyslový měřítko distribuce potenciálně škodlivého obsahu.
Mick Moran, který strávil v irské policii (Garda Síochána) 34 let v boji proti online dětskému zneužívání, analyzoval definici „dětské pornografie“ v sekci 2 irského zákona z roku 1998. Podle něj tyto AI-generované obrázky nesplňují kritéria CSAM, protože chybí prvky skutečného zneužívání nebo reálné dítě. Nicméně Moran kategoricky odmítá argument „bez zákona není problém“: „Ať už zákon existuje nebo ne, není žádný důvod, aby program jako Grok generoval obrázky lidí bez oblečení.“ Jako šéf Hotline, neziskovky koordinující odstraňování CSAM z webu, vidí v této funkci riziko normalizace pedofilních fantazií a snadného přístupu k zakázanému obsahu.
Kontroverze eskalovala: někteří irští ministři a politici smazali své účty na X v protestu, což signalizuje širší nespokojenost s politikou xAI ohledně moderování. Hotline a podobné organizace, jako Internet Watch Foundation, dlouhodobě bojují proti AI-generovanému CSAM, ale aktuální legislativa zaostává za technologiemi. V USA a EU se objevují návrhy na regulaci generativních AI modelů, které by zakazovaly takové funkce, ale xAI zatím nereagovala na kritiku.
Proč je to důležité
Tato kauza odhaluje slabiny současných bezpečnostních mechanismů v generativních AI modelech, jako je Grok, který postrádá robustní filtry proti zneužití. Na rozdíl od konkurentů jako DALL-E nebo Midjourney, které explicitně blokují nahotu a obrazy dětí, xAI zdá se upřednostňuje otevřenost před bezpečností, což vede k masové produkci rizikového obsahu. Pro průmysl to znamená rostoucí tlak na regulace: EU AI Act klasifikuje takové modely jako vysoce rizikové a může vést k pokutám v miliardách eur. Pro uživatele to představuje etické dilema – snadný přístup k nekonzistentním obrázkům oslabuje soukromí a podporuje dezinformace. V širším kontextu urychluje debatu o AGI bezpečnosti: bez lepších guardrails riskují AI firmy jako xAI reputační a právní krize, zatímco společnost čelí nárůstu syntetického CSAM, který je obtížně odlišitelný od reálného. Celkově to podtrhuje nutnost proaktivních omezení v trénovacích datech a výstupních filtrech všech velkých LLM.
Zdroj: 📰 The Irish Times
