Souhrn
Irská policie Gardaí provádí vyšetřování 200 případů obrázků podezřelého dětského sexuálního zneužívání, které byly vytvořeny pomocí aplikace Grok AI. Incident pramení z aktualizace aplikace z konce minulého roku, která přidala funkci digitálního svlékání osob na obrázcích, známou jako ‘nudification’, bez mechanismů rozlišujících dospělé od dětí. Téma bylo projednáno před irským parlamentním výborem Oireachtas Media Committee, kde se diskutovalo o nedostatečném tempu legislativy vůči rychlému vývoji technologií umělé inteligence.
Klíčové body
- Gardaí řeší 200 reportů obrázků dětského sexuálního zneužívání (CSAM) generovaných Grok AI.
- Aktualizace Grok umožnila funkci ‘nudification’ bez věkového filtru.
- Fragmentovaná legislativa brání efektivnímu vyšetřování a regulaci.
- Publicita vedla k nárůstu stahování Grok jako nejoblíbenější aplikace v Irsku i světově.
- Souvislost s EU Digital Services Act a národními zákony komplifikuje postupy.
Podrobnosti
Grok AI je chatbotová aplikace vyvinutá společností xAI, kterou založil Elon Musk jako konkurenční alternativu k modelům jako GPT od OpenAI. Slouží k generování textu, obrázků a interakcím na bázi velkých jazykových modelů (LLM), přičemž umožňuje uživatelům vytvářet vizuální obsah na základě popisů nebo úprav existujících obrázků. Koncem roku 2025 vyšla aktualizace, která rozšířila možnosti úprav obrázků o funkci ‘nudification’ – digitální odstranění oblečení z fotografií osob. Tato funkce nefunguje selektivně podle věku subjektu, což umožnilo uživatelům generovat nelegální obsah včetně CSAM.
Šéf Garda National Cyber Crime Bureau potvrdil číslo 200 reportů před výborem Oireachtas Media Committee dne 15. ledna 2026. Korerespondent Brian O’Donovan zdůraznil, že problém spočívá v neschopnosti současné legislativy držet krok s technologiemi. Irsko, stejně jako EU, spoléhá na několik fragmentovaných předpisů: národní trestní zákony proti dětské pornografii, Digital Services Act (DSA) pro platformy a směrnice Coimisiún na Meán pro online bezpečnost. Vyšetřování závisí na kontextu – pokud jde o systémovou chybu platformy, zapojuje se Evropská komise; u jednotlivců zasahují gardaí přímo.
O’Donovan upozornil na paradox: medializace problému paradoxně zvýšila popularitu Grok. V posledních dnech se stal nejoblíbenější stahovanou aplikací v Irsku i globálně, což může vést k dalšímu zneužití. Podcast rovněž zmiňuje rozhovor s Davem O’Concorem, bývalým šéfem Fingal County Council, o budoucnosti kanceláří Dublin City Council na Wood Quay. Tato budova, postavená na vikingském sídlišti, vyžaduje renovaci za až 400 milionů eur, přičemž část lokality zůstává neprozkoumaná. Tento příběh však nesouvisí přímo s AI, ale ilustruje širší debatu o veřejných investicích do infrastruktury.
V praxi to znamená, že uživatelé Grok mohou nyní čelit riziku neúmyslného nebo úmyslného porušení zákonů při experimentování s funkcemi úprav obrázků. Pro vývojáře AI to podtrhuje nutnost implementace robustních bezpečnostních filtrů, jako jsou věkové detektory obličejů nebo omezení generování citlivého obsahu, podobně jako u modelů DALL-E nebo Midjourney.
Proč je to důležité
Tento incident odhaluje klíčové slabiny v generativní AI: absence univerzálních bezpečnostních mechanismů proti zneužití. Pro průmysl to znamená rostoucí tlak na samoregulaci – xAI, stejně jako OpenAI nebo Google, musí integrovat pokročilé filtry, které detekují a blokují CSAM v reálném čase, což zvyšuje náklady na vývoj. Pro uživatele to představuje riziko právních postihů, protože generování takového obsahu je trestné i bez distribuce.
V širším kontextu to urychluje debatu o regulaci AI v EU. DSA vyžaduje od platforem hlášení nelegálního obsahu, ale chybí specifická pravidla pro AI-generovaný materiál. Pokud legislativa nestihne tempo, jako zde ukázáno, hrozí chaos v jurisdikci mezi národními úřady a Brusel. Pro ekosystém AI to může vést k fragmentaci: americké firmy jako xAI čelí evropským standardům, což ovlivní globální nasazení modelů. Nakonec to podtrhuje, proč bezpečnostní architektura musí být součástí jádra každého AI systému, ne dodatečným patchem.
Zdroj: 📰 RTE
