Souhrn
Australský eSafety komisař varuje před zneužíváním generativního systému umělé inteligence Grok na platformě X k výrobě sexualizovaných nebo vykořisťujících obrázků. Počet stížností sice zůstává nízký, ale rychle roste, což vede k požadavkům na lepší ochrany a možné odstranění obsahu podle Online Safety Act. Nové regulace od března 2026 zavádějí přísnější povinnosti pro AI služby.
Klíčové body
- eSafety komisař zaznamenal přechod od nulových k několika stížnostem za poslední dva týdny týkajícím se Grok na X.
- X bylo kontaktováno s žádostí o informace o bezpečnostních mechanismech proti zneužití Grok.
- Platformy musí podle australských kodexů odstraňovat materiály s dětským sexuálním vykořisťováním a nezákonný obsah.
- Nové povinné kódy od 9. března 2026 omezí přístup dětí k sexuálně explicitnímu, násilnému obsahu, sebevraždám a sebeubližování.
- Precedent: V roce 2025 byly nudify služby nuceny opustit Austrálii po zneužití vůči školním dětem.
Podrobnosti
Grok je generativní systém umělé inteligence vyvinutý společností xAI, který je integrován do sociální sítě X (dříve Twitter) a umožňuje uživatelům generovat texty i obrázky na základě textových popisů. Tento nástroj, navržený pro kreativní a informační účely, se nyní stává terčem kritiky kvůli jeho potenciálu k tvorbě nevhodného obsahu, jako jsou sexualizované nebo exploatativní vyobrazení lidí, včetně možného cílení na děti. Australský eSafety komisař, který dohlíží na online bezpečnost, hlásí nárůst stížností z prakticky nulových na několik za poslední dva týdny, což signalizuje začátek systematického problému.
Regulátor připomíná, že platformy jako X jsou vázány systémovými bezpečnostními povinnostmi podle australských průmyslových kodexů. Tyto pravidla vyžadují proaktivní detekci a odstranění materiálů s dětským sexuálním vykořisťováním a jiného nezákonného obsahu. V reakci na trend komisař napsal přímo X s poptávkou na detaily o existujících bezpečnostních opatřeních, která mají bránit zneužití Grok – například filtry na vstupní prompty, moderace výstupů nebo omezení přístupu. Pokud obsah překročí hranice Online Safety Act, regulator použije právní nástroje včetně příkazů k odstranění.
Tento případ navazuje na předchozí úspěšnou kampaň z roku 2025, kdy byly služby typu nudify – aplikace generující obnažené obrázky na základě fotografií – donuceny k odchodu z Austrálie po zjištění, že cílily na školní děti. Lokální rodiny a školy jsou varovány, aby byli obezřetní vůči X a podobným platfůrmám. Vláda očekává okamžité proaktivní kroky k prevenci šíření škodlivého obsahu. Od 9. března 2026 vstoupí v platnost nové povinné kódy, které AI služby donutí omezit přístup dětí k sexuálně explicitnímu, násilnému materiálu, stejně jako obsahu podporujícímu sebeubližování nebo sebevraždy. X již dříve čelilo transparentním upozorněním.
Proč je to důležité
Tato situace odhaluje slabinu generativních AI modelů jako Grok v boji proti zneužití, kde uživatelé snadno obejdou bezpečnostní filtry prompty jako ‘vytvoř obrázek celebritky v bikini’. Pro průmysl znamená rostoucí regulační tlak – Austrálie vede v prosazování povinných bezpečnostních standardů, což ovlivní globální platformy jako X. Pro uživatele to podtrhuje rizika volně dostupných AI nástrojů, kde nízký objem stížností může rychle eskalovat do širší krize, podobně jako u deepfake pornografie. V širším kontextu posiluje debatu o etice AI, kde xAI (založená Elonem Muskem k vývoji bezpečného AGI) musí prokázat, že její modely nejsou jen výkonnější, ale i bezpečnější než konkurence jako OpenAI nebo Google.
Zdroj: 📰 Starweekly.com.au