Souhrn
Australský eSafety komisař varuje před zneužitím generativní AI Grok na platformě X, kde uživatelé generují sexualizované nebo exploatativní obrázky. Počet stížností sice zůstává nízký, ale rychle roste, což vede k regulačnímu tlaku včetně dopisu X a hrozby odstranění obsahu. Přicházejí nové povinné bezpečnostní kódy pro AI služby.
Klíčové body
- eSafety komisař zaznamenal přechod od nulových k několika stížnostem za poslední dva týdny.
- X byl kontaktován s žádostí o detaily bezpečnostních mechanismů proti zneužití Grok.
- Regulátor použije právní pravomoci podle Online Safety Act, včetně příkazů k odstranění obsahu.
- Nové regulace od 9. března 2026 omezí přístup dětí k explicitnímu, násilnému materiálu, sebevraždám a sebeubližování.
- Předchozí akce v roce 2025 donutila nudify služby (nástroje pro odhalování oblečení na fotkách) opustit australský trh.
Podrobnosti
Grok je generativní model umělé inteligence vyvinutý společností xAI Elona Muska, který je integrován přímo do sociální sítě X (dříve Twitter). Slouží k generování textu i obrázků na základě uživatelských popisů, využívá pokročilé modely jako Flux pro tvorbu realistických vizuálů. Na rozdíl od konkurentů jako ChatGPT nebo Gemini je Grok navržený s menšími restrikcemi, což umožňuje volnější generování obsahu, včetně kontroverzních témat, aby byl „maximálně pravdivý“ a méně politicky korektní. Tato volnost však vede k rizikům zneužití, jako je tvorba deepfake obrázků s sexualizovanými prvky, včetně potenciálně dětského obsahu.
Australský eSafety komisař, nezávislý regulační orgán zodpovědný za online bezpečnost, reaguje na rostoucí stížnosti. Zatím jich není mnoho, ale trend od nuly k několika za dva týdny signalizuje problém. Podle Online Safety Act musí platformy jako X proaktivně detekovat a odstraňovat materiál s dětskou sexuální exploatací nebo jiný nezákonný obsah. Komisař už v roce 2025 zasáhl proti nudify službám – aplikacím, které uměle odhalují oblečení na reálných fotografiích pomocí AI –, které cílily na školní děti, a donutil je stáhnout se z australského trhu.
Nyní byl X oficiálně kontaktován dopisem s požadavkem na podrobnosti o ochranných mechanismusech Grok, jako jsou filtry obsahu, detekce promptů nebo omezení generování citlivých obrázků. Platformy jsou v souladu s průmyslovými kodexy povinny bránit šíření škodlivého obsahu. Od 9. března 2026 vstoupí v platnost nové povinné kódy, které AI služby donutí omezit přístup dětí k explicitnímu, násilnému materiálu, obsahu o sebeubližování nebo sebevraždách. Tyto pravidla se týkají nejen X, ale všech podobných platforem.
Proč je to důležité
Tato situace odhaluje slabiny méně restriktivních AI modelů jako Grok, kde snaha o otevřenost vede k snadnému zneužití pro tvorbu non-consensual intimate imagery (NCII), což ohrožuje soukromí a bezpečnost uživatelů, zejména mladých. Pro průmysl znamená rostoucí globální regulační tlak – Austrálie vede v prosazování povinných bezpečnostních standardů, což ovlivní xAI i jiné firmy jako OpenAI nebo Meta. Uživatelé mohou očekávat tvrdší filtry, omezení funkcí generování obrázků a větší odpovědnost platforem, což zpomalí inovace, ale zvýší bezpečnost. V širším kontextu AI ekosystému to podtrhuje nutnost vyvážení svobody a kontroly, protože bez regulací hrozí eskalace k masivnímu šíření exploatativního obsahu.
Zdroj: 📰 Starweekly.com.au
