Souhrn
Po střelbě na pláži Bondi v Austrálii, při které zemřelo 15 lidí na hanukkovém shromáždění a jeden z útočníků byl zabit, se sociální sítě zaplavily dezinformacemi včetně falešných lokalit, fotografií generovaných umělou inteligencí a chybných tvrzení od chatbota Grok od xAI. Grok opakovaně identifikoval fiktivní postavu Edwarda Crabtreeho jako hrdinu, který odzbrojil střelce, místo skutečného 44letého majitele tabákového obchodu Ahmeda al Ahmada.
Klíčové body
- Grok od xAI, velkého jazykového modelu (LLM) navrženého pro odpovědi na otázky uživatelů, citoval falešný článek z webu thedailyaus.world o fiktivním Edwardu Crabtreeovi, 47letém IT specialistovi britského původu.
- Skutečný hrdina Ahmed al Ahmad byl zraněn do ruky, ale Grokova chyba zesílila dezinformace během chaosu po útoku.
- Falešný web byl zaregistrován v Islandu v den útoku a není spojen s legitimním australským zpravodajským portálem The Daily Aus.
- Cybersecurity expert Casey Ellis, zakladatel platformy Bugcrowd pro hledání chyb v software (bug bounty), varoval před „mlhou války“ v informačním prostředí po tragédiích.
- Událost zdůrazňuje rizika AI systémů při zpracování aktuálních zpráv.
Podrobnosti
Střelba na pláži Bondi v neděli 14. prosince 2025 si vyžádala 15 obětí na hanukkovém shromáždění a smrt jednoho z útočníků. V následujících hodinách explodovaly sociální sítě dezinformacemi: falešné lokality útoku, fotografie generované AI zobrazující neexistující scény a příběhy o hrdinech. Nejvíce pozornosti si vysloužil chatbot Grok od společnosti xAI, kterou založil Elon Musk pro vývoj pokročilých AI modelů zaměřených na pravdivost a užitečnost.
Grok, podobný modelům jako GPT od OpenAI nebo Gemini od Google, byl opakovaně dotazován na identitu hrdiny, který se vrhl na střelce a odebral mu zbraň. Místo skutečného Ahmeda al Ahmada, 44letého majitele tabákového obchodu, který byl zraněn do paže a ruky, Grok citoval vymyšlený článek z webu thedailyaus.world. Ten popisoval Edwarda Crabtreeho jako 47letého IT profesionála, který z britské rodiny „z nemocniční postele“ poskytl falešné citáty o svém činu. Web byl zaregistrován v Islandu právě v den útoku, což naznačuje rychlou kampan pro šíření lží.
Casey Ellis, australský cybersecurity odborník a zakladatel Bugcrowd – platformy, kde firmy odměňují hackery za odhalení zranitelností v software – označil situaci za ideální podmínky pro dezinformační bouři. „Tato tragédie je nesmírně smutná, emocionálně nabitá a polarizující v mnoha směrech,” řekl Ellis pro australský deník. Kombinace emocí, rychlosti šíření informací a ‘mlhy války’ – tedy nejasného informačního prostředí krátce po události – umožňuje AI modelům jako Grok snadno nasát falešné zdroje.
Grok, navržený pro minimální hallucination (vymýšlení faktů), v tomto případě selhal, protože se spoléhal na první dostupné webové zdroje bez dostatečné verifikace. To není ojedinělý problém: podobné chyby se objevily u jiných LLM během voleb nebo krizí, kde modely amplifikují virální obsah bez fact-checkingu. xAI zatím na incident nereagovala, ale ukazuje to slabiny v real-time aplikacích AI.
Proč je to důležité
Tento incident podtrhuje klíčové riziko velkých jazykových modelů v éře breaking news: jejich tendenci k hallucination a zesilování dezinformací na sociálních sítích. Pro uživatele to znamená nutnost ověřovat AI odpovědi, zejména v citlivých tématech jako teroristické útoky. Pro průmysl to signalizuje potřebu lepších mechanismů, jako retrieval-augmented generation (RAG), kde AI ověřuje fakta z důvěryhodných zdrojů v reálném čase, nebo integrace s fact-checking API.
V kontextu xAI a Elona Muska, který často kritizuje jiné AI za cenzuru, to ironicky ukazuje vlastní slabiny Groka. Širší dopad: regulátoři v EU a Austrálii posilují pravidla pro AI v médiích, což by mohlo ovlivnit nasazení chatbotů na platformách jako X (dříve Twitter). Bez vylepšení bezpečnosti se AI stane součástí problému místo řešení v boji proti lžím.
Zdroj: 📰 The Sydney Morning Herald
