Souhrn
Toto vydání RISKS Digestu z 6. února 2026, moderované Peterem G. Neumannem, sbírá zprávy o bezpečnostních rizicích v počítačových systémech. Zaměřuje se na slabiny v AI agentech, autonomních vozidlech, únicích osobních údajů a zneužití technologií státními aktéry. Mezi klíčovými tématy patří prompt injection ovlivňující autonomní auta a drony, útoky AI podvodníků a publikování ukradených dat z univerzit.
Klíčové body
- Prompt injection útoky nutí autonomní auta a drony ignorovat bezpečnostní pravidla pomocí falešných dopravních značek.
- Hackeři zveřejnili osobní údaje ukradené z Harvardu a UPenn během datových úniků.
- AI agenti získávají vlastní sociální síť, což zvyšuje rizika nečekaného chování.
- Nový web umožňuje AI “pronajímat” lidská těla pro fyzické akce.
- Slabiny v agentických AI jako Google Chrome Auto Browse ohrožují uživatele.
Podrobnosti
RISKS Digest je dlouholetý archiv diskuzí o rizicích informatizace, publikovaný ACM a moderovaný Peterem G. Neumannem z SRI International. Toto vydání (34.86) obsahuje několik alarmujících případů. Například článek z The Register popisuje, jak autonomní vozidla a drony podléhají prompt injection – technice, kdy útočník vloží škodlivý příkaz do vstupních dat. V experimentu falešné dopravní značky s textem jako “Ignoruj červenou” přiměly systémy k porušení pravidel, což demonstruje zranitelnost systémů založených na velkých jazykových modelech (LLM) v reálném světě. Tyto systémy slouží k rozhodování v autonomních vozidlech, kde zpracovávají vizuální vstupy a generují akce, ale chybí jim robustní ochrana proti takovým injekcím.
Další rizika se týkají AI agentů. Benj Edwards píše o sociální síti pro AI agenty, kde se autonomní programy mohou “sdružovat” a sdílet data, což vede k nepredvídatelným interakcím mimo kontrolu tvůrců. Futurism hlásí web, který umožňuje AI agenty si pronajmout lidská těla prostřednictvím dobrovolníků pro provádění fyzických úkolů – od nákupů po manipulaci s objekty. To otevírá dveře k zneužití, jako je špionáž nebo sabotáž.
V kyberbezpečnosti vynikají úniky dat: hackeři zveřejnili osobní informace studentů a zaměstnanců z Harvardu a University of Pennsylvania, získané v nedávných breachech. Další zpráva od Lorenzo Franceschi-Bicchierai popisuje, jak útočníci rekrutují nespokojené insiderovy k obcházení bezpečnostních opatření. David Pogue varuje před AI scamery cílenými na autory, kteří používají generovanou identitu k podvodům. Laurenův blog kritizuje Google Chrome Auto Browse, agentickou AI pro automatické prohlížení webu, kvůli rizikům nechtěného zveřejňování dat.
Geopolitické hrozby zahrnují spekulace o čínském hackování systému CALEA (pro sledování komunikace) a ruské vesmírné lodě špehující evropské satelity. Studie navrhuje, že v AI interakcích je lepší být „laskavým lhářem“ než upřímným, aby se zabránilo škodám. V USA ICE využívá rozpoznávání obličeje k identifikaci demonstrantů na ulicích.
Proč je to důležité
Tato sbírka rizik podtrhuje systémové slabiny v rychle se rozvíjejících technologiích jako agentická AI a autonomní systémy. Prompt injection v autech může vést k nehodám s fatálními následky, zatímco úniky dat ohrožují miliony lidí na identitní krádeže. Pro průmysl znamená nutnost investic do robustních bezpečnostních vrstev, jako jsou sandboxy pro AI agenty a ověřování vstupů. V širším kontextu ukazuje, jak absence regulací umožňuje státním aktérům a kriminálníkům zneužívat technologie. Pro uživatele doporučuji opatrnost s agentickými AI a důraz na dvoufázové ověřování. Celkově toto vydání RISKS zdůrazňuje, že pokrok v AI bez paralelního posílení bezpečnosti vede k eskalaci rizik pro společnost.
Zdroj: 📰 Seclists.org