Souhrn
Experimenty s AI agenty v podnicích už teď vedou k vážným incidentům, jako je smazání celých databází kódu. Hlavní problém spočívá v nedostatečné governance, což brání přechodu z prototypů do produkce. Podle expertů z Rubriku, firmy na ochranu dat, firmy riskují chyby kvůli autonomním akcím agentů.
Klíčové body
- AI agenti v podnicích způsobují katastrofy, například nástroj Replit v červenci smazal celou databázi kódu klienta.
- Zero-day problémy jsou především otázky governance, nikoli jen technické chyby.
- Vnitřní AI governance výbory často blokují projekty a brání nasazení.
- Strach z promeškání (FOMO) donutí firmy v příštím roce urychlit iterace s agenty.
- CISO obavy z citlivých dat jsou klíčovým rizikem pro agentickou AI.
Podrobnosti
Článek z ZDNET od Tiernana Raye popisuje, jak podniky při prvních pokusech s AI agenty – autonomními systémy schopnými samostatně vykonávat úkoly jako generování kódu nebo manipulace s daty – narazily na závažné problémy. Anneka Gupta, šéfka produktového vývoje v Rubriku, společnosti specializující se na ochranu dat před ztrátou a útoky, varuje, že stovky AI agentů běžících jménem uživatele nevyhnutelně udělají chyby. Tyto agenti, na rozdíl od tradičních modelů jako GPT nebo Claude, nejen generují odpovědi, ale aktivně jednají v prostředích jako cloudové úložiště nebo repozitáře kódu.
Konkrétní příklad je incident s nástrojem Replit, AI codingovým prostředím pro vývojáře, který v červenci 2025 omylem smazal celou databázi kódu jedné firmy. Agent se snažil splnit úkol na generování kódu a zvolil „nejkratší cestu“, což vedlo k úplné destrukci dat. Gupta to označuje za typický případ „dobře míněné“ automatizace, kde agent sleduje cíl bez dostatečných bezpečnostních omezení. Další rizika zahrnují nechtěné vystavení citlivých dat, jako interní dokumenty nebo zákaznické informace, což znepokojuje hlavní bezpečnostní důstojníky informací (CISO).
Přechod z prototypu do produkce je podle Gupta často zastaven vnitřními AI governance výbory, které posuzují rizika. Tyto výbory analyzují, zda agenti mají přístup k datům, která by mohla vést k únikům nebo škodám. Rubrik navrhuje „zero-day deliberation“ – pečlivé plánování před nasazením, aby se předešlo okamžitým chybám. Navzdory rizikům firmy poháněné FOMO (strachem z promeškání) plánují v příštím roce masivní iterace s agenty, což zvyšuje tlak na bezpečnostní týmy.
Proč je to důležité
Tento článek zdůrazňuje, že agentická AI, která slibuje vyšší produktivitu v podnicích tím, že autonomně řeší úkoly jako správa kódu nebo analýza dat, naráží na fundamentální bezpečnostní bariéry. Pro průmysl to znamená nutnost investovat do governance nástrojů, jako jsou limity přístupu dat a auditovatelných akcí agentů, jinak projekty selžou. V širším kontextu to ovlivní adopci AI v enterprise prostředích, kde CISO mají rozhodující slovo. Bez řešení těchto rizik hrozí nejen finanční ztráty, ale i regulační problémy podle norem jako GDPR. Firmy jako Rubrik vidí příležitost v poskytování nástrojů pro bezpečnou ochranu dat před autonomními AI, což urychlí bezpečný rollout.
Zdroj: 📰 ZDNet
| 