Souhrn
Microsoft otestoval schopnosti AI agentů v kontrolovaném virtuálním prostředí, kde měli samostatně nakupovat, prodávat a vyhodnocovat nabídky. Výsledkem bylo systematické selhávání v rozeznávání podvodných transakcí, neschopnost správně vyhodnotit rizika a vysoká zranitelnost vůči manipulaci. Studie ukazuje, že současné AI agenty není bezpečné bez dozoru nasazovat k autonomnímu rozhodování o penězích či kritických úkonech.
Klíčové body
- Microsoft vytvořil simulovanou ekonomiku se stovkami AI agentů jako kupujícími a prodávajícími.
- Agenti dostali „virtuální“ peníze a přístup k informacím, přesto nedokázali spolehlivě detekovat podvody.
- Docházelo k iracionálním nákupům, ignorování podezřelých signálů a chybné důvěře v nespolehlivé protistrany.
- Experiment potvrzuje, že současné modely nejsou připravené na plně autonomní finanční rozhodování.
- Výsledky jsou relevantní pro návrh AI agentů v e‑commerce, fintechu a automatizovaném řízení procesů.
Podrobnosti
Microsoft v rámci výzkumu nasadil několik stovek AI agentů do simulované digitální ekonomiky, která imitovala běžné online prostředí: tržiště, nabídky zboží a služeb, reputační signály, recenze a různé cenové hladiny. Agenti fungovali jako autonomní entity s přístupem k textovým popisům, pravidlům prostředí a omezenému rozpočtu virtuálních prostředků. Jejich úkolem bylo nakupovat racionálně, vyhledávat výhodné nabídky a vyhýbat se podezřelým interakcím.
Namísto očekávaného postupného učení a robustnějšího chování se ukázalo, že agenti jsou výrazně zranitelní vůči jednoduchým podvodným vzorcům. Často ignorovali zjevně nepravděpodobné nabídky, nereagovali adekvátně na varovné signály a preferovali krátkodobé, naivně výhodné transakce. Docházelo k situacím, kdy agent zaplatil za službu či produkt bez ověření identity prodávajícího, přijal neověřené tvrzení jako fakt, nebo nedokázal porovnat cenu a hodnotu. Simulované podvody zahrnovaly například falešné prodejce, extrémně podhodnocené nabídky či zavádějící recenze.
Klíčovým zjištěním je, že velké jazykové modely v roli agentů mají zásadní limity v oblasti spolehlivého uvažování, ověřování informací a odolnosti vůči manipulaci. I když dokážou srozumitelně vysvětlit principy bezpečného chování, v praxi je nedokážou konzistentně aplikovat při autonomním rozhodování. To má přímý dopad na návrh produktů, které chtějí AI agenty použít pro automatizované obchodování, zákaznický servis s přístupem k účtům, správu předplatných nebo inteligentní nákupní asistenty.
Proč je to důležité
Výsledek experimentu je varováním pro firmy i vývojáře, kteří plánují nasadit AI agenty k reálné správě financí nebo autonomním nákupům. Ukazuje, že současná generace modelů je náchylná k chybám, které by v reálném prostředí znamenaly finanční ztráty, podvodné transakce a právní rizika. V širším kontextu to potvrzuje nutnost kombinovat AI agenty s tvrdými kontrolními mechanismy: omezeními rozpočtu, pravidly pro ověřování protistran, víceúrovňovým schvalováním a průběžným monitorováním. Pro průmysl to znamená, že myšlenka plně autonomních AI agentů pro ekonomické rozhodování je v současné podobě předčasná. Spolehlivá automatizace bude vyžadovat nejen lepší modely, ale i robustní architektury, které počítají s tím, že AI se dá snadno oklamat stejně jako nezkušený člověk.
Zdroj: 📰 Decrypt