Státní zástupce použil chybnou AI a nechal Kalifornského muže ve vězení, tvrdí jeho právníci

Souhrn

Státní zástupce v okrese Nevada County v Kalifornii čelí kritice za použití generativní umělé inteligence (AI) při přípravě soudních spisů. Tyto dokumenty obsahovaly závažné chyby, včetně neexistujících právních citací a nesprávného výkladu zákona, což podle právníků ohrožuje základní práva obžalovaných a důvěryhodnost soudního systému.

Klíčové body

V několika trestních kauzách, včetně případu Kyle Kjollera, byly nalezeny soudní dokumenty s falešnými citacemi a právními chybami typickými pro generativní AI.
Obžalovaný Kjoller byl bez záruky držen ve vězení na základě argumentů, které mohly být založeny na chybných AI-generovaných textech.
Okresní státní zástupce Jesse Wilson připustil chyby, ale tvrdí, že AI byla použita pouze při jednom dokumentu, ne v Kjollerově případu.
Právníci požádali Kalifornský nejvyšší soud o vyšetření možného systémového zneužívání AI v trestním řízení.

Podrobnosti

Případ 57letého kováře Kyle Kjollera, obviněného z nelegálního držení zbraní, se stal symbolem rizik spojených s nekontrolovaným nasazením AI v právní praxi. Státní zástupci odmítli jeho žádost o propuštění na kauci s odvoláním na 11stránkový dokument, který podle jeho obhájců obsahuje chyby charakteristické pro generativní modely – například citace rozhodnutí, která ve skutečnosti neexistují, nebo zkreslený výklad zákona. Analýza odhalila podobné chyby ve čtyřech různých případech ze stejné kanceláře. Odborníci varují, že takové chyby mohou vést k nespravedlivým rozhodnutím, včetně nezákonného uvěznění nebo dokonce odsouzení nevinných lidí. I když Wilson tvrdí, že AI byla použita jen v jednom případě, jeho odpověď neuspokojila soud ani veřejnost. Kancelář nyní slibuje nová interní pravidla pro používání AI, ale zatím neposkytla transparentní audit svých postupů.

Proč je to důležité

Tento případ ukazuje, jak rychlé nasazení AI bez dostatečné kontroly a lidského dohledu může ohrozit základní principy právního státu. Generativní AI, jako jsou modely GPT nebo Claude, mají tendenci „halucinovat“ – vymýšlet fakta, která vypadají věrohodně, ale nejsou reálná. V právním kontextu to není jen technická chyba, ale potenciální hrozba pro lidská práva. Případ také otevírá širší debatu o etických a regulačních rámecích pro používání AI v citlivých oblastech, jako je justice, medicína nebo veřejná správa.

Číst původní článek

Zdroj: 📰 The Times of India