Souhrn
Kanadští výzkumníci z univerzit v Ontariu a Britské Kolumbii spustili projekt na vývoj open-source nástroje pro detekci obsahu vytvořeného umělou inteligencí, jako jsou upravovaná videa nebo fotografie. Nástroj je určen soudům, účastníkům soudních sporů a dalším, aby pomohl oddělit skutečné důkazy od falšovaných. Vývoj potrvá dva roky a bude zdarma k dispozici.
Klíčové body
- Tým zahrnuje technologické odborníky a právníky z University of Waterloo, York University a univerzit v Britské Kolumbii.
- Současné komerční detektory AI obsahu jsou neprůhledné, nespolehlivé, produkují falešné pozitiva a vykazují zkreslení vůči mluvčím, kteří nemají rodilou angličtinu.
- Zaměstnávání expertů na ověření důkazů je nákladné a prodlužuje soudní procesy.
- Projekt vede Maura Grossman, profesorka informatiky na University of Waterloo a pedagožka na právnické fakultě Osgoode Hall.
- V soudním prostředí jsou rizika obzvláště vysoká, protože falešné důkazy mohou ovlivnit verdikty.
Podrobnosti
Skupina kanadských vědců reaguje na rostoucí dostupnost nástrojů umělé inteligence, které umožňují i běžným uživatelům snadno upravovat nebo zcela vytvářet videa, fotografie a další digitální důkazy. Například modely jako Stable Diffusion nebo DALL-E generují realistické obrázky, zatímco nástroje pro deepfake videa, jako jsou varianty FaceSwap či Roop, dokážou nahradit tváře v nahrávkách s vysokou přesností. Tyto technologie jsou dnes volně dostupné online a nevyžadují pokročilé znalosti. Výzkumníci plánují vyvinout nástroj, který bude analyzovat stopy typické pro AI-generaci, jako jsou anomálie v pixelech, frekvencích signálu nebo statistických vzorcích v datech.
Projekt je financován a bude open-source, což znamená, že zdrojový kód bude veřejně dostupný na platformách jako GitHub. To umožní komunitě vývojářů přispívat, testovat a zlepšovat ho. Na rozdíl od komerčních řešení, jako jsou detektory od společností Hive Moderation nebo Reality Defender, které často fungují jako uzavřené “black box” systémy, tento nástroj má být průhledný. Maura Grossman upozorňuje, že současné nástroje selhávají v detekci obsahu v jiných jazycích nebo dialektech, což vede k nespravedlivým výsledkům. Například algoritmy trénované převážně na anglickém obsahu mohou označit autentický materiál z neanglicky mluvících zemí za falešný.
Vývojáři zdůrazňují, že soudy nejsou připraveny na příliv AI-generovaného materiálu. V USA a Evropě již došlo k případům, kde deepfakes ovlivnily soudní spory, například v kauzách týkajících se sexuálního obtěžování nebo politických škandálů. Zaměstnávání forenzních expertů, kteří manuálně analyzují metadata, kompresi souborů nebo artefakty v obrazech, stojí tisíce dolarů a trvá týdny, což zpomaluje spravedlnost. Nový nástroj by měl být rychlý, intuitivní a integrovatelný do stávajících soudních systémů, jako je elektronické podávání důkazů.
Proč je to důležité
V éře, kdy AI modely jako Midjourney nebo Sora produkují video s rozlišením 1080p v reálném čase, se důvěryhodnost digitálních důkazů stává klíčovým problémem pro právní systémy. Open-source přístup může demokratizovat detekci a snížit závislost na proprietárních službách, které mohou být ovlivněny korporátními zájmy. Pro průmysl to znamená lepší nástroje pro novináře, bezpečnostní firmy a sociální sítě, kde deepfakes šíří dezinformace. Nicméně úspěch závisí na kontinuálním tréninku proti novým AI modelům, jinak rychle zastarává. Tento projekt přispívá k širšímu úsilí o AI governance, podobně jako iniciativy EU AI Act, které vyžadují watermarking pro generovaný obsah.
Zdroj: 📰 Financial Post
| 