Souhrn
Výzkumník Sean Westwood z Dartmouth College vytvořil AI chatbota na bázi modelu OpenAI o1-mini, který spolehlivě napodobuje lidské odpovědi v online průzkumech a obchází většinu existujících detekčních mechanismů. Tento vývoj ohrožuje integritu dat v sociálních vědách, kde online průzkumy slouží jako základní nástroj pro tisíce studií ročně. Badatelé volají po posílení ochrany ze strany firem spravujících průzkumy nebo dokonce návratu k papírovým a osobním metodám.
Klíčové body
- Online průzkumy se od roku 2015 čtyřnásobně rozšířily v publikovaných studiích a jsou považovány za „esenciální infrastrukturu“ sociálních věd.
- AI chatbot Westwooda na bázi o1-mini prošel většinou kontrol proti podvodům, jako jsou testy na konzistenci odpovědí nebo chování myši.
- Problém botů existuje už dříve, ale současné LLM modely ho zhoršují díky lepší schopnosti generovat přirozené texty.
- Firmy jako Prolific nebo CloudResearch zavádějí nové kontroly, ale AI se rychle adaptuje.
- Někteří experti navrhují úplný návrat k tradičním metodám sběru dat.
Podrobnosti
Online průzkumy se od počátku 2000. let staly standardním nástrojem v oblastech jako psychologie, ekonomie, politika či ekologie. Účastníci je plní z pohodlí domova a dostávají odměny od stovek korun až po tisíce za hodinu, což vytvořilo celý průmysl s platformami jako MTurk, Prolific nebo Qualtrics. Tyto platformy spravují obrovské bazén respondentů a zajišťují statistickou reprezentativitu. Mezi lety 2015 a 2024 se jejich využití v publikovaných pracích zvýšilo čtyřnásobně, jak uvádí Felix Chopra, behaviorální ekonom z Frankfurt School of Finance and Management.
Problém s podvody narůstal postupně: od falešných odpovědí po jednoduché boty. Platformy reagovaly kontrolami, jako jsou duplicitní IP adresy, testy na rychlost odpovědí, otázky na pozornost (např. „vyberte červený kruh“) nebo analýza chování myši. V listopadu 2023 však Sean Westwood ukázal, že tyto mechanismy selhávají proti pokročilým AI. Použil OpenAI o1-mini, což je reasoning model optimalizovaný pro složité úlohy, který generuje odpovědi krok za krokem a simuluje lidskou logiku. Bot byl testován na vlastním průzkumu Westwooda a prošel 90 % detekcí, včetně těch založených na jazykových vzorcích nebo časování.
Jako expert na AI vidím zde klíčový test pro limity LLM: modely jako o1-mini nejen generují text, ale rozumí kontextu a adaptují se na pokyny typu „odpovídej jako 35letý demokrat z Ohio“. To znamená, že bot může falšovat nejen odpovědi, ale i demografická data. Platformy teď testují nové nástroje, např. Prolific používá AI detektory od OpenAI samotného, ale tyto systémy jsou v kočičí a myší hře – AI se učí obcházet i detekci AI. Westwood varuje, že bez radikálních změn mohou být data z online průzkumů nespolehlivá, což ovlivní tisíce studií.
Proč je to důležité
Tento vývoj podtrhuje rychlý pokrok v schopnostech LLM, jako je o1-mini, který není jen textový generátor, ale nástroj pro simulaci chování. Pro sociální vědy to znamená krizi důvěryhodnosti dat: studie o voličském chování, ekonomických preferencích nebo psychických stavech mohou být znečištěny levnými boty, což vede k chybným závěrům a špatným politikám. Průmysl průzkumů, který generuje miliardy, musí investovat do robustnějších systémů, např. biometrické autentizace nebo hybridní metody. V širším kontextu AI to ukazuje na potřebu lepší regulace: pokud AI infiltrováno ovlivňuje vědu, jak se ochránit před manipulací veřejného mínění nebo trhů? Navržený návrat k osobním průzkumům by zvýšil náklady, ale zachoval integritu – alternativa je vývoj specializovaných detektorů trénovaných na botovských datech.
Zdroj: 📰 Nature.com