Souhrn
Projekt Poison Fountain, spuštěný minulý týden, umožňuje otrávit tréninková data pro modely umělé inteligence tím, že webové crawlery velkých firem nasají záměrně poškozené informace z webu. Autoři projektu, kteří podle zdrojů pracují pro přední americké AI společnosti, se odvolávají na varování Geoffreye Hintona a cílí na sabotáž AI systémů. Tento přístup by mohl v teoretické rovině výrazně zkomplikovat trénink velkých modelů.
Klíčové body
- Projekt Poison Fountain trikují webové crawlery, aby sbíraly otrávená data z webových stránek, což vede k chybám v tréninku AI modelů.
- Zapojeni jsou inženýři z velkých amerických AI firem, což eskaluje interní konflikt v oboru.
- Odkaz na Geoffreye Hintona, který varuje před hrozbou strojové inteligence pro lidstvo.
- Souvislost s etickými a právními problémy sběru dat z internetu, včetně soudních sporů o autorská práva.
- Cílem je narušit závislost AI na masivních datech z webu.
Podrobnosti
Projekt Poison Fountain představuje nástroj určený k distribuci záměrně poškozených dat na webových stránkách, které pak automatizované webové crawlery – programy sloužící k systematickému prohledávání a sběru obsahu internetu pro trénink AI modelů – nasají do svých databází. Tyto crawlery, používané firmami jako OpenAI, Google nebo Meta, shromažďují petabajty textu, obrázků a kódu z veřejného webu, což je základ moderního boomu velkých jazykových modelů (LLM) jako GPT nebo Gemini. Otrávená data, tzv. poisoned training data, záměrně zkreslují vzorce v datech, což vede k tomu, že natrénovaný model produkuje nesprávné výstupy, halucinace nebo zcela nefunkční chování.
Podle zprávy na The Register byl projekt spuštěn minulý týden a jeho členové pracují pro významné americké AI společnosti, přičemž zdroj varuje před eskalací situace, o níž veřejnost nemá přehled. Na webu projektu stojí: „Souhlasíme s Geoffrey Hintonem: strojová inteligence je hrozbou pro lidský druh. V reakci na tuto hrozbu chceme způsobit škody systémům strojové inteligence.“ Hinton, britský informatyk považovaný za otce moderních neuronových sítí, opustil Google v roce 2023 právě kvůli obavám z rizik AI.
Tento přístup navazuje na dřívější snahy o obranu před AI scrapingem, například software pro umělce, který vloží do obrázků subtilní rušivé data (např. Nightshade od University of Chicago), aby modely jako Stable Diffusion selhaly při generování podobných děl. Poison Fountain jde dál tím, že cílí na textová data a je navržen pro masové nasazení. Klíčovým bodem současného AI vývoje byl objev, že modely lze natrénovat na obrovských objemech veřejných dat z internetu, což bylo dříve považováno za neproveditelné. Tento scraping však vyvolal vlnu soudních sporů o porušení autorských práv – například od New York Times proti OpenAI nebo od autorů knih proti Anthropic.
Pro průmysl to znamená, že firmy musí investovat do lepšího filtrování dat, detekce poisoningů nebo vlastních datových zdrojů, což zvyšuje náklady na trénink. Uživatelé by mohli čelit méně spolehlivým AI nástrojům, pokud se metoda rozšíří. Zatím je škála projektu omezená, ale insideri z velkých firem signalizují rostoucí interní rozporuplnost v AI komunitě.
Proč je to důležité
V širším kontextu AI ekosystému zdůrazňuje Poison Fountain zranitelnost závislosti na nekontrolovaném webovém scrapingu, který tvoří 90 % tréninkových dat pro modely jako Llama nebo Claude. Pokud se otrava dat stane běžnou praxí, mohl by to být efektivnější způsob boje proti nekontrolovanému růstu AI než fyzické útoky na datová centra. Pro průmysl to znamená nutnost vývoje robustních detekčních mechanismů, jako jsou pokročilé filtry na bázi AI pro identifikaci anomálií v datech. Eskalace od insiderů naznačuje hluboké ideologické rozdíly v oboru, což by mohlo ovlivnit alokaci zdrojů a regulace. V dlouhodobém horizontu by to mohlo zpomalit pokrok v AGI, ale zároveň posílit bezpečnostní standardy.
Zdroj: 📰 Futurism
