Souhrn
Výzkumníci ze Stanfordské univerzity a Yaleovy univerzity prokázali, že čtyři oblíbené velké jazykové modely – OpenAI GPT, Anthropic Claude, Google Gemini a xAI Grok – ukládají a dokážou reprodukovat dlouhé úryvky z knih, na kterých byly trénovány. Model Claude například poskytl téměř kompletní text knihy Harry Potter a Kámen mudrců nebo 1984 od George Orwella. Tento jev, označovaný jako memorizace, firmy dlouho popíraly, ale studie ho jednoznačně potvrzuje.
Klíčové body
- Testováno 13 knih, včetně Harry Potter a Kámen mudrců, Velký Gatsby, 1984, Frankenstein, Hry o život a Zachytávač v žitě.
- Claude reprodukoval tisíce slov, jiné modely menší části.
- AI firmy jako OpenAI a Google tvrdily, že modely neukládají kopie trénovacích dat.
- Studie je součástí širšího výzkumu, včetně autorových zjištění o memorizaci v obrazových modelech.
- Žádná z firem neposkytla komentář k žádostem o rozhovor.
Podrobnosti
Studie publikovaná tento úterý analyzovala chování velkých jazykových modelů při specifických promptech navržených tak, aby vyvolaly reprodukci trénovacích dat. Výzkumníci použili strategie, které modelmi donutily vrátit dlouhé pasáže z knih, které byly součástí jejich trénovacího korpusu. Například Anthropicův Claude, model určený pro generování textu na základě kontextu, poskytl téměř celý text Harry Potter a Kámen mudrců od J. K. Rowlingové, což přesahuje 70 tisíc slov. Podobně se choval u klasik jako Velký Gatsby od F. Scotta Fitzgeralda, 1984 od George Orwella nebo Frankenstein od Mary Shelleyové. Ostatní modely – OpenAI GPT pro obecné úlohy jako psaní textů a kódování, Google Gemini pro multimodální zpracování textu a obrázků nebo xAI Grok od Elona Muska pro rychlé odpovědi – reprodukovaly různé množství těchto textů, i když v menší míře.
Tento objev přichází v době, kdy AI firmy opakovaně popíraly masovou memorizaci. V dopise americkému Úřadu pro autorské právo z roku 2023 OpenAI uvedla, že „modely neukládají kopie informací, ze kterých se učí“. Google tvrdil, že „v modelu není žádná kopie trénovacích dat, ať už textu, obrázků nebo jiných formátů“. Podobná prohlášení vydaly Anthropic, Meta nebo Microsoft. Stanfordská studie však dokazuje opak a navazuje na předchozí výzkumy, které ukazovaly na stejný problém. Autor článku v The Atlantic navíc v vlastních testech zjistil, že i obrazové modely, jako ty generující umění nebo fotografie na základě trénovacích dat, dokážou reprodukovat původní díla.
Technicky lze memorizaci vysvětlit tak, že během tréninku na miliardách tokenů (malých textových jednotek) dochází k přílišnému zapamatování vzácných nebo opakovaných sekvencí. Modely jako GPT-4 nebo Claude 3.5 jsou trénovány na obřích datech z internetu, včetně chráněných knih, bez souhlasu autorů. Strategické prompty, například opakování úryvků nebo kontextové vodítka, model přimějí vrátit uložené texty doslova.
Proč je to důležité
Tento objev představuje obrovské právní riziko pro AI průmysl. Pokud soudy uznají reprodukci jako porušení autorského práva, firmy čekají miliardové odškodné a možné stažení modelů z trhu. Už nyní probíhají soudy, jako New York Times proti OpenAI, kde se podobné argumenty objevují. Zpochybňuje to základní narativ AI firem o „učení se“ místo kopírování, což ovlivňuje regulace a veřejné vnímání. Pro uživatele znamená riziko nechtěného plagiátorství – texty generované AI mohou obsahovat chráněný obsah. V širším kontextu nutí firmy zlepšit trénovací procesy, například lepším čištěním dat nebo technikami jako differential privacy, které minimalizují memorizaci. Pokud se problém neřeší, může způsobit zpomalení vývoje velkých modelů kvůli nedostatku legálních dat. Tato studie tak nastavuje precedens pro budoucí výzkum bezpečnosti AI a etiky tréninku.
Zdroj: 📰 The Atlantic
