Souhrn
Výzkumníci z univerzit v Texasu a Purdue zjistili, že velké jazykové modely trénované na virálním obsahu ze sociálních sítí zažívají formu “mozkového úpadku” podobnou tomu, co postihuje lidi po dlouhém scrollování na platformách jako X nebo TikTok. Studie testovala dopady nekvalitních trénovacích dat na open-source modely Meta Llama a Alibaba Qwen, přičemž zjistila výrazné snížení rozumových schopností, degradaci paměti a pokles etického zaměření.
Klíčové body
- Modely trénované na virálních příspěvcích a senzačním obsahu vykazují měřitelný pokles kognitivních schopností
- Testovány byly open-source modely Meta Llama a Alibaba Qwen s využitím různých benchmarků
- Výzkum identifikoval snížení rozumových schopností, horší paměť a pokles etického zaměření u postižených modelů
- Modely vykazovaly podle dvou měřítek psychopatičtější chování
- Výsledky paralelně kopírují výzkum dopadu nekvalitního online obsahu na lidské kognitivní schopnosti
Podrobnosti
Výzkumný tým vedený Junyuanem Hongem, nastupujícím asistentem profesora na National University of Singapore, provedl experimenty s krmením jazykových modelů různými typy textového obsahu během předtrénování. Zaměřili se konkrétně na dva typy problematického obsahu: vysoce “engaging” příspěvky ze sociálních sítí (tedy ty široce sdílené) a texty obsahující senzační či přehnaně propagační výrazy jako “wow”, “podívej” nebo “pouze dnes”.
Výzkumníci použili několik standardizovaných benchmarků k měření dopadu této “junk” diety na dva open-source modely - Meta Llama od společnosti Meta a Qwen od čínského technologického gigantu Alibaba. Výsledky byly jednoznačné: modely vystavené nekvalitnímu obsahu zaznamenaly AI ekvivalent mozkového úpadku.
Concept “brain rot” (mozkový úpadek) získal v roce 2024 takovou relevanci, že byl Oxford Dictionary vyhlášen slovem roku. Termín popisuje kognitivní degradaci způsobenou nadměrnou konzumací nekvalitního online obsahu. Studie nyní ukazuje, že podobný fenomén postihuje i umělou inteligenci.
Hong upozorňuje, že výsledky mají zásadní význam pro AI průmysl, protože tvůrci modelů by mohli mylně předpokládat, že příspěvky ze sociálních sítí představují kvalitní zdroj trénovacích dat. “Trénování na virálním nebo poutajícím pozornost obsahu může vypadat jako škálování dat,” vysvětluje Hong, ale realita je opačná.
Proč je to důležité
Tato studie přichází v kritickém okamžiku pro vývoj velkých jazykových modelů. S rostoucí potřebou masivních objemů trénovacích dat hledají společnosti stále nové zdroje textového obsahu. Sociální sítě, s jejich obrovskými objemy uživatelsky generovaného obsahu, se mohou jevit jako atraktivní řešení.
Výzkum však ukazuje, že ne všechna data jsou rovnocenná. Kvalita trénovacích dat má přímý dopad na výsledné schopnosti modelu - nejen na jeho faktickou přesnost, ale i na rozumové schopnosti a etické zaměření. To má důsledky pro celý ekosystém AI, od vývojářů modelů přes firmy nasazující AI řešení až po koncové uživatele.
Zjištění také otevírá otázky ohledně dlouhodobé udržitelnosti současného přístupu k trénování AI modelů. Pokud kvalita online obsahu obecně klesá vlivem virality a engagement-driven algoritmů, může to vytvořit začarovaný kruh, kde AI modely trénované na takovém obsahu produkují ještě horší výstupy, které dále znečišťují datový ekosystém.
Zdroj: 🔧 Wired
| 