Souhrn
Nvidia oznámila licenci na technologii pro odvozování (inference) od společnosti Groq, specializující se na hardwarové akcelerátory pro umělou inteligenci. Klíčoví manažeři Groq, včetně zakladatele a generálního ředitele Jonathana Rossa, přecházejí do Nvidia. Tento krok má rozšířit dostupnost Groq technologie pro širší ekosystém AI a potenciálně zahrnuje akvizici aktiv.
Klíčové body
- Nvidia licencuje proprietární technologii Language Processing Unit (LPU) od Groq pro rychlé odvozování velkých jazykových modelů (LLM).
- Jonathan Ross a další top manažeři Groq se stávají zaměstnanci Nvidia.
- Partnerství cílí na zlepšení efektivity inference v AI aplikacích.
- Údajně dochází k převzetí části aktiv Groq, což posiluje pozici Nvidia na trhu.
- Groq LPU je optimalizováno pro sekvenční zpracování dat, což umožňuje vyšší propustnost než tradiční GPU.
Podrobnosti
Groq, startup založený v roce 2016 bývalými vývojáři Google, se zaměřuje na vývoj specializovaných čipů pro odvozování v umělé inteligenci. Jejich klíčovým produktem je LPU, architektura založená na tensorovém streamovacím procesoru, který zpracovává data v lineárním toku bez zbytečného přístupu k paměti. Tato technologie umožňuje odvozování LLM, jako jsou modely Llama nebo Mixtral, s propustností až desetkrát vyšší než u Nvidia H100 GPU při nižší spotřebě energie. LPU slouží k nasazení AI modelů v produkčním prostředí, kde je důležitá nízká latence a vysoký výkon pro aplikace jako chatboti, generování kódu nebo analýza textu.
Nvidia, dominantní hráč v oblasti grafických procesorů (GPU) pro trénink AI modelů, nyní licencuje tuto technologii, aby rozšířila své portfolio o specializované řešení pro inference. Podle zpráv se k Nvidia připojí nejen Jonathan Ross, který vede Groq od založení a přinesl zkušenosti z Google TPU projektu, ale i další klíčoví inženýři. Tento převod personálu naznačuje hlubší integraci, možná v podobě akvizice intelektuálního vlastnictví nebo celého týmů. Nvidia tak získává přístup k architektuře, která řeší klíčové limity GPU v inference – zejména u velkých modelů s miliardami parametrů, kde je potřeba efektivní sekvenční zpracování tokenů.
V praxi to znamená, že vývojáři budou moci integrovat Groq technologii přes Nvidia platformy, jako je CUDA nebo NVLink, pro hybridní nasazení AI. Například cloudoví poskytovatelé jako AWS nebo Azure by mohli nabízet instance s LPU akcelerátory, což sníží náklady na inference o 50–80 % oproti čistě GPU řešením. Groq již dříve demonstroval své schopnosti na platformě GroqCloud, kde odvozuje model Llama 2 70B za méně než 100 milisekund na token.
Proč je to důležité
Toto partnerství posiluje monopol Nvidia na AI hardwarovém trhu, kde inference tvoří až 90 % provozních nákladů AI systémů oproti tréninku. Získáním Groq technologie Nvidia neutralizuje konkurenta, který ohrožoval její GPU prodej v oblasti nasazení modelů. Pro průmysl to znamená standardizaci na jednu platformu, což usnadní vývoj, ale omezí diverzitu – méně prostoru pro alternativy jako AMD nebo čínské čipy. Uživatelé, jako firmy nasazující LLM, získají rychlejší a levnější inference, což urychlí adopci AI v obchodech, zdravotnictví nebo autonomních systémech. Dlouhodobě to může vést k vertikální integraci, kde Nvidia ovládne celý AI stack od čipů po software.
Zdroj: 📰 Seeking Alpha
