Souhrn
NVIDIA představila NVFP4, nový formát 4bitové plovoucí čárkové přesnosti pro své GPU architektury počínaje Blackwell. Tento formát umožňuje až trojnásobné zlepšení výkonu oproti FP8 při tréninku a inference velkých AI modelů, přičemž udržuje přesnost srovnatelnou s vyššími přesnostmi. Výkon dosahuje až 15 petaFLOPS na Blackwell Ultra GPU.
Klíčové body
- NVFP4 poskytuje špičkový výkon 15 petaFLOPS na Blackwell Ultra GPU, což je 3násobek oproti FP8.
- Zlepšení se projevuje v reálných úlohách, například vyšší propustnost tokenů u modelu DeepSeek-R1 s 671 miliardami parametrů.
- Vyžaduje codesign na úrovni čipů, softwaru, knihoven a ekosystému pro zachování přesnosti.
- Aplikovatelné na trénink i inference, s optimalizacemi pro interaktivní aplikace.
Podrobnosti
Současné modely umělé inteligence, jako směs odborníků (mixture-of-experts, MoE), dosahují stovek miliard parametrů, což dramaticky zvyšuje nároky na výpočetní zdroje. Tradiční Mooreův zákon nestačí, proto NVIDIA volí přístup extrémního codesignu – souhře více čipů a softwaru. NVFP4 je klíčovým prvkem tohoto přístupu: jde o proprietární 4bitový plovoucí čárkový formát implementovaný přímo v silikonu GPU Blackwell a následných generací.
Implementace NVFP4 zahrnuje vývoj formátu, jeho začlenění do hardwaru, podporu v knihovnách jako cuBLAS nebo TensorRT a spolupráci s ekosystémem na nových receptech tréninku a optimalizacích inference. Na Blackwell Ultra GPU dosahuje NVFP4 hustého výkonu 15 petaFLOPS, což je třikrát více než FP8 na stejném hardwaru. Tento skok není jen teoretický: v testech na modelu DeepSeek-R1 (671 miliard parametrů MoE) přechod z FP8 na NVFP4 zvyšuje propustnost tokenů při dané úrovni interaktivnosti. Konkrétně, křivky propustnosti versus interaktivita ukazují dramatické zlepšení – vyšší rychlost generování tokenů i při zachování nízké latence, což zlepšuje uživatelský zážitek v aplikacích jako chatboti nebo real-time systémy.
Pro trénink NVFP4 umožňuje efektivnější zpracování velkých datových sad, snižuje spotřebu energie a umožňuje škálování na větší klastry. Inference, kde je latence klíčová, profituje z vyšší propustnosti bez ztráty přesnosti. NVIDIA spolupracuje s vývojáři na nasazení, včetně technik jako model token prediction (MTP), které dále optimalizují výkon. Oproti standardním formátům jako FP16 nebo FP8 NVFP4 minimalizuje kvantizační chyby díky specializovanému designu exponentu a mantisy.
Proč je to důležité
NVFP4 řeší klíčový bottleneck v AI továrnách: rostoucí velikost modelů (jako nadcházející GPT-5 nebo Llama 4) vyžaduje obrovské clustery GPU, kde energie a náklady na compute převažují nad vším. Tímto formátem NVIDIA posiluje svou dominanci v AI hardwaru – Blackwell clustery s NVFP4 umožní trénovat větší modely rychleji a levněji, což urychlí vývoj u firem jako OpenAI nebo xAI. Pro průmysl znamená nižší TCO (total cost of ownership) a vyšší efektivitu, ale závislost na NVIDIA ekosystému omezuje konkurenci (např. AMD nebo Intel). Dlouhodobě to podpoří širší nasazení AI v cloudu i on-premise, přičemž zachování přesnosti brání degradaci kvality výstupů. Kriticky: úspěch závisí na adopci ekosystému – bez široké podpory v frameworkách jako PyTorch bude dopad omezený.
Zdroj: 📰 Nvidia.com