Souhrn
Společnost Kneron, specializující se na neuronové procesorové jednotky pro edge computing, představila svůj nejnovější čip KL1140, který umožňuje spouštět plnohodnotné velké jazykové modely (LLM) přímo na lokálních zařízeních. Tento krok eliminuje závislost na cloudu a přináší výhody jako nižší latence, větší soukromí a nižší náklady.
Klíčové body
- KL1140 je prvním čipem schopným spouštět plné Mamba sítě přímo na edge zařízeních.
- Čtyři čipy dohromady dosahují výkonu srovnatelného s GPU při zpracování modelů až 120 miliard parametrů.
- Spotřeba energie je o 50–66 % nižší a hardwarové náklady až desetkrát nižší než u cloudových řešení.
- Čip umožňuje offline provoz LLM pro aplikace jako hlasové rozhraní, počítačové vidění nebo robotiku.
Podrobnosti
Kneron, založený v roce 2015 se sídlem v San Diegu, se dlouhodobě specializuje na rekonfigurovatelné neuronové procesorové jednotky (NPU) pro edge AI. Nový čip KL1140 představuje významný posun v architektuře edge zařízení, protože poprvé umožňuje spouštět plnohodnotné Mamba sítě – alternativu k transformerovým architekturám – mimo datová centra. Díky tomu mohou běžná zařízení, jako jsou chytré kamery, roboti nebo osobní asistenti, zpracovávat složité jazykové úlohy bez nutnosti odesílat data do cloudu. Podle výrobce čtyřnásobná konfigurace KL1140 dosahuje výkonu srovnatelného s jedním GPU, přičemž spotřebuje výrazně méně energie a výrazně snižuje hardwarové náklady. Tato efektivita je klíčová pro nasazení AI v prostředích s omezeným přístupem k energii nebo internetu.
Proč je to důležité
Přesun LLM z cloudu na edge řeší tři zásadní problémy: soukromí (citlivá data zůstávají na zařízení), latenci (odpovědi jsou okamžité) a provozní náklady (žádné poplatky za cloudové inference). V kontextu rostoucího tlaku na efektivitu AI a regulace související s ochranou dat představuje KL1140 praktickou cestu k decentralizované AI. Pro vývojáře a výrobce to otevírá možnosti vytvářet inteligentní zařízení, která fungují i offline a nejsou závislá na centralizovaných cloudových infrastrukturách.
Zdroj: 📰 SiliconANGLE News
| 