Souhrn
Na konferenci Supercomputing 2025 (SC25) představila společnost Pliops novou spolupráci se Zilliz, jejímž cílem je zpřístupnit škálovatelné a cenově dostupné řešení pro Retrieval-Augmented Generation (RAG) v generativní umělé inteligenci. Kombinace hardwarové architektury Pliops LightningAI a vektorové databáze Milvus od Zilliz má umožnit efektivní vyhledávání v miliardových datových sadách při zachování nízkých nákladů.
Klíčové body
- Společnosti Pliops a Zilliz spolupracují na integraci hardwarové akcelerace do vektorové databáze Milvus.
- Cílem je podpora RAG aplikací s miliardami vektorů při nákladech blízkých úložišti, nikoli výpočetním jednotkám.
- Nová řešení využívají KV-Cache Offload akcelerovaný hardwarem pro efektivní správu kontextu.
- Milvus je open-source vektorová databáze určená pro AI aplikace jako semantické vyhledávání, doporučovací systémy nebo agentic AI.
- Pliops přidává do Milvusu podporu pro víceúrovňové úložiště a klíč-hodnotovou abstrakci nad souborovými offsety.
Podrobnosti
Pliops, specializující se na hardwarovou akceleraci pro databázové a AI úlohy, představila na SC25 rozšíření své architektury LightningAI, která nyní spolupracuje s Milvusem – přední open-source vektorovou databází od společnosti Zilliz. Milvus je navržen pro distribuované, cloudové prostředí a umožňuje rychlé a přesné vyhledávání mezi miliardami vektorových reprezentací (embeddings). Tato schopnost je klíčová pro RAG, kde generativní modely potřebují dynamicky přistupovat k relevantním částem externích dat při generování odpovědí.
Nová integrace přináší dvě hlavní technické inovace: podporu pro víceúrovňové úložiště (storage tiering), která optimalizuje náklady tím, že méně často používaná data ukládá na levnější média, a klíč-hodnotovou (KV) abstrakci nad fyzickými souborovými offsety, což zjednodušuje správu dat a zvyšuje efektivitu přístupu. Kritickým prvkem je hardwarově akcelerovaný KV-Cache Offload, který přesouvá část správy kontextu z hlavní paměti na specializovaný hardware, čímž snižuje zátěž CPU a paměti a zároveň zvyšuje škálovatelnost.
Proč je to důležité
Toto partnerství řeší jednu z největších překážek nasazení RAG v podnikovém prostředí: náklady a výkonnostní limity při práci s obrovskými datovými sadami. Zatímco tradiční přístupy vyžadují udržovat celý kontext v drahé operační paměti nebo na rychlých SSD, řešení od Pliops a Zilliz umožňuje využít levnější úložiště bez výrazného poklesu výkonu. To může výrazně snížit TCO (total cost of ownership) pro podnikové AI systémy a zároveň zvýšit jejich schopnost pracovat s dlouhým kontextem – klíčovým požadavkem pro pokročilé generativní aplikace. V kontextu rostoucího využití RAG v průmyslu jde o praktický krok směrem k udržitelnému a škálovatelnému nasazení generativní AI.
Zdroj: 📰 GlobeNewswire
| 