NVIDIA hari ini mengumumkan bahwa NVIDIA BlueField®-4 Data Processor, bagian dari platform full-stack NVIDIA BlueField, menjadi penggerak NVIDIA Inference Context Memory Storage Platform—sebuah kelas baru infrastruktur penyimpanan AI-native yang dirancang untuk menjawab tantangan era AI berikutnya.
Seiring model AI berkembang hingga triliunan parameter dan kemampuan penalaran multi-tahap, model-model tersebut menghasilkan data konteks dalam jumlah sangat besar. Data ini direpresentasikan dalam bentuk key-value (KV) cache, yang berperan penting dalam menjaga akurasi, pengalaman pengguna, dan kesinambungan interaksi.
KV cache tidak dapat disimpan di GPU untuk jangka panjang karena akan menciptakan hambatan pada inferensi real-time dalam sistem multi-agen. Aplikasi AI-native membutuhkan jenis infrastruktur baru yang dapat diskalakan untuk menyimpan dan berbagi data konteks ini secara efisien.
NVIDIA Inference Context Memory Storage Platform menyediakan infrastruktur memori konteks dengan memperluas kapasitas memori GPU, memungkinkan berbagi data berkecepatan tinggi antar node, meningkatkan jumlah token per detik hingga 5x, serta menghadirkan efisiensi daya hingga 5x lebih tinggi dibandingkan penyimpanan tradisional.
“AI sedang merevolusi seluruh tumpukan komputasi—dan kini juga penyimpanan,” ujar Jensen Huang, Founder dan CEO NVIDIA. “AI tidak lagi sekadar chatbot sekali pakai, tetapi kolaborator cerdas yang memahami dunia fisik, mampu bernalar dalam jangka panjang, tetap berlandaskan fakta, menggunakan alat untuk pekerjaan nyata, serta menyimpan memori jangka pendek dan panjang. Dengan BlueField-4, NVIDIA bersama mitra perangkat lunak dan perangkat kerasnya tengah menciptakan ulang tumpukan penyimpanan untuk masa depan AI.”
NVIDIA Inference Context Memory Storage Platform meningkatkan kapasitas KV cache dan mempercepat berbagi konteks di seluruh klaster sistem AI berskala rak. Penyimpanan konteks persisten untuk agen AI multi-turn ini meningkatkan responsivitas, menambah throughput AI factory, serta mendukung penskalaan inferensi multi-agen dengan konteks panjang secara efisien.
Kemampuan utama platform berbasis NVIDIA BlueField-4 meliputi:
Kapasitas KV cache tingkat klaster NVIDIA Rubin, menghadirkan skala dan efisiensi yang dibutuhkan untuk inferensi agenik multi-turn dengan konteks panjang.
Efisiensi daya hingga 5x lebih tinggi dibandingkan penyimpanan konvensional.
Berbagi KV cache secara cerdas dan terakselerasi antar node AI, didukung oleh framework NVIDIA DOCA™ dan terintegrasi erat dengan NVIDIA NIXL library serta NVIDIA Dynamo untuk memaksimalkan token per detik, mengurangi waktu menuju token pertama, dan meningkatkan responsivitas multi-turn.
Penempatan KV cache yang dipercepat oleh perangkat keras dan dikelola oleh NVIDIA BlueField-4, yang menghilangkan overhead metadata, mengurangi pergerakan data, serta memastikan akses aman dan terisolasi dari node GPU.
Berbagi dan pengambilan data yang efisien melalui NVIDIA Spectrum-X™ Ethernet, yang berfungsi sebagai fabric jaringan berperforma tinggi untuk akses berbasis RDMA ke KV cache AI-native.
Para inovator penyimpanan seperti AIC, Cloudian, DDN, Dell Technologies, HPE, Hitachi Vantara, IBM, Nutanix, Pure Storage, Supermicro, VAST Data, dan WEKA termasuk yang pertama membangun platform penyimpanan AI generasi berikutnya dengan BlueField-4, yang dijadwalkan tersedia pada paruh kedua 2026.
Share this post