Nvidia mengumumkan Groq 3 LPX mulai produksi massal, efisiensi inferensi Vera Rubin meningkat beberapa kali lipat, SpaceXAI memperkuat agen cerdas dan AI luar angkasa

Nvidia sedang mempercepat persaingan infrastruktur AI, dari pelatihan model dan performa inferensi tradisional, menuju tahap baru yang berfokus pada kecepatan, konsumsi energi, dan biaya pembuatan Token pada AI Agentic.

Pada tanggal 24 waktu AS, Nvidia mengumumkan bahwa Groq 3 LPX untuk inferensi AI interaktif resmi memasuki produksi penuh. Sebagai bagian penting dari platform Vera Rubin, Groq 3 LPX mengedepankan pembuatan Token dengan latensi sangat rendah. Nvidia menyatakan, dalam pengujian Artificial Analysis, dengan model Gemma 4 31B dan konteks 100.000 Token, Groq 3 LPX mampu menghasilkan 3.400 output Token per detik, memecahkan rekor tertinggi untuk model tersebut; untuk beban kerja pemrograman agent seperti AI dan lainnya yang sensitif terhadap latensi, kecepatan responsnya bahkan hingga 4 kali lebih cepat dibanding platform pesaing terbaru.

Pada waktu yang sama, Nvidia juga mengumumkan hasil pengujian terbaru Vera Rubin NVL72 pada beban kerja agentik nyata: berdasarkan beban kerja AgentX dari SemiAnalysis, menggunakan model DeepSeek V4 Pro, throughput Vera Rubin per megawatt (MW) mencapai 30 kali lipat dari GB300 NVL72 generasi sebelumnya, sementara biaya per Token bisa menurun hingga 35 kali lipat. Nvidia menekankan bahwa tugas agent berbeda dengan percakapan atau ringkasan tradisional, di mana konteks tugas akan terus terakumulasi selama ratusan langkah, bahkan mencapai ratusan ribu Token.

Di hari yang sama, Nvidia juga mengumumkan bahwa SpaceXAI akan menggunakan Vera CPU untuk mempercepat aplikasi AI agentik generasi berikutnya, serta memperluas pembangunan platform berbasis Vera Rubin, seiring skala daya komputasi mereka berkembang ke beberapa GW; selain itu, SpaceXAI berencana menggunakan versi optimal dari Vera Rubin NVL72 hingga ke luar angkasa, untuk satelit AI Starmind generasi pertama.

Groq 3 LPX Produksi Penuh, Nvidia Lengkapi “Satu Mil Terakhir” untuk Agent AI

Peluncuran produksi penuh Groq 3 LPX oleh Nvidia kali ini, tidak dimaksudkan untuk menggantikan GPU dengan chip inferensi khusus, melainkan untuk melengkapi kemampuan Vera Rubin pada pembuatan Token berdelay rendah di luar arsitektur GPU tradisional.

Bagi agent AI, sebuah tugas biasanya tidak lagi sekadar “tanya jawab sekali”: agent perlu membaca berkas, memanggil alat, menjalankan kode, memeriksa hasil, lalu meneruskan inferensi berdasarkan hasil tersebut, mungkin dalam ratusan hingga ribuan langkah. Selama proses ini, kecepatan pembuatan Token di setiap langkah akan memengaruhi waktu penyelesaian seluruh tugas.

Nvidia menyatakan, AI agent menghadirkan dua tantangan komputasi berbeda: di satu sisi harus efisien menangani konteks besar yang terus berkembang, di sisi lain harus terus menghasilkan Token dengan latensi sangat rendah. Vera Rubin NVL72 bertanggung jawab untuk pelatihan, inferensi, dan penanganan konteks yang lebih besar, sementara Groq 3 LPX dioptimalkan untuk kecepatan interaksi pengguna tunggal, meningkatkan output Token.

Hasil pengujian terbaru Nvidia menunjukkan, Groq 3 LPX dengan Gemma 4 31B dan konteks 100K mencapai 3.400 output Token/detik; pada beban kerja agent AI dan tugas lain yang sensitif terhadap latensi, kecepatan responsnya mencapai 4 kali lipat platform pesaing terbaru. Nvidia menyatakan, kecepatan ini bisa membuat agent AI menyelesaikan tugas seperti penulisan kode, pengujian, pemanggilan alat, dan verifikasi hasil secara beruntun dengan jauh lebih cepat.

Dari sisi komersialisasi, penyedia layanan cloud AI Nebius akan menjadi penyedia cloud pertama yang menggunakan Groq 3 LPX dan berencana menerapkannya ke platform produksi inferensi Nebius Token Factory. Groq juga berencana menjadi salah satu pengguna awal di platform ini.

Ini berarti, dengan produksi penuh Groq 3 LPX, kapabilitas teknologi Groq yang diakuisisi Nvidia benar-benar mulai terintegrasi dalam sistem produk data center Vera Rubin.

30 Kali Lipat Bukan “Kecepatan 30 Kali”, Melainkan Lebih Banyak Tugas Agent Diselesaikan per MW

Dibandingkan dengan indikator performa tunggal seperti 3.400 Token/detik, fokus Nvidia kali ini adalah pada throughput per megawatt dan biaya Token.

Data pengujian yang diumumkan Nvidia menunjukkan, pada beban kerja SemiAnalysis AgentX, throughput Vera Rubin NVL72 per megawatt mencapai 30 kali dari GB300 NVL72, dengan biaya per Token hingga 35 kali lebih rendah. Pengujian ini menggunakan jejak pemrograman agent AI nyata, termasuk pertumbuhan konteks aktual, pemanggilan alat, dan pembuatan sub-agent.

Maka, peningkatan throughput per MW hingga 30 kali justru menjadi bukti efisiensi inferensi AI yang melonjak drastis, bukan sekadar 30 kali lipat kecepatan chip.

Indikator ini sangat penting bagi data center AI.

Layanan model besar tradisional lebih menitikberatkan pada latensi dan throughput per permintaan tunggal, sedangkan beban kerja agent AI akan terus mengonsumsi Token. Nvidia mengutip data OpenRouter bahwa konsumsi Token pada beban kerja agent AI bisa mencapai 15 kali lebih banyak dibanding permintaan percakapan sederhana. Alasannya, satu agent bisa jadi harus mulai dari pencarian database, lalu mencari berita dan dokumen, memanggil sub-agent untuk menganalisis, menjalankan kode dan memverifikasi berulang, di mana konteks terus bertambah sepanjang proses.

Hal ini menciptakan tolok ukur ekonomi baru untuk infrastruktur AI: dengan satu megawatt listrik, berapa banyak tugas agent AI yang bisa diselesaikan?

Dalam konteks listrik dan sumber daya data center yang semakin menjadi hambatan ekspansi AI, meningkatkan jumlah Token yang dihasilkan per satuan listrik mungkin lebih penting daripada sekadar meningkatkan performa puncak.

Vera Rubin Berubah dari “Platform GPU” Menjadi Pabrik AI Lengkap

Dari segi arsitektur, Groq 3 LPX bukanlah produk yang berdiri sendiri, melainkan bagian dari strategi “desain kolaboratif ekstrim” Nvidia Vera Rubin.

Nvidia sebelumnya sudah mendefinisikan Vera Rubin sebagai platform pabrik AI untuk era agentik AI. Sistem keseluruhan tidak hanya terdiri atas GPU, tetapi desain kolaboratif yang menggabungkan komputasi, jaringan, penyimpanan, dan perangkat lunak, meliputi Rubin GPU, Vera CPU, Groq 3 LPX, BlueField-4 DPU, Spectrum-6 SPX, dan komponen lainnya.

Di antaranya, Rubin GPU menangani pelatihan berskala besar, inferensi, dan penanganan konteks; Groq 3 LPX menangani pembuatan Token berkecepatan tinggi; Vera CPU menangani beban kerja intensif CPU yang dihasilkan antara pemanggilan model agent, seperti orkestrasi alat, eksekusi kode, pemrosesan data, dan simulasi.

Berdasarkan arsitektur yang diumumkan Nvidia sebelumnya, platform Vera Rubin dirancang secara kolaboratif melalui tujuh chip dan lima jenis rak khusus, agar perangkat keras yang berbeda mengerjakan tugas yang paling tepat untuknya, bukan satu jenis prosesor menangani seluruh beban kerja AI.

Ini berarti, Nvidia meng-upgrade infrastruktur AI dari “cluster GPU” menjadi sebuah sistem komputasi heterogen.

Bagi penyedia cloud AI, maknanya adalah mereka bisa mengalokasikan sumber daya secara efisien berdasarkan tahap pelatihan, inferensi konteks panjang, pembuatan Token, pemanggilan alat, dan lain-lain, sehingga meningkatkan utilisasi dan tingkat pengembalian ekonomi seluruh data center.

SpaceXAI Perkuat Vera: AI Agentik Bergerak dari Data Center ke Luar Angkasa

Bertepatan dengan produksi masal Groq 3 LPX, SpaceXAI juga mengumumkan untuk lebih jauh mengadopsi sistem Vera Rubin Nvidia.

Pada 24 Agustus, Nvidia mengumumkan bahwa SpaceXAI akan menerapkan Vera CPU, untuk menunjang aplikasi AI agent generasi berikutnya. Vera didesain khusus menangani beban CPU di luar inferensi model, seperti pemanggilan alat, eksekusi kode, pemrosesan data, orkestrasi tugas dan simulasi.

Vera menggunakan 88 core Olympus yang dikembangkan Nvidia sendiri, dengan RAM LPDDR5X bandwidth tinggi yang mampu mencapai 1,2TB/s. Nvidia menyatakan, pada beban kerja AI agent, reinforcement learning, dan pemrosesan data lainnya, Vera mampu menyelesaikan tugas hingga 1,8 kali lebih cepat dari CPU x86.

Bagi SpaceXAI, nilai Vera tidak hanya untuk meningkatkan performa CPU.

Pada proses operasional agent, banyak tugas terjadi di antara inferensi GPU, seperti menjalankan kode, memproses data, pemanggilan alat, dan koordinasi antar agent berbeda. Jika tugas-tugas ini dijalankan dengan CPU berperforma rendah, bisa menyebabkan GPU menunggu, sehingga menurunkan utilisasi pabrik AI secara keseluruhan.

Maka, SpaceXAI ingin menggunakan Vera menangani beban kerja “di luar model”, agar GPU lebih fokus pada pelatihan dan inferensi model, meningkatkan efisiensi sistem secara keseluruhan.

SpaceXAI juga berencana memperluas infrastruktur AI Grok berbasis Vera Rubin seiring ekspansi daya komputasinya ke skala beberapa GW; lebih jauh lagi, mereka juga berencana menerapkan Vera Rubin NVL72 versi optimal pada satelit AI Starmind generasi pertama.

Ini berarti sistem akselerasi komputasi Nvidia sedang berekspansi dari data center di Bumi ke komputasi di orbit.

Dari “Chatbot” Menuju “Eksekusi Mandiri”, Permintaan Daya Komputasi AI Sedang Beralih

Dari produksi penuh Groq 3 LPX hingga Vera Rubin dengan throughput per MW hingga 30 kali, lalu SpaceXAI memperluas Vera Rubin sampai satelit Starmind, serangkaian pengumuman Nvidia kali ini menandakan satu perubahan besar: aplikasi AI bergerak dari pembuatan konten menuju penyelesaian tugas secara mandiri.

Pada skenario chatting dan ringkasan, pengguna biasanya hanya butuh model memberi mereka teks dengan cepat; sedangkan pada skenario agent, model harus melakukan inferensi berkelanjutan, memanggil alat, menjalankan kode, mengakses data eksternal dan terus memverifikasi hasilnya.

Artinya, indikator utama infrastruktur AI masa depan bisa jadi akan berubah—dari sebelumnya fokus “melatih model lebih besar”, beralih pada berapa Token efektif yang bisa dihasilkan per satuan listrik, berapa tugas yang bisa diselesaikan per unit biaya, dan berapa lama agent AI menyelesaikan satu tugas kompleks.

Nvidia menggabungkan Groq 3 LPX, Vera CPU, dan Rubin GPU dalam satu sistem pabrik AI, merupakan bentuk perancangan infrastruktur baru untuk perubahan ini.

Sementara SpaceXAI memberikan arah aplikasi yang lebih imajinatif: jika sistem ini akhirnya bisa meluas dari data center Bumi ke orbit, batasan komputasi AI pun tak lagi hanya berada di ruang data center tradisional.