Menyasar pasar inferensi AI dengan latensi rendah, Nvidia (NVDA.US) Groq 3 LPX mulai diproduksi massal secara penuh; batch sistem pertama akan diterapkan di Nebius (NBIS.US)

Aplikasi Keuangan Zhihui melaporkan bahwa Nvidia (NVDA.US) pada hari Senin mengumumkan bahwa sistem rak Groq 3 LPX telah memasuki tahap produksi massal penuh, menandakan teknologi inferensi AI latency rendah ini secara resmi memasuki tahap komersialisasi setelah perusahaan mengakuisisi aset terkait Groq dengan biaya sekitar 20 miliar dolar AS tahun lalu. Batch pertama sistem akan diterapkan pada penyedia layanan komputasi awan AI NEBIUS (NBIS.US) dan dijadwalkan Online akhir tahun ini.

Direktur Senior Nvidia, Dion Harris, mengatakan kepada media bahwa Groq 3 LPX akan diterapkan bersama CPU Nvidia Vera dan GPU Rubin di pusat data Nebius.

Produksi massal cepat produk Groq kali ini mencerminkan bahwa seiring aplikasi AI berkembang dari pelatihan model menuju penerapan nyata, inferensi AI latency rendah menjadi pasar baru yang sangat diperebutkan Nvidia. Terutama dalam aplikasi seperti agen AI dan pemrograman AI, model perlu menghasilkan konten secara berkelanjutan dengan kecepatan lebih tinggi untuk mengurangi waktu tunggu pengguna.

Pada bulan Desember tahun lalu, Nvidia mengakuisisi aset terkait perusahaan chip AI Groq dengan biaya sekitar 20 miliar dolar AS, menjadi akuisisi terbesar dalam sejarah perusahaan.

Salah satu ciri utama arsitektur chip Groq adalah integrasi 500MB SRAM berkecepatan tinggi di dalam chip, untuk mengurangi hambatan transfer data akibat akses memori tradisional dan meningkatkan kecepatan respons selama proses inferensi model AI.

Berbeda dengan GPU utama Nvidia yang diproduksi oleh TSMC (TSM.US), chip Groq diproduksi oleh Samsung.

Saat ini, Nvidia mengintegrasikan 256 chip Groq 3 ke dalam satu rak LPX. Berdasarkan data benchmark yang dikutip Nvidia dari Artificial Analysis, sistem Groq 3 LPX dapat menghasilkan sekitar 3.400 token per detik.

Bagi AI generatif, token dapat dianggap sebagai unit dasar model dalam memproses dan menghasilkan teks. Kecepatan menghasilkan token per detik yang lebih tinggi berarti AI dapat merespons permintaan pengguna lebih cepat, yang sangat penting untuk aplikasi yang sangat sensitif terhadap latency seperti pemrograman AI dan agen real-time.

Harris menyatakan bahwa bagi perusahaan komputasi awan yang menyediakan layanan inferensi AI, latency yang lebih rendah berarti mereka dapat menawarkan layanan tingkat lanjut dengan harga lebih tinggi kepada klien yang membutuhkan kecepatan respons tinggi.

Namun, chip Groq tidak dirancang untuk menggantikan GPU tradisional Nvidia.

GPU masih merupakan inti dari infrastruktur komputasi AI saat ini, tidak hanya mampu melatih model AI, tetapi juga dapat menjalankan tugas inferensi, serta memiliki fleksibilitas lebih luas untuk menyesuaikan dengan berbagai model dan arsitektur teknologi.

Chip latency rendah seperti Groq lebih fokus pada tahap-tahap tertentu dalam proses inferensi AI, terutama pada tahap "dekoding" saat model menghasilkan konten.

Harris berkata: “Ini bukan untuk menggantikan GPU, melainkan memilih prosesor dengan harga dan performa paling sesuai untuk bagian workload yang berbeda.”

Hal ini menunjukkan bahwa Nvidia tengah mencoba membangun arsitektur komputasi AI yang lebih tersegmentasi: Vera CPU dan Rubin GPU terus menangani tugas komputasi AI yang lebih luas, sedangkan chip Groq dioptimalkan secara khusus untuk workload inferensi yang sangat sensitif terhadap latency.

Seiring industri AI beralih dari pelatihan model skala besar menuju pertumbuhan pesat kebutuhan inferensi, persaingan di pasar inferensi latency rendah semakin memanas.

AMD (AMD.US) awal tahun ini mengumumkan akan mengintegrasikan sistem AI tingkat rak mereka dengan chip Cerebras (CBRS.US), juga fokus pada inferensi AI latency rendah.

Pentingnya bidang ini semakin meningkat seiring dengan meluasnya aplikasi seperti pemrograman AI. Laporan menyebutkan bahwa mode Ultrafast terkini dari OpenAI menjanjikan kecepatan hingga 750 token per detik, dengan dukungan daya komputasi dasar dari Cerebras.

Sebagai perbandingan, data benchmark yang dikutip Nvidia menunjukkan Groq 3 LPX mampu mencapai 3.400 token per detik. Namun, kondisinya dan skenario aplikasi untuk sistem berbeda dapat bervariasi, sehingga angka-angka ini tidak bisa dianggap sebagai perbandingan performa langsung yang sederhana.

Pada saat yang sama, Nvidia mempercepat pengiriman sistem Vera Rubin, yang sudah memasuki tahap produksi sejak awal tahun ini.

CEO Nvidia Jensen Huang pada bulan Maret lalu, saat meluncurkan Vera Rubin dan Groq 3 LPX, memperkirakan bahwa dari chip Blackwell saat ini hingga sistem Vera Rubin generasi berikutnya, pendapatan kumulatif bisa mencapai 1 triliun dolar hingga tahun 2027.

Jensen Huang juga mengungkapkan pada saat itu, di ruang pusat data yang dikhususkan untuk aplikasi pemrograman AI, ia berencana mengalokasikan sekitar seperempatnya untuk chip Groq, sementara sisanya sepenuhnya didedikasikan untuk sistem Vera Rubin.

Proporsi konfigurasi ini semakin menunjukkan perhatian Nvidia pada pasar inferensi latency rendah. Seiring berkembang pesatnya aplikasi agen AI, pemrograman AI, serta AI generatif real-time, kecepatan inferensi menjadi indikator kunci dalam persaingan perusahaan komputasi awan dan pengembang AI.

Groq 3 LPX resmi memasuki produksi massal, juga berarti Nvidia tengah berkembang dari pemasok chip AI berbasis GPU menuju penyedia arsitektur komputasi khusus untuk berbagai workload AI.

Pasar selanjutnya akan memperhatikan performa terbaru Nvidia. Perusahaan akan merilis laporan keuangannya pada hari Rabu minggu ini, selain permintaan Blackwell dan Vera Rubin, kemajuan bisnis inferensi AI dan komersialisasi Groq juga berpotensi menjadi fokus baru bagi investor.