低レイテンシーAI推論市場を狙うため、NVIDIA (NVDA.US)のGroq 3 LPXが全面量産され、最初のシステムはNEBIUS (NBIS.US)に配備される予定です。

ジートン財経APPによると、NVIDIA (NVDA.US)は月曜日、Groq 3 LPXラックレベルシステムが本格的な量産段階に入ったと発表した。これは、同社が昨年Groq関連資産を約200億ドルで買収した後、この低遅延AI推論技術が本格的に商業化段階に入ったことを示している。最初のシステムはAIクラウドコンピューティングサービスプロバイダーであるNEBIUS (NBIS.US)に導入され、今年後半に稼働開始が予定されている。

NVIDIAシニアディレクターのDion Harris氏はメディアに対し、Groq 3 LPXはNVIDIA Vera CPUおよびRubin GPUと共にNebiusのデータセンターに導入されると述べた。

今回のGroq製品の迅速な量産化は、AIアプリケーションがモデルのトレーニングから実運用にさらに進むにつれて、低遅延AI推論がNVIDIAの新たな重点市場になりつつあることを反映している。特にAIエージェントやAIプログラミングなどのアプリケーションでは、モデルがより高速に継続的にコンテンツを生成し、ユーザーの待機時間を短縮する必要がある。

NVIDIAは昨年12月に約200億ドルを投じ、AIチップスタートアップGroqの関連資産を買収し、同社史上最大規模の買収取引となった。

Groqチップアーキテクチャの大きな特徴は、チップ内部に500MB高速SRAMを統合しており、従来のメモリアクセスによるデータ転送のボトルネックを解消し、AIモデル推論時の応答速度を向上させている点だ。

NVIDIAの主要なGPUはTSMC (TSM.US)が製造しているが、GroqチップはSamsungが製造を担当している。

現在、NVIDIAは256個のGroq 3チップを1つのLPXラックに統合している。NVIDIAが引用するArtificial Analysisのベンチマークデータによると、Groq 3 LPXシステムは1秒あたり約3400トークンを生成できるという。

生成型AIにおいて、tokenはモデルがテキストを処理・生成する際の最小単位と理解されている。1秒あたりのtoken生成速度が高いほど、AIはユーザーのリクエストにより迅速に応答可能であり、AIプログラミングやリアルタイムエージェントなど、遅延に非常に敏感なアプリケーションにとって特に重要である。

Harris氏は、AI推論サービスを提供するクラウドコンピューティング企業にとって、遅延が低いことは、より高い応答速度を求める顧客に対してより高額なプレミアムサービスを提供できることを意味すると述べている。

ただし、GroqチップはNVIDIAの従来のGPUの代替を目的としたものではない。

GPUは依然として現在のAI計算インフラの中核であり、AIモデルのトレーニングだけでなく推論タスクも実行でき、より高い汎用性を持ち、様々なモデルや技術アーキテクチャにも対応可能である。

Groqのような低遅延チップは、AI推論プロセスの特定フェーズ、特にモデルがコンテンツを生成する「デコード」段階により特化している。

Harris氏は「これはGPUに取って代わるものではなく、ワークロードの異なる部分に対して価格・性能ともに最適なプロセッサを使用するものだ」と述べている。

これは、NVIDIAがより細分化されたAI計算アーキテクチャの構築を模索していることを意味している：Vera CPUとRubin GPUは引き続き幅広いAI計算タスクを担い、Groqチップは遅延に極めて敏感な推論ワークロード向けに最適化されるという分担だ。

AI業界が大規模なモデル訓練から推論ニーズの急増段階に移行する中、低遅延推論市場の競争は激化している。

AMD(AMD.US)も今年初め、同社のラックレベルAIシステムをCerebras (CBRS.US)チップと統合すると発表し、同様に低遅延AI推論に注力している。

この分野の重要性は、AIプログラミングなどのアプリケーションの普及とともにさらに高まっている。報道によると、OpenAIが最近発表したUltrafastモードは1秒あたり750tokenを実現するとされ、Cerebrasが基盤計算力を提供している。

これに対し、NVIDIAが引用しているベンチマークテストでは、Groq 3 LPXは1秒あたり3400トークンを達成しているという。ただし、システムごとにテスト条件や利用シーンが異なる可能性があるため、これらの数値は単純な性能比較にはならない。

一方、NVIDIAはVera Rubinシステムの出荷を加速させており、このプラットフォームはすでに今年初めに生産段階に入っている。

NVIDIAのCEO、Jensen Huang氏は今年3月にVera RubinおよびGroq 3 LPXを発表した際、現行のBlackwellチップから次世代Vera Rubinシステムまで、2027年までの累計売上高が1兆ドルに達する可能性があると予想した。

また、AIプログラミング用途に特化したデータセンタースペースについて、約4分の1をGroqチップに、残りを全てVera Rubinシステムに割り当てる計画を明らかにしている。

この構成比は、NVIDIAが低遅延推論市場を非常に重視していることをさらに示している。AIエージェント、AIプログラミング、リアルタイム生成AIアプリケーションの急速な進展により、推論速度はクラウドコンピューティング企業やAI開発者間の主要な競争指標となりつつある。

Groq 3 LPXが本格量産に入ったことは、NVIDIAがGPUを中核とするAIチップサプライヤーから、様々なAIワークロードに特化した専用計算アーキテクチャを提供する領域にさらなる拡大を図っていることも意味している。

今後、市場はNVIDIAの最新業績にも注目する。今週水曜日に決算を発表する予定であり、BlackwellやVera Rubinの需要だけでなく、AI推論事業やGroqの商業化進捗も投資家の新たな注目点になるだろう。