NVIDIA dévoile sa première puce LPX alimentée par Groq : offre jusqu'à 35 fois plus d'efficacité d'inférence par mégawatt avec la combinaison Vera Rubin, et présente le prototype de nouvelle génération Kyber

Selon la surveillance de 1M AI News, le Groq 3 LPU (Language Processing Unit) est la première puce lancée après l’acquisition de la startup de puces d’inférence IA Groq par NVIDIA pour environ 20 milliards de dollars en décembre dernier, avec des livraisons prévues pour commencer au troisième trimestre de cette année. Le châssis Groq 3 LPX peut accueillir 256 LPU, équipé de 128 Go de SRAM embarquée et d’une bande passante d’interconnexion extensible de 640 To par seconde. L’entreprise affirme que lorsque le LPX est déployé avec le Vera Rubin NVL72, le débit le plus élevé par mégawatt peut être augmenté jusqu’à 35 fois, libérant ainsi le potentiel de revenus pour des scénarios d’inférence contextuelle à un billion de paramètres et un million de tokens. Jensen Huang a décrit les deux processeurs comme « extrêmement différents mais mutuellement unifiés : l’un poursuivant un haut débit, l’autre une faible latence », la mémoire embarquée du LPX élargissant considérablement la capacité mémoire totale disponible pour les modèles. Le châssis LPX devrait être lancé au second semestre de cette année en même temps que la plateforme Vera Rubin.

Lors de la conférence, Jensen Huang a également présenté le prototype de la prochaine génération d’architecture de châssis, nom de code Kyber. Kyber va reconfigurer le plateau de calcul de 144 GPU en une disposition verticale afin d’augmenter la densité physique, de réduire la latence, et sera intégré à la plateforme successeur de Vera Rubin, Vera Rubin Ultra, dont le lancement est prévu pour 2027.