Спрямований на ринок низьколатентного AI-інференсу: Nvidia (NVDA.US) Groq 3 LPX повністю вийшов на масове виробництво, перші системи будуть розгорнуті на NEBIUS (NBIS.US)

Ukrainian Finance APP повідомляє, що Nvidia (NVDA.US) у понеділок оголосила, що Groq 3 LPX системи серверного рівня перейшли до повномасштабного виробництва, що знаменує початок комерційної реалізації низькозатримкової AI inference технології після того, як компанія минулого року витратила близько 20 мільярдів доларів на придбання активів, пов’язаних із Groq. Перші системи будуть розгорнуті у AI cloud computing провайдера NEBIUS (NBIS.US) та плануються до запуску пізніше цього року.

Старший директор Nvidia Діон Харріс повідомив ЗМІ, що Groq 3 LPX буде розгорнуто разом із центральними процесорами Nvidia Vera та графічними процесорами Rubin у дата-центрах Nebius.

Швидкий перехід Groq продукту до масового виробництва відображає те, що із розвитком AI застосувань від тренування моделей до реального впровадження, низькозатримкова AI inference стає новим ключовим ринком для Nvidia. Особливо в таких сферах, як AI агенти та AI програмування, моделі повинні генерувати контент швидше і зменшувати час очікування користувача.

У грудні минулого року Nvidia витратила близько 20 мільярдів доларів на придбання активів AI chip стартапу Groq, що стало найбільшою угодою в історії компанії.

Однією з головних рис архітектури Groq chip є інтеграція 500MB швидкої SRAM всередині чіпа для зменшення потенційних вузьких місць при доступі до традиційної пам’яті та підвищення швидкості відповідей під час inference процесів AI моделі.

На відміну від основних GPU Nvidia, які виробляються TSMC (TSM.US), Groq chip виробляється компанією Samsung.

Зараз Nvidia інтегрує 256 Groq 3 chip у один LPX серверний rack. За даними, наданими Nvidia та Artificial Analysis, Groq 3 LPX може генерувати близько 3400 token на секунду.

Для генеративного AI token є базовою одиницею обробки та генерації тексту. Більша швидкість генерації token означає, що AI може швидше реагувати на запити користувачів, що особливо важливо для AI програмування, роботів у реальному часі та інших додатків, чутливих до затримок.

Харріс зазначив, що для cloud computing компаній, які надають AI inference-сервіси, менша затримка дозволяє їм пропонувати преміум-сервіси з більш високою ціною клієнтам, для яких швидкість реагування критична.

Втім, Groq chip не призначений для заміни традиційного GPU Nvidia.

GPU досі залишаються ядром AI інфраструктури: вони здатні тренувати моделі AI, виконувати inference завдання, мають більшу універсальність і можуть адаптуватися до різних моделей і технічних архітектур.

Groq, як низькозатримковий chip, більше сфокусований на конкретних етапах inference в AI, особливо на фазі “декодування” під час генерації контенту моделями.

Харріс сказав: “Мета - не замінити GPU, а використовувати відповідні процесори для різних частин навантаження, враховуючи їх ціну і продуктивність”.

Це означає, що Nvidia намагається створити більш сегментовану AI обчислювальну архітектуру: Vera CPU і Rubin GPU залишаються відповідальними за ширші завдання AI, а Groq chip оптимізується під завдання inference, чутливі до затримок.

З розвитком AI індустрії від масштабного тренування моделей до швидкого зростання потреб у inference, конкуренція на ринку низькозатримкових inference рішень стає все більш інтенсивною.

AMD (AMD.US) на початку цього року оголосила про інтеграцію своїх серверних AI систем з Cerebras (CBRS.US) chip, також фокусуючись на низькозатримковому AI inference.

Значення цього сегмента ринку зростає разом із поширенням таких застосувань, як AI програмування. У повідомленні наголошується, що OpenAI у своєму новому Ultrafast режимі обіцяє досягти швидкості 750 token на секунду, забезпечену Cerebras як основним постачальником обчислювальної потужності.

Для порівняння, за даними Nvidia, Groq 3 LPX може досягати 3400 token на секунду. Однак умови тестування і сценарії застосування різні, тому ці цифри не можна розглядати як пряме порівняння продуктивності.

У той же час Nvidia прискорює поставки Vera Rubin системи, платформа вже на початку цього року перейшла до виробничої фази.

Генеральний директор Nvidia Хуан Женьцун у березні цього року, під час презентації Vera Rubin і Groq 3 LPX, прогнозував, що із нинішніх chip Blackwell до нової Vera Rubin системи сукупний обсяг продажу до 2027 року може досягти 1 трильйона доларів.

Женьцун також повідомив, що у спеціально призначених для AI програмування дата-центрах він планує відвести близько чверті простору під Groq chip, а решту - повністю під Vera Rubin system.

Цей розподіл ще раз демонструє важливість низькозатримкових inference технологій для Nvidia. З розвитком AI агентів, AI програмування та нових застосувань генеративного AI у реальному часі, швидкість inference стає ключовим параметром для cloud-компаній та розробників AI.

Groq 3 LPX переходить до повномасштабного виробництва, що також означає для Nvidia перехід від GPU-центричного постачальника AI chip до розробника спеціалізованих обчислювальних архітектур для різних типів AI навантаження.

Ринок незабаром зверне увагу на найсвіжішу фінансову звітність Nvidia. Компанія оприлюднить результати у середу цього тижня, окрім попиту на Blackwell та Vera Rubin, AI inference бізнес та комерціалізація Groq також можуть стати новими фокусами для інвесторів.