Nvidia: Nhu cầu về sức mạnh tính toán đang thay đổi từ "đào tạo một lần" các mô hình lớn sang Agent với khả năng "cải thiện sau đào tạo"

NVIDIA đang mở rộng đề xuất giá trị cốt lõi của nền tảng Vera Rubin thế hệ tiếp theo từ chi phí suy luận sang hiệu quả huấn luyện mô hình, lấy chỉ số mới "trí tuệ trên mỗi đô la" (intelligence per dollar), đặt cược rằng sau huấn luyện sẽ trở thành nhu cầu tính toán cốt lõi nhất trong kỷ nguyên AI thông minh tác tử (Agentic AI) kéo dài liên tục.

NVIDIA giải thích trên blog chính thức rằng, cùng với sự trỗi dậy của Agentic AI, quá trình sau huấn luyện mô hình đã phát triển từ một bước hoàn thiện duy nhất thành một tải trọng lõi tuần hoàn không ngừng. Khác với các mô hình sinh truyền thống, mô hình tác tử cần lên kế hoạch, gọi công cụ và tự sửa lỗi khi chạy, môi trường hoạt động có thể thay đổi hàng tuần, làm cho nhu cầu tính toán liên tục tích lũy trong quá trình sau huấn luyện. NVIDIA cho biết, nền tảng Vera Rubin được thiết kế cộng tác chính cho dạng tải trọng này, khi huấn luyện các mô hình quy mô lớn nhất chỉ cần số card đồ họa bằng 1/4 so với nền tảng Blackwell thế hệ trước.

Cách diễn giải này liên quan trực tiếp đến logic bán hàng năng lực tính toán của NVIDIA: Vòng sau huấn luyện không bao giờ kết thúc, đồng nghĩa với việc nhu cầu của khách hàng đối với cụm GPU sẽ từ dựa theo dự án chuyển sang nhu cầu thường xuyên, từ đó mở rộng quy mô thị trường tiềm năng. Các doanh nghiệp như Prime Intellect, Perplexity và Together AI đã và đang chạy tải trọng sau huấn luyện trên nền tảng NVIDIA đều xác nhận kế hoạch chuyển sang hoặc mở rộng lên Vera Rubin.

Sau huấn luyện trở thành động lực lõi cho năng lực tính toán trong kỷ nguyên Agentic AI

NVIDIA đã trình bày một cách hệ thống về vị trí chiến lược của sau huấn luyện trên blog. Giai đoạn tiền huấn luyện mang lại sự trôi chảy ngôn ngữ cho mô hình, còn trí tuệ thực sự—bao gồm viết mã, lập kế hoạch nhiệm vụ nhiều bước, sử dụng công cụ tìm kiếm và phục hồi sau lỗi—được hình thành trong giai đoạn sau huấn luyện.

Sau huấn luyện sử dụng kỹ thuật học tăng cường (RL): mô hình tạo ra các thử nghiệm cho nhiệm vụ cho trước (lan truyền xuôi), thử nghiệm này được chấm điểm rồi cập nhật trọng số mô hình (lan truyền ngược), qua hàng triệu lần lặp lại khả năng mô hình dần được nâng cao. NVIDIA chỉ ra, quá trình này tiêu thụ rất nhiều năng lực tính toán, cần hàng ngàn môi trường sinh song song rollout, đồng thời giữ cho các tăng tốc viên hoạt động hết công suất.

NVIDIA xác định "trí tuệ trên mỗi đô la" là chỉ số cấp cao hơn "chi phí trên mỗi token": cái trước đo lường hiệu quả vận hành nhà máy suy luận, cái sau đánh giá liệu đầu tư xây dựng và duy trì lâu dài một mô hình đáng triển khai có hợp lý. Hai chỉ số này lồng ghép với nhau—giảm chi phí mỗi token cũng giúp giảm chi phí xây dựng trí tuệ, còn trí tuệ mô hình càng cao càng nâng cao giá trị phục vụ của mỗi token.

Nemotron Ultra cung cấp chuẩn sau huấn luyện có thể kiểm chứng

Để hỗ trợ cho những quan điểm trên, NVIDIA đã công bố chi tiết sau huấn luyện của mô hình mở trọng số Nemotron 3 Ultra. Mô hình này có số lượng tham số lên tới 550 tỷ, sử dụng kiến trúc chuyên gia hỗn hợp (MoE), toàn bộ quy trình sau huấn luyện vận hành trên khung NeMo RL.

Trong tiêu chuẩn kiểm chứng lập trình thực tế SWE-bench Verified, Nemotron 3 Ultra đạt điểm 71,7%, tức là với các lỗi phần mềm thực tế từ dự án mã nguồn mở, khoảng 7 trên 10 lỗi có thể được tạo ra giải pháp sửa chữa hợp lệ vượt qua bài kiểm tra của chính dự án. NVIDIA nói rằng kết quả kiểm tra chuẩn này có thể được xác minh, và quy trình sau huấn luyện cũng được công khai hoàn toàn.

NVIDIA cũng chỉ ra, nền tảng Blackwell đã làm cho huấn luyện lại tần suất cao trong kỷ nguyên tác tử khả thi về mặt kinh tế nhờ giảm chi phí cho mỗi lần chạy, còn nền tảng Vera Rubin sẽ tiếp tục mở rộng xu hướng này—hỗ trợ nhiều rollout hơn, nhiều môi trường song song hơn và chu trình sau huấn luyện không bao giờ ngừng lại.

Khách hàng lớn xác minh năng lực nền tảng, lộ trình chuyển đổi hé lộ

Nhiều công ty đã vận hành tải trọng sau huấn luyện trên nền tảng NVIDIA tiết lộ chi tiết kỹ thuật cụ thể, đồng thời bày tỏ ý định chuyển sang Vera Rubin.

Prime Intellect liên tục thực hiện sau huấn luyện các mô hình mở tiên tiến trên nền tảng Blackwell và dùng NVIDIA Dynamo để dàn dựng suy luận. Doanh nghiệp này đã tích hợp hạ tầng sandbox với NVIDIA Vera CPU, trong thử nghiệm so sánh với kiến trúc x86, Vera CPU có thông lượng trung bình cao hơn 30% với tải trọng RL sandbox thực tế. Prime Intellect dự kiến nhờ Vera Rubin mở rộng quy mô môi trường học tăng cường, đồng thời tăng tốc chu kỳ lặp từ huấn luyện đến suy luận.

Ngăn xếp RL sau huấn luyện của Perplexity vận hành không đồng bộ trên hàng trăm GPU của NVIDIA, động cơ truyền trọng số dựa trên RDMA có thể đồng bộ hóa mô hình nghìn tỷ tham số giữa các node huấn luyện và suy luận trong vòng hai giây. Mô hình Qwen3 235B sau huấn luyện được triển khai trên hệ thống NVIDIA GB200 NVL72.

Together AI cung cấp năng lực sau huấn luyện dưới dạng dịch vụ, bao gồm tinh chỉnh có giám sát, học tăng cường và tối ưu hóa sở thích trực tiếp, cung cấp qua API và SDK, hiện được vận hành trên nền tảng NVIDIA và cho biết đang tìm cách kết nối với Vera Rubin.