Nhà máy này của Nvidia vận hành dựa trên công nghệ NIM (Nvidia Inference Microservice) mà công ty đã giới thiệu từ năm ngoái. Cơ bản thì đây là một model đã được train sẵn dưới dạng các microservice hoạt động trên mô hình đám mây, hỗ trợ các nền tảng như Kubernetes, cho phép tự động mở rộng và quản lý. Chỉ cần thông qua API tiêu chuẩn là có thể tích hợp và triển khai AI. Nvidia hiện tại đã được áp dụng rất nhiều trong các dịch vụ có dùng LLM, các ứng dụng xử lý hình ảnh, video, trong phân tích dữ liệu y tế, sinh học,…
Để đơn giản hóa việc triển khai các ứng dụng AI, Nvidia đã giới thiệu cái gọi là là Ai in Box. Một cách nôm na thì trong đó có chứa đầy đủ những thứ thiết yếu như Cuda, CNN, tensor RT, Triton cho các tác vụ suy luận AI. “Chiếc hộp” này hoạt động trên mây, tự động mở rộng trong môi trường Kubernetes, kết hợp với các dịch vụ quản lý và API tiêu chuẩn, giúp người dùng có thể dễ dàng truy cập vào các LLM và cá model được train sẵn trên ai.nvidia.com hay huggingface.
Nvidia Ace
Công nghệ tạo hình nhân vật ảo với độ chân thực cực cao. Để đạt được hình ảnh cực kỳ ấn tượng như bên trên, Nvidia đã sử dụng một model AI và công nghệ dò tia theo thời gian thực nhằm mô phỏng được cách ánh sáng xuyên qua da, tạo ra bề mặt mềm mại và có độ trong như thực của da. Nvidia cũng được cấu thành từ các microservice được tối ưu hóa, dễ triển khai, giúp tích hợp vào các framework hiện dùng để xây các ứng dụng giọng nói, dịch thuật, mô phỏng cử động khuôn mặt hay cơ thể hoặc các nhu cầu chuyên biệt cần render da hay tóc.