NVIDIA : son logiciel IA réduit les coûts d'inférence de manière significative

NVIDIA met en avant l'efficacité de sa pile logicielle d'inférence, essentielle pour les entreprises qui déploient l'intelligence artificielle à grande échelle. L'objectif principal est de réduire le « coût par token », c'est-à-dire le coût pour générer une unité de texte avec un modèle d'IA, en optimisant la performance et la consommation d'énergie.

Cette pile logicielle, conçue pour fonctionner de concert avec les GPU, CPU, et systèmes NVIDIA, a déjà démontré des réductions de coût par token allant jusqu'à 5x sur la plateforme Blackwell avec le modèle DeepSeek V4 en un seul mois. Plusieurs entreprises de pointe, comme Baseten, Cognition, Deep Infra, et DigitalOcean, utilisent les outils de NVIDIA pour accélérer leurs opérations d'IA, qu'il s'agisse de raisonnement, de codage, ou de gestion de convois de patients par IA.

L'importance du logiciel est cruciale car les tâches d'IA agentique, où les modèles de langage interagissent de manière complexe avec des outils et de la mémoire, sont très différentes des charges de travail web traditionnelles. Elles nécessitent une coordination distribuée qui peut mobiliser des centaines de sous-agents et des milliers de tâches simultanément. Le logiciel de NVIDIA permet de transformer cette complexité en une efficacité, en optimisant la façon dont les ressources matérielles sont utilisées pour obtenir les meilleures performances.

La pile logicielle de NVIDIA est structurée en trois couches : l'Opération de Production pour la coordination et la gestion de la mémoire, l'Accélération d'Application pour des performances de modèle élevées avec des optimisations en temps réel, et l'Accès à l'Infrastructure qui expose les capacités du matériel NVIDIA sans complexité. Cette approche intégrée assure que chaque amélioration logicielle se répercute sur l'ensemble du système, offrant des gains de performance et réduisant les coûts d'exploitation des services d'IA, ce qui est un atout majeur pour les professionnels de l'IA.