Faire tourner l'IA sur un microcontrôleur à moins de 10 euros

Faire tourner une intelligence artificielle nécessite habituellement une carte graphique coûteuse ou un processeur puissant. Pourtant, le développeur ukrainien Slava S. a réussi à faire fonctionner un modèle de langage de 28,9 millions de paramètres sur un simple microcontrôleur ESP32-S3, une puce disponible pour moins de 10 euros. Le projet repose sur une optimisation logicielle poussée pour gérer la mémoire limitée de l'appareil.

Le défi majeur était de loger un modèle dont la taille dépasse largement les 512 Ko de mémoire vive (SRAM) disponibles. En utilisant la technique des "Per-Layer Embeddings" — une méthode employée par Google sur ses serveurs — le développeur a stocké la table de données sur la mémoire flash (16 Mo) du module. Seule la partie nécessaire au calcul est ainsi chargée dans la mémoire vive, libérant l'espace pour la réflexion logique du modèle.

Cette prouesse technique ne transforme pas votre microcontrôleur en assistant capable de coder ou de répondre à des questions complexes. Le modèle, entraîné sur des histoires courtes, est conçu pour des tâches très ciblées, comme piloter une machine à café intelligente hors ligne. Cela prouve cependant qu'avec une architecture ingénieuse, des capacités d'IA peuvent être implémentées dans des objets du quotidien extrêmement abordables.