Faire tourner des IA géantes sur un PC modeste est désormais possible

L'exécution locale d'intelligences artificielles avancées est souvent réservée aux machines surpuissantes dotées de dizaines de gigaoctets de mémoire vidéo. Le projet Colibrì change la donne en proposant une méthode ingénieuse pour charger et décharger les données d'un modèle d'IA complexe au fur et à mesure des besoins, plutôt que de tout saturer en mémoire vive instantanément.

Techniquement, Colibrì s'appuie sur une architecture dite de mélange d'experts (MoE). Comme une IA n'utilise pas l'intégralité de ses connaissances pour répondre à une seule question, l'outil charge uniquement les portions du modèle nécessaires à chaque fragment de la réponse. Testé avec un modèle monumental de 744 milliards de paramètres, cet outil permet de faire fonctionner une IA de pointe sur une configuration PC classique équipée d'un processeur standard et de 25 Go de mémoire vive.

Il existe toutefois une contrepartie majeure : la vitesse. À ce stade, la génération de texte reste très lente, rendant l'usage pratique difficile pour une conversation fluide. Malgré cela, cette expérimentation ouvre une voie prometteuse pour démocratiser l'usage d'IA performantes sans avoir recours à des infrastructures professionnelles hors de prix, en attendant que les futurs développements améliorent la réactivité du processus.