NVIDIA a récemment créé un nouveau modèle d’intelligence artificielle, plus petit et plus léger. Il s’agit du fruit de la collaboration entre le géant des cartes graphiques et de Mistral AI, une société française spécialisée dans l’IA. Le nouveau modènle, baptisé Mistral NeMo Minitro 8B, n’est autre qu’une version réduite du modèle Mistral Nemo 12B. Mais son avantage, c’est qu’il peut fonctionner sur des ordinateurs normaux, à condition qu’ils aient une carte graphique NVIDIA RTX.
Bryan Catanzaro, un haut responsable chez NVIDIA, nous explique comment son équipe a amélioré leur modèle d’intelligence artificielle.
Ils ont utilisé deux techniques principales pour rendre le modèle plus efficace : l’élagage et la distillation.
« C’est un peu comme tailler un arbre. On a réduit le nombre de paramètres, qui sont les éléments de base du modèle, de 12 milliards à 8 milliards », a-t-il ajouté.
Pourquoi les LLM ne peuvent pas fonctionner sur nos appareils ?
La popularité des LLM n’ont cessé d’augmenter ces dernières années. On les utilise d’ailleurs pour beaucoup de choses, comme créer des histoires interactives ou des assistants IA sur nos téléphones.
Mais ils ont tous un problème commun. Ils ont une taille monumentale et ont besoin d’ordinateurs très puissants pour fonctionner. C’est pourquoi on ne peut pas les utiliser directement sur nos appareils personnels.
C’est là que les petits modèles de langage entrent en jeu. Les modèles comme Mistral NeMo Minitron sont conçus spécialement pour fonctionner sur nos appareils.
On n’a donc pas à nous connecter à de gros serveurs pour avoir accès un modèle plus précis et pkus fiable.
Et le Mistral-NeMo-Minitron 8B dont on parle est justement un bon exemple de petit modèle, même s’il reste assez gros avec ses huit milliards de paramètres.
Pour l’utiliser, il faut quand même des ordinateurs assez puissants, qu’on appelle des stations de travail haut de gamme.
Ces ordinateurs doivent d’ailleurs être équipés de cartes graphiques spéciales de NVIDIA, les RTX, qui sont très performantes pour ce genre de tâches.
Enfin un modèle qui peut fonctionner sur un ordinateur personnel
Cette version plus petite de Mistral NeMo est vraiment impressionnante. Même si elle est plus légère, elle fonctionne aussi bien que la version originale. Mais comment ont-ils fait ?
En gros, Nvidia et Mistral ont fait le tri dans leur modèle en gardant seulement les parties les plus importantes pour la précision.
Imaginez que vous rangiez votre placard. Vous allez sûrement garder les vêtements que vous portez souvent et vous vous débarrassez de ceux que vous n’utilisez jamais.
C’est un peu ce qu’ils ont fait avec le modèle Mistral Nemo 12B. Par ailleurs, ils ont également réduit la quantité de données nécessaires pour entraîner le modèle.
En d’autres termes, au lieu d’apprendre avec une bibliothèque entière, Mistral NeMo Minitron 8B apprenait avec seulement quelques livres bien choisis.
Résultat : le modèle n’a besoin que d’un quarantième du temps de calcul par rapport à l’original pour être entraîné.
Mais ils ne se sont pas arrêtés là. NVIDIA a aussi utilisé les mêmes techniques pour créer un modèle encore plus petit, appelé Nemotron-4 4B Instruct.
Celui-ci est spécialement conçu pour fonctionner sur des ordinateurs personnels et des ordinateurs portables ordinaires.
NVIDIA veut l’utiliser pour apporter ce qu’ils appellent la technologie humaine numérique de pointe dans les jeux vidéo.
Cela pourrait signifier des personnages de jeux plus intelligents ou, pourquoi pas, des interactions plus naturelles dans les jeux.
- Partager l'article :
Euh …. Des llms sur pc individuel ca existe depuis un moment … Lama , mistral , orca…et qui tourne sur CPU ou GPU. Pas besoin spécifiquement de NVIDIA pour . Gpt4all est une bonne UI pour faire tourner tout cela d’ailleurs .Vous êtes vous un minimum renseigné avant de publié ce billet d’info trompeur ?