in ,

Cette IA de Mistral et de Nvidia tourne sur un simple PC et rivalise avec les géants du secteur

Mistral NeMo Nvidia

Deux géants de la tech, et AI, viennent de lancer une toute nouvelle destinée aux entreprises. Mistral NeMo, pourvu de 12 milliards de paramètres, répond aux principaux besoins des utilisateurs. Dont le traitement de texte, le développement informatique, ainsi que les chatbots.

Si la majorité des grandes entreprises d'IA ont décidé de faire cavalier seul, dont avec le lancement de GPT-4o Mini, Mistral et Nvidia ont suivi un autre chemin. Celui de combiner leur force pour espérer dominer le marché.

Et Mistral NeMo 12B, d'après les déclarations de Nvidia, a montré des performances élevées sur plusieurs domaines.

C'est tout à fait logique, étant donné que Nvidia et Mistral AI ont chacun leur expertise.

YouTube video

Polyvalent et fiable, les vraies forces de Mistral NeMo

Nvidia et Mistral n'ont pas tardé à mettre en avant les impressionnantes capacités de Mistral NeMo, leur nouveau modèle d'IA destiné aux entreprises.

Ce système se distingue d'ailleurs par sa polyvalence et sa fiabilité dans un large éventail de domaines.

Il excelle par exemple dans les échanges complexes nécessitant plusieurs tours de conversation. 

Mais aussi dans les calculs mathématiques avancés, le raisonnement basé sur le bon sens, l'exploitation de connaissances générales et le développement de logiciels.

Avec ses quelque 12 milliards de paramètres, Mistral NeMo offre une puissance de traitement considérable.

YouTube video

Une fenêtre contextuelle de 128 000 tokens

Sa fenêtre contextuelle s'élève à 128 000 tokens, ce qui constitue un atout majeur permettant l' de documents volumineux et le maintien de conversations élaborées sur de longues périodes.

C'est un élément fondamental parce que l'ampleur de la fenêtre contextuelle détermine directement la capacité du modèle à traiter des informations sur une grande échelle et à maintenir la cohérence dans des interactions prolongées.

Cela dit, l'objectif de Nvidia et de Mistral AI est de proposer un outil d'IA robuste et versatile, conçu pour répondre aux besoins complexes et variés des entreprises modernes.

Mistral NeMo : pas d'API, mais un microservice

Le lancement de Mistral NeMo se fait sous forme de microservice. Il s'agit d'une approche que Nvidia a annoncée lors de la GTC 2024.

C'est grâce à cette technique que l'on peut empaqueter un modèle d'IA, un runtime, et un moteur d'inférence optimisé dans un seul pack.

Il est donc question d'un package prêt à l'emploi intégrant en même temps NeMo retriever, Triton Inference Server, et TensorRTTM-LLM.

Déploiement facile et rapide

Le plus grand avantage de cette méthode, c'est que son déploiement est plus rapide par rapport aux approches traditionnelles.

En gros, quelques minutes suffisent pour faire fonctionner Mistral NeMo développé par Nvidia et Mistral.

De plus, Nvidia a conçu ce modèle pour être compatible avec la mémoire d'un seul GPU, qu'il s'agisse d'un L40S, d'un GeForce RTX 4090 ou d'un RTX 4500.

Cette flexibilité permet une intégration aisée dans diverses configurations matérielles. Ce qui fait de Mistral NeMo plus accessible, quelle que soit la taille de l'entreprise.

Mistral Nemo, le NIM en tout cas, sera disponible en téléchargement d'ici quelques semaines. En attendant, vous pouvez toujours lire nos autres articles sur l'IA depuis cette page.

Newsletter

Envie de ne louper aucun de nos articles ? Abonnez vous pour recevoir chaque semaine les meilleurs actualités avant tout le monde.

Cliquez pour commenter

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *