Mistral AI et NVIDIA ont annoncé aujourd'hui le lancement de Mistral NeMo 12B, un modèle de langage innovant destiné aux applications d'entreprise. Ce modèle est conçu pour les chatbots, les tâches multilingues, le codage et la synthèse. Il combine l'expertise de Mistral AI en matière de données d'entraînement avec l'écosystème matériel et logiciel de NVIDIA.
Un modèle puissant et adaptable
Le modèle Mistral NeMo 12B se distingue par sa capacité à traiter des informations complexes de manière précise et cohérente grâce à une longueur de contexte de 128 Ko. « Nous avons la chance de collaborer avec l'équipe de NVIDIA en tirant parti de leur matériel et de leurs logiciels hauts de gamme », a déclaré Guillaume Lample, cofondateur et scientifique en chef de Mistral AI. « Ensemble, nous avons développé un modèle offrant une précision, une flexibilité et une efficacité de pointe. »
Mistral NeMo 12B a été formé sur la plateforme NVIDIA DGX Cloud AI. Cette dernière offre un accès évolutif à la dernière architecture NVIDIA. Il fait appel à NVIDIA TensorRT-LLM pour des performances d'inférence accélérées et la plateforme de développement NVIDIA NeMo. Ce modèle d‘IA génératif est optimisé pour offrir des résultats exceptionnels.
Précision et efficacité au service des entreprises
Ce modèle d'IA excelle dans les conversations multitours, les mathématiques, le raisonnement de bon sens, la connaissance du monde et le codage. Il est conçu pour des performances précises et fiables dans diverses tâches. La licence Apache 2.0 sous laquelle Mistral NeMo est commercialisé favorise l'innovation. Elle soutient la communauté de l'IA en permettant une utilisation étendue et flexible du modèle.
Mistral NeMo 12B utilise le format de données FP8 pour l'inférence. Cela réduit la taille de la mémoire et accélère le déploiement sans sacrifier la précision. Cette efficacité permet au modèle de gérer divers scénarios de manière optimale. Cela rend son utilisation idéale pour les entreprises.
Déploiement et support simplifiés
Le modèle Mistral NeMo est proposé sous la forme d'un microservice d'inférence NVIDIA NIM, offrant une inférence optimisée avec les moteurs NVIDIA TensorRT-LLM. Cette approche conteneurisée permet un déploiement facile et rapide, n'importe où, en quelques minutes. NIM inclut des logiciels d'entreprise qui font partie de NVIDIA AI Enterprise. Cela inclut également des fonctionnalités dédiées, des processus de validation rigoureux ainsi qu'une sécurité et un support de niveau entreprise.
Les entreprises bénéficient d'une assistance complète, d'un accès direct à un expert en IA de NVIDIA et d'accords de niveau de service définis. La licence de modèle ouvert permet une intégration transparente de Mistral NeMo dans les applications commerciales. Mistral NeMo NIM est conçu pour s'adapter à la mémoire d'un GPU NVIDIA L40S, NVIDIA GeForce RTX 4090 ou NVIDIA RTX 4500. Il offre une efficacité élevée et une confidentialité renforcée.
Collaboration et innovation continue
L'expertise combinée des ingénieurs de Mistral AI et de NVIDIA a permis d'optimiser l'entraînement et l'inférence pour Mistral NeMo. Il est formé avec des techniques efficaces de parallélisme des modèles et une précision mixte avec Megatron-LM. Le modèle a été entraîné à l'aide de 3 072 GPU H100 80GB Tensor Core sur DGX Cloud.
Cette collaboration souligne l'engagement de NVIDIA à soutenir l'écosystème des constructeurs de modèles d'IA. Avec la flexibilité de fonctionner sur diverses plateformes, y compris le cloud, les centres de données et les stations de travail RTX, Mistral NeMo est prêt à révolutionner les applications d'IA.
Article basé sur un communiqué de presse reçu par la rédaction.
- Partager l'article :
