Not Diamond oriente automatiquement votre requête vers le meilleur LLM. Voici comment cette innovation transforme l’utilisation des grands modèles de langage pour les entreprises.
À l’ère des grands modèles de langage (LLM), les entreprises cherchent le meilleur modèle pour leurs applications. La tâche semble simple, mais l’identification du modèle idéal reste complexe. L’écosystème évolue rapidement au point de rendre difficile le choix du modèle optimal pour des cas d’utilisation spécifiques.
Not Diamond, une startup basée à San Francisco, propose une solution avec son routeur LLM intelligent. Ce routeur permet aux entreprises de diriger les requêtes vers le meilleur modèle disponible. Cela améliore la qualité des résultats tout en optimisant la latence et les coûts.
Selon Tomás Hernando Kofman, PDG de Not Diamond, l’avenir ne se résume pas à un seul modèle géant. Au contraire, il y aura de nombreux modèles et variantes personnalisées. Not Diamond vise à créer l’infrastructure permettant ce futur multi-modèle. De ce fait, la startup veut devenir la référence en matière de routage intelligent entre différents modèles.
Un soutien impressionnant
Not Diamond a levé 2,3 millions de dollars auprès de defy.vc et de grands noms de l’IA. Des figures influentes comme Jeff Dean de Google DeepMind et Tom Preston-Werner de Github ont investi. Ce soutien montre la confiance de l’industrie dans le potentiel de Not Diamond.
Le dilemme coût-performance des LLM
L’écosystème des LLM est complexe. Chaque modèle a ses forces et faiblesses. Les modèles performants sont généralement coûteux, tandis que les modèles abordables peuvent manquer de fonctionnalités ou avoir une latence élevée. L’ajout constant de nouveaux modèles complique encore plus la tâche des entreprises.
Kofman a imaginé une interface qui a pour but d’exploiter un réseau de modèles spécialisés. Cela permet aux entreprises de ne pas dépendre d’un seul modèle. Avec ses collègues, Kofman a lancé Not Diamond afin de construire une infrastructure de routage intelligente. Cette infrastructure maximise l’efficacité des systèmes d’IA.
Un routage robuste
Le routeur de Not Diamond utilise un « méta-modèle » pour diriger les requêtes. Il choisit le modèle le plus approprié en termes de précision, coût et latence. Cette approche évite d’appeler systématiquement le même modèle pour des requêtes simples. Les résultats montrent que le routeur offre de meilleures performances que les modèles individuels.
Not Diamond a créé un grand ensemble de données d’évaluation pour mesurer les performances des LLM. L’algorithme de classement détermine le meilleur LLM pour chaque requête. Cette décision alimente l’action de routage afin d’optimiser l’utilisation des ressources disponibles.
Lancement et adoption
Not Diamond a publié un aperçu léger de son routeur en décembre 2023. Ce routeur permet de gérer automatiquement les requêtes entre GPT-3.5 et GPT-4. L’entreprise a ensuite étendu cette capacité à d’autres modèles du marché.
Les entreprises peuvent personnaliser le routeur avec des ensembles de données d’évaluation internes. Cela permet de choisir le modèle le mieux adapté à leurs besoins spécifiques. Not Diamond offre également des fonctionnalités de hachage des données et d’optimisation des invites.
Not Diamond connaît une adoption rapide parmi les startups et les développeurs indépendants. Un client d’entreprise, Samwell AI, a déjà constaté une amélioration de 10 % de la qualité de sortie LLM et une réduction de 10 % des coûts. Avec le soutien de leaders du secteur, Not Diamond vise à accélérer le développement de ses produits et à augmenter son taux d’adoption.
Not Diamond se distingue par sa vitesse de routage et ses fonctionnalités d’optimisation. L’avenir des LLM semble prometteur avec des solutions comme celle de Not Diamond. Cette startup transforme l’écosystème des modèles de langage en offrant une approche innovante et efficace pour les entreprises.
- Partager l'article :
