in

Groq lance une puce IA plus puissante, Nvidia en danger ?

Une nouvelle puce d'intelligence artificielle lancée par Groq agite actuellement la communauté d'IA. Dotée de performances exceptionnelles, cette innovation pourrait révolutionner le secteur jusqu'à présent dominé par .

Un accélérateur d'IA avec une nouvelle architecture

Les puces sont les éléments clés qui permettent aux systèmes d'intelligence artificielle générative de fonctionner. Ce marché est actuellement dominé par Nvidia, qui fournit la majorité des GPU (Graphics Processing Unit) utilisés par les entreprises du secteur.

Cependant, l'arrivée de Groq pourrait bien changer la donne. Précisons dès le départ que cette n'a aucun lien avec l'IA Grok d'Elon Musk ou la peluche spatiale Grok de Grimes. C'est une société de semi-conducteurs dirigée par Jonathan Ross. Elle est fondée par d'anciens développeurs de en 2016.

La start-up a dévoilé le 20 février dernier une puce IA  : un LPU ou Langage Processing Unit. Cette puce adopte une architecture inédite qui permet d'accélérer considérablement l'inférence et la réponse des modèles de langage de grande taille (LLM).

13 fois plus rapide que le GPU de Nvidia

Groq n'est pas un LLM comme Gemini ou -4. Il n'est pas non plus un chatbot comme d'. Ce LPU agit plutôt comme un « moteur d'inférence » qui booste les performances de ces plateformes dopées par l'IA lors du traitement des requêtes.

Améliorez la performance de vos projets grâce à l’IA générative ?

Afin de connaître ses capacités, des tests de référence ont été réalisés et les résultats sont tout simplement impressionnants. En effet, la puce de Groq a surpassé le GPU de Nvidia utilisé par Microsoft Azure Cloud. Si ce dernier génère 18 tokens (jetons) par secondes, sur Groq, cela passe à 247 tokens.

Avec un tel saut de capacités, des plateformes d'IA comme ChatGPT ou encore pourraient fonctionner 13 fois plus rapide. Jonathan Ross souligne l'importance de cette avancée « La vitesse d'inférence des LLM permet aux développeurs de transformer leurs idées en entreprises, ce qui est essentiel pour l'écosystème commercial de l'IA ».

Fin décembre 2023, la vidéo de présentation de par Google avait été critiquée pour ses capacités de traitement en temps réel jugées falsifiées. Vu ses performances, le LPU de Groq pourrait bien rendre cela enfin réalité.

Groq : trop beau pour être vrai ?

Les capacités impressionnantes de la puce de Groq pourraient susciter de la méfiance. Pourtant, c'est une réalité. Pour s'en assurer, Groq invite d'ailleurs les développeurs à tester eux-mêmes cette technologie sur son site grog.com. Ils pourront y dialoguer avec différents modèles d'intelligence artificielle comme , Llama 2 ou Falcon. Ces plateformes exploitent bien entendu la puissance de calcul de Groq.

Contrairement aux réponses générées progressivement par ChatGPT et autres IA, celles de Groq s'affichent d'un seul coup.  Cette innovation annonce-t-elle le déclin de Nvidia ? Sur Twitter, ma plupart des tweets associent Groq à Nvidia, y voyant un concurrent redoutable pour le géant du GPU. Mais Groq n'est encore qu'au début de son histoire. L'avenir dira s'il saura détrôner le leader historique du marché des puces d'IA.

Newsletter

Envie de ne louper aucun de nos articles ? Abonnez vous pour recevoir chaque semaine les meilleurs actualités avant tout le monde.

Cliquez pour commenter

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *