in ,

Top 2 dans le Chatbot Arena, le nouveau modèle de Google est le favori des experts

Gemini 1.5 Flash vs GPT 4.0 Mini

Il y a moins d’un mois, a annoncé une mise à jour de 1.5 Pro, son plus puissant modèle. Aujourd’hui encore, on a eu vent deux nouvelles mises à niveau : Gemini 1.5 Flash-8B et Gemini 1.5 Flash.

D’après tests internes qu’a réalisés Google, ses derniers modèles affichent des performances nettement améliorées.

Cela dit, ils ont réussi à se positionner dans le top 2 sur chatbot Arena. Le chef de produit pour Google , Logan Kilpatrick affirme d’ailleurs que le Gemini 1.5 Flash est le meilleur modèle dont puisse bénéficier les développeurs.

Mais on attend toujours de voir qui se positionne en première place dans le chatbot Arena.

YouTube video

Un modèle à 8 milliards de paramètres

C’est en mois de mai que Google a dévoilé Gemini 1.5 Flash, une version optimisée de Gemini 1.5.

Cette nouvelle gamme de modèles est capable de gérer des contextes étendus, mais aussi de traiter des informations complexes issues de plus de 10 millions de tokens.

Ce qui permet aux modèles sous-jacents de prendre les vidéos, les documents et l’audio comme points d’entrée,

Récemment, Google a introduit une édition plus avancée d’un modèle plus léger de Gemini 1.5 Flash comportant 8 milliards de paramètres.

Une version disponible de Gemini 1.5 Flash d’ici une semaine

Les modèles d’ Gemini 1.5 Flash et Pro ont une capacité impressionnante de traiter jusqu’à 1 million de jetons.

On peut déjà les tester gratuitement via Google AI Studio et l’API Gemini. Google affirme quand-même qu’ils seront également disponibles sur la plateforme Vertex AI. Sinon, on pourra bénéficier d’un accès gratuit limité pour ces deux versions.

Dans les semaines à venir, une version destinée à un usage en production sera aussi mise à disposition, toujours d’après les déclarations de Kilpatrick.

À compter du 3 septembre, Google va automatiquement rediriger les requêtes vers ce nouveau modèle. L’ancien modèle sera en effet retiré de Google AI Studio et de l’API.

Déjà en sixième place sur la Chatbot Arena

Quand Google a annoncé son nouveau modèle, la LMSYS a tout de suite mis à jour de son classement sur le chatbot Arena.

20 000 votes ont été enregistrés auprès de la communauté. En ce qui concerne Gemini 1.5 Flash, il est passé de la 23ᵉ position à la 6ᵉ place.

À l’heure où j’ai rédigé ces lignes, niveau performances, Gemini 1.5 Flash égale à celle de Llama et de Gemma.

YouTube video

Scepticisme et admiration excessive, les clans se divisent

Mais comme à chaque sortie d’un nouveau modèle d’IA, les réactions étaient variées au sein de la communauté technologique.

Quant à Gemini 1.5 Flash, comme d’habitude, le modèle a eu droit à de l’admiration excessive et du scepticisme moqueur.

Sur X par exemple, plusieurs utilisateurs ont exprimé leur étonnement face à la fréquence des mises à jour mineures.

Ces derniers s’interrogent sur l’absence d’une évolution plus significative vers une version 2.0.

Un commentaire particulièrement éloquent reflétait ce sentiment d’impatience qui suggère que ces améliorations progressives ne répondaient plus aux attentes du public. Ce qui pourrait aspirer désormais à une refonte majeure du modèle Gemini vers une version 2.0.

Et vous, de quel camp êtes-vous ? Du côté des optimistes ou des sceptiques moqueurs ?

Newsletter

Envie de ne louper aucun de nos articles ? Abonnez vous pour recevoir chaque semaine les meilleurs actualités avant tout le monde.

Cliquez pour commenter

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *