Si l’année 2023 a été marquée par la domination d’OpenAI, Google affiche une ferme intention de combler son retard en 2024. Le géant américain multiplie les annonces depuis le début de l’année. Après avoir dévoilé, il y a quelques jours, son modèle Ultra, l’entreprise présente Gemini 1.5, une mise à jour de son grand modèle de langage.
Un LLM avec une nouvelle architecture
La première innovation qu’a apportée Google pour cette nouvelle version de son grand modèle de langage concerne la technique d’apprentissage utilisée pour son entraînement. En effet, Gemini 1.5 s’appuie sur ce qu’on appelle le Mélange d’Experts ou MoE.
Cette technique de machine learning consiste à spécialiser certains éléments d’un réseau neuronal artificiel appelés experts, dans l’exécution de tâches spécifiques. Chaque expert est capable de traiter un type de données particulier comme la classification de phrases selon des paramètres définis. La combinaison de ces experts au sein du réseau neuronal permet d’obtenir une prédiction plus précise. Ainsi, en fonction des données d’entrée, le système sélectionne et active les experts les plus pertinents.
Gemini 1.5 Pro : une fenêtre contextuelle record
Tout comme Gemini 1.0, Google laisse entendre que Gemini 1.5 serait disponible en différentes tailles. Pour l’instant, l’entreprise présente la version Pro 1.5. La première version de Gemini, le modèle 1.0, peut gérer jusqu’à 32 000 jetons, Gemini 1.5 Pro décuple cette performance en atteignant un million de jetons, soit environ 700 000 mots. Cette prouesse technique place cette nouvelle version en tête des LLM sur le marché, loin devant ses concurrents comme GPT-4 Turbo d’OpenAI, limité à 128 000 jetons.
Cette fenêtre textuelle plus longue permet à Gemini 1.5 Pro de traiter de longs documents complexes, tels que des articles scientifiques ou des livres entiers. De même, cela lui offre la capacité de mener des conversations plus longues.
Une nouvelle version aux performances améliorées
D’après Google, cette nouvelle mouture de son LLM Gemini se distingue par sa capacité à effectuer des raisonnements complexes sur des volumes de données importants. Pour le démontrer, les chercheurs de DeepMind l’ont testé en lui soumettant une transcription de 402 pages relatant la mission Apollo 11. Ensuite, ils lui ont posé des questions auxquelles Gemini 1.5 Pro a su répondre avec pertinence.
Des tests comparatifs ont également prouvé sa supériorité sur le GPT-4 Turbo d’OpenAI dans plusieurs tâches. Par rapport à la version précédente Gemini 1.0 Pro, le nouveau modèle Gemini 1.5 Pro affiche des performances supérieures de 28,9 % en mathématiques, sciences et raisonnement. Il surpasse également de 5,2 % dans ces matières la version Gemini 1.0 Ultra.
Le lancement de Gemini 1.5 Pro, à peine une semaine après la sortie de 1.0 Ultra, a de quoi surprendre. En lançant des mises à jour si rapprochées, Google DeepMind pourrait chercher à maintenir son avance sur ses concurrents, notamment OpenAI et son très attendu GPT-5. En attendant les prochaines innovations des géants du tech, les développeurs peuvent dès à présent exploiter la puissance de Gemini 1.5 Pro, via Vertex AI et AI Studio. Ils disposent pour le moment d’une fenêtre contextuelle de 128 000 jetons amenée à s’élargir prochainement au million. Il faut savoir que le chatbot Gemini (ex-Bard) ne bénéficie pas encore de cette nouvelle version.
- Partager l'article :
