L'année 2021 a été fructueuse pour Google AI. Nous vous amenons à redécouvrir quelques-unes de ses réalisations de cette année.
En plus d'occuper une place de premier choix en termes d'internet, le géant du web est également à fond dans ses activités liées à la recherche sur l'IA. Google AI souhaitait mettre les résultats de ses travaux à la disponibilité de tous. Au cours de l'année écoulée, l'entreprise a réalisé de nombreux algorithmes d'intelligence artificielle.
Les modèles de langage publiés par Google AI en 2021
La modélisation de langage est l'une des plus grandes tendances actuelles de l'IA et Google AI n'a pas manqué à l'appel. Google AI a, par exemple, publié un modèle appelé GLaM (Generalist Language Model). Google GLaM est un modèle de mélange d'experts (MoE) qui possède 1,2 trillion de paramètres répartis sur 64 experts (32 couches). Comparée à celle du GPT-3, son efficacité est améliorée sur 29 benchmarks NLP. En termes simples, le modèle peut exécuter des tâches comme compléter des textes ou répondre à des questions ouvertes.
Toujours en 2021, Google AI a également publié le modèle FLAN (Fine-tuned LAnguage Net). Il explore une technique connue sous le nom de « fine-tuning instruction ». En gros, il s'agit d'un modèle de traitement de langage naturel (NLP) affiné sur un ensemble d'instructions simples et intuitives.
Les jeux de données
Wikipedia-Based Image Text ou WIT est un jeu de données multimodal créé par Google AI en 2021. WIT compte 37,5 millions de données images-textes extraites à partir d'articles et de liens de Wikipédia et Wikimédia.
En outre, le jeu de données GoEmotions, comme son nom laisse entendre, contient des données sur les émotions. Elles ont été extraites de commentaires Reddits et comprennent 27 catégories d'émotions dont 12 positives, 11 négatives, 4 ambiguës et une catégorie neutre.
Pour terminer cette rétrospective, parlons de MetNet-2. Il ne s'agit pas d'un jeu de données, mais d'un algorithme météorologique. Plus précisément, il permet de prévoir les précipitations sur 12 heures grâce au deep learning. La version précédente, MetNet, permettait une prévision des précipitations sur 8 heures.
Enfin, il ne s'agit-là que de quelques réalisations parmi tant d'autres que Google AI a réalisé en 2021.
- Partager l'article :
