Aussi grande que le GPT-3 d’OpenAI, le modèle de langage de Meta est disponible en open source.
Les recherches en IA ne concernent pas quelques centres de recherches. En effet, cette technologie a envahi le quotidien de manière à affecter tous les domaines de notre vie. De ce fait, le gouvernement, les organisations universitaires et le grand public s’intéressent de près à l’intelligence artificielle. L’ouverture du modèle de langage de Meta est donc une bonne nouvelle pour tous ces acteurs.
Le modèle de langage de Meta est aussi grand que celui d’OpenAI
Le premier détail qui attire l’attention sur le grand modèle de langage de Meta est sans doute sa taille. En effet, avec 175 milliards de paramètres, il égale le GPT-3 d’OpenAI qui est l’une des meilleures références.
Mais le propriétaire de Facebook a frappé fort en donnant libre accès à son modèle. L’objectif de Meta étant de démocratiser l’accès à la pleine puissance de l’IA, Open Pretrained Transformer (OPT-175B) est donc disponible gratuitement pour toute la communauté de recherche. En plus du modèle qui a été formé sur 800 gigaoctets de données, la société offre également le code source, les notes et les journaux de bord.
Un libre accès
Meta destine donc son modèle de langage aux chercheurs et aux organisations universitaires, aux organismes gouvernementaux, à la société civile et aux laboratoires de recherche industriels.
Joelle Pineau, la directrice des Meta AI Research Labs, explique ses attentes dans cette démarche. Tout d’abord, elle espère que le modèle aidera la communauté à construire plus rapidement différents systèmes basés sur le langage. Pineau cite notamment la traduction automatique, les chatbots ou encore la complétion de texte.
D’autre part, l’entreprise s’attend également à ce que les chercheurs contribuent à évaluer le modèle. Le document technique qui accompagne l’article de blog de Meta inclut déjà les résultats d’évaluations du modèle de langage par rapport aux discours haineux et des contenus toxiques.
Néanmoins, Pineau affirme qu’« il reste encore beaucoup à faire ». Et au lieu de soumettre le modèle sous l’examen des laboratoires de recherche fermés, l’entreprise préfère se tourner vers tous les chercheurs. Enfin, le choix d’une licence non commerciale s’expliquerait aussi par un désir de maintenir l’intégrité et d’éviter l’usage abusif
- Partager l'article :
