La course effrénée aux modèles d’IA toujours plus gros touche ses limites : l’industrie repense ses stratégies pour rester performante.
Depuis le lancement de ChatGPT, la taille des modèles est devenue un enjeu clé pour l’IA. De ce fait, OpenAI et d’autres acteurs de l’IA générative ont multiplié les efforts pour créer des modèles toujours plus performants.
Orion, le prochain modèle d’OpenAI, pourrait ne pas répondre aux attentes élevées. Annoncé par The Verge pour décembre 2024, puis démenti par Sam Altman, Orion ne représenterait pas un saut spectaculaire. Contrairement au bond observé entre GPT-3 et GPT-4, ce modèle ne promet pas d’améliorations significatives, notamment pour des tâches complexes comme la génération de code. Cela remet en question les fameuses « lois d’échelle » qui ont guidé le développement des modèles.
Les limites des lois d’échelle
Les lois d’échelle suggèrent que plus un modèle est gros, plus il est performant. Pourtant, Orion semble défier cette idée. Tadao Nagasaki, responsable d’OpenAI au Japon, vantait récemment ces lois pour prouver la progression constante des modèles. Désormais, même certains chercheurs d’OpenAI admettent que la croissance exponentielle n‘apporte pas les bénéfices escomptés.
Des ressources de texte de plus en plus rares
Les entreprises d’IA générative pourraient avoir épuisé les ressources textuelles de qualité disponibles. Cela complique leur mission d’améliorer leurs modèles en continu. L’entraînement de modèles gigantesques nécessite des données abondantes, mais les sources commencent à se tarir. Cette rareté oblige à des choix coûteux et augmente la consommation d’énergie et les dépenses associées. Le modèle du « toujours plus gros » ne semble plus viable à long terme.
Face à ces limites, les entreprises explorent d’autres solutions. OpenAI, par exemple, teste de nouvelles méthodes pour améliorer les modèles. Des chercheurs de Google et de l’université de Berkeley ont étudié des techniques d’optimisation pendant l’inférence, lorsque l’IA interagit avec les utilisateurs. OpenAI a ainsi optimisé GPT-4o en s’appuyant sur ces recherches. Cela révèle une volonté de privilégier l’efficacité à la taille brute.
Les sparse autoencoders
OpenAI utilise les sparse autoencoders pour identifier les éléments cruciaux dans ses modèles. Cette méthode réduit la consommation de ressources tout en maintenant la performance. L’idée est d’optimiser les réponses sans dépendre de modèles énormes. Cependant, cette stratégie exige encore de nombreux ajustements et des recherches continues pour relever le défi des performances.
NVIDIA et la puissance de calcul
Cette évolution pose des questions sur le rôle de NVIDIA dans l’industrie de l’IA. Le producteur de GPU a prospéré grâce à la demande en puissance de calcul. Mais si les modèles cessent de grandir, la demande pourrait se stabiliser. Cela pourrait décevoir certains investisseurs qui misent sur une croissance infinie des besoins en calcul. L’industrie pourrait devoir s’adapter rapidement à ce nouveau paradigme.
La course à la taille semble toucher un plafond et force l’industrie à s’adapter. L’ère du « plus c’est gros, mieux c’est » s’achève peut-être. Les entreprises doivent se concentrer sur des optimisations intelligentes pour rester compétitives. L’avenir de l’IA générative dépendra de leur capacité à innover autrement que par la simple augmentation de la taille des modèles.
- Partager l'article :
