Plusieurs médias spécialisés rapportent qu’Orion, le successeur de GPT-4 d’OpenAI, ne semble pas répondre aux attentes des experts en IA. Pourtant, la firme se vente être à deux doigts d’atteindre l’AGI. Sauf qu’après les tests initiaux, les résultats révèlent des progrès plus modestes par rapport au passage de GPT-3 à GPT-4. Parallèlement, les chercheurs affirment que ce dernier modèle de langage ne présente aucune amélioration dans certaines tâches, en particulier en codage. Mais peut-être qu’il est destiné à un autre tâche plus spécifique… En tout cas, on commence à connaître les limites des modèles d’IA actuels.
Je tiens tout de même à noter que même Google n’a pas pu tenir sa promesse en termes de performances malgré la sortie de la dernière version de Gemini.
Quant à Anthropic, elle a encore du mal à lancer Claude 3.5 Opus, bien que la version Sonnet soit déjà disponible.
Les approches traditionnelles ne suffisent pas
Le blocage et les limites de ces IA semblent cependant se généraliser. Quitte à dire que la méthode d’amélioration traditionnelle des modèles d’IA, c’est-à-dire l’augmentation d’échelle, a atteint ses limites.
Aussi, le développement de grands modèles de langage reste toujours onéreux, alors que l’approche qu’ont adoptée les entreprises ne semble pas porter ses fruits.
À ce rythme, la progression vers l’AGI, objectif actuel de Sam Altman et de ses équipes, pourrait être compromise.
Et comme l’a indiqué la directrice scientifique chargée de l’éthique chez Hugging Face, Margaret Mitchell, nous assistons aujourd’hui à l’explosion de la bulle de l’AGI.
« Nous devons déjà penser à trouver et à adopter d’autres méthodologies si nous voulons atteindre les capacités cognitives comparables à celles des humains », a-t-elle ajouté.
Cela dit, le fait d’agrandir les modèles actuels n’est pas suffisant puisque cette approche implique l’augmentation de ses puissances de calcul, et donc l’ajout de plus de données d’entraînement.
Or, cela veut dire qu’on aura besoin de plus de ressources énergétiques qui ne sont pas du tout tarifés à moindre coût.
Alors comment faire ? Y a-t-il des alternatives moins coûteuses ?
Peut-être que oui, peut-être que non ! En tout cas, Microsoft, de son côté, tente de redémarrer des centrales nucléaires. Cela dans le but d’alimenter ses centres de données malgré l’épuisement des données d’entraînement.
Pour y remédier, l’entreprise dirigée par Satya Nadella utilise des données synthétiques générées par ordinateur.
Sauf que ce n’est pas du tout la meilleure approche, étant donné que la qualité des données est primordiale et que Microsoft a du mal à en obtenir.
Outre la pénurie de données, les entreprises se confrontent également à la hausse du coût de développement des modèles. Un prix qui s’élève aujourd’hui à 100 millions de dollars. Soit un prix estimé à 10 milliards de dollars par modèle d’ici 2027 selon Dario Amodei, PDG d’Anthropic.
La tendance se généralise et les limites de l’IA se confirment
Récemment, Anthropic a mis à jour ses modèles Claude cette année et a lancé Claude 3.5 Sonnet. Par contre, l’entreprise semble avoir mis en pause le développement du modèle Opus.
On ne s’attend donc pas à une prochaine sortie. Surtout quand OpenAI a supprimé de son site web les références à un prochain déploiement.
Et même avec la sortie de Claude 3.5 Haiku, les améliorations restent peu satisfaisantes. Ce qui prouve encore une fois l’impact du coût d’exploitation des modèles sur leurs capacités.
Chez Google, les ingénieurs se confrontent à la même situation. Gemini, son modèle phare, peine d’ailleurs à atteindre ses objectifs.
Malgré ses blocages, on ne peut pas dire que les projets de Google et d’OpenAI sont voués à l’échec.
Leur cas, bien qu’ils soient généralisés, suggèrent fortement un ralentissement du rythme de progression technologique dans le domaine de l’IA. Ce qui n’était pas le cas pendant la décennie précédente.
- Partager l'article :
