Les deux dernières semaines ont été marquées par le coût de développement de DeepSeek qui n’était que de moins de 6 millions de dollars et qui a impacté le marché de l’intelligence artificielle. Les géants comme OpenAI, Google et Nvidia ont même vu leur valeur en bourse diminuer. Aujourd’hui, l’Université de Californie, par le biais de Jiayi Pan, ont fait une découverte qui pourrait changer la donne et mettre fin à la tempête DeepSeeK. Pour seulement 30 $, ils ont pu recréer DeepSeek et toutes ses fonctionnalités, en particulier le modèle R1-Zero.
En ce qui concerne les performances de cette copie de DeepSeek, il faudra attendre les résultats des tests et les avis des experts pour pouvoir confirmer si elle arrive à surpasser DeepSeek.
Ce que l’on peut retenir de cette situation, c’est comment la transition entre le paradigme traditionnel dans lequel l’IA repose sur une puissance de calcul massive et des infrastructures de centres de données coûteuses vers une approche plus économique.
« On a recréé DeepSeek pour 30 $ et ça marche tout simplement »
À titre d’information, l’équipe dirigée par Pan a récemment publié sur X les résultats de leurs recherches sur cette copie de DeepSeek à 30 $.
D’après la publication, le travail s’est surtout concentré sur l’entraînement du modèle qui est basé sur un jeu de compte à rebours, soit un exercice mathématique où les participants doivent construire des équations pour atteindre un résultat cible en utilisant un ensemble de nombres donnés.
Pan explique d’ailleurs que le modèle, au début de l’opération, fournit encore des réponses approximatives.
Mais au fur et à mesure où il s’entraîne, le modèle peut développer ses capacités de manière progressive.
Par conséquent, pour fournir au modèle une aptitude de révision et de recherche, l’équipe de Pan a opté pour l’apprentissage par renforcement.
Et comme l’a indiqué Pan dans sa déclaration, le modèle fonctionne et est déjà disponible sur GitHub sous le nom de TinyZero.
Vous pouvez donc, en tant que développeur, apporter votre contribution pour apporter des améliorations sur cette copie de DeepSeek à seulement 30 $.
This blew my mind.
— MatthewBerman (@MatthewBerman) February 2, 2025
PhD student Jiayi Pan reproduced the emergent “thinking” behavior in a 1.5b model using the DeepSeek R1 technique for just $30.
This means we can give “thinking” to pretty much any model!!
I broke down the findings in my YouTube video below 👇 https://t.co/j36RgtKxsa
L’open source est-il l’avenir de l’IA ?
Savez-vous que le modèle R1 de DeepSeek compte 671 milliards de paramètres ? Et que le modèle R1-Zero est à seulement 3 milliards de paramètres ?
Il y a donc une très grande différence entre ces deux modèles. Et si les l’équipe de Pan arrive à vraiment recréer DeepSeek, même le modèle R1-Zero, cela veut dire que les développeurs open source tient l’avenir de l’IA aux creux de leurs mains.
Aussi, comme DeepSeek, cette recherche de l’Université de Californie pourrait prouver la non-nécessité des infrastructures et des investissements valant des milliards de dollars pour développer un seul modèle d’IA.
Sur le plan économique, l’onde de choc provoqué par DeepSeek va s’intensifier. Et les grandes entreprises comme OpenAI, Google et Microsoft devraient encore voir leurs valeurs en bourses chuter.
Je me demande pourquoi une équipe de chercheurs arrive à développer un modèle ayant les mêmes performances que ChatGPT pour quelques dizaines d’œufs ? Et pourquoi d’autres, comme OpenAI, ont-ils besoin de plus 500 milliards pour y arriver, alors qu’il y avait une alternative plus efficiente à portée de main ?
- Partager l'article :