dans

Comment entraîner l’IA en deux fois moins de temps ?

Entrainer l'IA en moins de temps

Cette technique simplifiée permet d’entraîner les modèles d’IA en deux fois moins de temps.

Généralement, un grand modèle d’IA se traduit par une grande consommation d’énergie et de grosses sommes d’argent. Ces dépenses peuvent désormais être réduites à moitié grâce à une approche simple basée sur les mathématiques. De plus, cette découverte pourrait aider les chercheurs en IA à mieux comprendre le fonctionnement du cerveau.

La rétropropagation pour former les modèles d’IA

L’intelligence artificielle évolue à grands pas et les modèles grandissent jour après jour. Mais plus ils grandissent, plus ils sont gourmands en ressources informatiques et en énergie. Des chercheurs de l’université d’Oxford ont trouvé le moyen d’entraîner ces systèmes d’IA en deux fois moins de temps. Pour comprendre comment ça marche, revenons d’abord sur la méthode connue.

Un système d’IA, et plus précisément de machine learning, correspond à des réseaux de neurones artificiels conçus pour imiter le cerveau humain d’une certaine manière. La formation de ces réseaux utilise un algorithme dit « de rétropropagation ».

Le processus de rétropropagation se divise en deux phases. D’abord, le réseau est alimenté de données pour effectuer des prédictions grâce aux connexions entre les différents neurones. À l’aide des mesures de précisions de ces prédictions, la deuxième phase consiste à réajuster les connexions pour améliorer les performances. En d’autres termes, l’algorithme effectue une itération en arrière depuis la dernière couche pour minimiser les erreurs.

Entraîner l’IA en deux fois moins de temps

La nouvelle approche des chercheurs d’Oxford consiste tout simplement à éliminer la deuxième étape de la rétropropagation. Pour réduire le temps à moitié, l’algorithme prédit lui-même les modifications nécessaires après la première phase. De ce fait, le passage en arrière devient inutile.

Selon les chercheurs, les approximations calculées par l’algorithme permettraient d’atteindre des performances proches de celles de la rétropropagation. Ils ont également démontré la possibilité de modifier les différents algorithmes ML standard pour les adapter à cette nouvelle méthode. Par conséquent, entraîner les modèles d’IA pourrait prendre deux fois moins de temps, mais en plus, cela pourrait conduire à des gains de performance supplémentaires.

Revenons sur le fait que les réseaux neuronaux visent à reproduire le fonctionnement du cerveau. Notons, cependant, que le processus de rétropropagation ne s’applique pas au cerveau. En effet, les connexions entre les neurones biologiques ne vont que dans un sens. Aussi, cette nouvelle approche qui ne nécessite qu’un passage en avant pourrait être un meilleur moyen d’imiter le fonctionnement des synapses.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.