Cerebras CS-2 : la plus grande puce d’IA au monde ? -

Cerebras CS-2 serait la plus grande puce d’IA au monde en matière de taille et de capacité.

Cerebras Systems a annoncé avoir développé une solution d’intelligence artificielle à l’échelle du cerveau humain. Selon eux, cette puce d’une taille hors du commun prendrait en charge cent fois plus de modèles d’IA que les dispositifs les plus courants.

Cerebras CS-2, une puce d’IA qui surpasse le cerveau humain

Dans leur annonce, Cerebras Systems prétend avoir créé la première solution d’IA de la taille du cerveau humain et même plus. En effet, le cerveau d’un homme présente environ 100 milliards de synapses. Le système CS-2 lui serait capable de prendre en charge des modèles d’IA de 120 milliards de paramètres, selon Cerebras. Quant aux grappes de GPU qui sont les plus courantes pour les charges de travail d’IA, elles se limitent généralement à 1 milliard de paramètres.

Pour débloquer sa performance, CS-2 peut se déployer à l’aide d’un système unique de 850 000 cœurs. La puce est également composée de 46 225 mm2 de silicium et de 2,6 milliards de transistors regroupés sur un processeur de 7 nm. Néanmoins, pour avoir de meilleurs résultats, il peut répartir les charges de travail sur 192 systèmes CS-2 avec 162 millions de cœurs optimisés pour l’IA.

Les défis du système CS-2

Étant intégrée dans un seul système CS-2, la puce de Cerebras peut limiter la taille des modèles d’IA malgré sa mémoire abondante. Initialement, elle dispose de 40 Go de mémoire SRAM intégrée. Afin d’exécuter des modèles d’IA « à l’échelle d’un cerveau », selon leurs termes, les développeurs ont rajouté une armoire de mémoire externe.

Par ailleurs, la puce offre 20 Po de bande passante mémoire et bénéficie de 220 Po d’interconnexion. Cela complique la communication entre plusieurs puces, étant donné que la totalité de la charge de travail est généralement partagée entre les processeurs. De plus, la puissance de calcul du système CS-2 entraîne une consommation d’énergie de 15 kW. Autrement dit, une mise à l’échelle des performances sur plusieurs puces présente également une difficulté.

Par conséquent, Cerebras a mis au point un système qui permettrait une mise en réseau. Il implique le stockage des paramètres du modèle dans des blocs de mémoire hybride, MemoryX. Ensuite, des commutateurs SwarmX qui peuvent prendre en charge jusqu’à 32 systèmes CS-2 les relient aux blocs MemoryX.