Data centers, IA et énergie

L'intelligence artificielle (IA) est en train de réclamer des ressources inimaginables pour fonctionner.

• Il lui faut des données en quantités effroyables pour l'apprentissage profond.

• Il lui faut tant de processeurs que l'industrie microélectronique est incapable de les fournir actuellement.

• Il lui faut tant d'énergie qu'il faudra mettre les data centers à côté de centrales nucléaires
  oui, bon, d'accord, des centrales à gaz, c'est plus rapide à construire

• Et en même temps il faut refroidir les puces, évacuer la chaleur produite, dans des quantités à rendre jaloux le réchauffement climatique

• À la fin, ou plutôt au début, il faut des investissements colossaux.

Toute cette croissance engendre évidemment des risques importants.

L'intelligence artificielle requiert énormément de calculs, ça se voit bien dans la taille des serveurs et leur consommation électrique. Il parait donc naturel de se pencher sur ces calculs afin de voir si on ne pourrait pas faire mieux.

C'est là que ça devient difficile à comprendre, et je n'y échappe pas. Je vais quand même essayer de vous expliquer ça.

On devrait plutôt appeler l'IA "apprentissage profond", car le côté intelligence ne ressort pas vraiment.

On peut voir l'IA comme une espèce de boite avec des entrées (ce que vous demandez) et des sorties (la réponse générée). À l'intérieur de la boite, il existe un réseau de connexions, chaque nœud étant un neurone.

L'apprentissage profond consiste à calculer la réponse de chaque neurone, et pour ça on va entrainer le réseau en lui présentant des entrées dont on connait la réponse en sortie. C'est la partie très longue et difficile à programmer, je n'entrerai pas dans les détails (parce que je ne pourrai pas vous expliquer tout ça). Cette opération est faite une bonne fois au début. Plus tard, en exploitation, le réseau pourra éventuellement continuer à s'entrainer, mais c'est secondaire.

Et voilà, votre réseau est programmé, vous le mettez en exploitation.

À chaque requête, vous allez présenter une entrée, et un processeur va se peler les calculs pour chaque nœud afin d'obtenir la réponse en sortie. C'est cette opération qui requiert de la puissance parce que vous n'aimez pas attendre, quelques secondes c'est déjà beaucoup !

C'est là qu'on peut se demander si on ne pourrait pas réaliser ces calculs d'une autre manière.

Vu de loin, la machine d'Ising présente un fonctionnement similaire, mais marche différemment. À chaque nœud, on place un bit dit probabiliste, qui sera piloté par le hasard avec une probabilité imposée par des coefficients. L'idée est d'adapter les coefficients pour que la machine converge vers la réponse souhaitée, généralement un minimum d'énergie.

J'introduis tout ça dans une autre page. Retenez pour l'instant qu'on peut remplacer le neurone par un bit probabiliste, souvent appelé p-bit, et que cela pourrait exiger nettement moins de calculs, et être plus rapide (mais c'est très discutable). Et de nombreuses possibilités existent concernant la réalisation du bit probabiliste.

C'est là que certains pensent avoir trouvé l'idée révolutionnaire pour réduire le problème énergétique de l'IA.

Par exemple, la société Extropic appelle ça le « thermodynamic computing » et vous explique qu'ils avaient raison d'aller dans cette direction.

Sauf que c'est difficile à saisir, même si leurs explications sont effectivement justes. Il existe un flou singulier lors de la mise à l'échelle, avec beaucoup de nœuds.

Les p-bits ne sont pas spécialement nouveaux, et pas mal de papiers proposent des constructions avec une source d'aléa reliée à des processeurs pour itérer. On les appelle aussi « probabilistic learning machines ». Ou encore « Thermodynamic AI » chez Normal Thermo Research où leurs explications sont peut-être plus claires.

Purdue University étudie et propose des solutions à p-bits depuis un bon moment.

Pour rendre les choses encore plus confuses, on peut réaliser ce genre d'opérations avec un ordinateur quantique genre D-Wave, où l'aléa provient du quantique, mais le quantique possède en plus une propriété singulière, l'intrication, qui revient à avoir des interconnexions entre nœuds "natives".

Et ce n'est pas tout, il existe également une version analogique, les s-units. Mais bon, cette version est nettement moins répandue.

Du coup, j'ai tenté de comprendre, et je suis arrivé à la conclusion que ce genre de solutions pourrait marcher pour certains problèmes, avec relativement peu de nœuds, parce qu'à chaque nœud, il faut réaliser un calcul, et que cette histoire-là suit une progression exponentielle du nombre de nœuds (il existe de plus en plus d'interconnexions possibles). Alors ça se passe mal quand ça grossit.

Vous verrez que je me suis focalisé sur un problème particulier qui est la factorisation, car si on pouvait factoriser facilement des grands nombres, le chiffrement RSA serait mis à mal.