La seconde loi de la dynamique de l'information

J'ai déjà introduit la thermodynamique et son fameux second principe dans d'autres pages, que je vous recommande de lire en préambule afin d'avoir une maigre chance de comprendre ce que je vais raconter ici.

J'ai également introduit l'entropie de Shannon où j'ai commencé à parler de l'information classique et quantique, et qui contient déjà les prémisses de ce qui m'énerve, que je vais développer un peu plus ici afin de mettre en exergue et appuyer là où ça fait mal, concernant tous ces papiers parfois fumeux sur la dynamique de l'information information dynamics en anglais.

Voyons de plus près cet article qui a l'air d'avoir tapé dans l'œil des journalistes à sensation.

On se rend vite compte que l'article scientifique repose sur un autre article plus ancien, qui lui-même repose sur un autre article encore plus ancien :

Commençons par l'article assez court sur la masse de l'information. Ça nous donnera une idée de ce que pense l'auteur.

L'article serait une démonstration de l'équivalence M-E-I, à savoir que la masse, l'énergie ET l'information sont des choses équivalentes. Pour les deux premières, c'est connu depuis des lustres, on a même une formule assez célèbre.

Mais pour l'information, c'est nettement plus suspect. L'article conclu que :

Une information seule aurait une masse ? Avec une valeur particulière en fonction de la température ? C'est difficilement crédible et acceptable, il faudrait commencer par définir ce qu'est l'information, et là, il y a moins de monde.

Au passage, et pour énerver, notez que si la masse de l'information dépend de la température, on va rigoler un moment avec les variations. Au zéro absolu, elle disparait ? Et quand on fait cuire nos mémoires, elle augmente ? Voilà un concept qui va nous amuser.

Je dis ça, je dis rien.

Dans l'article, l'auteur considère une mémoire informatique qui est en fait juste une collection d'atomes organisés de manière ad-hoc (donc un système physique, heureusement). Et pour modifier l'état du système, il faut immanquablement injecter de l'énergie car on effectue une opération irréversible (dans le sens où si on laisse le système isolé ensuite, il ne risque pas de revenir dans son état antérieur).

On sait depuis longtemps qu'il faut dépenser une certaine énergie sous forme de chaleur pour effectuer une opération irréversible, c'est de la thermodynamique. Dans le cas présent, c'est au minimum kT ln2 (k constante de Boltzmann, T température, ln2 parce qu'on manipule un bit).

Une "information" seule dans son coin n'a absolument aucun sens, vu qu'elle ne peut être interprétée que dans un contexte donné. Il faut donc ajouter ce contexte au système (fermé) pour que nous commencions à discuter éventuellement d'une masse de l'information.

L'auteur indique qu'il faut un travail externe d'au moins kT ln2 pour placer un point-mémoire dans un état défini (ce qui est généralement accepté), et que son effacement relâchera la même énergie sous forme de chaleur.

L'effacement est un concept très particulier dans le cas des mémoires. En effet, par exemple pour nos mémoires dynamiques de PC qui stockent l'information sous la forme d'un paquet d'électrons dans une capacité, tant que la mémoire est alimentée elle contient de l'information. Il n'y a pas vraiment d'effacement.

L'auteur prend l'exemple d'une mémoire magnétique où l'effacement serait un état où il n'y aurait aucune magnétisation. Eh bien c'est crétin, car ce cas particulier est une mémoire à trois états, un pour chaque sens magnétique + un pour aucune magnétisation. Et ça change notablement sa démonstration. D'ailleurs, il existe une infinité de directions de magnétisation (ne venez pas m'embêtez avec le quantique), et donc une infinité d'informations, c'est juste que technologiquement c'est difficile à lire et écrire...

Du coup, son système décrit dans la figure 3 ne risque pas de marcher... Sa proposition d'effectuer la mesure avec nos balances les plus précises est vouée à l'échec, ou plutôt, on vérifiera que de l'énergie est effectivement stockée dans la mémoire, mais ça ne prouvera pas qu'il s'agit du poids de l'information.

Évidemment, une fois que l'on dit que cette énergie kT ln2, c'est de la masse grâce à la formule d'Einstein mc², c'est facile d'en déduire que l'information possède une masse. Encore faudrait-il que cela ait un sens. Que l'énergie soit stockée dans la configuration physique du point mémoire, cela parait normal.

Voici un exemple de réalisation qui met à mal cette théorie foireuse de la masse de l'information.

Et le concept d'effacement, à défaut de bien définir ce qu'est une information, est vraiment à préciser si on veut parvenir à progresser dans cette histoire de masse de l'information.

Le plus pénible sera de voir comment on efface quelque chose d'une manière physique, car ce qui ne veut rien dire pour une entité (l'information est effacée) peut avoir un sens pour une autre. Perso, à part laisser l'entropie thermodynamique bosser pour introduire un vrai désordre de partout, je ne vois pas comment faire. Ce qui implique que rien que la matière solide est déjà de l'information...

Et je ne crois pas une seconde que l'on va créer de la masse ou de l'énergie rien qu'en créant de la mémoire. Les usines de production de mémoire et nos data centers finiront par devenir des trous noirs. Mais non, je rigole.

Ce qui n'empêche pas la théorie de l'information d'être pertinente et utile. Elle l'est surtout quand on discute "transfert d'information", autrement dit quand on transfère la valeur d'un point mémoire vers un autre endroit où un autre point-mémoire pourra servir de point de comparaison.

Ça pète !

Ce n'est pas parce que son auteur s'est vautré dans son article sur la masse de l'information que son histoire de seconde loi n'est pas bonne. Laissons-lui une seconde chance.

Je vous encourage à lire l'article sur le second principe de l'infodynamique (je ne sais pas trop comment appeler ça), car nous allons reprendre les principales réflexions.

Voici la traduction en français du résumé de l'article fondateur du 11 juillet 2022 Second law of information dynamics, que j'ai confié au traducteur automatique de Google au moins on ne m'accusera pas de modifier le texte.

Ah tiens, le traducteur de Google s'est plutôt bien débrouillé.

L'auteur se planque (comme Max) derrière des noms plus réputés et plus humbles comme Landauer et Wheeler pour parler de l'information, mais ne dit pas vraiment ce que c'est. Et on vient de voir qu'il s'est vautré dans un article antérieur, alors c'est mal parti.

La plupart du temps, les gens, y compris les scientifiques, se raccrochent à nos mémoires informatiques qui existent dans nos PCs. C'est effectivement très important de manipuler correctement ces bits d'information, d'ailleurs l'informatique s'appelle data processing en anglais.

Sauf que ces mémoires reposent forcément sur une organisation spécifique d'un groupe d'atomes, souvent très large. On aimerait certes qu'un bit soit inscrit dans un atome unique ─il reste encore beaucoup de progrès à faire.

Et là, ça ne rate pas : pour introduire l'entropie de l'information, l'auteur nous propose une mémoire physique tout ce qu'il a de plus banal. Il prend une mémoire vierge, et écrit une information dedans, et introduit de l'entropie. L'entropie va forcément augmenter, au mieux rester constante, d'après le second principe (si on définit bien notre système fermé).

Comme il prend un point mémoire magnétique, au bout d'un certain temps, la magnétisation se perd du fait de l'évolution dans le temps de ce genre de système, le second principe implique que ce système ordonné au départ devient désordonné, et on va perdre la jolie information que l'on avait écrite (qui n'a de sens que dans un contexte donné, rappelons-le).

Rien de neuf sous le soleil.

Et là l'auteur en déduit LA seconde loi de la dynamique de l'information : l'entropie de l'information est constante ou diminue.

Pour commencer, il l'exprime fort mal car il faudrait au moins indiquer explicitement et systématiquement qu'il s'agit d'un système fermé, vu qu'il part d'un système physique fermé.

Alors effectivement, l'auteur a raison quelque part, l'information ne peut que disparaitre ─la plupart du temps. C'est comme en thermodynamique, la probabilité de voir apparaitre un état particulier d'un système n'est pas nulle, mais tellement faible que l'on a déduit le second principe (qui n'est pas une loi au passage). D'ailleurs, dans le magnifique point mémoire magnétique proposé, la probabilité que l'information apparaissent de nouveau "spontanément" n'est pas nulle. Mais bon, ça n'a pas l'air de lui traverser l'esprit.

Mais c'est complètement naïf comme invention.

L'auteur a juste donné une nouvelle apparence au second principe de la thermodynamique. Et pas l'inverse.

La suite de l'article est au mieux évidente, mais pas vraiment nouvelle. Évidemment que l'entropie d'un système génétique va augmenter, et avoir toutes les conséquences décrites dans l'article. L'information n'a pas grand-chose à y voir, et pour qu'elle ait un sens, il faut ajouter quelque part dans le système de quoi l'interpréter. Relisez son article sous cet angle, et vous verrez que son raisonnement est bancal.

Les nucléotides suivent le second principe de la thermodynamique et c'est tout. Après, on peut utiliser de l'information pour aider la compréhension, mais bon, c'est juste un moyen, certainement pas une loi.

Le dernier article publié est provocateur en faisant entendre que notre univers ne serait qu'une simulation. Cela a marché puisque des journaleux en mal de sensationnel ont osé reprendre les éléments de l'article, au mieux en utilisant le conditionnel.

Je suis même surpris que l'article ait pu être publié avec autant d'éléments imprécis, non étayés, les reviewers devaient être en vacances...

On remarquera que l'article fait du copier/coller des articles précédents, ce qui n'est pas bon signe, mais qui va simplifier la lecture. On peut donc passer directement au chapitre IV.

Le chapitre IV concerne la règle de Hund, un vieux truc concernant le remplissage des couches électroniques dans un atome. Et là, ça craint, car l'auteur aborde la mécanique quantique, et vu comment il a compris les histoires d'information, on peut raisonnablement s'inquiéter.

Mais bon, sa fameuse loi est en fait dérivée des principes de la thermodynamique, l'énergie dépensée est minimale, l'entropie augmente, alors c'est un peu normal de retrouver ces résultats...

Pour que sa loi devienne fondamentale, il faudrait qu'il en déduise le second principe de la thermodynamique, et là, on est peinard pour un moment. Si le monde était totalement digital, ça se saurait. Déjà, il est quantique, et c'est bizarre (et compliqué).

Puis le chapitre V s'attelle à la cosmologie. Voilà qui m'intéresse !

Quand on s'attaque à l'évolution de l'univers, eh bien c'est délicat, on n'arrive généralement à "pas grand chose" car les temps mis en jeu sont vraiment considérables. Je le sais pour avoir tenté de comprendre si l'entropie serait le bourreau de l'univers. Alors ajouter, ou remplacer par la seconde loi de la dynamique de l'information, ça m'intéresse.

L'auteur commence par indiquer que forcément, l'entropie de l'univers est constante car il n'échange pas de chaleur avec autre chose, puisqu'il s'agit de tout l'univers. Mais il remarque qu'il est en expansion, et donc l'entropie augmente de ce simple fait. Du coup, c'est l'aubaine car il faut compenser cela pour garder l'entropie constante. Et sa seconde loi va le faire.

C'est déjà assez pénible de constater qu'un univers adiabatique, sans échange de chaleur, devrait avoir une entropie constante alors que l'intégralité des particules de l'univers se sont mises d'accord pour être de plus en plus désordonnées, et donc augmenter l'entropie. Alors ajouter une nouvelle entropie pour la compenser, ça tombe bien, trop bien. Surtout quand on a constaté qu'elle dérivait en fait du second principe, ça se mord la queue. Et aucun moyen de vérifier quoi que soit, alors c'est facile à dire.

Pourquoi les symétries dominent l'univers ? Telle est la question que se pose l'auteur, et on devine comment il va arriver à y répondre avec sa loi.

D'abord, si on constate pas mal de symétries, ce n'est pas pour ça qu'elles "dominent l'univers". Ce serait même l'inverse si on laissait faire totalement l'entropie et son évolution vers le désordre.

Puis on sait bien que le principe d'économie d'énergie domine, c'est pour ça que les étoiles sont sphériques, comme les bulles de savon. Le second principe de la thermodynamique traine forcément dans le coin... Comme la seconde loi de la dynamique de l'information de l'auteur en découle, on le voit venir avec ses gros sabots.

Évidemment que la symétrie présente une réduction de la quantité d'information pour décrire un système. Et donc forcément que si on applique sa seconde loi, alors une symétrie sera une forme privilégiée vers laquelle le système évoluera... Sauf que sa définition de l'information est bancale, voire inexistante. L'auteur oublie que cette information n'a de sens que dans un contexte. S'il n'existe personne pour constater, utiliser, modifier cette information, ce qui est le cas de l'univers entier, eh bien rien ne s'applique...

Je vais rappeler ici éléments de bon sens bien sentis pour aller plus loin si vous voulez creuser ce sujet.

Il existe plein de formes d'information, tellement que c'est le bazar pour savoir de quoi on parle.

Par exemple, une particule qui se déplace dans l'espace-temps pourra être décrite avec certaines informations, du genre position/vitesse/accélération en fonction du temps, ces éléments n'étant inscrits nulle part.

Ce n'est généralement pas cette forme d'information qui est concernée dans les papiers relatifs à la théorie de l'information. C'est plus prosaïque, et pour cause, on veut pouvoir manipuler cette information, ou voir comment la manipuler. C'est déjà bien la zone quand on discute du démon de Maxwell...

Retenez-en au moins deux qui sont souvent concernées, et vous permettront d'avoir l'air intelligent en réunion :

• Les informations classiques quasiment toujours binaires de type stockées dans un point mémoire, comme la mémoire du PC que vous utilisez pour lire ces lignes.
• L'information quantique, plus délicate à saisir. Un exemple simple est un qubit dont la fonction d'onde interdit toute perte spontanée d'information, autrement dit il DOIT suivre sa fonction d'onde, elle est indestructible (mais elle peut se transformer lors d'interaction).

La théorie de l'information concerne principalement les informations binaires. Dans le meilleur des cas, on fera intervenir un point mémoire, qui peut basculer d'un côté ou de l'autre en suivant des histoires de processus réversibles ou irréversibles, requérant une certaine énergie (minimale).

N'oubliez jamais que ces points mémoires sont forcément une collection d'atomes, souvent très nombreux, avec des électrons qui interagissent ou sont stockés (ça ne s'appelle pas de l'électronique pour rien), et qu'à la base, cette collection de particules suit bêtement les lois de la thermodynamique. Et qu'il n'existe pas de notion d'information, c'est littérallement une vue de l'esprit.

Pour l'information dite quantique, si on vous parle de thermodynamique en même temps, méfiez-vous. Au mieux, ça deviendra vraiment compliqué pour revenir aux fondamentaux.

C'est écrit ci-dessus, mais je veux enfoncer le clou pour que les gens qui discutent théorie de l'information et entropie/énergie n'oublie pas cette histoire de contexte.

• Un point-mémoire seul dans son coin ne contient aucune information.
• Seul un contexte permettra d'utiliser une information stockée dans ce point mémoire. Et cela requiert forcément un pendant, un second point-mémoire avec lequel on pourra comparer l'information stockée dans le premier point-mémoire afin de pouvoir effectuer une action.

Donc ne parlez jamais d'un point-mémoire sans introduire au minimum un second point-mémoire dans le système. Ce second point-mémoire pourra prendre diverses formes, il s'agit souvent implicitement de votre cerveau dans de nombreux papiers où les auteurs ne sont pas foutus de comprendre ce qu'ils manipulent. Mais cela peut être également "un système" dans un sens général qui utilisera ce point-mémoire, par exemple un circuit de lecture qui donnera sa valeur (qui sera stockée où ?).

Sans le contexte, il ne fait aucun sens de parler d'information. Même s'il est très simple, indiquez de quoi il s'agit !

Vous l'avez à présent compris, cette histoire d'information n'est pas si triviale et souvent malmenée.

Quand on étudie la thermodynamique où des particules interviennent ─ce qui est souvent le cas car les thermodynamiciens les adorent, souvenez-vous que l'on pourrait utiliser des symboles du genre "0" et "1" (ben oui, du binaire quoi) pour décrire le système.

Par exemple, on indique si une particule est présente ou absente dans un endroit donné. Du coup, on peut faire de la thermodynamique qui ressemblera à de la théorie de l'information, mais fondamentalement, ça ne changera rien à la physique, c'est juste une manière de décrire les choses.

Par exemple, considérez 5 atomes dans une boite que l'on divise (mentalement) en deux parties :

On peut affecter un code binaire à 5 bits pour décrire un état microscopique, ici 11111 car les 5 atomes sont tous à gauche. Ainsi, le code 10110 indiquera 3 atomes à gauche et 2 à droite (atomes discernables ?).

Accessoirement, cela pourrait être une mémoire classique si on savait détecter la position de ces atomes, ce qui n'est qu'un problème technologique, pas physique... Méditez là-dessus à propos de la masse de l'information. Avec beaucoup d'atomes.

On verra alors que les histoires d'entropie, qui augmente quand on discute désordre, peuvent aussi se transformer en une autre sorte d'entropie qui décroit quand on parle "information binaire". C'est la même chose.