La thermodynamique
C'est quand même curieux cette histoire d'irréversibilité, de création d'entropie alors que les forces de bases de la physique ne présentent pas de direction particulière par rapport au temps... La flèche du temps est tapie par là ?
La réponse a l'air de tenir dans le niveau d'observation. Les lois fondamendales s'exercent au niveau microscopique, alors que ce que nous regardons macroscopiquement met en jeu un nombre considérable de particules, et les combinaisons associées sont carrément astronomiques, et c'est un mauvais terme car c'est nettement plus grand qu'astronomique.
Voyons de plus près ces probabilités de micro-états. De plus, il traine une histoire de particules indiscernables ou pas.
Etat macroscopique et micro-états
Soit Ω le nombre de configurations microscopiques (micro-états) donnant un même état macroscopique (macro-état). Plus Ω est grand, plus on a de chance de l'observer. Si tous les micro-états sont également probables, ce que l'on suppose lorsque l'on est à l'équilibre, on peut définir l’entropie simplement (sinon il faut ajouter des probabilités particulières pour chaque micro-état et faire une sommation) :
Où kB est la constante de Boltzmann, qui est reliée au nombre d'Avogadro et à la constante des gaz parfaits par :
Exemple basique
Prenons N particules que l'on place initialement dans la moitié gauche d'un volume.
On ne s'intéresse qu'à l'information "particule à gauche" ou "particule à droite". Alors n'existe qu'un seul micro-état où toutes les particules sont à gauche, et au départ Ωi = 1.
Les particules se déplacent dans tout le volume sans contrainte particulière, sans variation d'énergie. Chaque particule peut alors se trouver soit à droite, soit à gauche, ce qui fait qu'il existe Ωf = 2N micro-états.
La variation d'entropie vaut :
ΔS = kB N ln 2
Et vous avez calculé votre premier accroissement d'entropie, félicitations. Qu'en est-il en termes de probabilité ?
Prenons environ un milliardième de mole, 1015 particules.
Pour vous donner une idée de ce que c'est, une mole d'air occupe, à pression atmosphérique et température ambiante, environ 24 litres (utilisez PV=nRT pour vérifier), et ça nous fait 29 grammes. Alors un milliardième de mole, ça va nous faire un cube de 0,3 mm de côté, ça n'est pas beaucoup et ça ne pèse pas lourd. Mais ça fait déjà beaucoup de particules.
La probabilité d'avoir toutes les particules à gauche prend une valeur ridicule, car le nombre de micro-états possibles prend une valeur gigantesque, 2 à la puissance 1015 (je vous le fais à 10100000000000000), extraordinairement gigantesque même devant le nombre d'atomes dans l'univers (un misérable 1080). On ne risque donc pas de les revoir tous du même côté.
Mais cet exemple est trop simple et nous laisse sur notre faim car on ne regarde que les cas droite/gauche, alors qu'on se doute bien qu'il doit y avoir beaucoup plus de configurations si on divise en plus de cases...
Exemple plus parlant
Voici un exemple suffisamment simple mais plus convaincant.
Nous reprenons nos N particules dans un volume V. Nous divisons ce volume V en p petites boites de volume v = V/p.
Il existe alors pN=(V/v)N façons de ranger nos N particules dans les p boites (on peut avoir toutes les particules dans la même boite, ce qui est certainement très rare).
Maintenant on va calculer le nombre de micro-états dans une configuration non uniforme, où la moitié des particules N/2 occupent un volume un poil plus grand que la moitié du volume, soit V/2+ΔV :
Le nombre de façons de choisir N/2 particules parmi N (sans tenir compte de l'ordre) vaut C(N,N/2) = N! / [(N/2)!(N/2)!]. Le nombre de configurations où N/2 particules occupent un volume V/2+ΔV vaut :
Avec Ω(0) le nombre de configurations possibles pour occuper exactement la moitié du volume.
Le rapport Ω(ΔV) avec Ω(0) va nous permettre de comparer la probabilité d'apparition d'un état non uniforme par rapport à l'état uniforme. Il vaut, si ΔV ≪ V :
Application numérique
- 1015 particules (comme précédemment)
- ΔV / V = 10-6 (1 millionième d'écart)
- rapport Ω(0) / Ω(ΔV) = 101000
Autrement dit, on trouve que l'état où la moitié des particules occupent exactement la moitié du volume arrive 101000 fois plus souvent que l'état où la moitié des particules occupent 0,500001 V, un quart de poil de plus que la moitié du volume.
C'est une valeur tellement énorme que l'on peut être convaincu de ne jamais voir les particules se rassembler dans un coin... Et qu'un système hétérogène isolé évolue de façon plus probable vers l’homogénéité, ce qui crée de l'entropie.
Paradoxe de Gibbs
(entropie de mélange)
Pas vraiment un paradoxe, mais c'est tout de même assez surprenant.
Pour rappel, l'entropie S de n moles de gaz parfait à la température T, occupant un volume V vaut :
avec Cv chaleur spécifique molaire à volume constant, et S0 une constante. On peut faire plus compliqué, mais bon, ce sera suffisant pour ce que l'on veut montrer.
Deux gaz
Dans chacun de deux compartiments de volume V (au total 2V) séparés par une cloison mobile, on place n moles de gaz parfait à la même température, un côté A et l'autre B.
Remarquons que la loi des gaz parfaits implique l’égalité des pressions dans les deux compartiments.
Entropie initiale
Initialement l’entropie est la somme des entropies des deux gaz contenus dans chacun des compartiments :
C'est deux fois la même chose, à la constante près.
On enlève la cloison et on calcule l'entropie finale pour voir la variation. Nous devons distinguer deux cas.
Gaz différents
Les gaz A et B sont différents, les molécules sont discernables, autrement dit on peut leur mettre une étiquette dessus, A ou B (ou une couleur). Par exemple il s'agit de molécules d'oxygène et d'azote.
Une fois le mélange effectué, chaque gaz occupe le volume 2V.
L’entropie vaut :
Et la variation d’entropie :
On observe un accroissement d’entropie dû au mélange des deux gaz, appelée ”entropie de mélange”.
On se doute bien que les gaz A et B ne se sépareront jamais spontanément (jamais on ne reverra toutes les molécules rouges à gauche et bleues à droite), le processus de mélange est irréversible, et l’entropie augmente. L'univers est plus désordonné qu'avant, quand les molécules étaient bien rangées chacune dans leur boite...
Gaz identiques
Il n’est pas possible de distinguer les molécules A des molécules B, c'est en fait le même gaz, les molécules sont indicernables, on ne peut pas mettre d'étiquette dessus, elles sont toutes de la même couleur.
Lorsque le mélange est effectué, nous sommes en présence de 2n moles d’un seul gaz qui occupe le volume 2V.
L'entropie vaut :
La variation d’entropie est nulle :
Le processus est réversible : on peut remettre la cloison, on retrouve l'état initial.
L'entropie n'a pas varié. Tout ça parce que les molécules sont indiscernables.
On notera quand même que l'information concernant l'origine de leur compartiment est perdue. C'est le propre de l'indicernabilité. Mais un être suprême pourrait suivre les molécules et saurait qui est qui...
C'est le genre de remarque qui devrait vous faire réfléchir...
Essayez vous-même sur le simulateur de l'université du Colorado .
Paquet de cartes
Est-ce qu'un paquet de cartes battu a une entropie supérieure à un paquet de cartes neuf "bien rangé" ?
On est tenté de répondre oui ─comme on le voit parfois─, puisque l'ordre a disparu, le désordre a augmenté. Mais pour moi c'est n'importe quoi. C'est juste un point de vue anthropomorphique. Dans un autre univers, le paquet de cartes battu pourrait être considéré comme mieux rangé...
Certes, si on définit qu'il n'existe qu'une seule séquence de cartes "bien rangées", et que toutes les autres ne le sont pas, alors on déduit qu'il n'existe qu'un seul micro-état bien rangé, et une énorme quantité de mal rangés. Alors la probabilité associée est infime pour l'état macroscopique "bien rangé".
Confusion
Les choses deviennent assez confuses, mais on sent bien qu'il existe une espèce de lien entre tout ça :
- Il est difficile de définir bien rangé ou ordonné sans introduire une dose de point de vue humain.
- Ceci dit, le chaos, l'inverse de bien rangé, parait plus évident à comprendre.
- Les lois physiques au niveau microscopique sont réversibles, ce qui est ennuyeux pour faire le lien avec l'irréversibilité observée et constatée macroscopiquement.
Une déduction assez directe de ces observations est le lien avec ce qui est appelé la flèche du temps. On a vite fait de dire que l'entropie, toujours croissante, et bien c'est le temps qui passe toujours dans la même direction.
Il faut évidemment que je ramène ma fraise avec mon avis.
L'irréversibilité et la flèche du temps sont deux choses différentes, et le resteront.
D'abord, le temps s'écoule toujours dans le même sens comme tout le monde peut le constater. Certes, l'entropie aussi ne peut qu'augmenter, mais uniquement pour un système fermé. Localement, on peut la faire diminuer en injectant de l'énergie. Et inverser certaines choses a priori irréversibles (ranger chaque molécule de gaz A et B comme elles l'étaient au départ). Mais remarquez que dans ce cas de renversement, le temps a continué dans le même sens.
Pour le temps, on n'a pas trouvé comment faire pour l'inverser localement, et de toutes manières, ça ferait des trucs bizarres aux frontières. Et j'ai déjà montré un certain nombre de raisons pour lesquelles on ne pourrait pas remonter le temps.
Mais certaines choses sont vraiment totalement irréversibles. Car le déterminisme n'est pas total, il traine de l'aléatoire pur et dur, on le voit bien en mécanique quantique. Est-ce que la mort est irréversible ? On n'a pas encore trouvé.
Pour mieux dépatouiller la situation, il nous faut aborder quelques concepts particuliers.
Le démon de Laplace
— Pierre-Simon Laplace, Essai philosophique sur les probabilités page 4.
C'est le déterminisme pur et dur : si on connait à un instant donné ce qui compose l'univers et les forces associées, alors on est capable de calculer non seulement ce qui s'est passé, mais aussi l'avenir. C'est le démon ou génie de Laplace.
Cette conception déterministe s'est révélée fausse, surtout depuis la mécanique quantique avec la superposition, et les systèmes chaotiques si sensibles aux conditions initiales (voir plus loin). Et ce serait dramatique pour les générateurs de nombres aléatoires et leurs sources d'entropie, et toute la cybersécurité du coup.
Chaos et conditions initiales
Le chaos est assez facile à observer, mais pas si facile à définir, sauf en mathématique : elle indique une sensibilité particulière aux conditions initiales, et c'est purement déterministe ─ce qui peut paraître contradictoire au premier abord.
On parle aussi d'effet papillon pour cette histoire de sensibilité aux conditions initiales (un battement d'aile de papillon peut être à l'origine d'un cyclone ou de tout autre évènement énorme).
Il suffit en effet d'une différence minime comme la cinquantième décimale d'une valeur pour obtenir un résultat complètement différent. C'est très gênant pour le démon de Laplace qui aura un mal fou à remonter le temps, et tombera sur d'autres conditions initiales, pas celles qu'on attendait. Ce sera ennuyeux pour revenir d'entre les morts, non ?
Dôme de Norton
Le dôme de Norton met à mal le déterminisme avec un problème simple, mais étrange. On retrouvera la description originale sur le site de John D. Norton : The Dome: A Simple Violation of Determinism in Newtonian Mechanics.
Il s'agit d'une bille qui va descendre un dôme, sans frottement, possédant une forme un peu particulière, mais même pas compliquée :
La ruse se situe dans la forme car on tombe sur une équation différentielle très simple, et qui accepte diverses solutions mathématiques conformes aux lois de Newton, on est dans le déterminisme le plus pur :
r(0) = 0 (la bille est en haut du dôme au départ)
Il existe une solution évidente : la bille reste en équilibre en haut du dôme.
Mais il existe aussi des solutions plus bizarres :
Autrement dit, la bille attend un temps non déterminé, suivi d'un glissement dans une direction arbitraire. Sans cause apparente ! Alors que si on lance la bille vers le haut et qu'elle s'immobilise, elle le fait dans un temps bien défini.
La bille s'assoit sur la réversibilité. Alors qu'on est dans un système bien newtonien, bien déterministe... Le démon de Laplace a du plomb dans l'aile.
Paradoxe de Loschmidt
L'irréversibilité observée macroscopiquement résulte de ce qui arrive au niveau microscopique, or les particules se déplacent et s'entrechoquent selon des lois bien connues et réversibles dans le temps ! Il suffit de "geler" les particules à un instant t donné, et d'inverser les trajectoires (changer le signe de la vitesse). Alors on va revenir "en arrière", à l'état initial. C'est le paradoxe de Loschmidt.
On a vu que le déterminisme commence à être plombé dans certains cas. Mais c'est insuffisant comme réponse.
À l'époque, Boltzmann aurait répondu “Ziva, renverse-les !” oui bon pas tout à fait ça, c'est pour faire djeuns.
Eh bien justement, on ne sait pas les renverser, car cela suppose, pour commencer, de connaitre dans le détail l'intégralité du système. On est face à un problème d'information, ce qui montre que la théorie de l'information vient s'en mêler, et qu'il va falloir jeter un œil aussi à cet aspect des choses.
Et quand bien même nous connaitrions l'intégralité des informations relatives aux particules, eh bien nous sommes tout simplement incapables, en pratique, devant autant de données, de le reproduire.
Accessoirement, c'est pour les mêmes raisons que la téléportation à la Star Trek ne risque pas de marcher. Too much information...
Dans la même veine, certains essayent de montrer que des corrélations entre particules sont perdues au cours des collisions. Il est vrai que les conservations de l'énergie et de quantité de mouvement sont une grande source de corrélation, forcément, mais bon, ces corrélations sont immédiatement perdues, il n'existe rien qui indique que ces corrélations vont avoir un impact plus tard.
Mais bon, notre incapacité pratique n'est pas une preuve. Si, par miracle, on arrivait à le faire dans un cas spécifique, nous aurions certainement tellement dépensé d'énergie qu'on se doute bien qu'on ne saurait le faire pour des gros systèmes, et encore moins pour une galaxie ou l'univers...
Et de plus, en dépensant de l'énergie, on sait que l'on peut diminuer localement l'entropie, ça ne prouverait rien.
À mon avis, s'arrêter au temps t, inverser toutes les vitesses, et laisser reprendre les choses aura peu de chances de présenter un phénomène qui remonterait apparemment le temps.
On l'a vu un peu avant, nous avons au moins deux phénomènes qui empêchent cela :
- La sensibilité aux conditions initiales. À chaque collision, il existe certainement d'autres phénomènes secondaires qui font que même si l'énergie et la quantité de mouvement sont conservées, eh bien on a une petite déviation aléatoire chaotique qui se produit, dans le sens où ça dépend d'une valeur
- La mécanique quantique viendra mettre son grain de sable dans le déterminisme, avec ses incertitudes natives.
Autrement dit, le système évoluerait vers une autre configuration du même tonneau que sans renversement, tout aussi désordonnée car plus probable.
En vous renseignant un peu, vous trouverez diverses explications et théorèmes qui tentent d'expliquer l'écart entre le microscopique apparemment réversible et le macroscopique. À côté du paradoxe de Loschmidt, vous tomberez sur le théorème H, le paradoxe de Zermelo, le modèle des urnes d'Ehrenfest, le théorème de Lanford, en résumé plein de tentatives de démonstration, mais aucune n'est définitive, et ça se saurait, rendez-vous compte, une preuve que le temps s'écoule dans un sens privilégié certaines situations iront préférentiellement vers le chaos, le désordre...
Un autre élément à saisir concerne la réversibilité.
Ce n'est pas parce qu'un phénomène est réversible qu'il revient (ou qu'il peut revenir) EXACTEMENT dans son état initial.
Par exemple nous avons vu le coup du mélange de gaz aux molécules indicernables, dont la variation d'entropie est nulle et manifestement réversible.
En réalité, si on collait un numéro de série sur chaque molécule, ce qui les rendrait discernables, on ne retrouverait pas à la fin exactement la même situation car les molécules ne reviendraient pas à leur place originale, au début de l'expérience.
Autrement dit, nous nous voilons la face sur certaines informations, ce qui rend le phénomène réversible. Remarque intéressante, non ?
Entropie de Shannon
L'entropie de Shannon est très similaire à la physique statistique où on dénombre les micro-états, avec leur probabilité d'apparition ─souvent équiprobable, mais pas forcément du point de vue général.
pour la variable aléatoire X comportant n symboles, chaque symbole xi ayant une probabilité Pi d'apparaître. Le logarithme est souvent celui en base 2, parce qu'on aime bien les bits dans le numérique.
Sa première utilité a été de démontrer la quantité d'information minimale requise pour représenter un message. En clair, combien il faut de bits pour coder un message.
Dans un texte de 750 mots utilisant seulement 2 mots différents, nous avons les fréquences d'apparition suivantes :
- 500 sur 750, soit 2/3
- 250 sur 750, soit 1/3
La quantité d’informations pour chaque mot vaut :
- premier mot : −log2(2/3)≈0,58
- second mot : −log2(1/3)≈1,58
Pour coder le texte, il faut donc au moins :
soit environ 86 octets. Ce sera la taille minimale requise, même en comprimant comme une bête en zip.
Arrivé là, on se demande le rapport avec l'entropie thermodynamique, à part la similitude des formules.
Information classique
Eh bien, la confusion arrive par le fait que "de l'information" est plus ou moins perdue dans les phénomènes irréversibles, tout ça parce que de l'ordre est perdu et que le désordre s'installe. Sauf que cette notion d'information est difficile à relier avec celle de Shannon, qui est particulièrement pratico-pratique pour faire du codage réel.
L'information "classique" est encodée sur un support :
- le papier, la pierre, une ardoise...
- les interconnexions neuronales
- trous dans un disque optique
- les mémoires magnétiques ou électroniques
- les photons
- ...
Mais tout ça requiert ensuite une interprètation. Ces données n'ont aucune signification en soi.
Par exemple, une certaine information pourrait exister au niveau d'une particule, du genre sa vitesse, qui n'est évidemment encodée nulle part, mais que l'on pourrait mesurer avec du matériel ad-hoc. Mais de là à dire que cette information de vitesse est relative à de l'entropie, il y a un monde. De plus, tout ceci laisse l'impression que l'information dont on parle à propos de l'entropie est relative à un ensemble de particules, et des corrélations qui existent entre elles.
Là où ça devient débile, c'est que certains auteurs s'embarquent sur l'entropie des points mémoires et de l'information qu'un point mémoire contient, et confondent avec une autre sorte d'information qui serait perdue lors d'un processus irréversible, tout ça parce que de l'ordre est perdu et que le désordre s'installe. Ce qui n'a évidemment rien à voir.
Information quantique
Les gens confondent également avec une certaine sorte d'information d'origine quantique.
Par exemple, en mécanique quantique, la fonction d'onde est une donnée fondamentale.
Et les transformations sont obligatoirement unitaires, ce qui impose certaines contraintes
sur son évolution. Les données relatives à la fonction d'onde sont des informations qui
ne peuvent pas être perdues, n'ont pas le droit d'être perdues.
Ce qui pose un gros problème lors du franchissement de l'horizon d'un trou noir, accessoirement.
Il existe également une information quantique, souvent totalement aléatoire, qui devient classique lors de la réduction de la fonction d'onde. Un exemple connu est l'intrication.
Intrication en mécanique quantique :
- Lorsque deux qubits sont intriqués, leur valeur n'est pas définie mais on est sûr que ce sera la même.
- Le premier qui sera lu imposera sa valeur à l'autre, quelle que soit la distance et instantanément.
Le lien avec l'entropie, si tant est qu'il existe, est loin d'être évident...
Ceci dit, on a longtemps pensé qu'il existait une dépense entropique dans le traitement de l'information, qui aurait exigé au minimum le quantum d'énergie kT ln2 pour réaliser un calcul, jusqu'à ce que la réversibilité des calculs soit prouvée (par Landauer en 1961).
Mais l'effacement d'un bit requiert justement ce quantum d'énergie, car l'information effacée doit aller se perdre quelque part, dans les degrés de liberté non observables des circuits de l'ordinateur (sinon elle est bêtement déplacée).
Conclusion : méfiez-vous lorsque vous commencer à lire quelque chose relatif à l'information et l'entropie. Essayez de comprendre de quelle information l'auteur parle, et si vous ne comprenez rien, il est probable que l'auteur aussi et je dis ça par pure méchanceté.
Page suivante, un autre paradoxe : comment se fait-il qu'une particule bouge, poussée par les molécules de gaz, alors que le second principe interdit d'extraire du travail ? C'est le mouvement brownien.