Entropia e ordine

Una versione propedeutica, con matematica da liceo, esempi visivi e piccole parabole per capire perché “disordine” e “ordine” non sono due estremi di una sola manopola.

Versione divulgativa e didattica Basata sull’articolo originale di Manuele Turini Matematica: logaritmi, medie, distanze, grafi intuitivi

1. L’idea in una frase

L’entropia misura in quanti modi un sistema può essere disposto o quanto è incerta la sua descrizione. L’ordine, invece, cerca di capire come quelle disposizioni sono organizzate nello spazio.

Frase chiave: due sistemi possono avere entropia simile, ma forme molto diverse. Uno può essere casuale, l’altro può avere cluster, simmetrie, reticoli disturbati o distanze minime regolari.

È un po’ come dire: sapere quante parole ci sono in un libro non basta per capire se è un romanzo, un dizionario, una poesia o una lista della spesa. Il numero conta, ma la struttura conta altrettanto.

2. Le parole minime: stato, probabilità, entropia

Immaginiamo un sistema formato da molte particelle, per esempio puntini su un piano. Una configurazione è una possibile disposizione di quei puntini. In fisica si parla spesso di microstati: ogni microstato è un modo preciso in cui il sistema può essere fatto.

2.1 Entropia di Boltzmann: contare i modi possibili

La formula classica è:

S = kB · ln(W)

Dove:

  • S è l’entropia;
  • W è il numero di microstati possibili;
  • ln è il logaritmo naturale;
  • kB è una costante fisica.

Per una lettura da liceo, possiamo pensare così: se W aumenta, l’entropia aumenta. Il logaritmo serve a far crescere il numero in modo più moderato.

2.2 Entropia di Shannon: misurare l’incertezza

Quando gli stati non hanno tutti la stessa probabilità, si usa una formula simile:

H = − Σ pi · log(pi)

Qui pi è la probabilità del caso numero i. Il simbolo Σ significa “somma”.

Interpretazione semplice: se tutto è molto prevedibile, l’entropia è bassa. Se invece molte possibilità sono aperte e nessuna domina chiaramente, l’entropia è alta.

3. La parabola della biblioteca

Immagina due biblioteche con lo stesso numero di libri.

Nella prima, i libri sono messi sugli scaffali a caso: romanzi, manuali, poesie e atlanti sono tutti mescolati.

Nella seconda, i libri sono divisi per argomento, ma ogni sezione contiene comunque molti titoli diversi.

Se guardiamo solo il numero di libri e il numero di possibili scambi, le due biblioteche possono sembrare simili. Ma per chi entra e cerca un’informazione, sono diversissime: la seconda possiede una struttura interna.

Questo è il punto: l’entropia è molto potente, ma non sempre vede l’architettura nascosta. Per vedere l’architettura servono altri strumenti.

4. Perché l’ordine non è semplicemente “entropia bassa”

Nel linguaggio comune diciamo spesso: “più entropia = più disordine”. È una buona intuizione iniziale, ma diventa troppo povera appena il sistema ha una geometria.

Errore comune

Pensare che esista un solo numero capace di dire quanto un sistema è ordinato.

Idea più corretta

L’ordine è una famiglia di proprietà: cluster, simmetrie, distanze minime, periodicità, orientazioni, domini.

Perciò conviene rappresentare l’ordine non come un singolo valore, ma come un profilo:

Ordine totale ≈ [ ordine spettrale, ordine quadrato, ordine esagonale, ordine di esclusione, ... ]

È come descrivere una persona non solo con “altezza = 1,80 m”, ma anche con peso, età, lingua, professione, carattere, salute, esperienza. Un numero solo non basta.

5. Dalla statistica alla geometria

Supponiamo di avere molti punti in un piano. Per iniziare basta la geometria analitica del liceo.

Se due punti hanno coordinate:

A = (x1, y1) B = (x2, y2)

la distanza fra loro è:

d(A,B) = √[(x2 − x1)² + (y2 − y1)²]

Questa formula, da sola, apre la porta a molte domande:

  • i punti sono tutti vicini fra loro o sparsi?
  • formano gruppi?
  • sono quasi equidistanti?
  • hanno angoli preferiti, per esempio 90° o 60°?
Random Cluster Reticolo quadrato Esagonale Poisson disk
Stesso “materiale” di base: punti. Ma la geometria interna cambia radicalmente.

6. Trasformare particelle in una rete

Per studiare la forma di un insieme di punti possiamo costruire un grafo. Un grafo è una rete: i punti diventano nodi e i collegamenti fra punti diventano archi.

Il collegamento può essere forte se due punti sono vicini, debole se sono lontani.

wij = exp[ − d(i,j)² / (2σ²) ]

Questa formula sembra più difficile di quanto sia. Dice solo:

  • se la distanza d(i,j) è piccola, il peso wij è grande;
  • se la distanza è grande, il peso diventa piccolo;
  • σ decide la scala della lente con cui guardiamo il sistema.

Immagina una città vista dall’alto. Le case sono i punti. Le strade sono i collegamenti.

Se due case sono vicine, è facile passare dall’una all’altra: collegamento forte. Se sono lontane o separate da un fiume, il collegamento è debole.

La struttura della città non è solo quante case esistono, ma come sono collegate: quartieri, ponti, piazze, periferie, strade principali.

6.1 Il Laplaciano senza paura

Nella versione tecnica compare il Laplaciano del grafo. Per una prima lettura non serve calcolarlo a mano. Basta sapere che è una matrice che descrive il rapporto fra:

  • quanto un nodo è collegato agli altri;
  • quanto differisce dai suoi vicini;
  • quanto facilmente un’informazione o una diffusione si propagherebbe nella rete.

La scrittura compatta è:

L = D − W

Dove W contiene i pesi dei collegamenti e D contiene, per ogni nodo, la somma dei collegamenti che partono da quel nodo.

7. Lo spettro: ascoltare la forma

Quando si calcola lo spettro del Laplaciano, si ottiene una serie di numeri:

0 = λ1 ≤ λ2 ≤ λ3 ≤ ... ≤ λN

Questi numeri si chiamano autovalori. Sono un argomento universitario, ma l’idea intuitiva è accessibile: descrivono i modi naturali con cui la rete può “vibrare”, “rilassarsi” o “separarsi”.

Pensa a una chitarra. Non serve conoscere tutte le equazioni delle corde per capire che una corda ha modi naturali di vibrazione: nota fondamentale, armoniche, risonanze.

Allo stesso modo, una rete di particelle ha modi naturali. I modi bassi, cioè quelli associati agli autovalori piccoli, descrivono movimenti lenti e collettivi: l’ossatura della forma.

7.1 Modi bassi e ordine globale

Se una configurazione è davvero organizzata, spesso molta informazione importante si concentra in pochi modi bassi. In modo molto schematico:

Ck = energia nei primi k modi / energia totale

Se Ck è grande già con pochi modi, significa che la forma ha una struttura collettiva semplice. Se invece serve un gran numero di modi, la struttura è più frammentata o più rumorosa.

7.2 Il salto spettrale

Un altro segnale utile è il salto fra due autovalori consecutivi:

gapk = λk+1 − λk

Un salto grande può indicare che i primi modi descrivono qualcosa di importante e separato dal resto: per esempio cluster, domini o una struttura globale.

8. Una tassonomia dell’ordine

Il cuore operativo dell’articolo è questo: non esiste un solo tipo di ordine. Conviene usare più canali, ognuno sensibile a una proprietà diversa.

Canale Cosa cerca Esempio intuitivo
Om
ordine modulare/spettrale
Cluster, domini, organizzazione globale, modi bassi dominanti. Una città divisa in quartieri riconoscibili.
Oo4
ordine orientazionale a 4 pieghe
Allineamenti con simmetria quadrata, angoli vicini a 90°. Una griglia di strade ortogonali.
Oo6
ordine orientazionale a 6 pieghe
Allineamenti con simmetria esagonale, angoli tipici di reticoli triangolari/esagonali. Celle di un alveare o impacchettamento regolare.
Oe
ordine di esclusione
Distanza minima regolare: i punti non si avvicinano troppo. Persone in una sala che mantengono una distanza minima.

8.1 Ordine orientazionale con angoli

Per capire l’ordine a 4 o 6 pieghe, basta pensare agli angoli fra un punto e i suoi vicini.

  • In un reticolo quadrato compaiono direzioni preferite: destra, sinistra, alto, basso. È naturale un canale a 4.
  • In un reticolo esagonale compaiono sei direzioni privilegiate. È naturale un canale a 6.

La formula tecnica usa numeri complessi:

ψk(i) = media di exp(i · k · θij) sui vicini

Ma per una lettura propedeutica possiamo tradurla così:

Traduzione semplice: guardo gli angoli dei vicini. Se gli angoli rispettano una simmetria regolare, il valore cresce. Se gli angoli sono casuali, il valore resta basso.

8.2 Ordine di esclusione con media e deviazione standard

Per ogni punto misuriamo la distanza dal vicino più vicino. Otteniamo tanti numeri:

r1, r2, r3, ..., rN

Calcoliamo la media:

μ = (r1 + r2 + ... + rN) / N

e la dispersione, cioè quanto quei valori oscillano intorno alla media. Un indice semplice è il coefficiente di variazione:

CV = deviazione standard / media

Se CV è basso, le distanze minime sono abbastanza regolari: c’è una forma di ordine anche se non c’è un reticolo perfetto.

9. Sei famiglie di configurazioni

L’articolo originale confronta diverse famiglie di sistemi. La cosa bella è che ogni famiglia “accende” canali diversi.

Famiglia Che aspetto ha Canale che tende a rispondere Lettura fisica
Random uniforme Punti distribuiti quasi a caso. Bassi valori quasi ovunque. Mancano correlazioni forti.
Gaussian blobs Addensamenti morbidi, simili a nuvole. Om alto. Clusterizzazione e modularità.
Hex clustered Cluster con tendenza esagonale. Oo6 e Om. Ordine locale esagonale più organizzazione collettiva.
Square clustered Domini o griglie con direzioni ortogonali. Oo4 e Om. Simmetria quadrata e domini.
Poisson disk Punti non troppo vicini, ma senza reticolo. Oe alto. Esclusione a corto raggio.
Density gradient Una zona più densa e una meno densa. Segnali misti o deboli. Eterogeneità di densità, non necessariamente vero ordine geometrico.

Immagina una piazza piena di persone.

Se tutti si muovono a caso, non c’è molto ordine. Se si formano gruppetti, appare un ordine modulare. Se tutti si dispongono in file e colonne, appare un ordine quadrato. Se mantengono una distanza minima senza mettersi in fila, appare un ordine di esclusione.

In tutti i casi ci sono persone nella piazza, ma la geometria sociale è diversa.

10. La scala: guardare da vicino o da lontano

Un punto delicato è la scala di osservazione. Un sistema può sembrare disordinato da vicino ma ordinato da lontano, oppure il contrario.

Per questo conviene misurare gli indici a più scale:

Ommulti = media pesata di Om calcolato a scale diverse

La parola “media pesata” significa che alcune scale possono contare più di altre:

media pesata = w1·valore1 + w2·valore2 + ...

con pesi w scelti in modo che la somma faccia 1.

Esempio: guardare una città da una finestra, da un drone o da un satellite non produce la stessa informazione. Quartieri, strade e singole case emergono a scale diverse.

11. Collegamenti con la fisica

Questa tassonomia non nasce nel vuoto. Si collega a idee classiche della fisica statistica.

Correlazione radiale

Misura quanto è probabile trovare una particella a distanza r da un’altra. È utile per vedere esclusione, shell, distanze tipiche.

Fattore di struttura

Nel dominio di Fourier, picchi netti indicano periodicità o quasi-periodicità.

Parametri d’ordine

Nelle transizioni di fase, una grandezza può crescere o diminuire quando cambia temperatura, densità, rumore o interazione.

La proposta è quindi compatibile con un’idea molto fisica: non basta dire “più o meno disordinato”. Bisogna chiedere quale tipo di struttura sta emergendo.

12. Perché questa distinzione è utile

Questa lettura può diventare utile ogni volta che si studiano strutture complesse:

  • immagini texture, pattern, microstrutture, difetti;
  • materiali porosità, grani, fasi, aggregati;
  • biologia colonie cellulari, distribuzioni spaziali, reti;
  • sensori reti di misura, distribuzioni di eventi;
  • simulazioni sistemi di particelle, agenti, automi, campi.

In tutti questi casi la domanda non è solo: “quanto è casuale?”. La domanda più ricca è: “quale forma di organizzazione sta comparendo?”.

13. Conclusione operativa

L’entropia dice quanti modi o quanta incertezza sono presenti in un sistema.

La tassonomia dell’ordine dice invece che tipo di struttura si nasconde dentro quei modi: cluster, simmetrie, esclusione, periodicità, domini, organizzazione a più scale.

La sintesi più onesta non è quindi un numero unico, ma un profilo:

Ordine = [ Om, Oo4, Oo6, Oe, ... ]

Questa è la parte concettualmente più forte: l’ordine non è una quantità sola, ma una famiglia di fenomeni.

14. Mini-esercizi per fissare l’idea

  1. Biblioteca: due biblioteche hanno lo stesso numero di libri. Una è casuale, l’altra è ordinata per argomento. L’entropia “numerica” basta a distinguerle?
  2. Distanze: se in una configurazione tutti i punti hanno un vicino più prossimo a distanza simile, quale canale dell’ordine probabilmente cresce?
  3. Reticolo: se i punti formano quasi una griglia quadrata, ti aspetti più alto Oo4 oppure Oo6?
  4. Cluster: se i punti formano tre gruppi ben separati, quale canale dovrebbe accendersi?
  5. Scala: un’immagine può sembrare rumorosa da vicino ma avere una struttura globale da lontano? Quale idea della tassonomia serve qui?