Entropia condicional

L'entropia condicional és una extensió del concepte d'entropia de la informació en processos on intervenen diverses variables aleatòries no necessàriament independents.^[1]

Suposem que ${\displaystyle \scriptstyle X}$ és una variable aleatòria sobre un espai de probabilitat ${\displaystyle \scriptstyle \Omega \,}$ i ${\displaystyle \scriptstyle A\subset \Omega }$ sigui un esdeveniment. si ${\displaystyle \scriptstyle X}$ pren valors sobre un conjunt finit ${\displaystyle \scriptstyle \{a_{i}|1\leq i\leq m\}}$, Es defineix de manera natural l'entropia condicional de ${\displaystyle \scriptstyle X}$ donat ${\displaystyle \scriptstyle A}$ com:^[2]

${\displaystyle H(X|A)=\sum _{k=1}^{m}P(X=a_{k}|A)\ln P(X=a_{k}|A)}$

De la mateixa manera si ${\displaystyle \scriptstyle Y}$ és una altra variable aleatòria que pren valors ${\displaystyle \scriptstyle b_{k}}$ es defineix l'entropia condicional ${\displaystyle \scriptstyle H(X|Y)}$ com:

${\displaystyle H(X|Y)=\sum _{j}H(X|Y=b_{j})P(Y=b_{j})}$

Es pot interpretar l'anterior magnitud com la incertesa de ${\displaystyle \scriptstyle X}$ donat un valor particular de ${\displaystyle \scriptstyle Y}$, Amitjanat per tots els valors possibles de ${\displaystyle \scriptstyle Y}$ ..

• Trivialment s'esdevé que ${\displaystyle \scriptstyle H(X|X)=0}$
• ${\displaystyle \scriptstyle H(X|Y)=H(X)}$ si ${\displaystyle \scriptstyle X}$ i ${\displaystyle \scriptstyle Y}$ són variables independents.
• Donades dues variables que prenen un conjunt finit de valors: ${\displaystyle \scriptstyle H(X,Y)=H(Y)+H(X|Y)=H(X)+H(Y|X)}$
• Com a conseqüència de l'anterior i que ${\displaystyle \scriptstyle H(X,Y)\leq H(Y)+H(X)}$, Es té: ${\displaystyle \scriptstyle H(X|Y)\leq H(X)}$ .

• Entropia de Shannon

• Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, ISBN 0-19-853287-3