Shannon (unitat)
| Tipus | unitat d'informació i unitat logarítmica  |
|---|---|
| Unitat de | contingut informatiu, entropia de Shannon i redundància informàtica |
| Epònim | Claude Elwood Shannon |
| Conversions d'unitats | |
| A unitats estàndard | 0,693 nat 0,301 Hart 1 bit |
El shannon (símbol: Sh) és una unitat d'informació que porta el nom de Claude Shannon, el fundador de la teoria de la informació. La IEC 80000-13 defineix el shannon com el contingut d'informació associat a un esdeveniment quan la probabilitat que es produeixi és12 S'entén com a tal dins de l'àmbit de la teoria de la informació, i conceptualment és diferent del bit, un terme utilitzat en el processament i emmagatzematge de dades per denotar una única instància d'un senyal binari. Es descriu correctament una seqüència de n símbols binaris (com el contingut a la memòria de l'ordinador o una transmissió de dades binàries) com a formada per n bits, però el contingut d'informació d'aquests n símbols pot ser més o menys que n shannons depenent de la probabilitat a priori de la seqüència real de símbols.[1]
El shannon també serveix com a unitat de l'entropia d'informació d'un esdeveniment, que es defineix com el valor esperat del contingut d'informació de l'esdeveniment (és a dir, la mitjana ponderada per probabilitat del contingut d'informació de tots els esdeveniments potencials). Tenint en compte una sèrie de possibles resultats, a diferència del contingut d'informació, l'entropia té un límit superior, que s'assoleix quan els possibles resultats són equiprobables. L'entropia màxima de n bits és n Sh. Una altra quantitat per a la qual s'utilitza és la capacitat del canal, que generalment és el màxim del valor esperat del contingut d'informació codificat en un canal que es pot transferir amb una probabilitat d'error insignificant, normalment en forma d'una velocitat d'informació.[2]
No obstant això, el terme bits d'informació o simplement bits s'escolta més sovint, fins i tot en els camps de la teoria de la informació i la comunicació, en lloc de shannons; Per tant, només dir bits pot ser ambigu. L'ús de la unitat shannon és una referència explícita a una quantitat de contingut d'informació, entropia d'informació o capacitat del canal, i no es limita a dades binàries,[3] mentre que els bits també poden referir-se al nombre de símbols binaris implicats, com és el terme utilitzat en camps com el processament de dades.[4]
Unitats semblants
El shannon està connectat mitjançant constants de proporcionalitat amb altres dues unitats d'informació:[5]
El hartley, una unitat poc utilitzada, rep el nom de Ralph Hartley, un enginyer electrònic interessat en la capacitat dels canals de comunicacions. Encara que de caràcter més limitat, els seus primers treballs, anteriors al de Shannon, el fan reconegut també com un pioner de la teoria de la informació. De la mateixa manera que el shannon descriu la màxima capacitat d'informació possible d'un símbol binari, el hartley descriu la informació que es pot contenir en un símbol de 10, és a dir, un valor de dígits en el rang de 0 a 9 quan la probabilitat a priori de cada valor és110 El factor de conversió citat anteriorment ve donat per log10(2).
En expressions matemàtiques, el nat és una unitat d'informació més natural, però 1 nat no correspon a un cas en què totes les possibilitats siguin equiprobables, a diferència del shannon i hartley. En cada cas, les fórmules per quantificar la capacitat d'informació o l'entropia impliquen prendre el logaritme d'una expressió que implica probabilitats. Si s'utilitzen logaritmes de base 2, el resultat s'expressa en shannons, si base 10 (logaritmes comuns), el resultat és en hartleys, i si logaritmes naturals (base e), el resultat és en nats. Per exemple, la capacitat d'informació d'una seqüència de 16 bits (aconseguida quan totes les 65536 seqüències possibles són igualment probables) ve donada per log(65536), per tant, log10(65536) Hart ≈ 4.82 Hart, loge(65536) nat ≈ 11.09 nat, 03 = 16, 03, log2(65536) Sh = 16 Sh.[6]
Mesures informatives
En la teoria de la informació i els camps derivats, com ara la teoria de la codificació, no es pot quantificar la "informació" en un sol missatge (seqüència de símbols) fora de context, sinó que es fa referència al model d'un canal (com la taxa d'error de bits) o a les estadístiques subjacents d'una font d'informació. Per tant, hi ha diverses mesures o relacionades amb la informació, totes les quals poden utilitzar el shannon com a unitat.
Per exemple, en l'exemple anterior, es podria dir que un canal de 16 bits té una capacitat de canal de 16 Sh, però quan es connecta a una font d'informació particular que només envia un dels 8 missatges possibles, es calcularia l'entropia de la seva sortida com a no més de 3 Sh. I si ja s'hagués informat a través d'un canal lateral en quin conjunt de 4 missatges possibles es troba el missatge, es podria calcular la informació mútua del nou missatge (que té 8 estats possibles) com a no més de 2. Sh. Tot i que hi ha infinites possibilitats per a un nombre real escollit entre 0 i 1, l'anomenada entropia diferencial es pot utilitzar per quantificar el contingut d'informació d'un senyal analògic, com el relacionat amb la millora de la relació senyal-soroll o la confiança d'una prova d'hipòtesi.[7]
Referències
- ↑ Since the information associated with an event outcome that has a priori probability p, e.g. that a single given data bit takes the value 0, is given by H = −log p, and p can lie anywhere in the range 0 < p ≤ 1, the information content can lie anywhere in the range 0 ≤ H < ∞.
- ↑ «Theory of Quantum Matter Unit (Nic Shannon)» (en anglès), 31-05-2012. [Consulta: 26 abril 2025].
- ↑ Olivier Rioul «This is IT: A primer on Shannon's entropy and Information». L'Information, Séminaire Poincaré, vol. XXIII, 2018, p. 43–77. «The Système International d'unités recommends the use of the shannon (Sh) as the information unit in place of the bit to distinguish the amount of information from the quantity of data that may be used to represent this information. Thus, according to the SI standard, H(X) should actually be expressed in shannons. The entropy of one bit lies between 0 and 1 Sh.»
- ↑ «A Mathematical Theory of Communication» (en anglès). [Consulta: 26 abril 2025].
- ↑ «IEC 80000-13:2008». International Organization for Standardization. [Consulta: 21 juliol 2013].
- ↑ «What is Shannon information?» (en anglès). [Consulta: 26 abril 2025].
- ↑ «What are the units used in Shannon formula calculation?» (en anglès). [Consulta: 26 abril 2025].