Teoría da información

A Teoría da información é unha rama da teoría da probabilidade e da matemática estatística relacionada con sistemas de comunicación, transmisión de datos, criptografía, codificación, teoría do ruído, corrección de erros, compresión de datos etc. Non se debe confundir coa tecnoloxía da información.

Claude E. Shannon (1916-2001) é coñecido como "o pai da teoría da información". A súa teoría foi a primeira a considerar comunicación como un problema matemático rigorosamente embasado na estatística e deu aos enxeñeiros da comunicación un modo de determinar a capacidade dunha canle de comunicación en termos de ocorrencia de bits. A teoría non se preocupa coa semántica dos dados, mais pode envolver aspectos relacionados coa perda de información na compresión e na transmisión de mensaxes con ruído na canle.

Acéptase en xeral que a moderna disciplina da teoría da información comezou coa publicación do artigo "The Mathematical Theory of Communication" por Claude E. Shannon no Bell Systen Technical Journal en xullo e outubro de 1948. No proceso de desenvolvemento dunha teoría da comunicación que puidese ser aplicada por enxeñeiros eléctricos para proxectar sistemas de telecomunicación mellores, Shannon definiu unha medida chamada de entropía, definida como: $H=-\sum _{i}p_{i}*\log p_{i}$ onde $\log$ é o logaritmo na base 2, que determina o grao de caoticidade da distribución de probabilidade $p_{i}$ e pode ser usada para determinar a capacidade do canle necesaria para transmitir a información.

A medida de entropía de Shannon pasou a considerarse como unha medida da información contida nunha mensaxe, en oposición á parte da mensaxe que está estritamente determinada (polo tanto prevísibel) por estruturas inherentes, como por exemplo a redundancia da estrutura das linguaxes ou das propiedades estatísticas dunha linguaxe, relacionadas ás frecuencias de ocorrencia de diferentes letras (monemas) ou de pares, tríos, (fonemas) etc., de palabras. Vexa cadea de Markov.

A entropía como definida por Shannon está intimamente relacionada á entropía definida por físicos. Boltzmann e Gibbs ficeran un traballo considerable sobre termodinámica estatística. Este traballo foi a inspiración para se adotar o termo entropía en teoría da información. Hai unha profunda relación entre entropía nos sentidos termodinámico e informacional. Por exemplo, o demo de Maxwell necesita informacións para reverter a entropía termodinámica e a obtención desas informacións equilibra exactamente a ganancia termodinámica que o demo alcanzaría doutro xeito.

Outras medidas de información útiles inclúen a información mutua, que é unha medida da correlación entre dous conxuntos de sucesos. A información mutua defínese por dous eventos X e Y como:

$I(X,Y)=H(X,Y)-H(X)-H(Y)$

onde $H(X,Y)$ é a entropía conxunta (joint entropy) ou

$H(X,Y)=-\sum _{x,y}p(x,y)\log p(x,y)$

A información mutua está relacionada de forma moi próxima con testes estatísticos como o teste de razón logarítmica e mais co teste Chi-cadrado.

A teoría da información de Shannon é apropiada para medir incerteza sobre un espazo desordenado. Unha medida alternativa de información foi criada por Fisher para medir incerteza sobre un espazo ordenado. Por exemplo, a información de Shannon é usada sobre un espazo de letras do alfabeto, xa que letras non teñen 'distancias' entre elas. Para información sobre valores de parámetros continuos, como as alturas de persoas, úsase a información de Fisher, xa que os tamaños estimados teñen unha distancia ben definida.

As diferenzas na información de Shannon corresponden a un caso especial da distancia de Kullback-Leibler da estatística Bayesiana, unha medida de distancia entre distribucións de probabilidade a priori e a posteriori.

Andrei Nikolaevich Kolmogorov introduciu unha medida de información baseada no menor algoritmo que pode computala (vexa complexidade de Kolmogorov).

Véxase tamén

Ligazóns externas

• "The Mathematical Theory of Communication", Claude Shannon Arquivado 15 de xullo de 1998 en Wayback Machine.
• Entropy on the World Wide Web
• Information Theory ResourcesArquivado 30 de agosto de 2005 en Wayback Machine.

---

Este artigo sobre matemáticas é, polo de agora, só un bosquexo. Traballa nel para axudar a contribuír a que a Galipedia mellore e medre.  Existen igualmente outros artigos relacionados con este tema nos que tamén podes contribuír.

---