Teoría da información

Na Galipedia, a Wikipedia en galego.

A Teoría da información é un ramo da teoría da probabilidade e da matemática estatística relacionada con sistemas de comunicación, transmisión de datos, criptografía, codificación, teoría do ruído, corrección de erros, compresión de datos, etc. Non se debe confundir coa tecnoloxía da información.

Claude E. Shannon (1916-2001) é coñecido como "o pai da teoría da información". A súa teoría foi a primeira a considerar comunicación como un problema matemático rigorosamente embasado na estatística e deu aos enxeñeiros da comunicación un modo de determinar a capacidade dun canal de comunicación en termos de ocorrencia de bits. A teoría non se preocupa coa semántica dos dados, mais pode envolver aspectos relacionados coa perda de información na compresión e na transmisión de mensaxes con ruído no canal.

Acéptase en xeral que a moderna disciplina da teoría da información comezou coa publicación do artigo "The Mathematical Theory of Communication" por Claude E. Shannon no Bell Systen Technical Journal en xullo e outubro de 1948. No proceso de desenvolvimento dunha teoría da comunicación que puidese ser aplicada por enxeñeiros elétricos para proxectar sistemas de telecomunicación mellores, Shannon definiu unha medida chamada de entropía, definida como: H=-\sum_i p_i * \log p_i onde \log é o logaritmo na base 2, que determina o grau de caoticidade da distribución de probabilidade p_i e pode ser usada para determinar a capacidade do canal necesaria para transmitir a información.

A medida de entropía de Shannon pasou a considerarse como unha medida da información contida nunha mensaxe, en oposición á parte da mensaxe que está estritamente determinada (polo tanto prevísibel) por estruturas inherentes, como por exemplo a redundancia da estrutura das linguaxes ou das propriedades estatísticas dunha linguaxe, relacionadas ás frecuencias de ocorrencia de diferentes letras (monemas) ou de pares, tríos, (fonemas) etc., de palabras. Vexa cadea de Markov.

A entropía como definida por Shannon está intimamente relacionada á entropía definida por físicos. Boltzmann e Gibbs ficeran un traballo considerable sobre termodinámica estatística. Este traballo foi a inspiración para se adotar o termo entropía en teoría da información. Hai unha profunda relación entre entropía nos sentidos termodinámico e informacional. Por exemplo, o demo de Maxwell necesita informacións para reverter a entropía termodinámica e a obtención desas informacións equilibra exactamente a ganancia termodinámica que o demo alcanzaría doutro xeito.

Outras medidas de información úteis incluen a información mutua, que é unha medida da correlación entre dous conxuntos de sucesos. A información mutua definese por dous eventos X e Y como:

I(X,Y)=H(X,Y)-H(X)-H(Y)

onde H(X,Y) é a entropía conxunta (joint entropy) ou

H(X,Y)=-\sum_{x,y} p(x,y)\log p(x,y)

A información mutua está relacionada de forma moi próxima con testes estatísticos como o teste de razón logarítmica e mais co teste Chi-cadrado.

A teoría da información de Shannon é apropiada para medir incertedume sobre un espazo desordenado. Unha medida alternativa de información foi criada por Fisher para medir incertedume sobre un espazo ordenado. Por exemplo, a información de Shannon é usada sobre un espazo de letras do alfabeto, xa que letras non teñen 'distancias' entre elas. Para información sobre valores de parámetros continuos, como as alturas de persoas, úsase a información de Fisher, xa que os tamaños estimados teñen unha distancia ben definida.

As diferenzas na información de Shannon corresponden a un caso especial da distancia de Kullback-Leibler da estatística Bayesiana, unha medida de distancia entre distribucións de probabilidade a priori e a posteriori.

Andrei Nikolaevich Kolmogorov introduciu unha medida de información baseada no menor algoritmo que pode computala (vexa complexidade de Kolmogorov).

Ligazóns externas[editar | editar a fonte]