Saltar ao contido

Teoría da información

Na Galipedia, a Wikipedia en galego.

A teoría da información é unha rama da teoría da probabilidade e da matemática estatística relacionada cos sistemas de comunicación, transmisión de datos, criptografía, codificación, teoría do ruído, corrección de erros, compresión de datos... Non se debe confundir coa tecnoloxía da información.

Claude E. Shannon (1916-2001) é coñecido como "o pai da teoría da información". A súa teoría foi a primeira a considerar a comunicación como un problema matemático rigorosamente embasado na estatística e deu aos enxeñeiros da comunicación un modo de determinar a capacidade dunha canle de comunicación en termos de ocorrencia de bits. A teoría non se preocupa coa semántica dos dados, mais pode envolver aspectos relacionados coa perda de información na compresión e na transmisión de mensaxes con ruído na canle.

Acéptase, en xeral, que a moderna disciplina da teoría da información comezou coa publicación do artigo "The Mathematical Theory of Communication" por Claude E. Shannon no Bell Systen Technical Journal en xullo e outubro de 1948. No proceso de desenvolvemento dunha teoría da comunicación que puidese ser aplicada por enxeñeiros eléctricos para proxectar sistemas de telecomunicación mellores, Shannon definiu unha medida chamada de entropía, definida como: onde é o logaritmo na base 2, que determina o grao de caoticidade da distribución de probabilidade e pode ser usada para determinar a capacidade do canle necesaria para transmitir a información.

A medida de entropía de Shannon pasou a considerarse como unha medida da información contida nunha mensaxe, en oposición á parte da mensaxe que está estritamente determinada (polo tanto prevísibel) por estruturas inherentes, como por exemplo a redundancia da estrutura das linguaxes ou das propiedades estatísticas dunha linguaxe, relacionadas ás frecuencias de ocorrencia de diferentes letras (monemas) ou de pares, tríos, (fonemas) etc., de palabras. Vexa cadea de Markov.

A entropía como definida por Shannon está intimamente relacionada á entropía definida por físicos. Boltzmann e Gibbs ficeran un traballo considerable sobre termodinámica estatística. Este traballo foi a inspiración para se adotar o termo entropía en teoría da información. Hai unha profunda relación entre entropía nos sentidos termodinámico e informacional. Por exemplo, o demo de Maxwell necesita informacións para reverter a entropía termodinámica e a obtención desas informacións equilibra exactamente a ganancia termodinámica que o demo alcanzaría doutro xeito.

Outras medidas de información útiles inclúen a información mutua, que é unha medida da correlación entre dous conxuntos de sucesos. A información mutua defínese por dous eventos X e Y como:

onde é a entropía conxunta (joint entropy) ou

A información mutua está relacionada de forma moi próxima con testes estatísticos como o teste de razón logarítmica e mais co teste Chi-cadrado.

A teoría da información de Shannon é apropiada para medir incerteza sobre un espazo desordenado. Unha medida alternativa de información foi criada por Fisher para medir incerteza sobre un espazo ordenado. Por exemplo, a información de Shannon é usada sobre un espazo de letras do alfabeto, xa que letras non teñen 'distancias' entre elas. Para información sobre valores de parámetros continuos, como as alturas de persoas, úsase a información de Fisher, xa que os tamaños estimados teñen unha distancia ben definida.

As diferenzas na información de Shannon corresponden a un caso especial da distancia de Kullback-Leibler da estatística Bayesiana, unha medida de distancia entre distribucións de probabilidade a priori e a posteriori.

Andrei Nikolaevich Kolmogorov introduciu unha medida de información baseada no menor algoritmo que pode computala (vexa complexidade de Kolmogorov).

Véxase tamén

[editar | editar a fonte]

Ligazóns externas

[editar | editar a fonte]

Este artigo tan só é un bosquexo
 Este artigo sobre matemáticas é, polo de agora, só un bosquexo. Traballa nel para axudar a contribuír a que a Galipedia mellore e medre.
 Existen igualmente outros artigos relacionados con este tema nos que tamén podes contribuír.