Función de verosimilitude

Función de verosimilitude
Subclase de función de densidade
Fontes e ligazóns Freebase /m/0c7sj MeSH D016013 MathWorld LikelihoodFunction OpenAlex C89106044  Descrito pola fonte ISO 3534-1:2006(en) Statistics — Vocabulary and symbols — Part 1: General statistical terms and terms used in probability (en)
Wikidata

Unha función de verosimilitude (normalmente chamada simplemente verosimilitude) mide o éxito co que un modelo estatístico explica un conxunto de datos observados calculando a probabilidade de ter xerado tales datos a partir de distintos valores dos parámetros do modelo. Constrúese a partir da distribución de probabilidade conxunta da variable aleatoria que (presuntamente) xerou as observacións. Deste xeito, ao avaliarse nos datos observados convértese nunha función que depende unicamente dos parámetros do modelo.

Na estimación por máxima verosimilitude, o argumento que maximiza a función de verosimilitude serve como un estimador puntual do parámetro descoñecido. Ademais, a través da información de Fisher podemos obter unha aproximación da precisión do estimador.

Pola contra, na estatística bayesiana, o interese céntrase no inverso da verosimilitude, coñecido como a probabilidade posterior do parámetro en función dos datos observados, que se calcula mediante a aplicación do teorema de Bayes.

Definición

A función de verosimilitude, dada en función dun parámetro $\theta$ (ou vector de parámetros), defínese de xeito diferente segundo traballemos con distribucións de probabilidade discretas ou continuas. Dada unha función de densidade ou unha función de masa de probabilidade

$$x\mapsto f(x|\theta ),$$

onde $x$ é a realización da variable aleatoria $X$, a función de verosimilitude é

$$\theta \mapsto f(x|\theta ),$$

tamén escrita habitualmente como ${\mathcal {L}}(\theta |x)$.

Noutras palabras, cando $f(x|\theta )$ se ve como unha función de $x$ con $\theta$ fixo, é unha función de densidade de probabilidade, e cando se ve como unha función de $\theta$ con $x$ fixado, é unha función de verosimilitude. No paradigma frecuentista, a notación $f(x|\theta )$ adoita evitarse empregando no seu lugar $f(x;\theta )$ ou $f(x,\theta )$ para indicar que $\theta$ é unha cantidade descoñecida, pero fixa, en lugar dunha variable aleatoria condicionante.

A función de verosimilitude non especifica que a probabilidade de que $\theta$ sexa o verdadeiro parámetro, dada a mostra observada $X=x$. Tal interpretación é un erro común, con potenciais consecuencias desastrosas (ver a falacia da frecuencia base).

Distribución de probabilidade discreta

Sexa $X$ é unha variable aleatoria discreta con función de masa de probabilidade $p$ dada polo parámetro $\theta$. A función

$${\mathcal {L}}(\theta |x)=p_{\theta }=P_{\theta }(X=x),$$

como función de $\theta$ é a función de verosimilitude, dada a observación $x$, da variable aleatoria $X$. En ocasións a probabilidade de "obter o valor $x$ de $X$ dado o valor do parámetro $\theta$" escríbese como $P(X=x|\theta )$ ou $P(X=x;\theta )$. A verosimilitude é a probabilidade de que un posible resultado $x$ se observe cando o valor verdadeiro do parámetro é $\theta$, equivalente á masa de probabilidade sobre $x$. É importante sinalar que isto non define unha densidade de probabilidade sobre $\theta$, que está fixo. Tampouco debe de confundirse a verosimilitude, ${\mathcal {L}}(\theta |x)$, coa probabilidade a posteriori de $\theta$ dado $x$, $P(\theta |x)$.

Exemplo

Figura 1. Función de verosimilitude ($p_{H}^{2}$) para a probabilidade de que unha moeda caia de "cara" (sen coñecemento da fidelidade da moeda), dado que se ten observado "HH"

Figura 2. Función de verosimilitude ($p_{H}^{2}(1-p_{H})$) para a probabilidade de que unha moeda caia de "cara" (sen coñecemento da fidelidade da moeda), dado que se ten observado "HHT"

Consideremos un modelo estatístico simple, tirar unha moeda ao aire. Este vén dado por un único parámetro $p_{H}$ que determina a probabilidade de que a moeda caia coa "cara" para arriba ao lanzar a moeda (H). Polo tanto, $p_{H}\in [0.0,1.0]$. Se a moeda fose "legal" (non estivese trucada), teríamos que $p_{H}=0.5$.

Lanzamos a moeda dúas veces e en ambas sae cara ("HH"). Supoñendo que cada lanzamento é i.i.d., entón a probabilidade de observar "HH" é

$$P(HH|p_{H}=0.5)=0.5^{2}=0.25.$$

Do mesmo xeito, a función de verosimilitude de observar "HH" supoñendo $p_{h}=0.5$ é

$${\mathcal {L}}(p_{H}=0.5|HH)=0.25,$$

o que non equivale a dicir que $P(p_{H}=0.5|HH)=0.25$. Para poder calcular dita probabilidade teríamos que empregar o teorema de Bayes

$$P(p_{H}=0.5|HH)=\underbrace {P(HH|p_{H}=0.5)} _{0.25}\cdot {\frac {P(p_{H}=0.5)}{P(HH)}}.$$

Se agora consideramos unha moeda trucada, con $p_{H}=0.3$. Entón a probabilidade de obter cara dúas veces é

$$P(HH|p_{H}=0.3)=0.3^{2}=0.09.$$

Polo tanto, ${\mathcal {L}}(p_{H}=0.3|HH)=0.09$. Na Figura 1 represéntase o resultado de calcular, para cada valor de $p_{H}$, a verosimilitude correspondente. Mentres, na Figura 2 realízase unha representación similar para o caso no que a moeda teña caído dúas veces de cara e unha de cruz ("HHT").

Distribución de probabilidade continua

Sexa $X$ unha variable aleatoria cunha seguindo unha distribución de probabilidade (absolutamente) continua con función de densidade $f_{\theta }$. A función

$${\mathcal {L}}(\theta |x)=f_{\theta }(x),$$

como función de $\theta$, é a función de verosimilitude (de $\theta$, dada a observación $X=x$). Igualmente, cabe recalcar que ${\mathcal {L}}$ non define unha función de densidade ou de masa de probabilidade sobre $\theta$.

Relación entre a verosimilitude e as funcións de densidade de probabilidade

O uso da densidade de probabilidade para especificar a función de verosimilitude ten a seguinte xustificación. Dada unha observación $x_{j}$, a verosimilitude no intervalo $[x_{j},x_{j}+h]$, onde $h>0$ é constante, e vén dada por ${\mathcal {L}}(\theta |x\in [x_{j},x_{j}+h])$. Obsérvase que

$$\mathop {\operatorname {arg\,max} } _{\theta }{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h]),$$xa que $h$ é positivo e constante. Tense que

$$\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}\Pr(x_{j}\leq x\leq x_{j}+h\mid \theta )=\mathop {\operatorname {arg\,max} } _{\theta }{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx,$$

onde $f(x\mid \theta )$ é a función de densidade de probabilidade. Empregando o primeiro teorema fundamental do cálculo chégase a que

$$\lim _{h\to 0^{+}}{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx=f(x_{j}\mid \theta ).$$

Logo, tendo en conta todo o anterior

$${\begin{aligned}\mathop {\operatorname {arg\,max} } _{\theta }{\mathcal {L}}(\theta \mid x_{j})&=\mathop {\operatorname {arg\,max} } _{\theta }\left[\lim _{h\to 0^{+}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])\right]\\[4pt]&=\mathop {\operatorname {arg\,max} } _{\theta }\left[\lim _{h\to 0^{+}}{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx\right]\\[4pt]&=\mathop {\operatorname {arg\,max} } _{\theta }f(x_{j}\mid \theta ).\end{aligned}}$$

Chegando a que: $\mathop {\operatorname {arg\,max} } _{\theta }{\mathcal {L}}(\theta \mid x_{j})=\mathop {\operatorname {arg\,max} } _{\theta }f(x_{j}\mid \theta )$, polo que maximizar a densidade de probabilidade en $x_{j}$ leva a que esteamos maximizando a verosimilitude dada a observación $x_{j}$.

Razón de verosimilitudes e verosimilitude relativa

Razón de verosimilitudes

Unha razón de verosimilitudes é o cociente de calquera dúas verosimilitudes, dado por

$$\Lambda (\theta _{1}:\theta _{2}\mid x)={\frac {{\mathcal {L}}(\theta _{1}\mid x)}{{\mathcal {L}}(\theta _{2}\mid x)}}.$$

A razón de verosimilitudes é un concepto central da análise estatística. A lei da verosimilitude establece que o grao no que uns datos (considerados como unha evidencia) sosteñen un valor dun parámetro respecto doutro mídese a través da razón de verosimilitudes.

Na inferencia frecuentista, a razón de verosimilitudes é a base para un test estatístico, levando o nome de test de razón de verosimilitudes. Pódese comprobar, mediante o lema de Neyman-Pearson, que este é o test máis potente para comparar dúas hipóteses simples dado un nivel de significación. Moitos outros tests poden verse como tests de razón de verosimilitudes ou como aproximacións dos mesmos. A distribución asintótica da razón de log-verosimilitudes, considerada como un test estatístico, vén dada polo teorema de Wilks.

A razón de verosimilitude tamén ten unha importancia capital na inferencia bayesiana, onde se coñece como o factor de Bayes, que se usa na regra de Bayes. Expresada en termos de probabilidades, a regra de Bayes afirma que as probabilidades "posteriores" de dúas alternativas, $A_{1}$ e $A_{2}$, dado un evento $B$, son as probabilidades "a priori", multiplicadas pola razón de verosimilitude. Isto é

$$O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B).$$

A razón de verosimilitude non se usa directamente nas estatísticas baseadas no AIC. En cambio, o que se usa é a verosimilitude relativa dos modelos (que se trata máis abaixo).

Na medicina baseada na evidencia, as razóns de verosimilitude empréganse nas probas diagnósticas para avaliar o valor de realizas.

Función de verosimilitude relativa

Véxase tamén: Verosimilitude relativa.

Dado que o valor real da función de verosimilitude depende da mostra, a miúdo é conveniente traballar cunha medida estandarizada. Supoñamos que a estimación de máxima verosimilitude para o parámetro $\theta$ é ${\textstyle {\hat {\theta }}}$. As verosimilitudes relativas doutros valores de $\theta$ pódense obter comparando as verosimilitudes deses outros valores coa verosimilitude de ${\textstyle {\hat {\theta }}}$. A verosimilitude relativa de $\theta$ defínese como

$$R(\theta )={\frac {{\mathcal {L}}(\theta \mid x)}{{\mathcal {L}}({\hat {\theta }}\mid x)}}.$$

Así, a verosimilitude relativa é a razón de verosimilitude (mencionada anteriormente) co denominador fixo ${\textstyle {\mathcal {L}}({\hat {\theta }})}$. Isto correspondese coa estandarización da verosimilitude para que teña un máximo de 1.

Rexión de verosimilitude

Unha rexión de verosimilitude é o conxunto de todos os valores de θ cuxa verosimilitude relativa é maior ou igual a un limiar determinado. En termos de porcentaxes, unha «rexión de $p\%$ de verosimilitude para $\theta$ defínese como

$$\left\{\theta :R(\theta )\geq {\frac {p}{100}}\right\}.$$

Se $\theta$ consta dun único parámetro real, unha rexión de verosimilitude de $p$% normalmente comprenderá un intervalo de valores reais. Se a rexión comprende un intervalo, entón chámase «intervalo de verosimilitude».

Os intervalos de verosimilitude, e máis xeralmente as rexións de verosimilitude, empréganse para a estimación de intervalos dentro das estatísticas baseadas na verosimilitude: son similares aos intervalos de confianza nas estatísticas frecuentistas e aos intervalos de cribles nas estatísticas bayesianas. Os intervalos de verosimilitude interprétanse directamente en termos de verosimilitude relativa, non en termos de probabilidade de cobertura (frecuentismo) ou probabilidade posterior (bayesianismo).

Dado un modelo, os intervalos de verosimilitude pódense comparar cos intervalos de confianza. Se $\mathbf {\theta }$ é un único parámetro real, entón, baixo certas condicións, un intervalo de verosimilitude do 14,65% (aproximadamente unha verosimilitude de 1:7) para $\theta$ será o mesmo que un intervalo de confianza do 95% (probabilidade de cobertura de 19:20). Nunha formulación lixeiramente diferente, axeitada para o uso de log-verosimilitudes (véxase o teorema de Wilks), o estatístico de contraste é o dobre da diferenza nas log-verosimilitudes e a distribución de probabilidade do estatístico de contraste é aproximadamente unha distribución khi cadrado con graos de liberdade iguais á diferenza dos graos de liberdade dos dous modelos (polo tanto, o $e^{-2}$% intervalo de verosimilitude é o mesmo que o intervalo de confianza ao 95,4%; asumindo que a diferenza nos graos de liberdade é 1).

Verosimilitude para eliminar parámetros molestos

En moitos casos, a verosimilitude é función de máis dun parámetro, pero o interese céntrase na estimación dun só, ou como máximo duns poucos deles, considerándose os demais parámetros molestos. Desenvolvéronse varios enfoques alternativos para eliminar estes parámetros molestos, de xeito que unha verosimilitude pódese escribir como función só do parámetro (ou parámetros) de interese: os principais son as probabilidades de perfil, condicionais e marxinais. Estas abordaxes tamén son útiles cando unha superficie de verosimilitude de alta dimensionalidade precisa ser reducida a un ou dous parámetros de interese de xeito que sexa posible representala graficamente.

Verosimilitude perfil

É posible reducir as dimensións concentrando a función de verosimilitude para un subconxunto de parámetros, expresando os parámetros molestos como funcións dos parámetros de interese e substituíndoos na expresión da función de verosimilitude. En xeral, para unha función de verosimilitude que depende do vector de parámetros ${\textstyle \mathbf {\theta } }$ que se pode dividir en ${\textstyle \mathbf {\theta } =\left(\mathbf {\theta } _{1}:\mathbf {\theta } _{2}\right)}$, e onde se pode determinar explicitamente unha relación ${\textstyle \mathbf {\hat {\theta }} _{2}=\mathbf {\hat {\theta }} _{2}\left(\mathbf {\theta } _{1}\right)}$, a concentración reduce a carga computacional do problema de maximización orixinal.

Por exemplo, nunha regresión lineal con erros distribuídos normalmente, ${\textstyle \mathbf {y} =\mathbf {X} \beta +u}$, o vector de coeficientes podería particionarse en ${\textstyle \beta =\left[\beta _{1}:\beta _{2}\right]}$ (e, en consecuencia, a matriz de deseño ${\textstyle \mathbf {X} =\left[\mathbf {X} _{1}:\mathbf {X} _{2}\right]}$). Maximizar con respecto a ${\textstyle \beta _{2}}$ produce unha función onde o valor óptimo séguese de

$$\beta _{2}(\beta _{1})=\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} _{1}\beta _{1}\right).$$

Empregando este resultado, o estimador de máxima verosimilitude para ${\textstyle \beta _{1}}$ pódese derivar como

$${\hat {\beta }}_{1}=\left(\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {X} _{1}\right)^{-1}\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {y} ,$$

onde ${\textstyle \mathbf {P} _{2}=\mathbf {X} _{2}\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}}$ é a matriz de proxección de ${\textstyle \mathbf {X} _{2}}$. Este resultado coñécese como o teorema de Frisch-Waugh-Lovell.

Dado que graficamente o procedemento de concentración é equivalente a cortar a superficie de verosimilitude ao longo da crista de valores do parámetro de molestia ${\textstyle \beta _{2}}$ que maximiza a función de verosimilitude, creando un perfil isométrico da función de verosimilitude para un ${\textstyle \beta _{1}}$ dado, o resultado deste procedemento tamén se coñece como verosimilitude perfil. Ademais de representarse graficamente, a probabilidade de perfil tamén se pode usar para calcular intervalos de confianza que a miúdo teñen mellores propiedades en mostras pequenas que os baseados en erros estándar asintóticos calculados a partir da verosimilitude total.

Verosimilitude condicional

Ás veces é posible atopar un estatístico suficiente para os parámetros molestos de forma que, condicionando respecto deste estatístico, se obteña unha verosimilitude que non depende dos parámetros molestos.

Produtos de probabilidades

A probabilidade, dados dous ou máis eventos independentes, é o produto das probabilidades de cada un dos eventos individuais:

$$\Lambda (A\mid X_{1}\land X_{2})=\Lambda (A\mid X_{1})\cdot \Lambda (A\mid X_{2}).$$

Isto é particularmente importante cando os eventos proveñen de variables aleatorias independentes e identicamente distribuídas, como observacións independentes ou observacións obtidas mediante mostraxe con substitución. Nunha situación deste tipo, a función de probabilidade factorízase nun produto de funcións de verosimilitude individuais.

Log-verosimilitude

Véxase tamén: Log-verosimilitude.

A "función logarítmica de verosimilitude" é o logaritmo da función de verosimilitude, a miúdo denotada por unha l ou $\ell$ minúscula, en contraste coa L ou ${\textstyle {\mathcal {L}}}$ maiúscula para a verosimilitude. Dado que os logaritmos son funcións estritamente crecentes, maximizar a verosimilitude é equivalente a maximizar a verosimilitude logarítmica. Pero para fins prácticos é máis conveniente traballar coa función de log-verosimilitude na estimación de máxima verosimilitude, en particular porque a maioría das distribucións de probabilidade habituais, especialmente a familia exponencial, son só logaritmicamente cóncavas, e a concavidade da función obxectivo xoga un papel fundamental na maximización da mesma.

Un logaritmo dunha razón de verosimilitude é igual á diferenza das verosimilitudes logarítmicas:

$$\log {\frac {{\mathcal {L}}(A)}{{\mathcal {L}}(B)}}=\log {\mathcal {L}}(A)-\log {\mathcal {L}}(B)=\ell (A)-\ell (B).$$

Do mesmo xeito que a verosimilitude, dado ningún evento, é 1, a verosimilitude logarítmica, dado ningún evento, é 0, o que corresponde ao valor da suma baleira: sen ningún dato, non hai soporte para establecer ningún modelo.

Gráfico

O gráfico da verosimilitude logarítmica chámase curva de soporte (no caso univariante). No caso multivariante, o concepto xeneralizase nunha superficie de soporte sobre o espazo de parámetros. Ten relación co soporte dunha distribución, pero é distinto del.

O termo foi acuñado por A. W. F. Edwards no contexto dos contrastes de hipóteses estatísticas, é dicir, se os datos "apoian" ou non unha hipótese (ou valor do parámetro) que se está a probar en maior medida que calquera outra.

A función de verosimilitude logarítmica que se está a representar utilízase no cálculo da score (o gradiente da verosimilitude logarítmica) e a información de Fisher (a curvatura da verosimilitude logarítmica). Polo tanto, o gráfico ten unha interpretación directa no contexto da estimación de máxima verosimilitude e dos contrastes de razón de verosimilitudes.

Ecuacións de verosimilitude

Se a función logarítmica de verosimilitude é suave, o seu gradiente con respecto ao parámetro, coñecido como score e escrito como ${\textstyle s_{n}(\theta )\equiv \nabla _{\theta }\ell _{n}(\theta )}$, existe e permite a aplicación do cálculo diferencial. A forma básica de maximizar unha función diferenciable é atopar os seus puntos estacionarios (os puntos onde a derivada é cero); dado que a derivada dunha suma é só a suma das derivadas, pero a derivada dun produto require da regra do produto, é máis doado calcular os puntos estacionarios da verosimilitude logarítmica de eventos independentes que para a verosimilitude de eventos independentes.

As ecuacións definidas polo punto estacionario da función de score serven como ecuacións de estimación para o estimador de máxima verosimilitude

$$s_{n}(\theta )=\mathbf {0}$$

Nese sentido, o estimador de máxima verosimilitude defínese implicitamente polo valor en ${\textstyle \mathbf {0} }$ da función inversa ${\textstyle s_{n}^{-1}:\mathbb {E} ^{d}\to \Theta }$, onde ${\textstyle \mathbb {E} ^{d}}$ é o espazo euclidiano de dimensión d e ${\textstyle \Theta }$ é o espazo de parámetros. Mediante o teorema da función inversa pódese demostrar que ${\textstyle s_{n}^{-1}}$ está ben definido nunha veciñanza aberta arredor de ${\textstyle \mathbf {0} }$ cunha probabilidade de un, e ${\textstyle {\hat {\theta }}_{n}=s_{n}^{-1}(\mathbf {0} )}$ é unha estimación consistente de ${\textstyle \theta }$. En consecuencia, existe unha secuencia ${\textstyle \{{\hat {\theta }}_{n}\}}$ tal que ${\textstyle s_{n}({\hat {\theta }}_{n})=\mathbf {0} }$ asintoticamente con converxencia case segura, e ${\textstyle {\hat {\theta }}_{n}\xrightarrow {\text{p}} \theta _{0}}$. Un resultado similar pódese establecer empregando o teorema de Rolle.

A segunda derivada avaliada en ${\textstyle {\hat {\theta }}}$, coñecida como información de Fisher, determina a curvatura da superficie de verosimilitude, e, polo tanto, indica a precisión da estimación.

Familias exponenciais

Artigo principal: Familia exponencial.

A verosimilitude logarítmica tamén é particularmente útil para familias exponenciais de distribucións, que inclúen moitas das distribucións de probabilidade paramétricas habituais. A función de distribución de probabilidade (e, polo tanto, a función de verosimilitude) para familias exponenciais contén produtos de factores que implican a exponenciación. O logaritmo dunha función deste tipo é unha suma de produtos, de novo máis fácil de diferenciar que a función orixinal.

Unha familia exponencial é aquela cuxa función de densidade de probabilidade ten a forma (para algunhas funcións, escribindo ${\textstyle \langle -,-\rangle }$ para o produto interno):

$$p(x\mid {\boldsymbol {\theta }})=h(x)\exp {\Big (}\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }}){\Big )}.$$

Cada un destes termos ten unha interpretación, pero simplemente cambiando de probabilidade a verosimilitude e tomando logaritmos obtense a suma:

$$\ell ({\boldsymbol {\theta }}\mid x)=\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }})+\log h(x).$$

As funcións ${\textstyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}$ e ${\textstyle h(x)}$ corresponden cada unha a un cambio de coordenadas, polo que nestas coordenadas, a verosimilitude logarítmica dunha familia exponencial vén dada pola fórmula simple:

$$\ell ({\boldsymbol {\eta }}\mid x)=\langle {\boldsymbol {\eta }},\mathbf {T} (x)\rangle -A({\boldsymbol {\eta }}).$$

Noutras palabras, a verosimilitude logarítmica dunha familia exponencial é o produto interno do parámetro natural ${\boldsymbol {\eta }}$ e o estatístico suficiente $\mathbf {T} (x)$, menos o factor de normalización (función de partición logarítmica) $A({\boldsymbol {\eta }})$. Así, por exemplo, a estimación de máxima verosimilitude pódese calcular tomando derivadas do estatístico suficiente $T$ e da función de partición logarítmica $A$.

Exemplo: a distribución gamma

A distribución gamma é unha familia exponencial con dous parámetros, ${\textstyle \alpha }$ e ${\textstyle \beta }$. A súa función de verosimilitude é

$${\mathcal {L}}(\alpha ,\beta \mid x)={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}x^{\alpha -1}e^{-\beta x}.$$

Atopar a estimación de máxima verosimilitude de ${\textstyle \beta }$ para un único valor observado ${\textstyle x}$ parece bastante desalentador. O seu logaritmo é moito máis sinxelo de manexar:

$$\log {\mathcal {L}}(\alpha ,\beta \mid x)=\alpha \log \beta -\log \Gamma (\alpha )+(\alpha -1)\log x-\beta x.\,$$

Para maximizar a verosimilitude logarítmica, primeiro tomamos a derivada parcial con respecto a ${\textstyle \beta }$:

$${\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x)}{\partial \beta }}={\frac {\alpha }{\beta }}-x.$$

Se hai varias observacións independentes ${\textstyle x_{1},\ldots ,x_{n}}$, entón a verosimilitude logarítmica conxunta será a suma das verosimilitudes logarítmicas individuais, e a derivada desta suma será unha suma das derivadas de cada verosimilitude logarítmica individual:

$${\begin{aligned}&{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{1},\ldots ,x_{n})}{\partial \beta }}\\&={\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{1})}{\partial \beta }}+\cdots +{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{n})}{\partial \beta }}\\&={\frac {n\alpha }{\beta }}-\sum _{i=1}^{n}x_{i}.\end{aligned}}$$

Para completar o procedemento de maximización da verosimilitude logarítmica conxunta, a ecuación iguálase a cero e resólvese para ${\textstyle \beta }$:

$${\widehat {\beta }}={\frac {\alpha }{\bar {x}}}.$$

Aquí ${\textstyle {\widehat {\beta }}}$ denota a estimación de máxima verosimilitude e ${\textstyle \textstyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$ é a media mostral das observacións.

Véxase tamén

Outros artigos

• Probabilidade condicionada