Início » Inferência

3 - Estimadores de máxima verossimilhança

Estimadores de máxima verossimilhança

O princípio de máxima versossimilhança é um dos procedimentos usados para se obter estimadores. Consideremos uma população e uma variável aleatória X, relacionada a essa população, com função de probabilidade (se X é uma variável aleatória discreta) ou função densidade de probabilidade (se X é contínua) ƒ(x,θ), sendo θ o parâmetro desconhecido. Retiremos uma amostra aleatória simples de X, de tamanho n, X1,...,Xn, e sejam x1,...,xn os valores efetivamente observados.

A função de verossimilhança L é definida por

\[L(\theta;x_1,\ldots,x_n)=f(x_1;\theta)\times\ldots\times f(x_n;\theta)=\prod_{i=1}^n f(x_i;\theta).\]

  Se $ X $ é uma variável aleatória discreta com função de distribuição p(x,θ), a função de verossimilhança é dada por

\[L(\theta;x_1,\ldots,x_n)=p(x_1;\theta)\times\ldots\times p(x_n;\theta)=\prod_{i=1}^n p(x_i;\theta).\]

que deve ser interpretada como uma função de θ. O estimador de máxima verossimilhança de θ é o valor que maximiza L(θ;x1,...,xn).

Como encontrar o estimador de máxima verossimilhança

  • Encontrar a função de verossimilhança;
  • Aplicar a função ln;
  • Derivar em relação ao parâmetro θ;
  • Igualar o resultado a zero.
  • Verificar que este estimador é ponto de máximo.

Exemplo 3.1: Seja X uma variável aleatória com distribuição Bernoulli(p). Tomemos uma amostra aleatória X1, ..., Xn de X. Qual é o estimador de máxima verossimilhança para p?

Como X $ \sim $ Bernoulli(p), a função de probabilidade de X é

\[f_p(x)=p^x(1-p)^{1-x}.\]

Desta forma, a função de verossimilhança é dada por

\[L(p;x_1,\ldots,x_n)=\prod_{i=1}^np^{x_i}(1-p)^{1-x_i}=p^{\sum_{i=1}^nx_i}(1-p)^{\sum_{i=1}^n(1-x_i)}.\]

Para encontar o estimador de máxima verossimilhança para p, devemos encontrar o valor de p para o qual a função de verossimilhança L(p;x1,...,xn) é máxima. Aplicando a função logaritmo natural (ln) na função de verossimilhança L(p;x1,...,xn), temos que

\[\ln L(p,x_1,\ldots,x_n)=\sum_{i=1}^nx_i\ln(p)+\sum_{i=1}^n(1-x_i)\ln(1-p)\]

e, derivando em relação a p, segue que

\[\frac{d\ln L(p;x_1,\ldots,x_n)}{dp}=\frac{(1-p)\displaystyle\sum_{i=1}^nx_i-p\sum_{i=1}^n(1-x_i)}{p(1-p)}.\]

Igualando o resultado a zero, obtemos que

\[\frac{(1-\hat{p})\displaystyle \sum_{i=1}^nx_i-\hat{p}(\displaystyle\sum_{i=1}^n(1-x_i))}{\hat{p}(1-\hat{p})}=0\Leftrightarrow \hat{p}=\frac{1}{n}\sum_{i=1}^nx_i=\overline{x}.\]

É fácil verificar, utilizando o teste da segunda derivada que $ \hat{p}=\frac{1}{n}\overline{X} $ é realmente um estimador de máxima verossimilhança para p.

Exemplo 3.2: Seja X uma variável aleatória com distribuição Poisson(λ). Tomemos uma amostra aleatória X1, ..., Xn iid de X. Qual é o estimador de máxima verossimilhança para λ?

Como X $ \sim $ Poisson(λ), a função de probabilidade de X é

\[f_{\lambda}(x)=\frac{\lambda^xe^{-\lambda}}{x!}, \quad k\in\mathbb{N}.\]

Desta forma, a função de verossimilhança é dada por

\[L(\lambda;x_1,\ldots,x_n)=\prod_{i=1}^n\frac{\lambda^{x_i}e^{-\lambda}}{x_i!}\]

Ou seja,

\[L(\lambda;x_1,\ldtos,x_n)=\frac{1}{\prod_{i=1}^nx_i!}\lambda^{\sum_{i=1}^nx_i}e^{-n\lambda}.\]

Para encontrar o estimador de máxima verossimilhança para λ, devemos encontrar o valor de λ para o qual a função de verossimilhança L(λ;x1,...,xn) é máxima.

Aplicamos a função logaritmo natural (ln) na função de verossimilhança L(λ;x1,...,xn). Desta forma, temos que

\[\ln L(\lambda;x_1,\ldots,x_n)=\ln\left(\frac{1}{\prod_{i=1}^nx_1!}\right)+\sum_{i=1}^nx_i\ln\lambda-n\lambda\]

e, derivando em relação a λ, segue que

\[\frac{d\ln L(\lambda;x_1,\ldots,x_n)}{d\lambda}=\frac{1}{\lambda}\sum_{i=1}^nx_i-n.\]

Igualando o resultado a zero, segue que

\[\frac{1}{\hat{\lambda}}\sum_{i=1}^nx_i-n=0\Leftrightarrow\hat{\lambda}=\frac{\sum_{i=1}^nx_i}{n}=\overline{x}.\]

Neste caso, o possível estimador de máxima verossimilhança para o parâmetro λ é $ \hat{\lambda}=\overline{X} $. Basta verificar se este ponto é realmente um ponto de máximo. Para isto, vamos calcular a segunda derivada de ln L(λ; x1,...,xn).

\[\frac{d^2\ln L(\lambda;x_1,\ldots,x_n)}{d\lambda^2}=-\frac{1}{\lambda^2}\sum_{i=1}^nx_i \ \textless \ 0.\]

Portanto, concluímos que $ \hat{\lambda}=\overline{X} $ é um estimador de máxima verossimilhança para o parâmetro λ.

Exemplo 3.3: Seja X uma variável aleatória com distribuição Normal com média μ e variância σ2. Tomemos uma amostra aleatória iid X1,...,Xn de X. Qual o estimador de máxima verossimilhança para θ=(μ,σ2)?

Como X $ \sim $ N(μ,σ2), a função densidade de X é

\[f_{\mu,\sigma^2}(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2\right], \quad -\infty \ \textless \ x \ \textless \ \infty.\]

Assim, a função de verossimilhança é dada por

\[L(\mu,\sigma^2;x_1,\ldots,x_n)=\prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{1}{2}\left(\frac{x_i-\mu}{\sigma}\right)^2\right]\]

Ou seja,

\[L(\mu,\sigma^2;x_1,\ldots,x_n)=(2\pi)^{-n/2}(\sigma^2)^{-n/2}\exp\left[-\frac{1}{2}\sum_{i=1}^n\left(\frac{x_i-\mu}{\sigma}\right)^2\right].\]

Para encontrar o estimador de máxima verossimilhança para  θ=(μ,σ2) devemos encontrar os valores de μ e  σ2 para os quais a função de verossimilhança, L(μ,σ2; x1,...,xn), é máxima.

Para isso primeiramente aplicaremos a função ln,

\[\ln L(\mu,\sigma^2;x_1,\ldots,x_n)=-\frac{n}{2}\ln(2\pi)-\frac{n}{2}\ln(\sigma^2)-\frac{1}{2}\sum_{i=1}^n \frac{(x_i-\mu)^2}{\sigma^2}.\]

Agora vamos derivar em relação a  μ:

\[\frac{\partial L(\mu,\sigma^2;x_1,\ldots,x_n)}{\partial\mu}=-\frac{2}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)(-1)=\sum_{i=1}^n\left(\frac{x_i-\mu}{\sigma^2}\right).\]

Igualando o resultado a zero obtemos:

\[\sum_{i=1}^{n}\left(\frac{x_{i}-\hat{\mu}}{\sigma^{2}}\right)=0\Leftrightarrow\frac{1}{\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\hat{\mu})=0\Leftrightarrow\sum_{i=1}^{n}(x_{i}-\hat{\mu})=0\Leftrightarrow n\hat{\mu}=\sum_{i=1}^{n}x_{i}\Leftrightarrow\hat{\mu}=\bar{x}.\]

E então, o possível estimador de máxima verossimilhança da média populacional μ é $ \overline{x} $. Basta avaliar agora se realmente $ \overline{x} $ é ponto de máximo. Para isto,

\[\frac{\partial^2 L(\mu,\sigma^2;x_1,\ldots,x_n)}{\partial\mu^2}=\frac{\partial^2}{\partial\mu^2}\left[\frac{1}{\sigma^2}\sum_{i=1}^n(x_i-\mu)\right]=-\frac{n}{\sigma^2}\ \textless \ 0.\]

Assim, concluimos que $ \overline{x} $ é realmente um ponto de máximo e, portanto, o estimador de máxima verossimilhança para  μ é $ \hat{\mu}=\bar{x} $. Vamos agora encontrar o estimador de máxima verossimilhança para a variância σ2. Para isso, derivamos a função em relação a σ2:

\[\frac{\partial\ln L(\mu,\sigma^2;x_1,\ldots,x_n)}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{1}{2}\sum_{i=1}^n\left(\frac{x_i-\mu}{\sigma^2}\right)^2.\]

Igualando a zero, temos que

\[-\frac{n}{2\sigma^2}+\frac{1}{2}\sum_{i=1}^n\left(\frac{x_i-\mu}{\sigma^2}\right)^2=0\Leftrightarrow -n+\sum_{i=1}^n\frac{(x_i-\mu)^2}{\sigma^2}=0\Leftrightarrow\hat{\sigma}^2=\frac{(n-1)}{n}s^2.\]

Como

\[\frac{\partial^2 L(\mu,\sigma^2;x_1,\ldots,x_n)}{\partial(\sigma^2)^2}=\frac{1}{(\sigma^2)^2}\left(\frac{n}{2}-\frac{(n-1)s^2}{\sigma^2}\right)\]

que, avaliado em $ \hat{\sigma}^2=\frac{(n-1)s^2}{n} $ é tal que

\[\frac{\partial^2 L(\mu,\hat{\sigma}^2;x_1,\ldots,x_n)}{\partial(\sigma^2)^2}=-\frac{n}{2}\frac{1}{\hat{\sigma}}2} \ \textless \ 0.\]

Portanto, o estimador de máxima verossimilhança para σ2 é $ \displaystyle\hat{\sigma}^2=\frac{(n-1)}{n}s^2 $, onde $ \displaystyle s^2=\frac{\sum_{i=1}^n(x_i-\mu)^2}{n-1} $.