4.1.2 Estimação dos Parâmetros do modelo

Para ajustar um modelo de regressão  devemos estimar os parâmetros $\beta_0$ e $\beta_1$ do modelo.
Os estimadores de máxima verossimilhança para os parâmetros $\beta_0$ e $\beta_1$ são os valores de $\widehat{\beta}_0$ e $\widehat{\beta}_1$ que maximizam o logaritmo da função de verossimilhança. A função de verossimilhança tem máximo, pois $0 \textless P[Y_i = y_i \mid x_i] \textless 1,$ pois a função logaritmo é estritamente crescente.

Para maximizar a função de verossimilhança basta derivarmos em relação aos parâmetros do modelo,  da seguinte forma $$\frac{\partial}{\partial\beta_0}\L(\beta_0,\beta_1)~=~\sum^n_{i=1}y_i-\sum^n_{i=1}{m_i}\,\frac{e^{\beta_0+\beta_1x_i}}{1+e^{\beta_0+\beta_1x_i}}$$

$$\frac{\partial}{\partial\beta_1} \L~(\beta_0,\beta_1)~=~\sum^n_{i=1}y_i~x_i-\sum^n_{i=1}{m_i \, x_i} \, \frac{e^{\beta_0+\beta_1x_i}}{1 +e^{\beta_0+\beta_1x_i}}$$

Igualando estas derivadas a zero e substituindo os parâmetros ($\beta_0,\beta_1$) pelos estimadores $(\widehat{\beta}_0,\widehat{\beta}_1),$ $$\sum^n_{i=1}y_i-\sum^n_{i=1}{m_i}\frac{e^{\widehat{\beta}_0+\widehat{\beta}_1x_i}}{1+e^{\widehat{\beta}_0+\widehat{\beta}_1x_i}}=0$$

$$\sum^n_{i=1}y_i~x_i-\sum^n_{i=1}{m_i x_i}\frac{e^{\widehat{\beta}_0+\widehat{\beta}_1x_i}}{1 +e^{\widehat{\beta}_0+\widehat{\beta}_1x_i}} = 0$$

Porém estas equações são não-lineares nos parâmetros e para resolvê-las é preciso recorrer a métodos numéricos interativos, como Newton-Raphson (Gourieroux e Monfort, 1995). Este método é definido expandindo-se a função U($\pmb{\beta}$) em torno do ponto inicial $\pmb{\beta}^{(0)}$, tal que $$U(\pmb{\beta})\approx U(\pmb{\beta}^{(0)})+U^\prime (\pmb{\beta}^{(0)})(\pmb{\beta}-\pmb{\beta}^{(0)}),~~~~(4.1.2.1)$$

sendo que U($\pmb{\beta}$) são as derivadas de primeira ordem do logaritmo da função de verossimilhança em relação aos parâmetros do modelo e $U^\prime (\pmb{\beta}) $ são as derivadas de ordem 2 do logaritmo da função de verossimilhança.

Se repetirmos o processo (4.1.2.1) chegaremos ao processo iterativo $$\pmb{\beta}^{(m+1)}=\pmb{\beta}^{(m)}+[-U^\prime (\pmb{\beta}^{(m)})]^{-1}U^\prime (\pmb{\beta}^{(m)}),$$

sendo que $m=0,1,\ldots$

Como a matriz $-U^\prime (\pmb{\beta})$ pode não ser positiva definida, e portanto não invertível, ela é substituída pela matriz de informação de Fisher. Assim  $$\pmb{\beta}^{(m+1)}=\pmb{\beta}^{(m)}+[\mbox{-I}(\pmb{\beta}^{(m)})^{-1}]U^\prime (\pmb{\beta}^{(m)}),~~~ m=0,1,\ldots~~~(4.1.2.2)$$

A matriz de informação de Fisher, para o modelo logístico com uma variável, tem a seguinte forma: $$I(\widehat{\beta})=-\begin{bmatrix}\frac{\partial^2}{\partial\beta_0^2}~\ln~\L(\beta_0,\beta_1) ~~\frac{\partial^2}{\partial\beta_0 \beta_1}~\ln~\L(\beta_0,\beta_1)\\\frac{\partial^2}{\partial\beta_0\beta_1}~\ln~\L(\beta_0,\beta_1)~~\frac{\partial^2}{\partial \beta_1^2}~\ln~\L(\beta_0,\beta_1)\end{bmatrix}$$

$$=\begin{bmatrix}\sum\limits_{i=1}^n m_i\frac{e^{\beta_0+\beta_1x_i}}{(1+e^{\beta_0+\beta_1x_i})^2}~~\sum\limits_{i=1}^n m_i x_i\frac{e^{\beta_0+\beta_1x_i}}{(1+e^{\beta_0+\beta_1x_i})^2}\\\sum\limits_{i=1}^n m_i x_i \frac{e^{\beta_0+\beta_1x_i}}{(1+e^{\beta_0+\beta_1x_i})^2} ~~\sum\limits_{i=1}^n m_i x_i^2\frac{e^{\beta_0+\beta_1x_i}}{(1+e^{\beta_0+\beta_1x_i})^2} \\\end{bmatrix}~~~~(4.1.2.3)$$

Após obter as estimativas dos parâmetros do modelo é possível calcular as probabilidades estimadas $$\widehat{\pi}_i=\frac{e^{\widehat{\beta}_0+\widehat{\beta}_1x_i}}{1+e^{\widehat{\beta}_0+\widehat{\beta}_1x_i}}~~~(4.1.2.4)$$

Exemplo 4.1.2.1

Realizou-se um treinamento com 30 funcionários de um determinado setor de uma empresa. O objetivo do treinamento foi determinar o menor número de horas de treinamento necessários para ocorrência do menor número de erros de montagem. A Tabela 4.1.2.1  mostra os dados coletados no treinamento. 

Tabela 4.1.2.1: Dados do Treinamento.

clique aqui para efetuar o download dos dados utilizados nesse exemplo

Neste exemplo, a variável explicativa é denominada ($X$), a variável resposta ($Y$) e ($M$) é o número de ensaios (repetições). Como estes dados têm distribuição binomial é possível ajustar um modelo logístico.

Para estimar os parâmetros deste modelo utilizamos o método iterativo de Newton-Raphson. Como ponto inicial consideramos $\beta=(\beta_0,~\beta_1$)=(0,0) e utilizando a expressão 4.1.2.2, tem-se os seguintes passos do processo iterativo:

[1ª] Iteração:

$$\widehat{\beta}= \begin{bmatrix}0\\0\\\end{bmatrix}+\begin{bmatrix}1500~~~27400\\27400~~~589700\\\end{bmatrix}^{-1}\times\begin{bmatrix}-2742\\-50994\\\end{bmatrix}=\begin{bmatrix}-1,64228866\\-0,01016668\\\end{bmatrix}$$

[2ª] Iteração:

$$\widehat{\beta}=\begin{bmatrix}-1,64228866\\-0,01016668\\\end{bmatrix}+\begin{bmatrix}716,4305~~~12774,56\\12774,5605~~~270061,59\\\end{bmatrix}^{-1}\times\begin{bmatrix}-574,4487\\-10968,1864\\\end{bmatrix}=\begin{bmatrix} -2,13823758\\-0,02732075\\\end{bmatrix}$$

[3ª] Iteração:

$$\widehat{\beta}=\begin{bmatrix}-2,13823758\\-0,02732075\\\end{bmatrix}+\begin{bmatrix}379,0670~~~6399,839\\6399,8389~~~129715,680\\\end{bmatrix}^{-1} \times\begin{bmatrix}-149,8268\\-3036,3513\\\end{bmatrix}=\begin{bmatrix}-2,13856968\\-0,05071211\\\end{bmatrix}$$

[4ª] Iteração:

$$\widehat{\beta}=\begin{bmatrix}-2,13856968\\-0,05071211\\\end{bmatrix}+\begin{bmatrix}269,9642~~~4225,006\\4225,0061~~~80422,963\\\end{bmatrix}^{-1}\times\begin{bmatrix}-27,2826\\-622,3350\\\end{bmatrix}=\begin{bmatrix}-2,02583693\\-0,06437278\\\end{bmatrix}$$

[5ª] Iteração:

$$\widehat{\beta}=\begin{bmatrix}-2,02583693\\-0,06437278\\\end{bmatrix}+\begin{bmatrix}246,7687~~~3697,78\\3697,7797~~~67728,94\\\end{bmatrix}^{-1}\times\begin{bmatrix}-2,370660\\-59,028702\\\end{bmatrix}=\begin{bmatrix}-2,00685123\\-0,06628088\\\end{bmatrix}$$

[6ª] Iteração:

$$\widehat{\beta}=\begin{bmatrix}-2,00685123\\-0,06628088\\\end{bmatrix}+\begin{bmatrix}244,5458~~~3642,619\\3642,6187~~~66355,737\\\end{bmatrix}^{-1}\times\begin{bmatrix} -0,03166171\\-0,79013813\\\end{bmatrix}=\begin{bmatrix}-2,00658851\\-0,06630721\\\end{bmatrix}$$

O processo foi interrompido na 6ª iteração, pois, a partir dela, o resultado se estabiliza. Assim, para os dados da Tabela 4.1.2.1 os estimadores dos parâmetros $\beta=(\beta_0,\beta_1),$ são respectivamente:
$$\widehat{\beta}_0 = -2,0066$$
$$\widehat{\beta}_1 = -0,0663$$

O estimador $\widehat{\beta_0}$ é o intercepto do modelo e $\widehat{\beta_1}$ é o coeficiente da variável explicativa (Horas de Treinamento).

A probabilidade estimada de ocorrer Erros de Montagem em relação as Horas de Treinamento foi obtida a partir da expressão 4.1.2.4. Estas estimativas são apresentados na Tabela 4.1.2.2.  Verificamos pela Figura 4.1.2.1 que quanto maior o número de Horas em Treinamento menor será a probabilidade de erro.

Tabela 4.1.2.2: Probabilidade de ocorrência do erro.

Figura 4.1.2.1: Gráfico da probabilidade ajustada.