Início » Análise de Regressão » 4. Regressão Logística » 4.1 Regressão Logística Simples

4.1.2 Estimação dos Parâmetros do modelo

Para ajustar um modelo de regressão  devemos estimar os parâmetros $ \beta_0 $ e $ \beta_1 $ do modelo.
Os estimadores de máxima verossimilhança para os parâmetros $ \beta_0 $ e $ \beta_1 $ são os valores de $ \widehat{\beta}_0 $ e $ \widehat{\beta}_1 $ que maximizam o logaritmo da função de verossimilhança. A função de verossimilhança tem máximo, pois $ 0 \textless P[Y_i = y_i \mid x_i] \textless 1, $ pois a função logaritmo é estritamente crescente.

Para maximizar a função de verossimilhança basta derivarmos em relação aos parâmetros do modelo,  da seguinte forma

$$\frac{\partial}{\partial\beta_0}\L(\beta_0,\beta_1)~=~\sum^n_{i=1}y_i-\sum^n_{i=1}{m_i}\,\frac{e^{\beta_0+\beta_1x_i}}{1+e^{\beta_0+\beta_1x_i}}$$

$$\frac{\partial}{\partial\beta_1} \L~(\beta_0,\beta_1)~=~\sum^n_{i=1}y_i~x_i-\sum^n_{i=1}{m_i \, x_i} \, \frac{e^{\beta_0+\beta_1x_i}}{1 +e^{\beta_0+\beta_1x_i}}$$

Igualando estas derivadas a zero e substituindo os parâmetros ($ \beta_0,\beta_1 $) pelos estimadores $ (\widehat{\beta}_0,\widehat{\beta}_1), $

$$\sum^n_{i=1}y_i-\sum^n_{i=1}{m_i}\frac{e^{\widehat{\beta}_0+\widehat{\beta}_1x_i}}{1+e^{\widehat{\beta}_0+\widehat{\beta}_1x_i}}=0$$

$$\sum^n_{i=1}y_i~x_i-\sum^n_{i=1}{m_i x_i}\frac{e^{\widehat{\beta}_0+\widehat{\beta}_1x_i}}{1 +e^{\widehat{\beta}_0+\widehat{\beta}_1x_i}} = 0$$

Porém estas equações são não-lineares nos parâmetros e para resolvê-las é preciso recorrer a métodos numéricos interativos, como Newton-Raphson (Gourieroux e Monfort, 1995). Este método é definido expandindo-se a função U($ \pmb{\beta} $) em torno do ponto inicial $ \pmb{\beta}^{(0)} $, tal que

$$U(\pmb{\beta})\approx U(\pmb{\beta}^{(0)})+U'(\pmb{\beta}^{(0)})(\pmb{\beta}-\pmb{\beta}^{(0)}),~~~~(4.1.2.1)$$

sendo que U($ \pmb{\beta} $) são as derivadas de primeira ordem do logaritmo da função de verossimilhança em relação aos parâmetros do modelo e $ U'(\pmb{\beta}) $ são as derivadas de ordem 2 do logaritmo da função de verossimilhança.

Se repetirmos o processo (4.1.2.1) chegaremos ao processo iterativo

$$\pmb{\beta}^{(m+1)}=\pmb{\beta}^{(m)}+[-U'(\pmb{\beta}^{(m)})]^{-1}U'(\pmb{\beta}^{(m)}),$$

sendo que $ m=0,1,\ldots $

Como a matriz $ -U'(\pmb{\beta}) $ pode não ser positiva definida, e portanto não invertível, ela é substituída pela matriz de informação de Fisher. Assim

$$\pmb{\beta}^{(m+1)}=\pmb{\beta}^{(m)}+[\mbox{-I}(\pmb{\beta}^{(m)})^{-1}]U'(\pmb{\beta}^{(m)}),~~~ m=0,1,\ldots~~~(4.1.2.2)$$

A matriz de informação de Fisher, para o modelo logístico com uma variável, tem a seguinte forma:

$$I(\widehat{\beta})=-\begin{bmatrix}\frac{\partial^2}{\partial\beta_0^2}~\ln~\L(\beta_0,\beta_1) ~~\frac{\partial^2}{\partial\beta_0 \beta_1}~\ln~\L(\beta_0,\beta_1)\\\frac{\partial^2}{\partial\beta_0\beta_1}~\ln~\L(\beta_0,\beta_1)~~\frac{\partial^2}{\partial \beta_1^2}~\ln~\L(\beta_0,\beta_1)\end{bmatrix}$$

$$=\begin{bmatrix}\sum\limits_{i=1}^n m_i\frac{e^{\beta_0+\beta_1x_i}}{(1+e^{\beta_0+\beta_1x_i})^2}~~\sum\limits_{i=1}^n m_i x_i\frac{e^{\beta_0+\beta_1x_i}}{(1+e^{\beta_0+\beta_1x_i})^2}\\\sum\limits_{i=1}^n m_i x_i \frac{e^{\beta_0+\beta_1x_i}}{(1+e^{\beta_0+\beta_1x_i})^2} ~~\sum\limits_{i=1}^n m_i x_i^2\frac{e^{\beta_0+\beta_1x_i}}{(1+e^{\beta_0+\beta_1x_i})^2} \\\end{bmatrix}~~~~(4.1.2.3)$$

Após obter as estimativas dos parâmetros do modelo é possível calcular as probabilidades estimadas

$$\widehat{\pi}_i=\frac{e^{\widehat{\beta}_0+\widehat{\beta}_1x_i}}{1+e^{\widehat{\beta}_0+\widehat{\beta}_1x_i}}~~~(4.1.2.4)$$

Exemplo 4.1.2.1

Realizou-se um treinamento com 30 funcionários de um determinado setor de uma empresa. O objetivo do treinamento foi determinar o menor número de horas de treinamento necessários para ocorrência do menor número de erros de montagem. A Tabela 4.1.2.1  mostra os dados coletados no treinamento. 

Horas de Treinamento (X) Erros de Montagem (Y) Peças Analisadas (M) Horas de Treinamento (X) Erros de Montagem (Y) Peças Analisadas (M)
30 2 200 17 9 200
30 2 200 17 10 200
30 2 200 16 10 200
29 2 200 15 11 200
28 3 200 13 11 200
27 4 200 12 12 200
26 5 200 11 12 200
26 5 200 11 12 200
25 6 200 11 13 200
24 6 200 10 13 200
23 8 200 10 13 200
20 8 200 9 13 200
20 8 200 8 13 200
20 8 200 8 14 200
17 9 200 5 14 200

Tabela 4.1.2.1: Dados do Treinamento.

Neste exemplo, a variável explicativa é denominada ($ X $), a variável resposta ($ Y $) e ($ M $) é o número de ensaios (repetições). Como estes dados têm distribuição binomial é possível ajustar um modelo logístico.

Para estimar os parâmetros deste modelo utilizamos o método iterativo de Newton-Raphson. Como ponto inicial consideramos $ \beta=(\beta_0,~\beta_1 $)=(0,0) e utilizando a expressão 4.1.2.2, tem-se os seguintes passos do processo iterativo:

[1ª] Iteração:

$$\widehat{\beta}= \begin{bmatrix}0\\0\\\end{bmatrix}+\begin{bmatrix}1500~~~27400\\27400~~~589700\\\end{bmatrix}^{-1}\times\begin{bmatrix}-2742\\-50994\\\end{bmatrix}=\begin{bmatrix}-1,64228866\\-0,01016668\\\end{bmatrix}$$

[2ª] Iteração:

$$\widehat{\beta}=\begin{bmatrix}-1,64228866\\-0,01016668\\\end{bmatrix}+\begin{bmatrix}716,4305~~~12774,56\\12774,5605~~~270061,59\\\end{bmatrix}^{-1}\times\begin{bmatrix}-574,4487\\-10968,1864\\\end{bmatrix}=\begin{bmatrix} -2,13823758\\-0,02732075\\\end{bmatrix}$$

[3ª] Iteração:

$$\widehat{\beta}=\begin{bmatrix}-2,13823758\\-0,02732075\\\end{bmatrix}+\begin{bmatrix}379,0670~~~6399,839\\6399,8389~~~129715,680\\\end{bmatrix}^{-1} \times\begin{bmatrix}-149,8268\\-3036,3513\\\end{bmatrix}=\begin{bmatrix}-2,13856968\\-0,05071211\\\end{bmatrix}$$

[4ª] Iteração:

$$\widehat{\beta}=\begin{bmatrix}-2,13856968\\-0,05071211\\\end{bmatrix}+\begin{bmatrix}269,9642~~~4225,006\\4225,0061~~~80422,963\\\end{bmatrix}^{-1}\times\begin{bmatrix}-27,2826\\-622,3350\\\end{bmatrix}=\begin{bmatrix}-2,02583693\\-0,06437278\\\end{bmatrix}$$

[5ª] Iteração:

$$\widehat{\beta}=\begin{bmatrix}-2,02583693\\-0,06437278\\\end{bmatrix}+\begin{bmatrix}246,7687~~~3697,78\\3697,7797~~~67728,94\\\end{bmatrix}^{-1}\times\begin{bmatrix}-2,370660\\-59,028702\\\end{bmatrix}=\begin{bmatrix}-2,00685123\\-0,06628088\\\end{bmatrix}$$

[6ª] Iteração:

$$\widehat{\beta}=\begin{bmatrix}-2,00685123\\-0,06628088\\\end{bmatrix}+\begin{bmatrix}244,5458~~~3642,619\\3642,6187~~~66355,737\\\end{bmatrix}^{-1}\times\begin{bmatrix} -0,03166171\\-0,79013813\\\end{bmatrix}=\begin{bmatrix}-2,00658851\\-0,06630721\\\end{bmatrix}$$

O processo foi interrompido na 6ª iteração, pois, a partir dela, o resultado se estabiliza. Assim, para os dados da Tabela 4.1.2.1 os estimadores dos parâmetros $ \beta=(\beta_0,\beta_1), $ são respectivamente:

$$\widehat{\beta}_0 = -2,0066$$

$$\widehat{\beta}_1 = -0,0663$$

O estimador $ \widehat{\beta_0} $ é o intercepto do modelo e $ \widehat{\beta_1} $ é o coeficiente da variável explicativa (Horas de Treinamento).

A probabilidade estimada de ocorrer Erros de Montagem em relação as Horas de Treinamento foi obtida a partir da expressão 4.1.2.4. Estas estimativas são apresentados na Tabela 4.1.2.2.  Verificamos pela Figura 4.1.2.1 que quanto maior o número de Horas em Treinamento menor será a probabilidade de erro.

Horas de Treinamento Probabilidade do Erro Horas de Treinamento Probabilidade do Erro
30 0,01806045 17 0,04173392
30 0,01806045 17 0,04173392
30 0,01806045 16 0,04446776
29 0,01927472 15 0,04737184
28 0,02056892 13 0,05372869
27 0,02194807 12 0,05720136
26 0,02341749 11 0,06088404
26 0,02341749 11 0,06088404
25 0,02498277 11 0,06088404
24 0,02664982 10 0,06478753
23 0,02842486 10 0,06478753
20 0,03446517 9 0,06892291
20 0,03446517 8 0,07330157
20 0,03446517 8 0,07330157
17 0,04173392 5 0,08801434

Tabela 4.1.2.2: Probabilidade de ocorrência do erro.

 

Figura 4.1.2.1: Gráfico da probabilidade ajustada.