Início » Análise de Regressão » 4. Regressão Logística » 4.1 Regressão Logística Simples

4.1.1 Modelo Estatístico

Um modelo de regressão logística simples é usado para o caso de regressão com uma variável explicativa.

Suponha uma amostra de $ n $ observações independentes da terna $ (x_i,m_i,y_i), $ $ i=1,2,\ldots,n $, sendo que:

  • $ x_i $ é o valor da variável explicativa;
  • $ m_i $ é a quantidade de itens verificados na amostra (número de ensaios);
  • $ y_i $ número de ocorrência de um evento (exemplo: quantidade de peças não conforme) em $ m_i $ ensaios; e
  • $ n $ é o tamanho da amostra.

Com isso, assumimos que a variável resposta tem distribuição de probabilidade binomial $ ( Y_i \sim B(m_i,\pi_i)) $, tal que

$$P[Y_i=y_i]=\binom{m_i}{y_i}\pi_i^{y_i}(1-\pi_i)^{m_i-y_i}.$$

Para adequarmos a resposta média ao modelo linear usamos a função de ligação

$$\pi(x_i)=\frac{e^{\beta_0+\beta_1x_i}}{1+e^{\beta_0+\beta_1x_i}},\, i=1, \ldots, n,$$

que pode ser escrita como

$$\ln\left(\frac {\pi_i} {1 - \pi_i}\right)= \beta_0+\beta_1x_i.$$

As figuras a seguir ilustram a forma do modelo logístico para $ \beta_1 $ positivo e negativo.

Figura 4.1.1.1: Modelo logístico com $ \beta_1 $ positivo.

Figura 4.1.1.2: Modelo logístico com $ \beta_1 $ negativo.

Neste caso, utilizamos o método da máxima verossimilhança para estimarmos os parâmetros $ (\beta_0 ,\beta_1) $. De forma genérica, o método de máxima verossimilhança nos fornece valores para os parâmetros desconhecidos que maximizam a probabilidade de se obter determinado conjunto de dados.

Assumindo que $ (x_0, m_0 , y_0), \ldots, (x_n, m_n, y_n) $ são independentes, a função de verossimilhança é da seguinte forma

$$P [Y=y_1,\ldots,y_n|\beta_0,\beta_1]~=~\prod_{i=1}^n \binom{m_i} {y_i} \pi_i^{y_i}(1-\pi_i)^{m_i-y_i}$$

$$=\prod_{i=1}^n \binom{m_i} {y_i} \pi_i^{y_i}(1-\pi_i)^{m_i}(1-\pi_i)^{-y_i}$$

$$=\prod_{i=1}^n \binom{m_i} {y_i} \frac{\pi_i^{y_i}(1-\pi_i)^{m_i}}{(1-\pi_i)^{y_i}}$$

$$=\prod_{i=1}^n \binom{m_i} {y_i} \left(\frac{\pi_i}{1-\pi_i}\right)^{y_i}{(1-\pi_i)^{m_i}}$$

Ignorando o termo constante $ \displaystyle\binom{m_i} {y_i}, $ que não depende de $ x_i, $ e tomando o logaritmo $ (\ln) $ em ambos os lados da expressão anterior, temos

$$\L~(\beta_0,\beta_1|(x_i;m_i;y_i))~=~\ln \,\left(\frac{\pi_i}{1-\pi_i}\right)^{y_i}+\ln \, {(1-\pi_i)^{m_i}}$$

$$\L~(\beta_0,\beta_1|(x_i;m_i;y_i))~=~{y_i} \, \ln \left(\frac{\pi_i}{1-\pi_i}\right)+ {m_i}\,\ln(1-\pi_i)~~~~(4.1.1.1)$$

Detalhando $ \ln \, \left(\displaystyle\frac{\pi_i}{1-\pi_i}\right), $ e considerando que,

$$\pi_i~=~\frac{e^{\beta_0+\beta_1 x_i}}{1+e^{\beta_0+\beta_1 x_i}},\, \mbox{temos}$$

$$\ln \, \left(\displaystyle\frac{\pi_i}{1-\pi_i}\right)~=~\ln \,\left(\displaystyle\frac{\displaystyle\frac{e^{\beta_0+\beta_1x_i}}{1+e^{\beta_0+\beta_1x_i}}}{1-\displaystyle\frac{e^{\beta_0+\beta_1 x_i}}{1+e^{\beta_0+\beta_1 x_i}}}\right)$$

$$=\ln \,\left(\frac{\displaystyle\frac{e^{\beta_0+\beta_1 x_i}}{1+e^{\beta_0+\beta_1 x_i}}}{\displaystyle\frac{1}{1+e^{\beta_0+\beta_1 x_i}}}\right)$$

Assim a expressão (4.1.1.1), pode ser reescrita como:

$$\L~(\beta_0,\beta_1|(x_i;m_i;y_i))~=~\sum^n_{i=1}\left[ y_i ~\ln \left(\frac{\pi_i}{1-\pi_i} \right)+m_i \,\ln\, (1-\pi_i)\right]$$

$$=\sum^n_{i=1}\left[ y_i ~\left(\beta_0 + \beta_1 x_i \right)+ m_i \,\ln \, \left(1 - \frac{e^{\beta_0+\beta_1 x_i}}{1+e^{\beta_0+\beta_1x_i}}\right)\right]$$

$$=\sum^n_{i=1}\left[y_i~(\beta_0+\beta_1 x_i)+m_i \, \ln \left(\frac{1}{1+e^{\beta_0+\beta_1x_i}}\right)\right]$$

$$=\sum^n_{i=1}\left[y_i~(\beta_0+\beta_1 x_i) + m_i \, (\ln 1 - \ln (1+e^{\beta_0+\beta_1 x_i}))\right]$$

$$=\sum^n_{i=1}y_i~(\beta_0+\beta_1 x_i) - \sum^n_{i=1} m_i \, \ln (1+e^{\beta_0+\beta_1 x_i})$$

Portanto,

$$\L~(\beta_0,\beta_1|(x_i;m_i;y_i))=\sum^n_{i=1}y_i~(\beta_0+\beta_1x_i) - \sum^n_{i=1}m_i \, \ln (1+e^{\beta_0+\beta_1 x_i})~~~~(4.1.1.2)$$

Para simplificar a notação faremos $ \L~(\beta_0,\beta_1|(x_i;m_i;y_i))= \L~(\beta_0,\beta_1). $