1.11 - Regressão Linear Ponderada

Você está aqui

Em  muitos casos, ao analisarmos os resíduos do modelo de regressão linear podemos concluir que a variância dos erros experimentais não é constante ao longo do valor ajustado pelo modelo. Neste caso,  temos que uma das suposições do modelo de regressão  não é atendida. Quando isso acontece, dizemos que o modelo apresenta heterocedasticidade nos erros, ou ainda que o modelo é heterocedástico. Alguns efeitos causados por essa falha na suposição do modelo são:

  • Os erros padrões dos estimadores, obtidos pelo Método dos Mínimos Quadrados Ordinários, são incorretos e portanto a inferência estatística não é valida.
  • Não podemos mais dizer que os Estimadores de Mínimos Quadrados Ordinários são os melhores estimadores de variância mínima para $ \beta $, embora ainda possam ser não viciados.

O fato curioso da heterocedasticidade é que os estimadores mínimos quadrados ordinários são não viciados. Porém, a variância destes estimadores é incorreta. Para provarmos que a variância está incorreta, tomamos o modelo de regressão linear simples

$$Y_i = \beta_0 + \beta_1 x_i + \varepsilon_i,$$

no qual $ \varepsilon_i $ são variáveis aleatórias não correlacionadas com média zero e variância $ \sigma^2_i $ para todo $ i=1, \cdots , n $. Sabemos que os estimadores de mínimos quadrados são dados por 

$$\hat{\beta}_1 = \frac{Sxy}{Sxx} = \frac{\displaystyle\sum_{i=1}^n (x_i - \bar{x}) y_i}{\displaystyle\sum_{i=1}^n (x_i - \bar{x})^2}.$$

Desta forma, obtemos que 

$$\mathbb{E} \hat{\beta}_1 = \mathbb{E} \left[ \frac{\displaystyle\sum_{i=1}^n (x_i - \bar{x}) Y_i}{\displaystyle\sum_{i=1}^n (x_i - \bar{x})^2} \right] =\beta_0 \mathbb{E} \left[ \frac{\displaystyle\sum_{i=1}^n (x_i - \bar{x})}{\displaystyle\sum_{i=1}^n (x_i - \bar{x})^2} \right] + \beta_1 \mathbb{E} \left[\frac{\displaystyle\sum_{i=1}^n (x_i - \bar{x}) x_i}{\displaystyle\sum_{i=1}^n (x_i - \bar{x})^2 } \right] + \mathbb{E} \left[ \frac{\displaystyle\sum_{i=1}^n (x_i - \bar{x}) \varepsilon_i}{\displaystyle\sum_{i=1}^n (x_i - \bar{x})^2 } \right]=\beta_1.$$

Com isso, concluímos que as estimativas de mínimos quadrados são não viciadas. Por outro lado, temos que 

$$Var [\hat{\beta}_1] = Var \left[ \frac{\displaystyle\sum_{i=1}^n (x_i - \bar{x}) y_i}{\displaystyle\sum_{i=1}^n (x_i - \bar{x})^2} Y_i\right] = \sum_{i=1}^n Var \left[ \frac{ (x_i - \bar{x}) Y_i}{\displaystyle\sum_{i=1}^n (x_i - \bar{x})^2} \right] = \sum_{i=1}^n \left[ \frac{ (x_i - \bar{x})}{\displaystyle\sum_{i=1}^n (x_i - \bar{x})^2} \right]^2 Var[Y_i]=\sum_{i=1}^n \left[ \frac{ (x_i - \bar{x})}{\displaystyle\sum_{i=1}^n (x_i - \bar{x})^2} \right]^2 \sigma^2_i.$$

Assim, a variância da estimativa de minimos quadrados depende da variância dos erros experimentais, o que torna inviável obtermos estimativas para tal variância sem alguma hipótese adicional.  

Suponha que a variância do erro experimental não seja constante, mas pode ser respresentada na forma $ Var (\varepsilon ) = \sigma^2 V $  no qual $ V $ é uma matriz diagonal conhecida e $ \varepsilon=(\varepsilon_1, \cdots , \varepsilon_n)^\top $ o vetor de erros experimentais. Neste caso, temos que as observações são não correlacionadas mas tem variâncias distintas. Como apresentamos acima, os estimadores de mínimos quadrados não são apropriados, pois não temos como garantir que eles são de variância mínima entre todos os não viciados. A ideia é transformar as observações para que possamos aplicar o método dos mínimos quadrados ordinários. Considere o modelo linear

$$Y=X\beta + \varepsilon ,$$

 

no qual $ Y $ é o vetor de observações, $ X $ a matriz de variáveis independentes, $ \beta = (\beta_0 , \beta_1)^\top $ o vetor de parâmetros e $ \varepsilon $ o vetor de erros experimentais. Desde que $ \sigma^2 V $ é a matriz de covariâncias do vetor de erros experimentais , sabemos que $ V $ é uma matriz não singular e positiva definida. Então existe uma matriz não singular e simétrica $ K_{(n \times n)} $ tal que $ K^\top K =V $. A matrix $ K $ é denominada raiz quadrada de $ V $. Definimos as novas variáveis

$$Z=K^{-1} Y, \quad B=K^{-1} X, \quad \eta = K^{-1} \varepsilon.$$

Desta forma, obtemos que

$$Z=K^{-1} Y = B \beta + \eta .$$

O erro experimental $ \eta $ no modelo transformado satisfazem 

$$Var(\eta) = \mathbb{E} \left[ \left( \eta - \mathbb{E}(\eta) \right) \left( \eta - \mathbb{E}(\eta) \right)^\top\right] = \mathbb{E} \left( \eta ~ \eta^\top\right)$$
$$ = \mathbb{E} \left( K^{-1} \varepsilon ~ \varepsilon^\top (K^{-1})^\top\right)\right)=K^{-1} \mathbb{E} \left( \varepsilon ~ \varepsilon^\top \right) (K^\top\right))^{-1}$$
$$=\sigma^2 K^{-1} V (K^\top\right))^{-1} = \sigma^2 K^{-1} KK^\top\right ((K^\top\right))^{-1} = \sigma^2 I.$$

e

$$\mathbb{E}(\eta)=\mathbb{E}(K^{-1}\varepsilon)= K^{-1}\left\{\mathbb{E}(Z)-B\mathbb{E}(\widehat{\beta})\right\}= K\left\{\mathbb{E}(Y)-X\mathbb{E}(\widehat{\beta})\right\}=0$$

Portanto, os elementos de $ \eta $ tem média zero, são não correlacionados e tem variância constante. Assim, o erro experimental $ \eta $ satisfaz as hipóteses usuais para aplicarmos o método do mínimos quadrados ordinários.  Este argumento nos garante que se conhecemos a forma da heterocedasticidade da matriz de convariâncias do vetor de erro experimentias $ V $, podemos transformar o modelo linear de forma que este atenda às hipóteses usuais para aplicarmos o método dos mínimos quadrados ordinários. 

 

Motivação

 

Considere o experimento para determinar a curva de calibração para um determinado ativo. A seguir apresentamos os dados:

 

Área Concentração
0,078 0
1,329 0
0,483 0
0,698 0
0,634 0
0,652 0
0,071 0
20,718 25
21,805 25
16,554 25
19,948 25
21,676 25
22,207 25
19,671 25
33,833 50
34,726 50
35,463 50
34,04 50
34,194 50
33,664 50
34,517 50
79,224 100
73,292 100
85,514 100
82,072 100
85,044 100
73,876 100
82,568 100
108,065 150
118,268 150
108,89 150
127,183 150
121,447 150
122,414 150
135,555 150
224,932 250
200,113 250
200,368 250
205,17 250
213,059 250
207,931 250
201,766 250
371,534 500
408,86 500
383,509 500
405,143 500
404,132 500
379,243 500
387,419 500

clique aqui para efetuar o download dos dados utilizados nesse exemplo

Considere o modelo de calibração dado por

$$Y_{ij} = \beta_0 + \beta_1 x_{ij} + \varepsilon_{ij},$$

nos quais $ j=1, \cdots , n_i $ e $ i=1, \cdots , k $.  Como hipótese usual de modelos lineares, admitimos que $ \varepsilon_{ij} $ são variável aleatórias iid com variância constante $ \sigma^2 $. Ajustamos o modelo de regressão linear, com o apoio computacional do software Action,  para o qual obtemos o seguinte  gráfico da análise de resíduos:

Gráfico 1.11.1: Análise da homocedasticidade modelo.

Vale lembrar que as suposições para aplicarmos o método dos mínimos quadrados é que os erros são não correlacionados e com variâncias constantes, isto é, o modelo é homocedástico. Ao avaliarmos o gráfico de resíduos versus valores ajustados, podemos verificar indícios de heterocedasticidade. Note que  gráfico do resíduo pelo valor ajustado tem a forma de funil.

Na avaliação da homocedasticidade, esperamos que esse gráfico apresente seus pontos dispostos aleatoriamente em torno da linha traçada em 0.  Como o gráfico apresenta a forma de funil, temos indícios de que os erros não possuem variâncias contantes, neste caso dizemos que o modelo apresenta heterocedasticidade nos erros. A avaliação da hipótese de homoscedasticidade da variância dos erros experimentais pode ser realizada através de testes de hipóteses apropriados como  Cochran, Brown-Forsyte (Levene),  Breusch-Pagan e Goldfeld-Quandt. Para isto, testamos as seguintes hipóteses:


~\mbox{pelo menos um dos}~\sigma_i^2~\mbox{diferente,} \quad i=1,\ldots,k.\\\end{array}\right.$$

A seguir, com auxílio do software Action, vamos avaliar a homocedasticidade através dos testes de hipóteses:

Tabela 1.11.1: Teste de homocedasticidade dos erros (resíduos).

A partir dos resultados, notamos que para todas as estatísticas utilizadas rejeitamos a hipótese nula $ H_0 $, isto é,  o modelo é heterocedástico ao nível de significância de 5% ($ \alpha=0,05 $).  Ao testarmos a hipótese de homocedasticidade e este for rejeitado, então temos um modelo heterocedástico. Para contornar a falha na suposição do modelo de regressão linear, descrevemos a estimativa por Mínimos Quadrados Ponderados.

 

Modelo Estatístico

 

Neste momento, consideramos o modelo de regressão linear simples e vamos denotar por $ \sigma_i^2 $ a variância relacionada ao i-ésimo erro $ \varepsilon_i, $, A suposição do modelo é que $ \varepsilon_i \sim N(0,\sigma_i) $ e são independentes. Observe que estamos considerando que a variância $ \sigma_i^2 $ depende da i-ésima observação, podendo ser não constante ao longo das observações. O modelo descrito é da forma:


$$Y_i=\beta_{w0} + \beta_{w1}X_i + \varepsilon_i \quad~~(1.11.1)$$

em que,  

  • $ Y_i $ é a i-ésima observação da variável resposta;  
  • $ X_i $ é a i-ésima observação da covariável constante e conhecida;  
  • $ \beta_{w0} $ e $ \beta_{w1} $ são os parâmetros desconhecidos da regressão;  
  • $ \varepsilon_i $ é o i-ésimo erro, consideramos $ \varepsilon_i \sim N(0,\sigma_i^2) $ para $ i=1,2,\dots,n $ e $ n $ é o número de observações.

Com estas hipóteses, a matriz de covariância é definida na forma $ \sigma^2 V $, no qual os elementos da diagonal de $ V $ são dados por $ \sigma^2_i / \sigma^2 $. A ideia principal é obtermos estimadores para os parâmetros de regressão de forma que estes sejam consistentes e de variância mínima. Desta forma, a inferência sobre o modelo se torna válida.  Para tratar este caso, admitimos que a matriz $ V $ é "conhecida" e assim, sabemos que o modelo transformado $ Z = B \beta + \eta $ satisfazem as hipóteses do modelo de regressão linear simples. Com isso, sabemos que os estimadores de mínimos quadrados ordinários são consistentes e de variância mínima.

Como dito, vamos introduzir os princípios dos estimadores de mínimos quadrados ponderados, no qual devemos considerar que cada uma das $ n $ observações podem não gerar a mesma variabilidade nos resíduos.  Para determinarmos o peso que cada observação terá sobre os estimadores, utilizamos a ideia de que o peso atribuído a uma observação é inversamente proporcional a variância do resíduo relacionado a ela, em outras palavras, consideramos que as observações que causam maior variabilidade nos resíduos têm menor confiabilidade em termos de inferência para os parâmetros da função de regressão. De maneira análoga, as observações com menor variância são mais confiáveis. Na prática, temos diversas fomas de considerarmos os pesos, caso tenhamos informação de que a variância é diretamente proporcional à variável independente (X), podemos tomar como peso $ 1/x $

No exemplo acima, temos $ 7 $ réplicas de cada ponto de concentração. No caso de réplicas ou "quase réplicas" utilizamos o inverso da variância de cada ponto como peso. Ao denotarmos por $ s_i^2 $ a variância do ponto, defimos o peso por


$$w_i = \frac{1}{s^2_i} \quad \text{e} \quad w_i = k \frac{1/s^2_i}{\sum_{i=1}^k 1 / s^2_i},$$

no qual $ i=1, \cdots ,k $ e $ k $ é o número de pontos.

 

 

 

Análise de Regressão

Sobre o Portal Action

O Portal Action é mantido pela Estatcamp - Consultoria Estatística e Qualidade, com o objetivo de disponibilizar uma ferramenta estatística em conjunto com uma fonte de informação útil aos profissionais interessados.

Facebook

CONTATO

  •  Maestro Joao Seppe, 900, São Carlos - SP | CEP 13561-180
  • Telefone: (16) 3376-2047
  • E-Mail: [email protected]