1.2 Estimação dos Parâmetros do Modelo

Você está aqui

Supondo que a relação linear entre as variáveis Y e X é satisfatória, podemos estimar a linha de regressão e resolver alguns problemas de inferência. O problema de estimar os parâmetros $ \beta_{0} $ e $ \beta_{1} $ é o mesmo que ajustar a melhor reta em um gráfico de dispersão, como na Figura 1.2.1. O Método dos Mínimos Quadrados é uma eficiente estratégia de estimação dos parâmetros da regressão e sua aplicação não é limitada apenas às relações lineares.

Figura 1.2.1: Representação da Reta de Regressão.

1.2.1 Método dos Mínimos Quadrados

O primeiro passo na análise de regressão é obter as estimativas $ \widehat{\beta}_0 $ e $ \widehat{\beta}_1 $ dos parâmetros do modelo. Os valores dessas estimativas serão obtidos a partir de uma amostra de n pares de valores $ (X_i,Y_i) $, i=1,...,n que correspondem a n pontos em um gráfico, como na Figura 1.2.1. No método de Mínimos Quadrados, não é necessário conhecer a forma da distribuição dos erros.

Suponha que é traçada uma reta arbitrária $ \beta_0 + \beta_1 x $ passando por esses pontos. No valor $ x_i $ da variável explicativa, o valor predito por esta reta é $ \beta_0 + \beta_{1} x_i $, enquanto o valor observado é $ Y_i $. Os desvios (erros) entre estes dois valores é $ \varepsilon_i=Y_i-[\beta_0+\beta_1 x_i] $, que corresponde a distância vertical do ponto à reta arbitrária.

O objetivo é estimar os parâmetros $ \beta_0 $ e $ \beta_1 $ de modo que os desvios ($ \varepsilon_i $) entre os valores observados e estimados sejam mínimos. Isso equivale a minimizar o comprimento do vetor de erros, $ \varepsilon=(\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)^{\prime} $.

Uma forma de obter essas estimativas é o Método de Mínimos Quadrados. Este método consiste em minimizar a soma dos quadrados dos desvios L, como na expressão abaixo


$$L=\displaystyle\sum^n_{i=1}\varepsilon_i^2=\sum^n_{i=1}[Y_i-\beta_0-\beta_1 x_i]^2.~~~~(1.2.1.1)$$

Obviamente, que poderíamos calcular a distância entre a reta e os valores observados de diferentes formas. Por exemplo, poderiámos utilizar o módulo ao invés do quadrado, ou qualquer função de distância apropriada. A escolha do quadrado está na simplicidade dos cálculos envolvidos 

Para encontrarmos estimativas para os parâmetros, vamos minimizar (1.2.1.1) em relação aos parâmetros $ \beta_0 $ e $ \beta_1 $. Para isto, derivamos em relação aos parâmetros $ \beta_0 $ e $ \beta_1 $. Assim,


$$\frac{\partial L(\beta_0,\beta_1)}{\partial \beta_0}=-2\sum^n_{i=1}(Y_i-\beta_0-\beta_1 x_i)$$

$$\text{e\ }\frac{\partial L(\beta_0,\beta_1)}{\partial\beta_1}=-2\sum^n_{i=1}(Y_i-\beta_0-\beta_1 x_i)x_i.$$

Substituindo $ \beta_0 $ e $ \beta_1 $ por $ \widehat{\beta}_0 $ e $ \widehat{\beta}_1 $, para indicar valores particulares dos parâmetros que minimizam L, e igualando as derivadas parciais a zero, obtemos


$$-2\sum^n_{i=1}(Y_i-\widehat{\beta}_0-\widehat{\beta}_1 x_i)=0$$

$$\text{e\ }-2\sum^n_{i=1}(Y_i-\widehat{\beta}_0-\widehat{\beta}_1 x_i)x_i=0.$$

Simplificando, obtemos as equações denominadas Equações Normais de Mínimos Quadrados.


$$\left\lbrace\begin{array}{c}n\widehat{\beta}_0+\widehat{\beta}_1\sum\limits^n_{i=1}x_i=\sum\limits^n_{i=1}Y_i\\\widehat{\beta}_0\sum\limits^n_{i=1}x_i+\widehat{\beta}_1\sum\limits^n_{i=1} x_i^2 = \sum\limits_{i=1}^n x_i Y_i.\end{array}\right.~~~~(1.2.1.2)$$

Para encontrarmos os valores de $ \widehat\beta_{0} $ e $ \widehat\beta_{1} $ que minimizam L, resolvemos o sistema de equações dado em (1.2.1.2). Considerando a primeira equação de (1.2.1.2) obtemos que,

$$\widehat{\beta}_0=\frac{\sum\limits_{i=1}^n Y_i}{n}-\frac{\widehat{\beta}_1\sum\limits_{i=1}^n x_i}{n},$$

ou seja,


$$\widehat{\beta}_0=\bar{Y}-\widehat{\beta}_1\bar{x},~~~~~~~~~~~~~~(1.2.1.3)$$

em que $ \bar{x}=\dfrac{1}{n}\sum\limits^n_{i=1}x_i\quad\text{e}\quad\bar{Y}=\dfrac{1}{n}\sum\limits^n_{i=1} Y_i $ são as médias de x e da variável Y, respectivamente.

Desta forma, substituindo (1.2.1.3) na segunda equação de (1.2.1.2) temos que,

$$\widehat{\beta}_1\displaystyle\sum_{i=1}^n x_i^2=\displaystyle\sum_{i=1}^n x_i Y_i-\widehat{\beta}_0\displaystyle\sum_{i=1}^n x_i$$


$$=\displaystyle\sum_{i=1}^n x_i Y_i-\left(\bar{Y}-\widehat{\beta}_1\bar{x}\right)\displaystyle\sum_{i=1}^n x_i$$


$$=\displaystyle\sum_{i=1}^n x_i Y_i-\bar{Y}\displaystyle\sum_{i=1}^n x_i-\widehat{\beta}_1\bar{x}\displaystyle\sum_{i=1}^n x_i$$

$$=\displaystyle\sum_{i=1}^n x_i Y_i-n\bar{x}\bar{Y}+n\widehat{\beta}_1\bar{x}^2.$$

Então,

$$\widehat{\beta}_1\left(\displaystyle\sum_{i=1}^n x_i^2-n\bar{x}^2 \right)=\sum_{i=1}^n x_i Y_i-n\bar{x}\bar{Y}$$

e portanto, concluímos que


$$\widehat{\beta}_1=\dfrac{\displaystyle\sum\limits_{i=1}^n x_i Y_i-n\bar{x}\bar{Y}}{\displaystyle\sum\limits_{i=1}^n x_i^2-n\bar{x}^2}.$$

Podemos também escrever


$$\widehat{\beta}_{1}=\dfrac{\displaystyle\sum\limits_{i=1}^n(x_i - \bar{x})(Y_i - \bar{Y})}{\displaystyle\sum\limits_{i=1}^n (x_i -\bar{x})^2}=\dfrac{\displaystyle\sum\limits_{i=1}^n(x_i - \bar{x})Y_i}{\displaystyle\sum\limits_{i=1}^n (x_i - \bar{x})x_i}=\dfrac{\displaystyle\sum\limits_{i=1}^n x_i Y_i-n\bar{x}\bar{Y}}{\displaystyle\sum\limits_{i=1}^n x_i^2-n\bar{x}^2}.$$

Os valores de $ \widehat{\beta}_0 $ e $ \widehat{\beta}_1 $ assim determinados são chamados Estimadores de Mínimos Quadrados (EMQ).

O modelo de regressão linear simples ajustado é então


$$\widehat{Y}=\widehat{\beta}_{0}+\widehat{\beta}_{1}x,~~~~~~~~~~~~~~(1.2.1.4)$$

sendo que $ \widehat{Y} $ é um estimador pontual da média da variável Y para um valor de $ x $, ou seja,


$$\widehat{E(Y|x_i)}=\widehat{\beta}_{0}+\widehat{\beta}_{1} x_{i},\quad i=1,\dots,n.$$

 

Notação:

Considerando n pares de valores observados $ (x_1,y_1),...,(x_n,y_n) $,


$$\bar{x}=\frac{1}{n}\sum^n_{i=1}x_i,\quad\bar{y}=\frac{1}{n}\sum^n_{i=1} y_i,~~~~(1.2.1.5)$$


$$S_{xx}=\sum^n_{i=1}(x_i-\bar{x})^2=\sum^n_{i=1}(x_i-\bar{x})x_i=\sum^n_{i=1}x_i^2-n\bar{x}^2=\sum^n_{i=1}x_i^2-\frac{\left(\sum\limits_{i=1}^n x_i\right)^2}{n},~~~~(1.2.1.6)$$


$$S_{yy}=\sum^n_{i=1}(y_i-\bar{y})^2=\sum^n_{i=1}(y_i-\bar{y})y_i=\sum^n_{i=1}y_i^2- n \bar{y}^2=\sum^n_{i=1}y_i^2-\frac{\left(\sum\limits_{i=1}^n y_i\right)^2}{n}~~~~(1.2.1.7)$$


$$\text{e\ }S_{xy}=\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})=\sum^n_{i=1}(x_i-\bar{x})y_i=\sum^n_{i=1}x_i y_i-n\bar{x}\bar{y}.~~~~(1.2.1.8)$$

As quantidades $ \bar{x} $ e $ \bar{y} $ são as médias amostrais de x e y. Já as quantidades $ S_{xx} $ e $ S_{yy} $ são as somas dos quadrados dos desvios das médias e $ S_{xy} $ é a soma dos produtos cruzados dos desvios de x e y.

Desta forma, as estimativas de mínimos quadrados de $ \beta_0 $ e $ \beta_1 $, em termos desta notação são:


$$\widehat{\beta}_1=\frac{S_{xy}}{S_{xx}}\quad\text{e}\quad\widehat{\beta}_0=\bar {Y}-\widehat{\beta}_1\bar{x}.$$

 

Exemplo 1.2.1

Voltando à "Motivação 1", em que queríamos determinar os valores de temperatura em $ ^{\circ}\mathrm{C} $ que otimizam a dureza do material, encontramos as estimativas dos parâmetros $ \beta_{0} $ e $ \beta_{1} $ pelo Método dos Mínimos Quadrados.

clique aqui para efetuar o download dos dados utilizados nesse exemplo

 

Solução:

As médias amostrais das variáveis temperatura (X) e dureza (Y) são, respectivamente, 


$$\bar{x}=\dfrac{1}{20}\sum_{i=1}^{20}x_i=(220+220+\ldots+235+235)/20=227,5$$


$$\text{e\ }\bar{y}=\dfrac{1}{20}\sum_{i=1}^{20} y_i = 137+137+\ldots+119+122=129,4.$$

Além disso, na Tabela 1.2.1, apresentamos os valores de $ x^2, y^2 $ e $ xy $ para cada observação i, i=1,...,20.  

Observação Temperatura (x) Dureza (y) $ x^2 $ $ y^2 $ $ x\times y $
1 220 137 48.400 18.769 30.140
2 220 137 48.400 18.769 30.140
3 220 137 48.400 18.769 30.140
4 220 136 48.400 18.496 29.920
5 220 135 48.400 18.225 29.700
6 225 135 50.625 18.225 30.375
7 225 133 50.625 17.689 29.925
8 225 132 50.625 17.424 29.700
9 225 133 50.625 17.689 29.925
10 225 133 50.625 17.689 29.925
11 230 128 52.900 16.384 29.440
12 230 124 52.900 15.376 28.520
13 230 126 52.900 15.876 28.980
14 230 129 52.900 16.641 29.670
15 230 126 52.900 15.876 28.980
16 235 122 55.225 14.884 28.670
17 235 122 55.225 14.884 28.670
18 235 122 55.225 14.884 28.670
19 235 119 55.225 14.161 27.965
20 235 122 55.225 14.884 28.670
Soma 4.550 2.588 1.035.750 335.594 588.125
Média 227,5 129,4      

Tabela 1.2.1: Dados da Motivação 1.

Assim, encontramos as somas de quadrados


$$S_{xx}=\sum^n_{i=1}x_i^2-n\bar{x}^2=1035.750-20\times 227,50^2=625,$$


$$S_{yy}=\sum^n_{i=1}y_i^2-n\bar{y}^2= 335.594 - 20 \times 129,40^2=706,80$$


$$\text{e\ }S_{xy}=\sum^n_{i=1}x_i y_i-n\bar{x}\bar{y}=588.125 - 20 \times 227,50 \times 129,40=-645.$$

Logo, as estimativas dos parâmetros $ \beta_{1} $ e $ \beta_{0} $ são, respectivamente


$$\widehat\beta_1=\dfrac{-645}{625}=-1,032$$


$$\text{e\ }\widehat\beta_0=129,4-(-1,032)227,5=364,18.$$

Portanto, o modelo ajustado é dado por

$$\mbox{Dureza}~=~364,18~-~1,032~\times\mbox{Temperatura}.$$

Pelos valores das estimativas, temos que a cada aumento da Temperatura, temos um decréscimo de 1,032 na Dureza.

 

1.2.2 Resíduos

A diferença entre o valor observado $ Y_{i} $ e o correspondente valor ajustado $ \widehat{Y}_{i} $, dado pela expressão (1.2.1.4), é chamada de resíduo e é denotado por


$$e_{i}=Y_{i}-\widehat{Y}_{i}=Y_{i}-(\widehat\beta_{0}+\widehat\beta_{1}x_{i}),~~~~~~~~~~~~~~(1.2.2.1)$$

Essa medida é importante já que por meio dela verificamos o ajuste do modelo.

1.2.2.1 Algumas propriedades do ajuste de mínimos quadrados 

(i) A soma dos resíduos é sempre nula.


$$\sum\limits_{i=1}^{n}e_{i}=\sum\limits_{i=1}^{n}(Y_{i}-\widehat{Y}_{i})=0.$$

Na realidade, basta substituirmos os estimadores de mínimos quadrados

$$\sum\limits_{i=1}^{n}e_{i}=\sum_{i=1}^nY_i-n\hat{\beta}_0-\hat{\beta}_1\sum_{i=1}^nx_i=\sum_{i=1}^nY_i-n\bar{Y}+n\hat{\beta_1}\bar{x}-\hat{\beta}_1\sum_{i=1}^nx_i=0.$$

(ii) A soma dos valores observados $ Y_{i} $ é igual a soma dos valores ajustados $ \widehat{Y}_{i} $.


$$\sum\limits_{i=1}^{n}Y_{i}=\sum\limits_{i=1}^{n}\widehat{Y}_{i};$$

(iii) A reta de regressão de mínimos quadrados passa pelo ponto $ (\bar{x},\bar{Y}) $. De fato,


$$Y_i=\beta_0+\beta_1x_1+\varepsilon_i=\beta_0+\beta_1(x_i-\bar{x})+\beta_1\bar{x}+\varepsilon_i=(\beta_0+\beta_1\bar{x})+\beta_1(x_i-\bar{x})+\varepsilon_i=\beta_0^{*}+\beta_1(x_i-\bar{x})+\varepsilon_i,$$

com $ \beta_0^{*}=\beta_0+\beta_1\bar{x} $. Assim, a reta de regressão ajustada é dada por


$$\widehat{Y}=\widehat{\beta}_0^{*}+\widehat{\beta}_1(x_i-\bar{x})=\widehat{\beta}_0+\widehat{\beta}_1\bar{x}+\widehat{\beta}_1(x_i-\bar{x})=(\bar{Y}-\widehat{\beta}_1\bar{x})+\widehat{\beta}_1\bar{x}+\widehat{\beta}_1(x_i-\bar{x})=\bar{Y}+\widehat{\beta}_1(x_i-\bar{x}).$$

Logo, no ponto $ x_i=\bar{x} $ temos que

$$\widehat{Y}=\bar{Y}+\widehat{\beta}_{1}(\bar{x}-\bar{x})=\bar{Y}.$$

Portanto, temos que a reta ajustada passa por $ (\bar{x},\bar{Y}) $.

(iv) A soma dos resíduos ponderado pelo correspondente valor da variável regressora é sempre nula. 


$$\sum\limits_{i=1}^{n}x_{i}e_{i}=0;$$

(v) A soma dos resíduos ponderado pelo correspondente valor ajustado é sempre zero.


$$\sum\limits_{i=1}^{n}\widehat{Y}_{i}e_{i}=0.$$

 

1.2.3 Estimador da variância residual

Assim como os parâmetros $ \beta_{0} $ e $ \beta_{1} $, a variância $ \sigma^2 $ dos termos do erro $ \epsilon_i $ precisa ser estimada. Isto é necessário já que inferências a respeito da função de regressão e da predição de Y requerem uma estimativa de $ \sigma^2 $. Consideremos os resíduos $ e_{i} $ dado em (1.2.2.1). Desta forma, definimos a Soma de Quadrados dos Resíduos (Erros),


$$SQE = \sum\limits_{i=1}^n e_i^{2} = \sum\limits_{i=1}^n (Y_i-\widehat{Y}_i)^{2}=\sum\limits_{i=1}^n(Y_i-(\widehat{\beta}_0+\widehat{\beta}_1x_i))^{2}.$$

Como demonstrado em "Propriedades dos Estimadores", SQE é um estimador viciado de $ \sigma^2 $, isto é, 


$$E(SQE)= \sigma^2(n-2).$$

Desta forma, um estimador não viciado para $ \sigma^2 $ é dado por


$$\widehat{\sigma}^2=QME=\dfrac{SQE}{n-2},$$

em que QME é o Quadrado Médio dos Erros (Resíduos).

Considerando n pares de valores observados $ (x_1,y_1),...,(x_n,y_n) $, podemos escrever


$$SQE=S_{yy}-\widehat{\beta}_{1}S_{xy},$$

como visto em "Propriedades dos Estimadores", em que $ S_{yy} $ e $ S_{xy} $ são dados respectivamente pelas expressões (1.2.1.6) e (1.2.1.7). Portanto,


$$QME=\dfrac{SQE}{n-2}=\dfrac{S_{yy}-\widehat{\beta}_{1}S_{xy}}{n-2}.$$

Daremos mais detalhes para a Soma de Quadrados dos Erros (SQE) e para o Quadrado Médio dos Erros (QME) em "Análise de Variância".

 

Exemplo 1.2.2

Obter um estimador não viesado para a variância residual do exemplo da "Motivação 1".

clique aqui para efetuar o download dos dados utilizados nesse exemplo

Solução:

Temos que


$$SQE=S_{yy}-\widehat{\beta}_1S_{xy}.$$

Já vimos que $ S_{yy}=706,8, $$ \widehat{\beta}_1 = -1,032 $ e $ S_{xy}=-645, $ então

$$SQE=706,8 -(-1,032)(-645) = 706,8 - 665,64 = 41,16$$

$$\widehat{\sigma}^2=QME=\frac{SQE}{n-2} ~ = ~\frac{41,16}{18} ~ = ~2,2866.$$

 

Usando o Software Action obtemos os seguintes resultados:

 Para entender como executar essa função do Software Action, você pode consultar o  manual do usuário.

Dúvidas sobre esse conteúdo? Comente:

Análise de Regressão

Sobre o Portal Action

O Portal Action é mantido por Estatcamp - Consultoria Estatística e Qualidade e por DIGUP - Desenvolvimento de Sistemas e Consultoria Estatística, com o objetivo de disponibilizar uma ferramenta estatística em conjunto com uma fonte de informação útil aos profissionais interessados.

Facebook

CONTATO

  •  Maestro Joao Seppe, 900, São Carlos - SP | CEP 13561-180
  • Telefone: (16) 3376-2047
  • E-Mail: [email protected]