1.2 Estimação dos Parâmetros do Modelo

Supondo que a relação linear entre as variáveis Y e X é satisfatória, podemos estimar a linha de regressão e resolver alguns problemas de inferência. O problema de estimar os parâmetros $\beta_{0}$ e $\beta_{1}$ é o mesmo que ajustar a melhor reta em um gráfico de dispersão, como na Figura 1.2.1. O Método dos Mínimos Quadrados é uma eficiente estratégia de estimação dos parâmetros da regressão e sua aplicação não é limitada apenas às relações lineares.

Figura 1.2.1: Representação da Reta de Regressão.

1.2.1 Método dos Mínimos Quadrados

O primeiro passo na análise de regressão é obter as estimativas $\widehat{\beta}_0$ e $\widehat{\beta}_1$ dos parâmetros do modelo. Os valores dessas estimativas serão obtidos a partir de uma amostra de n pares de valores $(X_i,Y_i)$, $i=1,...,n$ que correspondem a n pontos em um gráfico, como na Figura 1.2.1. No método de Mínimos Quadrados, não é necessário conhecer a forma da distribuição dos erros.

Suponha que é traçada uma reta arbitrária $\beta_0 + \beta_1 x$ passando por esses pontos. No valor $x_i$ da variável explicativa, o valor predito por esta reta é $\beta_0 + \beta_{1} x_i$, enquanto o valor observado é $Y_i$. Os desvios (erros) entre estes dois valores é $\varepsilon_i=Y_i-[\beta_0+\beta_1 x_i]$, que corresponde a distância vertical do ponto à reta arbitrária.

O objetivo é estimar os parâmetros $\beta_0$ e $\beta_1$ de modo que os desvios ($\varepsilon_i$) entre os valores observados e estimados sejam mínimos. Isso equivale a minimizar o comprimento do vetor de erros, $\varepsilon=(\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)^{\prime}$.

Uma forma de obter essas estimativas é o Método de Mínimos Quadrados. Este método consiste em minimizar a soma dos quadrados dos desvios L, como na expressão abaixo

$$L=\displaystyle\sum^n_{i=1}\varepsilon_i^2=\sum^n_{i=1}[Y_i-\beta_0-\beta_1 x_i]^2.~~~~(1.2.1.1)$$

Obviamente, que poderíamos calcular a distância entre a reta e os valores observados de diferentes formas. Por exemplo, poderíamos utilizar o módulo ao invés do quadrado, ou qualquer função de distância apropriada. A escolha do quadrado está na simplicidade dos cálculos envolvidos 

Para encontrarmos estimativas para os parâmetros, vamos minimizar (1.2.1.1) em relação aos parâmetros $\beta_0$ e $\beta_1$. Para isto, derivamos em relação aos parâmetros $\beta_0$ e $\beta_1$. Assim,

$$\frac{\partial L(\beta_0,\beta_1)}{\partial \beta_0}=-2\sum^n_{i=1}(Y_i-\beta_0-\beta_1 x_i)$$
$$\text{e\ }\frac{\partial L(\beta_0,\beta_1)}{\partial\beta_1}=-2\sum^n_{i=1}(Y_i-\beta_0-\beta_1 x_i)x_i.$$

Substituindo $\beta_0$ e $\beta_1$ por $\widehat{\beta}_0$ e $\widehat{\beta}_1$, para indicar valores particulares dos parâmetros que minimizam L, e igualando as derivadas parciais a zero, obtemos

$$-2\sum^n_{i=1}(Y_i-\widehat{\beta}_0-\widehat{\beta}_1 x_i)=0$$
$$\text{e\ }-2\sum^n_{i=1}(Y_i-\widehat{\beta}_0-\widehat{\beta}_1 x_i)x_i=0.$$

Simplificando, obtemos as equações denominadas Equações Normais de Mínimos Quadrados.

$$\left\lbrace\begin{array}{c}n\widehat{\beta}_0+\widehat{\beta}_1\sum\limits^n_{i=1}x_i=\sum\limits^n_{i=1}Y_i\\\widehat{\beta}_0\sum\limits^n_{i=1}x_i+\widehat{\beta}_1\sum\limits^n_{i=1} x_i^2 = \sum\limits_{i=1}^n x_i Y_i.\end{array}\right.~~~~(1.2.1.2)$$

Para encontrarmos os valores de $\widehat\beta_{0}$ e $\widehat\beta_{1}$ que minimizam L, resolvemos o sistema de equações dado em (1.2.1.2). Considerando a primeira equação de (1.2.1.2) obtemos que,
$$\widehat{\beta}_0=\frac{\sum\limits_{i=1}^n Y_i}{n}-\frac{\widehat{\beta}_1\sum\limits_{i=1}^n x_i}{n},$$

ou seja,

$$\widehat{\beta}_0=\bar{Y}-\widehat{\beta}_1\bar{x},~~~~~~~~~~~~~~(1.2.1.3)$$

em que $\bar{x}=\dfrac{1}{n}\sum\limits^n_{i=1}x_i\quad\text{e}\quad\bar{Y}=\dfrac{1}{n}\sum\limits^n_{i=1} Y_i$ são as médias de x e da variável Y, respectivamente.

Desta forma, substituindo (1.2.1.3) na segunda equação de (1.2.1.2) temos que,$$\widehat{\beta}_1\displaystyle\sum_{i=1}^n x_i^2=\displaystyle\sum_{i=1}^n x_i Y_i-\widehat{\beta}_0\displaystyle\sum_{i=1}^n x_i$$

$$=\displaystyle\sum_{i=1}^n x_i Y_i-\left(\bar{Y}-\widehat{\beta}_1\bar{x}\right)\displaystyle\sum_{i=1}^n x_i$$

$$=\displaystyle\sum_{i=1}^n x_i Y_i-\bar{Y}\displaystyle\sum_{i=1}^n x_i-\widehat{\beta}_1\bar{x}\displaystyle\sum_{i=1}^n x_i$$
$$=\displaystyle\sum_{i=1}^n x_i Y_i-n\bar{x}\bar{Y}+n\widehat{\beta}_1\bar{x}^2.$$

Então,
$$\widehat{\beta}_1\left(\displaystyle\sum_{i=1}^n x_i^2-n\bar{x}^2 \right)=\sum_{i=1}^n x_i Y_i-n\bar{x}\bar{Y}$$

e portanto, concluímos que

$$\widehat{\beta}_1=\dfrac{\displaystyle\sum\limits_{i=1}^n x_i Y_i-n\bar{x}\bar{Y}}{\displaystyle\sum\limits_{i=1}^n x_i^2-n\bar{x}^2}.$$

Podemos também escrever

$$\widehat{\beta}_{1}=\dfrac{\displaystyle\sum\limits_{i=1}^n(x_i - \bar{x})(Y_i - \bar{Y})}{\displaystyle\sum\limits_{i=1}^n (x_i -\bar{x})^2}=\dfrac{\displaystyle\sum\limits_{i=1}^n(x_i - \bar{x})Y_i}{\displaystyle\sum\limits_{i=1}^n (x_i - \bar{x})x_i}=\dfrac{\displaystyle\sum\limits_{i=1}^n x_i Y_i-n\bar{x}\bar{Y}}{\displaystyle\sum\limits_{i=1}^n x_i^2-n\bar{x}^2}.$$

Os valores de $\widehat{\beta}_0$ e $\widehat{\beta}_1$ assim determinados são chamados Estimadores de Mínimos Quadrados (EMQ).

O modelo de regressão linear simples ajustado é então

$$\widehat{Y}=\widehat{\beta}_{0}+\widehat{\beta}_{1}x,~~~~~~~~~~~~~~(1.2.1.4)$$

sendo que $\widehat{Y}$ é um estimador pontual da média da variável Y para um valor de $x$, ou seja,

$$\widehat{E(Y|x_i)}=\widehat{\beta}_{0}+\widehat{\beta}_{1} x_{i},\quad i=1,\dots,n.$$

 

Notação:

Considerando n pares de valores observados $(x_1,y_1),...,(x_n,y_n)$,

$$\bar{x}=\frac{1}{n}\sum^n_{i=1}x_i,\quad\bar{y}=\frac{1}{n}\sum^n_{i=1} y_i,~~~~(1.2.1.5)$$

$$S_{xx}=\sum^n_{i=1}(x_i-\bar{x})^2=\sum^n_{i=1}(x_i-\bar{x})x_i=\sum^n_{i=1}x_i^2-n\bar{x}^2=\sum^n_{i=1}x_i^2-\frac{\left(\sum\limits_{i=1}^n x_i\right)^2}{n},~~~~(1.2.1.6)$$

$$S_{yy}=\sum^n_{i=1}(y_i-\bar{y})^2=\sum^n_{i=1}(y_i-\bar{y})y_i=\sum^n_{i=1}y_i^2- n \bar{y}^2=\sum^n_{i=1}y_i^2-\frac{\left(\sum\limits_{i=1}^n y_i\right)^2}{n}~~~~(1.2.1.7)$$

$$\text{e\ }S_{xy}=\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})=\sum^n_{i=1}(x_i-\bar{x})y_i=\sum^n_{i=1}x_i y_i-n\bar{x}\bar{y}.~~~~(1.2.1.8)$$

As quantidades $\bar{x}$ e $\bar{y}$ são as médias amostrais de x e y. Já as quantidades $S_{xx}$ e $S_{yy}$ são as somas dos quadrados dos desvios das médias e $S_{xy}$ é a soma dos produtos cruzados dos desvios de x e y.

Desta forma, as estimativas de mínimos quadrados de $\beta_0$ e $\beta_1$, em termos desta notação são:

$$\widehat{\beta}_1=\frac{S_{xy}}{S_{xx}}\quad\text{e}\quad\widehat{\beta}_0=\bar {Y}-\widehat{\beta}_1\bar{x}.$$

 

Exemplo 1.2.1

Voltando à "Motivação 1", em que queríamos determinar os valores de temperatura em $^{\circ}\mathrm{C}$ que otimizam a dureza do material, encontramos as estimativas dos parâmetros $\beta_{0}$ e $\beta_{1}$ pelo Método dos Mínimos Quadrados.

clique aqui para efetuar o download dos dados utilizados nesse exemplo

 

Solução:

As médias amostrais das variáveis temperatura (X) e dureza (Y) são, respectivamente, 

$$\bar{x}=\dfrac{1}{20}\sum_{i=1}^{20}x_i=(220+220+\ldots+235+235)/20=227,5$$

$$\text{e\ }\bar{y}=\dfrac{1}{20}\sum_{i=1}^{20} y_i = 137+137+\ldots+119+122=129,4.$$

Além disso, na Tabela 1.2.1, apresentamos os valores de $x^2, y^2$ e $xy$ para cada observação $i$, $i=1,...,20$.  

Observação	Temperatura (x)	Dureza (y)	$x^2$	$y^2$	$x\times y$
1	220	137	48.400	18.769	30.140
2	220	137	48.400	18.769	30.140
3	220	137	48.400	18.769	30.140
4	220	136	48.400	18.496	29.920
5	220	135	48.400	18.225	29.700
6	225	135	50.625	18.225	30.375
7	225	133	50.625	17.689	29.925
8	225	132	50.625	17.424	29.700
9	225	133	50.625	17.689	29.925
10	225	133	50.625	17.689	29.925
11	230	128	52.900	16.384	29.440
12	230	124	52.900	15.376	28.520
13	230	126	52.900	15.876	28.980
14	230	129	52.900	16.641	29.670
15	230	126	52.900	15.876	28.980
16	235	122	55.225	14.884	28.670
17	235	122	55.225	14.884	28.670
18	235	122	55.225	14.884	28.670
19	235	119	55.225	14.161	27.965
20	235	122	55.225	14.884	28.670
Soma	4.550	2.588	1.035.750	335.594	588.125
Média	227,5	129,4

Tabela 1.2.1: Dados da Motivação 1.

Assim, encontramos as somas de quadrados

$$S_{xx}=\sum^n_{i=1}x_i^2-n\bar{x}^2=1035.750-20\times 227,50^2=625,$$

$$S_{yy}=\sum^n_{i=1}y_i^2-n\bar{y}^2= 335.594 - 20 \times 129,40^2=706,80$$

$$\text{e\ }S_{xy}=\sum^n_{i=1}x_i y_i-n\bar{x}\bar{y}=588.125 - 20 \times 227,50 \times 129,40=-645.$$

Logo, as estimativas dos parâmetros $\beta_{1}$ e $\beta_{0}$ são, respectivamente

$$\widehat\beta_1=\dfrac{-645}{625}=-1,032$$

$$\text{e\ }\widehat\beta_0=129,4-(-1,032)227,5=364,18.$$

Portanto, o modelo ajustado é dado por
$$\mbox{Dureza}~=~364,18~-~1,032~\times\mbox{Temperatura}.$$

Pelos valores das estimativas, temos que a cada aumento da Temperatura, temos um decréscimo de 1,032 na Dureza.

 

1.2.2 Resíduos

A diferença entre o valor observado $Y_{i}$ e o correspondente valor ajustado $\widehat{Y}_{i}$, dado pela expressão (1.2.1.4), é chamada de resíduo e é denotado por

$$e_{i}=Y_{i}-\widehat{Y}_{i}=Y_{i}-(\widehat\beta_{0}+\widehat\beta_{1}x_{i}),~~~~~~~~~~~~~~(1.2.2.1)$$

Essa medida é importante já que por meio dela verificamos o ajuste do modelo.

1.2.2.1 Algumas propriedades do ajuste de mínimos quadrados 

(i) A soma dos resíduos é sempre nula.

$$\sum\limits_{i=1}^{n}e_{i}=\sum\limits_{i=1}^{n}(Y_{i}-\widehat{Y}_{i})=0.$$ Na realidade, basta substituirmos os estimadores de mínimos quadrados $$\sum\limits_{i=1}^{n}e_{i}=\sum_{i=1}^nY_i-n\hat{\beta}_0-\hat{\beta}_1\sum_{i=1}^nx_i=\sum_{i=1}^nY_i-n\bar{Y}+n\hat{\beta_1}\bar{x}-\hat{\beta}_1\sum_{i=1}^nx_i=0.$$

(ii) A soma dos valores observados $Y_{i}$ é igual a soma dos valores ajustados $\widehat{Y}_{i}$.

$$\sum\limits_{i=1}^{n}Y_{i}=\sum\limits_{i=1}^{n}\widehat{Y}_{i};$$

(iii) A reta de regressão de mínimos quadrados passa pelo ponto $(\bar{x},\bar{Y})$. De fato,

$$Y_i=\beta_0+\beta_1x_1+\varepsilon_i=\beta_0+\beta_1(x_i-\bar{x})+\beta_1\bar{x}+\varepsilon_i=(\beta_0+\beta_1\bar{x})+\beta_1(x_i-\bar{x})+\varepsilon_i=\beta_0^{*}+\beta_1(x_i-\bar{x})+\varepsilon_i,$$

com $\beta_0^{*}=\beta_0+\beta_1\bar{x}$. Assim, a reta de regressão ajustada é dada por

$$\widehat{Y}=\widehat{\beta}_0^{*}+\widehat{\beta}_1(x_i-\bar{x})=\widehat{\beta}_0+\widehat{\beta}_1\bar{x}+\widehat{\beta}_1(x_i-\bar{x})=(\bar{Y}-\widehat{\beta}_1\bar{x})+\widehat{\beta}_1\bar{x}+\widehat{\beta}_1(x_i-\bar{x})=\bar{Y}+\widehat{\beta}_1(x_i-\bar{x}).$$

Logo, no ponto $x_i=\bar{x}$ temos que $$\widehat{Y}=\bar{Y}+\widehat{\beta}_{1}(\bar{x}-\bar{x})=\bar{Y}.$$ Portanto, temos que a reta ajustada passa por $(\bar{x},\bar{Y})$.

(iv) A soma dos resíduos ponderado pelo correspondente valor da variável regressora é sempre nula. 

$$\sum\limits_{i=1}^{n}x_{i}e_{i}=0;$$

(v) A soma dos resíduos ponderado pelo correspondente valor ajustado é sempre zero.

$$\sum\limits_{i=1}^{n}\widehat{Y}_{i}e_{i}=0.$$

 

1.2.3 Estimador da variância residual

Assim como os parâmetros $\beta_{0}$ e $\beta_{1}$, a variância $\sigma^2$ dos termos do erro $\epsilon_i$ precisa ser estimada. Isto é necessário já que inferências a respeito da função de regressão e da predição de Y requerem uma estimativa de $\sigma^2$. Consideremos os resíduos $e_{i}$ dado em (1.2.2.1). Desta forma, definimos a Soma de Quadrados dos Resíduos (Erros),

$$SQE = \sum\limits_{i=1}^n e_i^{2} = \sum\limits_{i=1}^n (Y_i-\widehat{Y}_i)^{2}=\sum\limits_{i=1}^n(Y_i-(\widehat{\beta}_0+\widehat{\beta}_1x_i))^{2}.$$

Como demonstrado em "Propriedades dos Estimadores", SQE é um estimador viciado de $\sigma^2$, isto é, 

$$E(SQE)= \sigma^2(n-2).$$

Desta forma, um estimador não viciado para $\sigma^2$ é dado por

$$\widehat{\sigma}^2=QME=\dfrac{SQE}{n-2},$$

em que QME é o Quadrado Médio dos Erros (Resíduos).

Considerando n pares de valores observados $(x_1,y_1),...,(x_n,y_n)$, podemos escrever

$$SQE=S_{yy}-\widehat{\beta}_{1}S_{xy},$$

como visto em "Propriedades dos Estimadores", em que $S_{yy}$ e $S_{xy}$ são dados respectivamente pelas expressões (1.2.1.6) e (1.2.1.7). Portanto,

$$QME=\dfrac{SQE}{n-2}=\dfrac{S_{yy}-\widehat{\beta}_{1}S_{xy}}{n-2}.$$

Daremos mais detalhes para a Soma de Quadrados dos Erros (SQE) e para o Quadrado Médio dos Erros (QME) em "Análise de Variância".

 

Exemplo 1.2.2

Obter um estimador não viesado para a variância residual do exemplo da "Motivação 1".

clique aqui para efetuar o download dos dados utilizados nesse exemplo

Solução:

Temos que

$$SQE=S_{yy}-\widehat{\beta}_1S_{xy}.$$

Já vimos que $S_{yy}=706,8,$ $\widehat{\beta}_1 = -1,032$ e $S_{xy}=-645,$ então
$$SQE=706,8 -(-1,032)(-645) = 706,8 - 665,64 = 41,16$$
$$\widehat{\sigma}^2=QME=\frac{SQE}{n-2} ~ = ~\frac{41,16}{18} ~ = ~2,2866.$$

 

Usando o Software Action obtemos os seguintes resultados:

Para entender como executar essa função do Software Action, você pode consultar o  manual do usuário.