- Estatcamp: (16) 3376-2047 [email protected]
- [email protected] https://www.actionstat.com.br
Supondo que a relação linear entre as variáveis Y e X é satisfatória, podemos estimar a linha de regressão e resolver alguns problemas de inferência. O problema de estimar os parâmetros $\beta_{0}$ e $\beta_{1}$ é o mesmo que ajustar a melhor reta em um gráfico de dispersão, como na Figura 1.2.1. O Método dos Mínimos Quadrados é uma eficiente estratégia de estimação dos parâmetros da regressão e sua aplicação não é limitada apenas às relações lineares.
Figura 1.2.1: Representação da Reta de Regressão.
O primeiro passo na análise de regressão é obter as estimativas $\widehat{\beta}_0$ e $\widehat{\beta}_1$ dos parâmetros do modelo. Os valores dessas estimativas serão obtidos a partir de uma amostra de n pares de valores $(X_i,Y_i)$, $i=1,...,n$ que correspondem a n pontos em um gráfico, como na Figura 1.2.1. No método de Mínimos Quadrados, não é necessário conhecer a forma da distribuição dos erros.
Suponha que é traçada uma reta arbitrária $\beta_0 + \beta_1 x$ passando por esses pontos. No valor $x_i$ da variável explicativa, o valor predito por esta reta é $\beta_0 + \beta_{1} x_i$, enquanto o valor observado é $Y_i$. Os desvios (erros) entre estes dois valores é $\varepsilon_i=Y_i-[\beta_0+\beta_1 x_i]$, que corresponde a distância vertical do ponto à reta arbitrária.
O objetivo é estimar os parâmetros $\beta_0$ e $\beta_1$ de modo que os desvios ($\varepsilon_i$) entre os valores observados e estimados sejam mínimos. Isso equivale a minimizar o comprimento do vetor de erros, $\varepsilon=(\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)^{\prime}$.
Uma forma de obter essas estimativas é o Método de Mínimos Quadrados. Este método consiste em minimizar a soma dos quadrados dos desvios L, como na expressão abaixo
$$L=\displaystyle\sum^n_{i=1}\varepsilon_i^2=\sum^n_{i=1}[Y_i-\beta_0-\beta_1 x_i]^2.~~~~(1.2.1.1)$$
Obviamente, que poderíamos calcular a distância entre a reta e os valores observados de diferentes formas. Por exemplo, poderíamos utilizar o módulo ao invés do quadrado, ou qualquer função de distância apropriada. A escolha do quadrado está na simplicidade dos cálculos envolvidos
Para encontrarmos estimativas para os parâmetros, vamos minimizar (1.2.1.1) em relação aos parâmetros $\beta_0$ e $\beta_1$. Para isto, derivamos em relação aos parâmetros $\beta_0$ e $\beta_1$. Assim,
$$\frac{\partial L(\beta_0,\beta_1)}{\partial \beta_0}=-2\sum^n_{i=1}(Y_i-\beta_0-\beta_1 x_i)$$
$$\text{e\ }\frac{\partial L(\beta_0,\beta_1)}{\partial\beta_1}=-2\sum^n_{i=1}(Y_i-\beta_0-\beta_1 x_i)x_i.$$
Substituindo $\beta_0$ e $\beta_1$ por $\widehat{\beta}_0$ e $\widehat{\beta}_1$, para indicar valores particulares dos parâmetros que minimizam L, e igualando as derivadas parciais a zero, obtemos
$$-2\sum^n_{i=1}(Y_i-\widehat{\beta}_0-\widehat{\beta}_1 x_i)=0$$
$$\text{e\ }-2\sum^n_{i=1}(Y_i-\widehat{\beta}_0-\widehat{\beta}_1 x_i)x_i=0.$$
Simplificando, obtemos as equações denominadas Equações Normais de Mínimos Quadrados.
$$\left\lbrace\begin{array}{c}n\widehat{\beta}_0+\widehat{\beta}_1\sum\limits^n_{i=1}x_i=\sum\limits^n_{i=1}Y_i\\\widehat{\beta}_0\sum\limits^n_{i=1}x_i+\widehat{\beta}_1\sum\limits^n_{i=1} x_i^2 = \sum\limits_{i=1}^n x_i Y_i.\end{array}\right.~~~~(1.2.1.2)$$
Para encontrarmos os valores de $\widehat\beta_{0}$ e $\widehat\beta_{1}$ que minimizam L, resolvemos o sistema de equações dado em (1.2.1.2). Considerando a primeira equação de (1.2.1.2) obtemos que,
$$\widehat{\beta}_0=\frac{\sum\limits_{i=1}^n Y_i}{n}-\frac{\widehat{\beta}_1\sum\limits_{i=1}^n x_i}{n},$$
ou seja,
$$\widehat{\beta}_0=\bar{Y}-\widehat{\beta}_1\bar{x},~~~~~~~~~~~~~~(1.2.1.3)$$
em que $\bar{x}=\dfrac{1}{n}\sum\limits^n_{i=1}x_i\quad\text{e}\quad\bar{Y}=\dfrac{1}{n}\sum\limits^n_{i=1} Y_i$ são as médias de x e da variável Y, respectivamente.
Desta forma, substituindo (1.2.1.3) na segunda equação de (1.2.1.2) temos que,$$\widehat{\beta}_1\displaystyle\sum_{i=1}^n x_i^2=\displaystyle\sum_{i=1}^n x_i Y_i-\widehat{\beta}_0\displaystyle\sum_{i=1}^n x_i$$
$$=\displaystyle\sum_{i=1}^n x_i Y_i-\left(\bar{Y}-\widehat{\beta}_1\bar{x}\right)\displaystyle\sum_{i=1}^n x_i$$
$$=\displaystyle\sum_{i=1}^n x_i Y_i-\bar{Y}\displaystyle\sum_{i=1}^n x_i-\widehat{\beta}_1\bar{x}\displaystyle\sum_{i=1}^n x_i$$
$$=\displaystyle\sum_{i=1}^n x_i Y_i-n\bar{x}\bar{Y}+n\widehat{\beta}_1\bar{x}^2.$$
Então,
$$\widehat{\beta}_1\left(\displaystyle\sum_{i=1}^n x_i^2-n\bar{x}^2 \right)=\sum_{i=1}^n x_i Y_i-n\bar{x}\bar{Y}$$
e portanto, concluímos que
$$\widehat{\beta}_1=\dfrac{\displaystyle\sum\limits_{i=1}^n x_i Y_i-n\bar{x}\bar{Y}}{\displaystyle\sum\limits_{i=1}^n x_i^2-n\bar{x}^2}.$$
Podemos também escrever
$$\widehat{\beta}_{1}=\dfrac{\displaystyle\sum\limits_{i=1}^n(x_i - \bar{x})(Y_i - \bar{Y})}{\displaystyle\sum\limits_{i=1}^n (x_i -\bar{x})^2}=\dfrac{\displaystyle\sum\limits_{i=1}^n(x_i - \bar{x})Y_i}{\displaystyle\sum\limits_{i=1}^n (x_i - \bar{x})x_i}=\dfrac{\displaystyle\sum\limits_{i=1}^n x_i Y_i-n\bar{x}\bar{Y}}{\displaystyle\sum\limits_{i=1}^n x_i^2-n\bar{x}^2}.$$
Os valores de $\widehat{\beta}_0$ e $\widehat{\beta}_1$ assim determinados são chamados Estimadores de Mínimos Quadrados (EMQ).
O modelo de regressão linear simples ajustado é então
$$\widehat{Y}=\widehat{\beta}_{0}+\widehat{\beta}_{1}x,~~~~~~~~~~~~~~(1.2.1.4)$$
sendo que $\widehat{Y}$ é um estimador pontual da média da variável Y para um valor de $x$, ou seja,
$$\widehat{E(Y|x_i)}=\widehat{\beta}_{0}+\widehat{\beta}_{1} x_{i},\quad i=1,\dots,n.$$
Considerando n pares de valores observados $(x_1,y_1),...,(x_n,y_n)$,
$$\bar{x}=\frac{1}{n}\sum^n_{i=1}x_i,\quad\bar{y}=\frac{1}{n}\sum^n_{i=1} y_i,~~~~(1.2.1.5)$$
$$S_{xx}=\sum^n_{i=1}(x_i-\bar{x})^2=\sum^n_{i=1}(x_i-\bar{x})x_i=\sum^n_{i=1}x_i^2-n\bar{x}^2=\sum^n_{i=1}x_i^2-\frac{\left(\sum\limits_{i=1}^n x_i\right)^2}{n},~~~~(1.2.1.6)$$
$$S_{yy}=\sum^n_{i=1}(y_i-\bar{y})^2=\sum^n_{i=1}(y_i-\bar{y})y_i=\sum^n_{i=1}y_i^2- n \bar{y}^2=\sum^n_{i=1}y_i^2-\frac{\left(\sum\limits_{i=1}^n y_i\right)^2}{n}~~~~(1.2.1.7)$$
$$\text{e\ }S_{xy}=\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})=\sum^n_{i=1}(x_i-\bar{x})y_i=\sum^n_{i=1}x_i y_i-n\bar{x}\bar{y}.~~~~(1.2.1.8)$$
As quantidades $\bar{x}$ e $\bar{y}$ são as médias amostrais de x e y. Já as quantidades $S_{xx}$ e $S_{yy}$ são as somas dos quadrados dos desvios das médias e $S_{xy}$ é a soma dos produtos cruzados dos desvios de x e y.
Desta forma, as estimativas de mínimos quadrados de $\beta_0$ e $\beta_1$, em termos desta notação são:
$$\widehat{\beta}_1=\frac{S_{xy}}{S_{xx}}\quad\text{e}\quad\widehat{\beta}_0=\bar {Y}-\widehat{\beta}_1\bar{x}.$$
Voltando à "Motivação 1", em que queríamos determinar os valores de temperatura em $^{\circ}\mathrm{C}$ que otimizam a dureza do material, encontramos as estimativas dos parâmetros $\beta_{0}$ e $\beta_{1}$ pelo Método dos Mínimos Quadrados.
clique aqui para efetuar o download dos dados utilizados nesse exemplo
Solução:
As médias amostrais das variáveis temperatura (X) e dureza (Y) são, respectivamente,
$$\bar{x}=\dfrac{1}{20}\sum_{i=1}^{20}x_i=(220+220+\ldots+235+235)/20=227,5$$
$$\text{e\ }\bar{y}=\dfrac{1}{20}\sum_{i=1}^{20} y_i = 137+137+\ldots+119+122=129,4.$$
Além disso, na Tabela 1.2.1, apresentamos os valores de $x^2, y^2$ e $xy$ para cada observação $i$, $i=1,...,20$.
Observação | Temperatura (x) | Dureza (y) | $x^2$ | $y^2$ | $x\times y$ |
1 | 220 | 137 | 48.400 | 18.769 | 30.140 |
2 | 220 | 137 | 48.400 | 18.769 | 30.140 |
3 | 220 | 137 | 48.400 | 18.769 | 30.140 |
4 | 220 | 136 | 48.400 | 18.496 | 29.920 |
5 | 220 | 135 | 48.400 | 18.225 | 29.700 |
6 | 225 | 135 | 50.625 | 18.225 | 30.375 |
7 | 225 | 133 | 50.625 | 17.689 | 29.925 |
8 | 225 | 132 | 50.625 | 17.424 | 29.700 |
9 | 225 | 133 | 50.625 | 17.689 | 29.925 |
10 | 225 | 133 | 50.625 | 17.689 | 29.925 |
11 | 230 | 128 | 52.900 | 16.384 | 29.440 |
12 | 230 | 124 | 52.900 | 15.376 | 28.520 |
13 | 230 | 126 | 52.900 | 15.876 | 28.980 |
14 | 230 | 129 | 52.900 | 16.641 | 29.670 |
15 | 230 | 126 | 52.900 | 15.876 | 28.980 |
16 | 235 | 122 | 55.225 | 14.884 | 28.670 |
17 | 235 | 122 | 55.225 | 14.884 | 28.670 |
18 | 235 | 122 | 55.225 | 14.884 | 28.670 |
19 | 235 | 119 | 55.225 | 14.161 | 27.965 |
20 | 235 | 122 | 55.225 | 14.884 | 28.670 |
Soma | 4.550 | 2.588 | 1.035.750 | 335.594 | 588.125 |
Média | 227,5 | 129,4 |
Tabela 1.2.1: Dados da Motivação 1.
Assim, encontramos as somas de quadrados
$$S_{xx}=\sum^n_{i=1}x_i^2-n\bar{x}^2=1035.750-20\times 227,50^2=625,$$
$$S_{yy}=\sum^n_{i=1}y_i^2-n\bar{y}^2= 335.594 - 20 \times 129,40^2=706,80$$
$$\text{e\ }S_{xy}=\sum^n_{i=1}x_i y_i-n\bar{x}\bar{y}=588.125 - 20 \times 227,50 \times 129,40=-645.$$
Logo, as estimativas dos parâmetros $\beta_{1}$ e $\beta_{0}$ são, respectivamente
$$\widehat\beta_1=\dfrac{-645}{625}=-1,032$$
$$\text{e\ }\widehat\beta_0=129,4-(-1,032)227,5=364,18.$$
Portanto, o modelo ajustado é dado por
$$\mbox{Dureza}~=~364,18~-~1,032~\times\mbox{Temperatura}.$$
Pelos valores das estimativas, temos que a cada aumento da Temperatura, temos um decréscimo de 1,032 na Dureza.
A diferença entre o valor observado $Y_{i}$ e o correspondente valor ajustado $\widehat{Y}_{i}$, dado pela expressão (1.2.1.4), é chamada de resíduo e é denotado por
$$e_{i}=Y_{i}-\widehat{Y}_{i}=Y_{i}-(\widehat\beta_{0}+\widehat\beta_{1}x_{i}),~~~~~~~~~~~~~~(1.2.2.1)$$
Essa medida é importante já que por meio dela verificamos o ajuste do modelo.
1.2.2.1 Algumas propriedades do ajuste de mínimos quadrados
(i) A soma dos resíduos é sempre nula.
$$\sum\limits_{i=1}^{n}e_{i}=\sum\limits_{i=1}^{n}(Y_{i}-\widehat{Y}_{i})=0.$$ Na realidade, basta substituirmos os estimadores de mínimos quadrados $$\sum\limits_{i=1}^{n}e_{i}=\sum_{i=1}^nY_i-n\hat{\beta}_0-\hat{\beta}_1\sum_{i=1}^nx_i=\sum_{i=1}^nY_i-n\bar{Y}+n\hat{\beta_1}\bar{x}-\hat{\beta}_1\sum_{i=1}^nx_i=0.$$
(ii) A soma dos valores observados $Y_{i}$ é igual a soma dos valores ajustados $\widehat{Y}_{i}$.
$$\sum\limits_{i=1}^{n}Y_{i}=\sum\limits_{i=1}^{n}\widehat{Y}_{i};$$
(iii) A reta de regressão de mínimos quadrados passa pelo ponto $(\bar{x},\bar{Y})$. De fato,
$$Y_i=\beta_0+\beta_1x_1+\varepsilon_i=\beta_0+\beta_1(x_i-\bar{x})+\beta_1\bar{x}+\varepsilon_i=(\beta_0+\beta_1\bar{x})+\beta_1(x_i-\bar{x})+\varepsilon_i=\beta_0^{*}+\beta_1(x_i-\bar{x})+\varepsilon_i,$$
com $\beta_0^{*}=\beta_0+\beta_1\bar{x}$. Assim, a reta de regressão ajustada é dada por
$$\widehat{Y}=\widehat{\beta}_0^{*}+\widehat{\beta}_1(x_i-\bar{x})=\widehat{\beta}_0+\widehat{\beta}_1\bar{x}+\widehat{\beta}_1(x_i-\bar{x})=(\bar{Y}-\widehat{\beta}_1\bar{x})+\widehat{\beta}_1\bar{x}+\widehat{\beta}_1(x_i-\bar{x})=\bar{Y}+\widehat{\beta}_1(x_i-\bar{x}).$$
Logo, no ponto $x_i=\bar{x}$ temos que $$\widehat{Y}=\bar{Y}+\widehat{\beta}_{1}(\bar{x}-\bar{x})=\bar{Y}.$$ Portanto, temos que a reta ajustada passa por $(\bar{x},\bar{Y})$.
(iv) A soma dos resíduos ponderado pelo correspondente valor da variável regressora é sempre nula.
$$\sum\limits_{i=1}^{n}x_{i}e_{i}=0;$$
(v) A soma dos resíduos ponderado pelo correspondente valor ajustado é sempre zero.
$$\sum\limits_{i=1}^{n}\widehat{Y}_{i}e_{i}=0.$$
Assim como os parâmetros $\beta_{0}$ e $\beta_{1}$, a variância $\sigma^2$ dos termos do erro $\epsilon_i$ precisa ser estimada. Isto é necessário já que inferências a respeito da função de regressão e da predição de Y requerem uma estimativa de $\sigma^2$. Consideremos os resíduos $e_{i}$ dado em (1.2.2.1). Desta forma, definimos a Soma de Quadrados dos Resíduos (Erros),
$$SQE = \sum\limits_{i=1}^n e_i^{2} = \sum\limits_{i=1}^n (Y_i-\widehat{Y}_i)^{2}=\sum\limits_{i=1}^n(Y_i-(\widehat{\beta}_0+\widehat{\beta}_1x_i))^{2}.$$
Como demonstrado em "Propriedades dos Estimadores", SQE é um estimador viciado de $\sigma^2$, isto é,
$$E(SQE)= \sigma^2(n-2).$$
Desta forma, um estimador não viciado para $\sigma^2$ é dado por
$$\widehat{\sigma}^2=QME=\dfrac{SQE}{n-2},$$
em que QME é o Quadrado Médio dos Erros (Resíduos).
Considerando n pares de valores observados $(x_1,y_1),...,(x_n,y_n)$, podemos escrever
$$SQE=S_{yy}-\widehat{\beta}_{1}S_{xy},$$
como visto em "Propriedades dos Estimadores", em que $S_{yy}$ e $S_{xy}$ são dados respectivamente pelas expressões (1.2.1.6) e (1.2.1.7). Portanto,
$$QME=\dfrac{SQE}{n-2}=\dfrac{S_{yy}-\widehat{\beta}_{1}S_{xy}}{n-2}.$$
Daremos mais detalhes para a Soma de Quadrados dos Erros (SQE) e para o Quadrado Médio dos Erros (QME) em "Análise de Variância".
Obter um estimador não viesado para a variância residual do exemplo da "Motivação 1".
clique aqui para efetuar o download dos dados utilizados nesse exemplo
Solução:
Temos que
$$SQE=S_{yy}-\widehat{\beta}_1S_{xy}.$$
Já vimos que $S_{yy}=706,8,$ $\widehat{\beta}_1 = -1,032$ e $S_{xy}=-645,$ então
$$SQE=706,8 -(-1,032)(-645) = 706,8 - 665,64 = 41,16$$
$$\widehat{\sigma}^2=QME=\frac{SQE}{n-2} ~ = ~\frac{41,16}{18} ~ = ~2,2866.$$
Usando o Software Action obtemos os seguintes resultados:
![]() |
Para entender como executar essa função do Software Action, você pode consultar o manual do usuário. |
O Portal Action é mantido pela Estatcamp - Consultoria Estatística e Qualidade, com o objetivo de disponibilizar uma ferramenta estatística em conjunto com uma fonte de informação útil aos profissionais interessados.