2.2 Estimação dos Parâmetros do Modelo

Você está aqui

Suponha que temos $ n $ observações $ (n\textgreater p) $ da variável resposta e das $ p $ variáveis explicativas. Assim, $ y_i $ é o valor da variável resposta na i-ésima observação enquanto que $ x_{ij} $ é o valor da variável $ x_j $ na i-ésima observação, $ j=1,\dots,p. $ Os dados de um MRLM podem ser representados da seguinte forma:

$ y $ $ x_1 $ $ x_2 $ $ \ldots $ $ x_p $
$ y_1 $ $ x_{11} $ $ x_{12} $ $ \ldots $ $ x_{1p} $
$ y_2 $ $ x_{21} $ $ x_{22} $ $ \ldots $ $ x_{2p} $
$ \vdots $ $ \vdots $ $ \vdots $ $ \vdots $ $ \vdots $
$ y_n $ $ x_{n1} $ $ x_{n2} $ $ \ldots $ $ x_{np} $

Tabela 2.2.1: Representação dos dados.

em que cada observação satisfaz 

$$\begin{equation*}Y_i=\beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \ldots + \beta_p x_{ip} + \varepsilon_i, \quad i=1,\ldots, n.\end{equation*}$$

2.2.1 Método dos Mínimos Quadrados

O objetivo é minimizar a função 

$$L=\sum_{i=1}^n\varepsilon_i^2=\sum_{i=1}^n\left(Y_i-\beta_0-\beta_1 x_{i1}-\beta_2 x_{i2}-\ldots -\beta_px_{ip}\right)^2.$$

Derivando L em função dos $ \beta $'s obtemos  

$$\dfrac{\partial L}{\partial \beta_0}=-2\sum_{i=1}^n[Y_i-\beta_0-\beta_1x_{i1}-\beta_2x_{i2}-\dots-\beta_px_{ip}],$$


$$\dfrac{\partial L}{\partial \beta_j}=-2\sum_{i=1}^n[Y_i-\beta_0-\beta_1x_{i1}-\beta_2x_{i2}-\dots-\beta_px_{ip}]x_{ji},\quad j=1,2,\dots,p.$$

Igualando as derivadas parciais a zero e substituindo $ \beta_0,\beta_1,\dots,\beta_p $ por $ \widehat{\beta}_0,\widehat{\beta}_1,\dots,\widehat{\beta}_p $, temos o sistema de equações


$$\left\lbrace \begin{array}{c} n \widehat{\beta}_0+\widehat{\beta}_1 \displaystyle \sum_{i=1}^n x_{i1}+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i2}+\ldots+\widehat{\beta}_p \displaystyle\sum_{i=1}^n x_{ip}=\sum_{i=1}^n Y_i\\\widehat{\beta}_0\displaystyle\sum_{i=1}^n x_{i1}+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{i1}^2+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i1}x_{i2}+\ldots+\widehat{\beta}_p\displaystyle\sum_{i=1}^n x_{i1} x_{ip}=\displaystyle\sum_{i=1}^n x_{i1} Y_i\\\vdots\vdots\\\widehat{\beta}_0 \displaystyle\sum_{i=1}^n x_{ip}+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{ip} x_{i1}+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{ip} x_{i2}+\ldots+\widehat{\beta}_p \displaystyle\sum_{i=1}^n _{ip}^2=\displaystyle\sum_{i=1}^n x_{ip} Y_i .\end{array}\right.$$

Resolvendo este sistema, obtemos os estimadores de mínimos quadrados $ \widehat{\beta}_0,\dots,\widehat{\beta}_p $ dos parâmetros do modelo em questão. 

2.2.2 Representação matricial do MRLM 

Notemos que os estimadores de mínimos quadrados dos parâmetros do "Modelo 2.2" podem ser facilmente encontrados considerando a notação matricial dos dados, que é de fácil manipulação. Desta forma, considerando a entrada de dados apresentada na Tabela 2.2.1, o modelo de Regressão Linear Múltipla pode ser escrito como  

$$\begin{equation*}Y=X\beta+\varepsilon,\end{equation*}$$

com 

$$Y=\left[\begin{array}{c}Y_1\\Y_2\\\vdots\\Y_n\\\end{array} \right]~~,~~X=\left[\begin{array}{ccccc}1~x_{11}~ x_{12}~\ldots~x_{1p}\\1~x_{21}~x_{22}~\ldots~x_{2p}\\\vdots~~~\vdots~~~\vdots~~~\ddots~~~\vdots\\1~x_{n1}~x_{n2}~\ldots~x_{np}\\\end{array} \right]~~,~~\beta=\left[ \begin{array}{c}\beta_0\\\beta_1\\\vdots\\\beta_p\\\end{array} \right]~~\mbox{e}~~ \varepsilon=\left[ \begin{array}{c}\varepsilon_1\\\varepsilon_2\\\vdots\\\varepsilon_n\\\end{array}\right],$$

em que

  • $ Y $ é um vetor $ n\times 1 $ cujos componentes corresponde às n respostas;
  • $ X $ é uma matriz de dimensão $ n\times (p+1) $ denominada matriz do modelo;
  • $ \varepsilon $ é um vetor de dimensão $ n\times 1 $ cujos componentes são os erros e
  • $ \beta $ é um vetor $ (p+1)\times 1 $ cujos elementos são os coeficientes de regressão. 

O método de mínimos quadrados tem como objetivo encontrar o vetor $ \widehat{\beta} $ que minimiza

$$L=\sum_{i=1}^n\varepsilon_i^2=\varepsilon^\prime \varepsilon= (Y-X\beta)^\prime (Y-X\beta)=$$

$$=Y^\prime Y-Y^\prime X\beta-\beta^\prime X^\prime Y+\beta^\prime X^\prime X\beta=Y^\prime Y-2\beta^\prime X^\prime Y+\beta^\prime X^\prime X\beta,$$

sendo que $ Y^\prime X\beta=\beta^\prime X^\prime Y $ pois o produto resulta em um escalar. A notação $ X^\prime $ representa o transposto da matriz $ X $ enquanto que $ Y^\prime $ e $ \beta^\prime $ representam os transpostos dos vetores $ Y $ e $ \beta $, respectivamente. Usando a técnica de derivação (em termos matriciais) obtemos

$$\dfrac{\partial L}{\partial\beta}=-2X^\prime Y+2X^\prime X\beta.$$

Igualando a zero e substituindo o vetor $ \beta $ pelo vetor $ \widehat{\beta} $, temos

$$(X^\prime X)\widehat{\beta}=X^\prime Y.$$

Em geral, a matriz $ (X^\prime X) $ é não singular, ou seja, tem determinante diferente de zero, e portanto é invertível. Desta forma, conclui-se que os estimadores para os parâmetros $ \beta_j,\quad j=0,\dots,p $ são dados pelo vetor

$ \begin{equation*}\widehat{\beta}=(X^\prime X)^{-1} X^\prime Y.\end{equation*} $

Portanto, o modelo de regressão linear ajustado e o vetor de resíduos são respectivamente

$ \begin{equation*}\widehat{Y}=X\widehat{\beta}\quad\mbox {e}\quad e=Y-\widehat{Y}=Y - \widehat{Y}.\end{equation*} $

Ao substituirmos os estimadores de mínimos quadrados, obtemos que $ \widehat{Y} = HY $ no qual $ H=X(X^\prime X)^{-1} X^\prime $ é a matriz chapéu, ou matriz de projeção do vetor de respostas $ Y $ no vetor de respostas ajustadas $ \widehat{Y} $. 

Exemplo 2.2.1

Com os dados do exemplo na "Motivação 2", obter as estimativas dos parâmetros do "Modelo 2.2".

clique aqui para efetuar o download dos dados utilizados nesse exemplo

Solução:

Sejam a variável resposta Ganho (Y) e as variáveis explicativas Tempo ($ x_1 $) e Dose ($ x_2 $).

Temos que $ n=14, $$ \quad \sum\limits_{i=1}^{14}Y_i= 17.495 $; $ \quad\sum\limits_{i=1}^{14}x_{i1}= 3.155 $ e $ \quad \sum\limits_{i=1}^{14} x_{i2}= 60,72. $ Além disso,
$ \sum\limits_{i=1}^{14} x_{i1}^2= 716.425 $; $ \quad\sum\limits_{i=1}^{14}x_{i2}^2= 264,2584 $; $ \quad \sum\limits_{i=1}^{14} x_{i1} x_{i2}= 13.683,50 $; $ \quad \sum\limits_{i=1}^{14} x_{i1} Y_i= 4.001.120 $ e $ \quad \sum\limits_{i=1}^{14} x_{i2}Y_i= 75.738,30. $

As equações normais serão

$$\left\lbrace \begin{array}{c} n \widehat{\beta}_0+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{i1}+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i2}=\displaystyle\sum_{i=1}^n Y_i\\\widehat{\beta}_0 \displaystyle\sum_{i=1}^n x_{i1}+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{i1}^2 +\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i1} x_{i2}=\displaystyle\sum_{i=1}^n x_{i1} Y_i\\\widehat{\beta}_0 \displaystyle\sum_{i=1}^n x_{i2}+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{i1} x_{i2}+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i2}^2=\sum_{i=1}^n x_{i2} Y_i\end{array}\right.$$

Substituindo os valores para esse exemplo, temos


$$\left\lbrace \begin{array}{c}14\,\widehat{\beta}_0\,+\,3.155\,\widehat{\beta}_1\,+\,60,72\,\widehat{\beta}_2\,=\, 17.495\\3.155 \,\widehat{\beta}_0\,+\,716.425\,\widehat{\beta}_1\,+\,13.683,50\, \widehat{\beta}_2\,=\,4.001.120\\60,72\,\widehat{\beta}_0\,+\,13.683,50\,\widehat{\beta}_1 \, +\, 264,2584 \,\widehat{\beta}_2 \,=\,75.738,30\end{array}\right.$$

Resolvendo o sistema, obtemos

$ \widehat{\beta}_0= -520,08, $$ \widehat{\beta}_1 = 10,78 $  e  $ \widehat{\beta}_2 = -152,15. $

Na representação matricial temos

Logo, as estimativas $ \widehat{\beta} $ são dadas por

e portanto, $ \widehat{y} = -520,08 + 10,78 x_1 -152,15 x_2. $

Não podemos afirmar que a variável $ x_1 $ aumenta o ganho, pois as variáveis $ x_1 $ e $ x_2 $ estão em unidades diferentes. No exemplo 2.2.3 abaixo, as variáveis foram transformadas para que fiquem na mesma unidade.

 

Exemplo 2.2.2

Interpretar os resultados do "Exemplo 2.2.1".

Solução:

Com os dados do exemplo na "Motivação 2", obtemos o modelo


$$E(Y\mid x)= -520,08 - 152,15 \, Dose + 10,78 \, Tempo.$$

Se o $ Tempo = 225 $ (constante), então

$$E(Y\mid x)= 1.905,42 - 152,15\, Dose.$$

Assim,

$ \beta_1=-152,15 $ indica que a cada acréscimo de uma unidade na $ Dose $ a resposta média decrescerá $ 152,15 $ unidades;

$ \beta_2=10,78 $ indica um acréscimo na resposta média de $ 10,78 $ unidades para cada acréscimo de uma unidade na variável $ Dose $.

 

2.2.3 Transformação de dados

 

Em determinadas situações é usual transformarmos as variáveis explicativas dos dados originais para que fiquem na mesma unidade (escala), facilitando a interpretação dos resultados. Suponha que $ \xi_{1},\xi_{2},\dots,\xi_{p} $ são as variáveis explicativas originais do modelo. A expressão para transformar as variáveis explicativas $ \xi $ é dada por


$$x_{ij}=\dfrac{\xi_{ij}-\dfrac{[max(\xi_{ij})+min(\xi_{ij})]}{2}}{\dfrac{[max(\xi_{ij})-min(\xi_{ij})]}{2}},$$

em que j indica a variável que está sendo transformada, $ j=1,\dots,p $. Desta forma, temos que os valores das variáveis explicativas transformadas estão todos entre -1 e 1.

Notemos que os valores das estimativas dos parâmetros do modelo de regressão linear múltipla não são os mesmos considerando as variáveis originais e as variáveis transformadas.

 

Exemplo 2.2.3

Considerando os dados do Exemplo 2.2.1, transformar as variáveis explicativas para que fiquem na mesma unidade (escala). Então, ajustar o modelo de regressão linear múltipla aos dados transformados.

clique aqui para efetuar o download dos dados utilizados nesse exemplo

Considerando que $ \xi_{1} $ e $ \xi_{2} $ são as variáveis explicativas no conjunto de dados original, temos que as variáveis explicativas transformadas, denotadas por $ x_1 $ e $ x_2 $ são dadas por

  • Para $ x_{i1} $:


$$x_{i1}=\dfrac{\xi_{i1} - 225}{30}.$$

  • Para $ x_{i2} $:


$$x_{i2}=\frac{\xi_{i2} -4,36}{0,36}.$$

Observação Tempo (min)    $ (\xi_{1}) $

Dose de íons $ 10^{14} $

 $ (\xi_{2}) $

 $ x_1 $ $ x_2 $ Ganho (y)
1 195 4 -1 -1 1.004
2 255 4 1 -1 1.636
3 195 4,6 -1 0,6667 852
4 255 4,6 1 0,6667 1.506
5 225 4,2 0 -0,4444 1.272
6 225 4,1 0 -0,7222 1.270
7 225 4,6 0 0,6667 1.269
8 195 4,3 -1 -0,1667 903
9 255 4,3 1 -0,1667 1.555
10 225 4 0 -1 1.260
11 225 4,7 0 0,9444 1.146
12 225 4,3 0 -0,1667 1.276
13 225 4,72 0 1 1.225
14 230 4,3 0,1667 -0,1667 1.321

Tabela 2.2.2: Dados Transformados.

Considerando os dados transformados, temos que a matriz $ X $ e o vetor $ y $ são dados respectivamente por

Assim, a matriz $ X^\prime X $ é

Portanto, as estimativas $ \widehat{\beta} $ são

Assim, a equação da regressão é dada por

$$\widehat{y}= 1.242,31 + 323,43~x_1 - 54,77~x_2.$$

Usando o software Action temos os seguintes resultados:

  • Considerando a escala original dos dados

  • Considerando a transformação

 Para entender como executar essa função do Software Action, você pode consultar o  manual do usuário.

 

Análise de Regressão

Sobre o Portal Action

O Portal Action é mantido pela Estatcamp - Consultoria Estatística e Qualidade, com o objetivo de disponibilizar uma ferramenta estatística em conjunto com uma fonte de informação útil aos profissionais interessados.

Facebook

CONTATO

  •  Maestro Joao Seppe, 900, São Carlos - SP | CEP 13561-180
  • Telefone: (16) 3376-2047
  • E-Mail: [email protected]