2.2 Estimação dos Parâmetros do Modelo

Suponha que temos $n$ observações $(n\textgreater p)$ da variável resposta e das $p$ variáveis explicativas. Assim, $y_i$ é o valor da variável resposta na i-ésima observação enquanto que $x_{ij}$ é o valor da variável $x_j$ na i-ésima observação, $j=1,\dots,p.$ Os dados de um MRLM podem ser representados da seguinte forma:

$y$	$x_1$	$x_2$	$\ldots$	$x_p$
$y_1$	$x_{11}$	$x_{12}$	$\ldots$	$x_{1p}$
$y_2$	$x_{21}$	$x_{22}$	$\ldots$	$x_{2p}$
$\vdots$	$\vdots$	$\vdots$	$\vdots$	$\vdots$
$y_n$	$x_{n1}$	$x_{n2}$	$\ldots$	$x_{np}$

Tabela 2.2.1: Representação dos dados.

em que cada observação satisfaz $$\begin{equation*}Y_i=\beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \ldots + \beta_p x_{ip} + \varepsilon_i, \quad i=1,\ldots, n.\end{equation*}$$

2.2.1 Método dos Mínimos Quadrados

O objetivo é minimizar a função $$L=\sum_{i=1}^n\varepsilon_i^2=\sum_{i=1}^n\left(Y_i-\beta_0-\beta_1 x_{i1}-\beta_2 x_{i2}-\ldots -\beta_px_{ip}\right)^2.$$

Derivando L em função dos $\beta$'s obtemos  $$\dfrac{\partial L}{\partial \beta_0}=-2\sum_{i=1}^n[Y_i-\beta_0-\beta_1x_{i1}-\beta_2x_{i2}-\dots-\beta_px_{ip}],$$

$$\dfrac{\partial L}{\partial \beta_j}=-2\sum_{i=1}^n[Y_i-\beta_0-\beta_1x_{i1}-\beta_2x_{i2}-\dots-\beta_px_{ip}]x_{ji},\quad j=1,2,\dots,p.$$

Igualando as derivadas parciais a zero e substituindo $\beta_0,\beta_1,\dots,\beta_p$ por $\widehat{\beta}_0,\widehat{\beta}_1,\dots,\widehat{\beta}_p$, temos o sistema de equações

$$\left\lbrace \begin{array}{c} n \widehat{\beta}_0+\widehat{\beta}_1 \displaystyle \sum_{i=1}^n x_{i1}+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i2}+\ldots+\widehat{\beta}_p \displaystyle\sum_{i=1}^n x_{ip}=\sum_{i=1}^n Y_i\\\widehat{\beta}_0\displaystyle\sum_{i=1}^n x_{i1}+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{i1}^2+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i1}x_{i2}+\ldots+\widehat{\beta}_p\displaystyle\sum_{i=1}^n x_{i1} x_{ip}=\displaystyle\sum_{i=1}^n x_{i1} Y_i\\\vdots\vdots\\\widehat{\beta}_0 \displaystyle\sum_{i=1}^n x_{ip}+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{ip} x_{i1}+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{ip} x_{i2}+\ldots+\widehat{\beta}_p \displaystyle\sum_{i=1}^n _{ip}^2=\displaystyle\sum_{i=1}^n x_{ip} Y_i .\end{array}\right.$$

Resolvendo este sistema, obtemos os estimadores de mínimos quadrados $\widehat{\beta}_0,\dots,\widehat{\beta}_p$ dos parâmetros do modelo em questão. 

2.2.2 Representação matricial do MRLM 

Notemos que os estimadores de mínimos quadrados dos parâmetros do "Modelo 2.2" podem ser facilmente encontrados considerando a notação matricial dos dados, que é de fácil manipulação. Desta forma, considerando a entrada de dados apresentada na Tabela 2.2.1, o modelo de Regressão Linear Múltipla pode ser escrito como  $$\begin{equation*}Y=X\beta+\varepsilon,\end{equation*}$$

com $$Y=\left[\begin{array}{c}Y_1\\Y_2\\\vdots\\Y_n\\\end{array} \right]~~,~~X=\left[\begin{array}{ccccc}1~x_{11}~ x_{12}~\ldots~x_{1p}\\1~x_{21}~x_{22}~\ldots~x_{2p}\\\vdots~~~\vdots~~~\vdots~~~\ddots~~~\vdots\\1~x_{n1}~x_{n2}~\ldots~x_{np}\\\end{array} \right]~~,~~\beta=\left[ \begin{array}{c}\beta_0\\\beta_1\\\vdots\\\beta_p\\\end{array} \right]~~\mbox{e}~~ \varepsilon=\left[ \begin{array}{c}\varepsilon_1\\\varepsilon_2\\\vdots\\\varepsilon_n\\\end{array}\right],$$

em que

• $Y$ é um vetor $n\times 1$ cujos componentes corresponde às n respostas;
• $X$ é uma matriz de dimensão $n\times (p+1)$ denominada matriz do modelo;
• $\varepsilon$ é um vetor de dimensão $n\times 1$ cujos componentes são os erros e
• $\beta$ é um vetor $(p+1)\times 1$ cujos elementos são os coeficientes de regressão. 

O método de mínimos quadrados tem como objetivo encontrar o vetor $\widehat{\beta}$ que minimiza

$$L=\sum_{i=1}^n\varepsilon_i^2=\varepsilon^\prime \varepsilon= (Y-X\beta)^\prime (Y-X\beta)=$$

$$=Y^\prime Y-Y^\prime X\beta-\beta^\prime X^\prime Y+\beta^\prime X^\prime X\beta=Y^\prime Y-2\beta^\prime X^\prime Y+\beta^\prime X^\prime X\beta,$$

sendo que $Y^\prime X\beta=\beta^\prime X^\prime Y$ pois o produto resulta em um escalar. A notação $X^\prime $ representa o transposto da matriz $X$ enquanto que $Y^\prime$ e $\beta^\prime$ representam os transpostos dos vetores $Y$ e $\beta$, respectivamente. Usando a técnica de derivação (em termos matriciais) obtemos

$$\dfrac{\partial L}{\partial\beta}=-2X^\prime Y+2X^\prime X\beta.$$

Igualando a zero e substituindo o vetor $\beta$ pelo vetor $\widehat{\beta}$, temos

$$(X^\prime X)\widehat{\beta}=X^\prime Y.$$

Em geral, a matriz $(X^\prime X)$ é não singular, ou seja, tem determinante diferente de zero, e portanto é invertível. Desta forma, conclui-se que os estimadores para os parâmetros $\beta_j,\quad j=0,\dots,p$ são dados pelo vetor

$\begin{equation*}\widehat{\beta}=(X^\prime X)^{-1} X^\prime Y.\end{equation*}$

Portanto, o modelo de regressão linear ajustado e o vetor de resíduos são respectivamente

$\begin{equation*}\widehat{Y}=X\widehat{\beta}\quad\mbox {e}\quad e=Y-\widehat{Y}=Y - \widehat{Y}.\end{equation*}$

Ao substituirmos os estimadores de mínimos quadrados, obtemos que $\widehat{Y} = HY$ no qual $H=X(X^\prime X)^{-1} X^\prime$ é a matriz chapéu, ou matriz de projeção do vetor de respostas $Y$ no vetor de respostas ajustadas $\widehat{Y}$. 

Exemplo 2.2.1

Com os dados do exemplo na "Motivação 2", obter as estimativas dos parâmetros do "Modelo 2.2".

clique aqui para efetuar o download dos dados utilizados nesse exemplo

Solução:

Sejam a variável resposta Ganho (Y) e as variáveis explicativas Tempo ($x_1$) e Dose ($x_2$).

Temos que $n=14,$ $\quad \sum\limits_{i=1}^{14}Y_i= 17.495$; $\quad\sum\limits_{i=1}^{14}x_{i1}= 3.155$ e $\quad \sum\limits_{i=1}^{14} x_{i2}= 60,72.$ Além disso,
$\sum\limits_{i=1}^{14} x_{i1}^2= 716.425$; $\quad\sum\limits_{i=1}^{14}x_{i2}^2= 264,2584$; $\quad \sum\limits_{i=1}^{14} x_{i1} x_{i2}= 13.683,50$; $\quad \sum\limits_{i=1}^{14} x_{i1} Y_i= 4.001.120$ e $\quad \sum\limits_{i=1}^{14} x_{i2}Y_i= 75.738,30.$

As equações normais serão
$$\left\lbrace \begin{array}{c} n \widehat{\beta}_0+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{i1}+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i2}=\displaystyle\sum_{i=1}^n Y_i\\\widehat{\beta}_0 \displaystyle\sum_{i=1}^n x_{i1}+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{i1}^2 +\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i1} x_{i2}=\displaystyle\sum_{i=1}^n x_{i1} Y_i\\\widehat{\beta}_0 \displaystyle\sum_{i=1}^n x_{i2}+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{i1} x_{i2}+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i2}^2=\sum_{i=1}^n x_{i2} Y_i\end{array}\right.$$

Substituindo os valores para esse exemplo, temos

$$\left\lbrace \begin{array}{c}14\,\widehat{\beta}_0\,+\,3.155\,\widehat{\beta}_1\,+\,60,72\,\widehat{\beta}_2\,=\, 17.495\\3.155 \,\widehat{\beta}_0\,+\,716.425\,\widehat{\beta}_1\,+\,13.683,50\, \widehat{\beta}_2\,=\,4.001.120\\60,72\,\widehat{\beta}_0\,+\,13.683,50\,\widehat{\beta}_1 \, +\, 264,2584 \,\widehat{\beta}_2 \,=\,75.738,30\end{array}\right.$$

Resolvendo o sistema, obtemos

$\widehat{\beta}_0= -520,08,$ $\widehat{\beta}_1 = 10,78 $  e  $\widehat{\beta}_2 = -152,15.$

Na representação matricial temos

Logo, as estimativas $\widehat{\beta}$ são dadas por

e portanto, $\widehat{y} = -520,08 + 10,78 x_1 -152,15 x_2.$

Não podemos afirmar que a variável $x_1$ aumenta o ganho, pois as variáveis $x_1$ e $x_2$ estão em unidades diferentes. No exemplo 2.2.3 abaixo, as variáveis foram transformadas para que fiquem na mesma unidade.

 

Exemplo 2.2.2

Interpretar os resultados do "Exemplo 2.2.1".

Solução:

Com os dados do exemplo na "Motivação 2", obtemos o modelo

$$E(Y\mid x)= -520,08 - 152,15 \, Dose + 10,78 \, Tempo.$$

Se o $Tempo = 225$ (constante), então $$E(Y\mid x)= 1.905,42 - 152,15\, Dose.$$

Assim,

$\beta_1=-152,15$ indica que a cada acréscimo de uma unidade na $Dose$ a resposta média decrescerá $152,15$ unidades;

$\beta_2=10,78$ indica um acréscimo na resposta média de $10,78$ unidades para cada acréscimo de uma unidade na variável $Dose$.

 

2.2.3 Transformação de dados

 

Em determinadas situações é usual transformarmos as variáveis explicativas dos dados originais para que fiquem na mesma unidade (escala), facilitando a interpretação dos resultados. Suponha que $\xi_{1},\xi_{2},\dots,\xi_{p}$ são as variáveis explicativas originais do modelo. A expressão para transformar as variáveis explicativas $\xi$ é dada por

$$x_{ij}=\dfrac{\xi_{ij}-\dfrac{[max(\xi_{ij})+min(\xi_{ij})]}{2}}{\dfrac{[max(\xi_{ij})-min(\xi_{ij})]}{2}},$$

em que j indica a variável que está sendo transformada, $j=1,\dots,p$. Desta forma, temos que os valores das variáveis explicativas transformadas estão todos entre -1 e 1.

Notemos que os valores das estimativas dos parâmetros do modelo de regressão linear múltipla não são os mesmos considerando as variáveis originais e as variáveis transformadas.

 

Exemplo 2.2.3

Considerando os dados do Exemplo 2.2.1, transformar as variáveis explicativas para que fiquem na mesma unidade (escala). Então, ajustar o modelo de regressão linear múltipla aos dados transformados.

clique aqui para efetuar o download dos dados utilizados nesse exemplo

Considerando que $\xi_{1}$ e $\xi_{2}$ são as variáveis explicativas no conjunto de dados original, temos que as variáveis explicativas transformadas, denotadas por $x_1$ e $x_2$ são dadas por

• Para $x_{i1}$:

$$x_{i1}=\dfrac{\xi_{i1} - 225}{30}.$$

• Para $x_{i2}$:

$$x_{i2}=\frac{\xi_{i2} -4,36}{0,36}.$$

Observação	Tempo (min)    $(\xi_{1})$	Dose de íons $10^{14}$  $(\xi_{2})$	$x_1$	$x_2$	Ganho (y)
1	195	4	-1	-1	1.004
2	255	4	1	-1	1.636
3	195	4,6	-1	0,6667	852
4	255	4,6	1	0,6667	1.506
5	225	4,2	0	-0,4444	1.272
6	225	4,1	0	-0,7222	1.270
7	225	4,6	0	0,6667	1.269
8	195	4,3	-1	-0,1667	903
9	255	4,3	1	-0,1667	1.555
10	225	4	0	-1	1.260
11	225	4,7	0	0,9444	1.146
12	225	4,3	0	-0,1667	1.276
13	225	4,72	0	1	1.225
14	230	4,3	0,1667	-0,1667	1.321

Tabela 2.2.2: Dados Transformados.

Considerando os dados transformados, temos que a matriz $X$ e o vetor $y$ são dados respectivamente por

Assim, a matriz $X^\prime X$ é

Portanto, as estimativas $\widehat{\beta}$ são

Assim, a equação da regressão é dada por
$$\widehat{y}= 1.242,31 + 323,43~x_1 - 54,77~x_2.$$

Usando o software Action temos os seguintes resultados:

• Considerando a escala original dos dados

• Considerando a transformação

Para entender como executar essa função do Software Action, você pode consultar o  manual do usuário.