2.2 Estimação dos Parâmetros do Modelo

Suponha que temos $n$ observações $(n\textgreater p)$ da variável resposta e das $p$ variáveis explicativas. Assim, $y_i$ é o valor da variável resposta na i-ésima observação enquanto que $x_{ij}$ é o valor da variável $x_j$ na i-ésima observação, $j=1,\dots,p.$ Os dados de um MRLM podem ser representados da seguinte forma:

$y$	$x_1$	$x_2$	$\ldots$	$x_p$
$y_1$	$x_{11}$	$x_{12}$	$\ldots$	$x_{1p}$
$y_2$	$x_{21}$	$x_{22}$	$\ldots$	$x_{2p}$
$\vdots$	$\vdots$	$\vdots$	$\vdots$	$\vdots$
$y_n$	$x_{n1}$	$x_{n2}$	$\ldots$	$x_{np}$

Tabela 2.2.1: Representação dos dados.

em que cada observação satisfaz

$\begin{equation*}Y_i=\beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \ldots + \beta_p x_{ip} + \varepsilon_i, \quad i=1,\ldots, n.\end{equation*}$

2.2.1 Método dos Mínimos Quadrados

O objetivo é minimizar a função

$L=\sum_{i=1}^n\varepsilon_i^2=\sum_{i=1}^n\left(Y_i-\beta_0-\beta_1 x_{i1}-\beta_2 x_{i2}-\ldots -\beta_px_{ip}\right)^2.$

Derivando L em função dos $\beta$ 's obtemos

$\dfrac{\partial L}{\partial \beta_0}=-2\sum_{i=1}^n[Y_i-\beta_0-\beta_1x_{i1}-\beta_2x_{i2}-\dots-\beta_px_{ip}],$

$\dfrac{\partial L}{\partial \beta_j}=-2\sum_{i=1}^n[Y_i-\beta_0-\beta_1x_{i1}-\beta_2x_{i2}-\dots-\beta_px_{ip}]x_{ji},\quad j=1,2,\dots,p.$

Igualando as derivadas parciais a zero e substituindo $\beta_0,\beta_1,\dots,\beta_p$ por $\widehat{\beta}_0,\widehat{\beta}_1,\dots,\widehat{\beta}_p$ , temos o sistema de equações

$\left\lbrace \begin{array}{c} n \widehat{\beta}_0+\widehat{\beta}_1 \displaystyle \sum_{i=1}^n x_{i1}+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i2}+\ldots+\widehat{\beta}_p \displaystyle\sum_{i=1}^n x_{ip}=\sum_{i=1}^n Y_i\\\widehat{\beta}_0\displaystyle\sum_{i=1}^n x_{i1}+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{i1}^2+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i1}x_{i2}+\ldots+\widehat{\beta}_p\displaystyle\sum_{i=1}^n x_{i1} x_{ip}=\displaystyle\sum_{i=1}^n x_{i1} Y_i\\\vdots\vdots\\\widehat{\beta}_0 \displaystyle\sum_{i=1}^n x_{ip}+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{ip} x_{i1}+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{ip} x_{i2}+\ldots+\widehat{\beta}_p \displaystyle\sum_{i=1}^n _{ip}^2=\displaystyle\sum_{i=1}^n x_{ip} Y_i .\end{array}\right.$

Resolvendo este sistema, obtemos os estimadores de mínimos quadrados $\widehat{\beta}_0,\dots,\widehat{\beta}_p$ dos parâmetros do modelo em questão.

2.2.2 Representação matricial do MRLM

Notemos que os estimadores de mínimos quadrados dos parâmetros do "Modelo 2.2" podem ser facilmente encontrados considerando a notação matricial dos dados, que é de fácil manipulação. Desta forma, considerando a entrada de dados apresentada na Tabela 2.2.1, o modelo de Regressão Linear Múltipla pode ser escrito como

$\begin{equation*}Y=X\beta+\varepsilon,\end{equation*}$

com

$Y=\left[\begin{array}{c}Y_1\\Y_2\\\vdots\\Y_n\\\end{array} \right]~~,~~X=\left[\begin{array}{ccccc}1~x_{11}~ x_{12}~\ldots~x_{1p}\\1~x_{21}~x_{22}~\ldots~x_{2p}\\\vdots~~~\vdots~~~\vdots~~~\ddots~~~\vdots\\1~x_{n1}~x_{n2}~\ldots~x_{np}\\\end{array} \right]~~,~~\beta=\left[ \begin{array}{c}\beta_0\\\beta_1\\\vdots\\\beta_p\\\end{array} \right]~~\mbox{e}~~ \varepsilon=\left[ \begin{array}{c}\varepsilon_1\\\varepsilon_2\\\vdots\\\varepsilon_n\\\end{array}\right],$

em que

$Y$ é um vetor $n\times 1$ cujos componentes corresponde às n respostas;
$X$ é uma matriz de dimensão $n\times (p+1)$ denominada matriz do modelo;
$\varepsilon$ é um vetor de dimensão $n\times 1$ cujos componentes são os erros e
$\beta$ é um vetor $(p+1)\times 1$ cujos elementos são os coeficientes de regressão.

O método de mínimos quadrados tem como objetivo encontrar o vetor $\widehat{\beta}$ que minimiza

$L=\sum_{i=1}^n\varepsilon_i^2=\varepsilon^\prime \varepsilon= (Y-X\beta)^\prime (Y-X\beta)=$

$=Y^\prime Y-Y^\prime X\beta-\beta^\prime X^\prime Y+\beta^\prime X^\prime X\beta=Y^\prime Y-2\beta^\prime X^\prime Y+\beta^\prime X^\prime X\beta,$

sendo que $Y^\prime X\beta=\beta^\prime X^\prime Y$ pois o produto resulta em um escalar. A notação $X^\prime$ representa o transposto da matriz $X$ enquanto que $Y^\prime$ e $\beta^\prime$ representam os transpostos dos vetores $Y$ e $\beta$ , respectivamente. Usando a técnica de derivação (em termos matriciais) obtemos

$\dfrac{\partial L}{\partial\beta}=-2X^\prime Y+2X^\prime X\beta.$

Igualando a zero e substituindo o vetor $\beta$ pelo vetor $\widehat{\beta}$ , temos

$(X^\prime X)\widehat{\beta}=X^\prime Y.$

Em geral, a matriz $(X^\prime X)$ é não singular, ou seja, tem determinante diferente de zero, e portanto é invertível. Desta forma, conclui-se que os estimadores para os parâmetros $\beta_j,\quad j=0,\dots,p$ são dados pelo vetor

$\begin{equation*}\widehat{\beta}=(X^\prime X)^{-1} X^\prime Y.\end{equation*}$

Portanto, o modelo de regressão linear ajustado e o vetor de resíduos são respectivamente

$\begin{equation*}\widehat{Y}=X\widehat{\beta}\quad\mbox {e}\quad e=Y-\widehat{Y}=Y - \widehat{Y}.\end{equation*}$

Ao substituirmos os estimadores de mínimos quadrados, obtemos que $\widehat{Y} = HY$ no qual $H=X(X^\prime X)^{-1} X^\prime$ é a matriz chapéu, ou matriz de projeção do vetor de respostas $Y$ no vetor de respostas ajustadas $\widehat{Y}$ .

Exemplo 2.2.1

Com os dados do exemplo na "Motivação 2", obter as estimativas dos parâmetros do "Modelo 2.2".

clique aqui para efetuar o download dos dados utilizados nesse exemplo

Solução:

Sejam a variável resposta Ganho (Y) e as variáveis explicativas Tempo ( $x_1$ ) e Dose ( $x_2$ ).

Temos que $n=14,$ $\quad \sum\limits_{i=1}^{14}Y_i= 17.495$ ; $\quad\sum\limits_{i=1}^{14}x_{i1}= 3.155$ e $\quad \sum\limits_{i=1}^{14} x_{i2}= 60,72.$ Além disso,
$\sum\limits_{i=1}^{14} x_{i1}^2= 716.425$ ; $\quad\sum\limits_{i=1}^{14}x_{i2}^2= 264,2584$ ; $\quad \sum\limits_{i=1}^{14} x_{i1} x_{i2}= 13.683,50$ ; $\quad \sum\limits_{i=1}^{14} x_{i1} Y_i= 4.001.120$ e $\quad \sum\limits_{i=1}^{14} x_{i2}Y_i= 75.738,30.$

As equações normais serão

$\left\lbrace \begin{array}{c} n \widehat{\beta}_0+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{i1}+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i2}=\displaystyle\sum_{i=1}^n Y_i\\\widehat{\beta}_0 \displaystyle\sum_{i=1}^n x_{i1}+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{i1}^2 +\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i1} x_{i2}=\displaystyle\sum_{i=1}^n x_{i1} Y_i\\\widehat{\beta}_0 \displaystyle\sum_{i=1}^n x_{i2}+\widehat{\beta}_1 \displaystyle\sum_{i=1}^n x_{i1} x_{i2}+\widehat{\beta}_2 \displaystyle\sum_{i=1}^n x_{i2}^2=\sum_{i=1}^n x_{i2} Y_i\end{array}\right.$

Substituindo os valores para esse exemplo, temos

$\left\lbrace \begin{array}{c}14\,\widehat{\beta}_0\,+\,3.155\,\widehat{\beta}_1\,+\,60,72\,\widehat{\beta}_2\,=\, 17.495\\3.155 \,\widehat{\beta}_0\,+\,716.425\,\widehat{\beta}_1\,+\,13.683,50\, \widehat{\beta}_2\,=\,4.001.120\\60,72\,\widehat{\beta}_0\,+\,13.683,50\,\widehat{\beta}_1 \, +\, 264,2584 \,\widehat{\beta}_2 \,=\,75.738,30\end{array}\right.$

Resolvendo o sistema, obtemos

$\widehat{\beta}_0= -520,08,$ $\widehat{\beta}_1 = 10,78$ e $\widehat{\beta}_2 = -152,15.$

Na representação matricial temos

Logo, as estimativas $\widehat{\beta}$ são dadas por

e portanto, $\widehat{y} = -520,08 + 10,78 x_1 -152,15 x_2.$

Não podemos afirmar que a variável $x_1$ aumenta o ganho, pois as variáveis $x_1$ e $x_2$ estão em unidades diferentes. No exemplo 2.2.3 abaixo, as variáveis foram transformadas para que fiquem na mesma unidade.

Exemplo 2.2.2

Interpretar os resultados do "Exemplo 2.2.1".

Solução:

Com os dados do exemplo na "Motivação 2", obtemos o modelo

$E(Y\mid x)= -520,08 - 152,15 \, Dose + 10,78 \, Tempo.$

Se o $Tempo = 225$ (constante), então

$E(Y\mid x)= 1.905,42 - 152,15\, Dose.$

Assim,

$\beta_1=-152,15$ indica que a cada acréscimo de uma unidade na $Dose$ a resposta média decrescerá $152,15$ unidades;

$\beta_2=10,78$ indica um acréscimo na resposta média de $10,78$ unidades para cada acréscimo de uma unidade na variável $Dose$ .

2.2.3 Transformação de dados

Em determinadas situações é usual transformarmos as variáveis explicativas dos dados originais para que fiquem na mesma unidade (escala), facilitando a interpretação dos resultados. Suponha que $\xi_{1},\xi_{2},\dots,\xi_{p}$ são as variáveis explicativas originais do modelo. A expressão para transformar as variáveis explicativas $\xi$ é dada por

$x_{ij}=\dfrac{\xi_{ij}-\dfrac{[max(\xi_{ij})+min(\xi_{ij})]}{2}}{\dfrac{[max(\xi_{ij})-min(\xi_{ij})]}{2}},$

em que j indica a variável que está sendo transformada, $j=1,\dots,p$ . Desta forma, temos que os valores das variáveis explicativas transformadas estão todos entre -1 e 1.

Notemos que os valores das estimativas dos parâmetros do modelo de regressão linear múltipla não são os mesmos considerando as variáveis originais e as variáveis transformadas.

Exemplo 2.2.3

Considerando os dados do Exemplo 2.2.1, transformar as variáveis explicativas para que fiquem na mesma unidade (escala). Então, ajustar o modelo de regressão linear múltipla aos dados transformados.

clique aqui para efetuar o download dos dados utilizados nesse exemplo

Considerando que $\xi_{1}$ e $\xi_{2}$ são as variáveis explicativas no conjunto de dados original, temos que as variáveis explicativas transformadas, denotadas por $x_1$ e $x_2$ são dadas por

Para $x_{i1}$ :

$x_{i1}=\dfrac{\xi_{i1} - 225}{30}.$

Para $x_{i2}$ :

$x_{i2}=\frac{\xi_{i2} -4,36}{0,36}.$

Observação	Tempo (min) $(\xi_{1})$	Dose de íons $10^{14}$ $(\xi_{2})$	$x_1$	$x_2$	Ganho (y)
1	195	4	-1	-1	1.004
2	255	4	1	-1	1.636
3	195	4,6	-1	0,6667	852
4	255	4,6	1	0,6667	1.506
5	225	4,2	0	-0,4444	1.272
6	225	4,1	0	-0,7222	1.270
7	225	4,6	0	0,6667	1.269
8	195	4,3	-1	-0,1667	903
9	255	4,3	1	-0,1667	1.555
10	225	4	0	-1	1.260
11	225	4,7	0	0,9444	1.146
12	225	4,3	0	-0,1667	1.276
13	225	4,72	0	1	1.225
14	230	4,3	0,1667	-0,1667	1.321