3.5 Teste da Falta de Ajuste (Lack of Fit)

Após o ajuste, é importante verificar se o modelo linear é adequado. As Figuras 3.5.1 e 3.5.2 mostram os pontos da amostra para situações de um modelo correto e um modelo incorreto.

Na Figura 3.5.1, o valor esperado de $Y$ dado $X$ ( $\mu_{Y\mid X}=E[Y\mid X]$ ) está alinhado e então, a falta de ajuste de um modelo linear praticamente não existe, pois a variação da amostra em torno da reta de regressão é o erro aleatório devido a variação das observações das replicas.

Figura 3.5.1: Reta de regressão perfeitamente ajustada sem Falta de Ajuste

Na Figura 3.5.2 a reta de regressão não se ajusta perfeitamente aos dados e existe uma variância grande em torno do ajuste equivocado, neste caso observamos uma falta de ajuste.

Figura 3.5.2: Reta de regressão com Falta de Ajuste

Uma maneira formal de verificar o ajuste de um modelo linear é por meio do teste de falta de ajuste.

Esse teste requer medidas repetidas para um ou mais níveis de X. A seguir apresentamos o teste tanto para o modelo linear quanto para o múltiplo.

3.5.1 Análise da falta de ajuste nos modelos de Regressão Linear Simples

O modelo linear simples é:

$Y_{ij}=\beta_0+\beta_1~x_i + \varepsilon ~~\left \{\begin{array}{c}i=1,2,\ldots,m\\ j=1,2,\ldots,n_i\\\end{array} \right.~~~~~(3.5.1)$

em que,

$Y_{ij}$ : representa a j-ésima observação para o i-ésimo valor da variável;
$\beta_0$ : onde a reta intercepta o eixo y;
$\beta_1$ : a inclinação da reta de regressão;
$x_i$ : o i-ésimo valor da variável explicativa;
$\varepsilon_{ij}$ : erro aleatório associado à i-ésimo e j-ésima observação;
$n_i$ representa o número de observações para o i-ésimo valor de x.

Supondo que temos $m$ diferentes valores da variável explicativa $(x_1,~x_2,~\ldots,~x_m)$ e que temos $n_i$ réplicas da variável resposta para cada valor da variável explicativa, ou seja,

$\left\{\begin{array}{ccccccc}x_1~~\Longrightarrow~~Y_{11}~~Y_{12}~~Y_{13}~~\ldots~~Y_{1n_1}\\x_2~~\Longrightarrow~~Y_{21}~~Y_{22}~~Y_{23}~~\ldots~~Y_{1n_2}\\x_3~~\Longrightarrow~~Y_{31}~~Y_{32}~~Y_{33}~~\ldots~~Y_{1n_3}\\\vdots~~~~~~\vdots~~~~~~\vdots~~~~~~\vdots~~~~~~\vdots~~~~~~\ddots~~~~~~\vdots\\x_m~~\Longrightarrow~~Y_{m1}~~Y_{m2}~~Y_{m3}~~\ldots~~Y_{mn_m}\\\end{array}\right.$

Vamos quebrar a soma de quadrados do erro em dois componentes.

Para entendermos a quebra, tomamos,

$Y_{ij}-\hat{Y}_i= (Y_{ij}-\bar{Y}_{i.})+(\bar{Y}_{i.}-\hat{Y}_{i}).$

A primeira parte reflete a variabilidade entre as observações da variável resposta para o mesmo $x_i$ ,
enquanto que a segunda parte reflete os desvios das médias das observações (em cada $x_i$ ) para o modelo.

Assim, associamos a primeira parte ao erro puro (PE) e a segunda parte à falta de ajuste do modelo (lof).

$SQE=\sum_{i=1}^{m}\sum_{j=1}^{n_i} (Y_{ij}-\hat{Y}_{i})^2$

$=\sum_{i=1}^{m}\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y}_{i.}+\bar{Y}_{i.}-\hat{Y}_i)^2$

$=\sum_{i=1}^{m}\sum_{j=1}^{n_i}( (Y_{ij}-\bar{Y}_{i.})-(\hat{Y}_i - \bar{Y}_{i.}))^2$

$=\sum_{i=1}^{m}\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y}_{i.})^2-2~\sum_{i=1}^{m}\sum_{j=1}^{n_i} (Y_{ij}-\bar{Y}_{i.})(\hat{Y}_{i}-\bar{Y}_{i.})+\sum_{i=1}^{m}\sum_{j=1}^{n_i}(\hat{Y}_{i}-\bar{Y}_{i.})^2$

$=\sum_{i=1}^{m}\sum_{j=1}^{n_i} (Y_{ij}-\bar{Y}_{i.})^2+\sum_{i=1}^{m}n_i(\hat{Y}_{i}-\bar{Y}_{i.})^2~,~~\mbox{pois}~~2~\sum_{i=1}^{m}\sum_{j=1}^{n_i} (Y_{ij}-\bar{Y}_{i.})(\hat{Y}_{i}-\bar{Y}_{i.})~=0$

$=SQ_{PE}+SQ_{LOF}.$

Assim,

$SQ_{PE}=\sum_{i=1}^{m}\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y}_{i.})^2~~~\mbox{ e }~~~SQ_{LOF} =\sum_{i=1}^{m}n_i(\hat{Y}_{i}-\bar{Y}_{i.})^2.$

O quadrado médio devido ao Falta de Ajuste é dado por

$QM_{LOF}=\frac{SQ_{LOF}}{m-2}.$

Assim o teste para a falta de ajuste é dada por

$F_0=\frac{QM_{LOF}}{QM_{PE}}=\frac{\frac{(SQ_{LOF})}{(m-2)}}{\frac{SQ_{PE}}{(n-m)}}~~~~\sim ~~~~ F_{(m - 2; n - m)}$

Temos que

$E[QM_{LOF}] =\sigma^2 + \frac{\displaystyle\sum_{i=1}^{m}n_i [E(Y_i) - \beta_0 -\beta_1~x_i]^2}{m-2}.~~~~~(3.5.2)$

Se a regressão linear for perfeita obtemos que $E(Y_i)=\beta_0+\beta_1~x_i$ e o segundo termos da equação (3.5.2) é zero. Neste caso,

$E[QM_{LOF}]=\sigma^2$

Se o modelo linear não for adequado, obtemos que $E(Y_i)\neq\beta_0+\beta_1~x_i$ . Neste caso,

$E[QM_{LOF}]\textgreater \sigma^2$

Seja,

$\left\{\begin{array}{cccl}H_0:E(Y_i)=\beta_0+\beta_1~x_i ~~\mbox{modelo linear adequado}\\H_1: E(Y_i) \neq\beta_0+\beta_1~x_i~~\mbox{modelo linear inadequado}\\\end{array}\right.$

Se $H_0$ é verdadeiro, obtemos que $F_0 \sim F_{(m - 2; n - m)}.$

Com isso, rejeitamos $H_0$ se $F_0\textgreater F_{(\alpha,m - 2; n - m)}.$

O P-valor é dado por

$P-valor=P[F_{(m - 2; n - m)}\textgreater F_0].$

A tabela ANOVA se resume em:

Fonte	SQ	GL	QM	Estatística
Regressão	$SQR$	1	$QMR$	$\dfrac{SQR}{s^2}$
Resíduo	$SQE$	n-2
Falta de Ajuste	$SQE - SQE(puro)$	m-2	$\dfrac{SQE - SQE(puro)}{m-2}$	$\dfrac{SQE - SQE(puro)}{s^2(m-2)}$
Erro Puro	$SQE(puro)$	n-m	$\dfrac{SQE(puro)}{n-m}$
Total	$SQT$	n-1

Tabela 3.5.1: ANOVA para o teste de linearidade da regressão.

Exemplo 3.5.1

Vamos fazer a aplicação do Teste da Falta de Ajuste ao exemplo da "Motivação 1". Nesse caso de regressão simples, temos quatro níveis (m=4) da variável explicativa temperatura, com quatro replicações cada um.

Solução:

$S_{xx}=\sum_{i=1}^{n}\sum_{j=0}^{n_i}(x_{ij}-\bar{x_{i.}})^2= 625$

$S_{yy}=\sum_{i=1}^{n}\sum_{j=0}^{n_i}(y_{ij}-\bar{y_{i.}})^2= 706,8$

$S_{xy}=\sum_{i=1}^{n}\sum_{j=0}^{n_i}(x_{ij}-\bar{x_{i.}})(y_{ij}-\bar{y_{i.}})=-645$

Temos inicialmente

$(y_{ij}-\hat{y}_i)=(y_{ij}-\bar{y}_{i.})-(\bar{y}_{i.}-\hat{y}_{i}).$

A partir daí podemos chegar na soma de quadrados separada para o Teste da Falta de Ajuste.

$SQE=\sum_{i=1}^{m}\sum_{j=1}^{n_i}(y_{ij}-\bar{y}_{i.})^2 +\sum_{i=1}^{m}\sum_{j=1}^{n_i}(\hat{y}_{i}-\bar{y}_{i.})^2$

$=30,40+10,76=41,16.$

$QM_{LOF}=\frac{SQ_{LOF}}{m-2}=\frac{10,76}{2}=5,38.$

$QM_{PE}=\frac{SQ_{PE}}{n-m}=\frac{30,4}{16}=1,9.$

Podemos então calcular a estatística F com base nos quadrados médios, sabendo que neste exemplo os valores de $m = 4$ e $n = 20$ .

$F_0=\frac{QM_{LOF}}{QM_{PE}}=\frac{5,38}{1,9}= 2,83~~~~\sim ~~~~F_{(2;16)}$

Se $H_0$ é verdadeiro, obtemos que $F_0 \sim F_{(2;16)}.$ Com isso, rejeitamos $H_0$ se $F_0\textgreater F_{(2,83;2; 16)}.$

O p-valor é dado por

$P-valor=P[F_{(2; 16)}\textgreater F_0]= 0,089.$

Fonte	SQ	GL	QM	Estatística	P-valor
Regressão	665,64	1	665,64	350,3368	0
Resíduo	41,16	18
Falta de Ajuste	10,76	2	5,38	2,8316	0,089
Erro Puro	30,4	16	1,9
Total	706,8	19

Tabela 3.5.2: Tabela da ANOVA.

Portanto, não rejeitamos a hipótese de que o modelo linear é adequado.

Usando o software Action temos os seguintes resultados:

Para entender como executar essa função do Software Action, você pode consultar o manual do usuário.

3.5.2 Análise da falta de ajuste nos modelos na Regressão Linear Múltipla

No caso da regressão linear múltipla, nosso modelo é dado por

$Y_{ij}=\beta_0+\beta_i~x_{ij}+\varepsilon_{ij} ~~\left \{\begin{array}{c}i=1,2,\ldots,m\\ j=1,2,\ldots,n_i\\\end{array} \right.~~~~~(3.5.3)$

em que,

$Y_{ij}$ : representa a j-ésima observação para o i-ésimo valor da variável;
$\beta_0$ : onde o hiperplano intercepta o eixo y;
$\beta_i$ : é o coeficiente da i-ésima variável regressora ( $x_i$ );
$x_{ij}$ : o j-ésimo valor da variável explicativa $i$ ;
$\varepsilon_{ij}$ : erro aleatório associado à j-ésima observação;
$n_i$ representa o número de observações para o i-ésimo valor de x.

Como temos $n_i$ observações para cada combinação i das variáveis explicativas, $x_i$ , temos $n=\displaystyle\sum_{i=1}^{n}n_i$ observações.

O procedimento do teste envolve particionar a soma dos quadrados dos resíduos em dois componentes (da mesma forma que no caso linear simples),

$SQ_E = SQ_{PE}+SQ_{LOF}.$

em que $SQ_{PE}$ é a soma dos quadrados devido ao Erro Puro e $SQ_{LOF}$ é a soma dos quadrados
devido ao Falta de Ajuste.

Para desenvolver esta partição de $SQ_E$ , note que o (i j)-ésimo resíduo é,

$e_{ij}=Y_{ij}-\hat{Y}_i= (Y_{ij}-\bar{Y}_{i.})+(\bar{Y}_{i.}-\hat{Y}_{i}). ~~~~~~(3.5.4)$

em que $\bar{Y}_i$ é a média de $n_i$ observações em $x_i$ .

Com os dois lados elevados ao quadrado da equação (3.5.4) e somando através de i e j, temos:

$\sum_{i=1}^m \sum_{j=1}^{n_i} (Y_{ij}-\hat{Y}_i)^2=\sum_{i=1}^m\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y}_i)^2+\sum_{i=1}^{m}n_i(\bar{Y}_i-\hat{Y})^2. ~~~~(3.5.5)$

O lado esquerdo da equação (3.5.5) é a soma dos quadrados dos resíduos tradicional. Os dois componentes do lado direito medem o puro erro e o Falta de Ajuste.

A soma dos quadrados do puro erro,

$SQ_{PE}=\sum_{i=1}^m\sum_{j=1}^{n_i}(Y_{ij}-\bar{Y}_i)^2, ~~~~(3.5.6)$

é obtido através da soma dos quadrados corrigidos das observações repetidas em cada nível $x_i$ e então somamos para todos os m níveis de x.

Como temos $(n_i - 1)$ graus de liberdade para a soma dos quadrados do puro erro em cada nível $x_i$ , o total de graus de liberdade associados com a soma dos quadrados do puro erro é, $\displaystyle\sum_{i=1}^m (n_i -1)=n-m.$

A soma dos quadrados do Falta de Ajuste,

$\sum_{j=1}^{n_i}n_i(\bar{Y}_i-\hat{Y})^2. ~~~~(3.5.7)$

é uma soma dos desvios quadráticos ponderada entre a resposta média $\bar{Y}_i$ em cada nível e seu
correspondente valor ajustado.

Se o valor ajustado $\hat{Y}_i$ está próximo das correspondentes médias respostas $\bar{Y}_i$ então existe um grande indicativo de que o modelo linear é adequado. Se $\hat{Y}_i$ desvia muito de $\bar{Y}_i$ , este por sua vez é um forte indício de que a regressão não é linear.

O valor esperado de $QM_{PE}$ é $\sigma^2$ , e o valor esperado do $QM_{LOF}$ é dado por:

$E(QM_{LOF})=\sigma^2+\frac{\sum_{i=1}^m n_i \left[ E(Y_i)-\beta_0-\sum_{j=1}^k \beta_j x_{ij} \right]^2}{m-p-1}.$

em que $p$ é o número de variáveis explicativas da regressão.

O teste estatístico para o Falta de Ajuste é,

$F_0=\frac{\frac{SQ_{LOF}}{(m-p-1)}}{\frac{SQ_{PE}}{(n-m)}}=\frac{QM_{LOF}}{QM_{PE}}.$

Se a regressão linear for perfeita obtemos que $E(Y_i)=\beta_0+\beta_1~x_i$ e o segundo termos da equação é zero. Neste caso,

$E[QM_{LOF}]=\sigma^2.$

Se o modelo linear não for adequado, obtemos que $E(Y_i)\neq\beta_0+\beta_1~x_i$ . Neste caso,

$E[QM_{LOF}]\textgreater \sigma^2.$

Seja,

$\left\{\begin{array}{cccl}H_0:E(Y_i) = \beta_0+\beta_1~x_i~~\mbox{modelo linear adequado}\\H_1 : E(Y_i) \neq \beta_0+\beta_1~x_i ~~\mbox{modelo linear inadequado}\\\end{array}\right.$

Se $H_0$ é verdadeiro, obtemos que $F_0 \sim F_{(m - p-1; n - m)}.$ Com isso, rejeitamos $H_0$ se $F_0 \textgreater F_{(\alpha,m - p-1; n - m)}$ . O P-valor é dado por:

$P-valor=P[F_{(m - p -1; n - m)}\textgreater F_0].$

A Tabela ANOVA se resume em

Fonte	SQ	GL	QM	Estatística
Regressão	$SQR$	p	$QMR$	$\frac{SQR}{s^2}$
Resíduo	$SQE$	n-p-1
Falta de Ajuste	$SQE - SQE(puro)$	m-p-1	$\frac{SQE - SQE(puro)}{m-p-1}$	$\frac{SQE - SQE(puro)}{s^2(m-p-1)}$
Erro Puro	$SQE(puro)$	n-m	$\frac{SQE(puro)}{n-m}$
Total	$SQT$	n-1

Tabela 3.5.3: ANOVA para o teste de linearidade da regressão.

Exemplo 3.5.2

Vamos fazer a aplicação do Falta de Ajuste ao problema dado na "Motivação 2". Como necessitamos de réplicas nos níveis, vamos considerar um novo conjunto de dados conforme a Tabela 3.5.4.

Observação	Tempo	Dose	Ganho	Observação	Tempo	Dose	Ganho
1	195	4	1004	16	225	4,7	1160
2	195	4	1010	17	225	4,3	1276
3	195	4,6	852	18	225	4,3	1270
4	195	4,6	849	19	225	4,72	1225
5	195	4,3	903	20	225	4,72	1220
6	195	4,3	920	21	230	4,3	1321
7	225	4,2	1272	22	230	4,3	1330
8	225	4,2	1285	23	230	4,5	1340
9	225	4,1	1270	24	230	4,5	1345
10	225	4,1	1280	25	255	4	1636
11	225	4,6	1269	26	255	4	1640
12	225	4,6	1200	27	255	4,6	1506
13	225	4	1260	28	255	4,6	1510
14	225	4	1250	29	255	4,3	1555
15	225	4,7	1146	30	255	4,3	1550

Tabela 3.5.4: Dados da "Motivação 2" com réplicas

Solução:

Temos inicialmente

$(y_{ij}-\hat{y}_i)=(y_{ij}-\bar{y}_{i.})-(\bar{y}_{i.}-\hat{y}_{i}).$

A partir, daí podemos chagar na soma de quadrados separada para o Falta de Ajuste.

$SQE=\sum_{i=1}^m\sum_{j=1}^{n_i}(y_{ij}-\bar{y}_{i.})^2 +\sum_{i=1}^m \sum_{j=1}^{n_i}(\hat{y}_{ij}-\bar{y}_{i})^2$

$=2942+28587=31529.$

$QM_{LOF}=\frac{SQ_{LOF}}{m-p-1}=\frac{28587}{12}= 2382.$

$QM_{PE}=\frac{SQ_{PE}}{n-m}=\frac{2942}{15} =196.$

Podemos então, calcular a estatística F, com base nos quadrados médios, sabendo que neste exemplo os valores de m=15 e n=30.

$F_0=\frac{QM_{LOF}}{QM_{PE}} = \frac{2382}{196}= 12,15.$

Se $H_0$ é verdadeiro, obtemos que $F_0 \sim F_{(12;15)}.$

Com isso, rejeitamos $H_0$ se $F_0\textgreater F_{(12; 15)}$ .

O p-valor é dado por

$P-valor=P[F_{(12; 15)}\textgreater F_0]= 0,000.$

Temos a seguir a Tabela ANOVA com o Falta de Ajuste dos dados do exemplo da Motivação 2, com réplicas.

Fonte	SQ	GL	QM	Estatística	P-valor
Regressão	1307620	2	653810	559,89	0
Resíduo	31529	27	1168
Falta de Ajuste	28587	12	2382	12,15	0
Erro Puro	2942	15	196
Total	133914	29

Tabela 3.5.5: Tabela da ANOVA.

Usando o software Action temos os seguintes resultados:

- Sem réplicas:

- Com réplicas:

Para entender como executar essa função do Software Action, você pode consultar o manual do usuário.

3.5 Teste da Falta de Ajuste (Lack of Fit)

Action

Conteúdo Estatístico

Manual Action

Línguas