3.3 - Estimadores de Mínimos Quadrados

Você está aqui

O método de estimação por mínimos quadrados consiste em minimizar o quadrado das diferenças entre os valores observados de uma amostra e seus respectivos valores esperados. Consideraremos o procedimento a partir de um exemplo simples.

Exemplo 3.3.1:

Suponha que estamos interessados em estudar a resistência $Y$ de uma cabo de aço em função de seu diâmetro $X$. A partir de uma amostra coletada, percebemos que as variáveis são, aproximadamente, proporcionais, isto é, $Y\approx\theta X$ em que $\theta$ é o coeficiente de proporcionalidade. O nosso objetivo é estimar o parâmetro $\theta$, baseado nas medidas disponíveis em uma amostra de 10 unidades mostradas na tabela a seguir

X 0,50 0,60 0,75 0,80 0,90 1,05 1,20 1,30 1,50 1,65
Y 2,07 2,24 3,28 3,35 3,81 4,14 4,64 5,13 6,05 6,57

A partir dessas informações, podemos concluir que, aparentemente, $\hat{\theta} = 4$ parece ser uma estimativa razoável para o parâmetros $\theta$. Como podemos verificar a qualidade desta estimativa? Uma forma de fazer isso é verificar as diferenças entre os valores observados $Y$ e os valores esperados utilizando a estimativa, ou seja, $4X$. Na tabela a seguir, temos os valores da amostra, os valores esperados, a diferença $Y-4X$ e as diferenças ao quadrado $(Y-4X)^2$.

$X$ $Y$ $4X$ $Y - 4X$ $(Y - 4X)^2$
0,50 2,07 2,0 0,07 0,0049
0,60 2,24 2,4 -0,16 0,0256
0,75 3,28 3,0 0,28 0,0784
0,80 3,35 3,2 0,15 0,0225
0,90 3,81 3,6 0,21 0,0441
1,05 4,14 4,2 -0,06 0,0036
1,20 4,64 4,8 -0,16 0,0256
1,30 5,13 5,2 -0,07 0,0049
1,50 6,05 6,0 0,05 0,0025
1,65 6,57 6,6 -0,03 0,0009
Total   0,28 0,213

A ideia principal do método baseia-se em minimizar o erro quadrático total da amostra. Para a estimativa $\hat{\theta} = 4$, este erro é dado por 0,213, porém, pode ser que exista alguma outra estimativa com erro quadrático total menor do que 0,213. Desta forma, o objetivo é minimizar a função \[S(\theta) = \sum_{i=1}^{10}(Y_i-\theta X_i)^2.\]

O mínimo da função é obtido derivando a função em relação a $\theta$ e igualando o resultado a zero, ou seja, encontrar $\hat{\theta}$ para o qual \[\frac{dS(\theta)}{d\theta} = \sum_{i=1}^{10}(Y_i-\hat{\theta}X_i)(-2X_i) = 0.\]

E, resolvendo esta equação, obtemos o estimador  \[\hat{\theta}_{MQ} = \frac{\sum_{i=1}^{10}X_iY_i}{\sum_{i=1}^{10}X_i^2}.\]

Utilizando os dados de $X$ e $Y$, encontramos $\hat{\theta}_{MQ} = 4,011625$, ou seja, a estimativa que minimiza o erro quadrático total da amostra é dada por $\hat{\theta} = 4,011625$. De fato, utilizando este valor, temos que o erro quadrático total é 0,2114015.

Neste caso, estamos assumindo que, para um dado valor da variável $X$, os valores da variável $Y$ seguem uma distribuição de probabilidade $f_Y(y)$ centrada em $\theta X$, o que é equivalente a dizer que, para cada $X$, o desvio $\epsilon = Y - \theta X$ segue uma distribuição centrada em zero e, desta forma, é comum escrever \[Y = \theta x + \epsilon\]

com $\epsilon$ seguindo a distribuição $f_\epsilon(\cdot)$ com média zero. Desta forma, é razoável escolher $\theta$ que minimiza a soma dos quadrados dos erros \[\sum_{i=1}^{10}\epsilon^2 = \sum_{i=1}^{10}(Y_i-\theta X_i)^2.\]

Observamos que o modelo pode ser generalizado. Isto é, podemos considerar funções mais gerais do parâmetros $\theta$, ou seja, \[Y = g(X,\theta) + \epsilon\]

e, da mesma forma do exposto acima, devemos encontrar o valor de $\theta$ que minimize a função \[S(\theta) = \sum_{i = 1}^n\epsilon_i^2 = \sum_{i=1}^n(Y_i-g(X_i,\theta))^2,\]

para uma amostra $(X_1,Y_1), \ldots, (X_n,Y_n)$ das variáveis $X$ e $Y$. A solução $\hat{\theta}_{MQ}$ é chamada de estimador de mínimos quadrados (EMQ) de $\theta$.

Inferência

Sobre o Portal Action

O Portal Action é mantido pela Estatcamp - Consultoria Estatística e Qualidade, com o objetivo de disponibilizar uma ferramenta estatística em conjunto com uma fonte de informação útil aos profissionais interessados.

Facebook

CONTATO

  •  Maestro Joao Seppe, 900, São Carlos - SP | CEP 13561-180
  • Telefone: (16) 3376-2047
  • E-Mail: [email protected]