3.3 - Estimadores de Mínimos Quadrados

O método de estimação por mínimos quadrados consiste em minimizar o quadrado das diferenças entre os valores observados de uma amostra e seus respectivos valores esperados. Consideraremos o procedimento a partir de um exemplo simples.

Exemplo 3.3.1:

Suponha que estamos interessados em estudar a resistência $Y$ de uma cabo de aço em função de seu diâmetro $X$. A partir de uma amostra coletada, percebemos que as variáveis são, aproximadamente, proporcionais, isto é, $Y\approx\theta X$ em que $\theta$ é o coeficiente de proporcionalidade. O nosso objetivo é estimar o parâmetro $\theta$, baseado nas medidas disponíveis em uma amostra de 10 unidades mostradas na tabela a seguir

A partir dessas informações, podemos concluir que, aparentemente, $\hat{\theta} = 4$ parece ser uma estimativa razoável para o parâmetros $\theta$. Como podemos verificar a qualidade desta estimativa? Uma forma de fazer isso é verificar as diferenças entre os valores observados $Y$ e os valores esperados utilizando a estimativa, ou seja, $4X$. Na tabela a seguir, temos os valores da amostra, os valores esperados, a diferença $Y-4X$ e as diferenças ao quadrado $(Y-4X)^2$.

A ideia principal do método baseia-se em minimizar o erro quadrático total da amostra. Para a estimativa $\hat{\theta} = 4$, este erro é dado por 0,213, porém, pode ser que exista alguma outra estimativa com erro quadrático total menor do que 0,213. Desta forma, o objetivo é minimizar a função \[S(\theta) = \sum_{i=1}^{10}(Y_i-\theta X_i)^2.\]

O mínimo da função é obtido derivando a função em relação a $\theta$ e igualando o resultado a zero, ou seja, encontrar $\hat{\theta}$ para o qual \[\frac{dS(\theta)}{d\theta} = \sum_{i=1}^{10}(Y_i-\hat{\theta}X_i)(-2X_i) = 0.\]

E, resolvendo esta equação, obtemos o estimador  \[\hat{\theta}_{MQ} = \frac{\sum_{i=1}^{10}X_iY_i}{\sum_{i=1}^{10}X_i^2}.\]

Utilizando os dados de $X$ e $Y$, encontramos $\hat{\theta}_{MQ} = 4,011625$, ou seja, a estimativa que minimiza o erro quadrático total da amostra é dada por $\hat{\theta} = 4,011625$. De fato, utilizando este valor, temos que o erro quadrático total é 0,2114015.

Neste caso, estamos assumindo que, para um dado valor da variável $X$, os valores da variável $Y$ seguem uma distribuição de probabilidade $f_Y(y)$ centrada em $\theta X$, o que é equivalente a dizer que, para cada $X$, o desvio $\epsilon = Y - \theta X$ segue uma distribuição centrada em zero e, desta forma, é comum escrever \[Y = \theta x + \epsilon\]

com $\epsilon$ seguindo a distribuição $f_\epsilon(\cdot)$ com média zero. Desta forma, é razoável escolher $\theta$ que minimiza a soma dos quadrados dos erros \[\sum_{i=1}^{10}\epsilon^2 = \sum_{i=1}^{10}(Y_i-\theta X_i)^2.\]

Observamos que o modelo pode ser generalizado. Isto é, podemos considerar funções mais gerais do parâmetros $\theta$, ou seja, \[Y = g(X,\theta) + \epsilon\]

e, da mesma forma do exposto acima, devemos encontrar o valor de $\theta$ que minimize a função \[S(\theta) = \sum_{i = 1}^n\epsilon_i^2 = \sum_{i=1}^n(Y_i-g(X_i,\theta))^2,\]

para uma amostra $(X_1,Y_1), \ldots, (X_n,Y_n)$ das variáveis $X$ e $Y$. A solução $\hat{\theta}_{MQ}$ é chamada de estimador de mínimos quadrados (EMQ) de $\theta$.