3.3 - Estimadores de Mínimos Quadrados

Você está aqui

O método de estimação por mínimos quadrados consiste em minimizar o quadrado das diferenças entre os valores observados de uma amostra e seus respectivos valores esperados. Consideraremos o procedimento a partir de um exemplo simples.

Exemplo 3.3.1:

Suponha que estamos interessados em estudar a resistência $ Y $ de uma cabo de aço em função de seu diâmetro $ X $. A partir de uma amostra coletada, percebemos que as variáveis são, aproximadamente, proporcionais, isto é, $ Y\approx\theta X $ em que $ \theta $ é o coeficiente de proporcionalidade. O nosso objetivo é estimar o parâmetro $ \theta $, baseado nas medidas disponíveis em uma amostra de 10 unidades mostradas na tabela a seguir

X 0,50 0,60 0,75 0,80 0,90 1,05 1,20 1,30 1,50 1,65
Y 2,07 2,24 3,28 3,35 3,81 4,14 4,64 5,13 6,05 6,57

A partir dessas informações, podemos concluir que, aparentemente, $ \hat{\theta} = 4 $ parece ser uma estimativa razoável para o parâmetros $ \theta $. Como podemos verificar a qualidade desta estimativa? Uma forma de fazer isso é verificar as diferenças entre os valores observados $ Y $ e os valores esperados utilizando a estimativa, ou seja, $ 4X $. Na tabela a seguir, temos os valores da amostra, os valores esperados, a diferença $ Y-4X $ e as diferenças ao quadrado $ (Y-4X)^2 $.

$ X $ $ Y $ $ 4X $ $ Y - 4X $ $ (Y - 4X)^2 $
0,50 2,07 2,0 0,07 0,0049
0,60 2,24 2,4 -0,16 0,0256
0,75 3,28 3,0 0,28 0,0784
0,80 3,35 3,2 0,15 0,0225
0,90 3,81 3,6 0,21 0,0441
1,05 4,14 4,2 -0,06 0,0036
1,20 4,64 4,8 -0,16 0,0256
1,30 5,13 5,2 -0,07 0,0049
1,50 6,05 6,0 0,05 0,0025
1,65 6,57 6,6 -0,03 0,0009
Total   0,28 0,213

A ideia principal do método baseia-se em minimizar o erro quadrático total da amostra. Para a estimativa $ \hat{\theta} = 4 $, este erro é dado por 0,213, porém, pode ser que exista alguma outra estimativa com erro quadrático total menor do que 0,213. Desta forma, o objetivo é minimizar a função 

\[S(\theta) = \sum_{i=1}^{10}(Y_i-\theta X_i)^2.\]

O mínimo da função é obtido derivando a função em relação a $ \theta $ e igualando o resultado a zero, ou seja, encontrar $ \hat{\theta} $ para o qual 

\[\frac{dS(\theta)}{d\theta} = \sum_{i=1}^{10}(Y_i-\hat{\theta}X_i)(-2X_i) = 0.\]

E, resolvendo esta equação, obtemos o estimador  

\[\hat{\theta}_{MQ} = \frac{\sum_{i=1}^{10}X_iY_i}{\sum_{i=1}^{10}X_i^2}.\]

Utilizando os dados de $ X $ e $ Y $, encontramos $ \hat{\theta}_{MQ} = 4,011625 $, ou seja, a estimativa que minimiza o erro quadrático total da amostra é dada por $ \hat{\theta} = 4,011625 $. De fato, utilizando este valor, temos que o erro quadrático total é 0,2114015.

Neste caso, estamos assumindo que, para um dado valor da variável $ X $, os valores da variável $ Y $ seguem uma distribuição de probabilidade $ f_Y(y) $ centrada em $ \theta X $, o que é equivalente a dizer que, para cada $ X $, o desvio $ \epsilon = Y - \theta X $ segue uma distribuição centrada em zero e, desta forma, é comum escrever 

\[Y = \theta x + \epsilon\]

com $ \epsilon $ seguindo a distribuição $ f_\epsilon(\cdot) $ com média zero. Desta forma, é razoável escolher $ \theta $ que minimiza a soma dos quadrados dos erros 

\[\sum_{i=1}^{10}\epsilon^2 = \sum_{i=1}^{10}(Y_i-\theta X_i)^2.\]

Observamos que o modelo pode ser generalizado. Isto é, podemos considerar funções mais gerais do parâmetros $ \theta $, ou seja, 

\[Y = g(X,\theta) + \epsilon\]

e, da mesma forma do exposto acima, devemos encontrar o valor de $ \theta $ que minimize a função 

\[S(\theta) = \sum_{i = 1}^n\epsilon_i^2 = \sum_{i=1}^n(Y_i-g(X_i,\theta))^2,\]

para uma amostra $ (X_1,Y_1), \ldots, (X_n,Y_n) $ das variáveis $ X $ e $ Y $. A solução $ \hat{\theta}_{MQ} $ é chamada de estimador de mínimos quadrados (EMQ) de $ \theta $.

Inferência

Sobre o Portal Action

O Portal Action é mantido pela Estatcamp - Consultoria Estatística e Qualidade, com o objetivo de disponibilizar uma ferramenta estatística em conjunto com uma fonte de informação útil aos profissionais interessados.

Facebook

CONTATO

  •  Maestro Joao Seppe, 900, São Carlos - SP | CEP 13561-180
  • Telefone: (16) 3376-2047
  • E-Mail: [email protected]