Método dos Mínimos Quadrados

Método dos Mínimos
Quadrados: um resumo
Uma mãe deseja saber o peso1 de seu filho. Na UBS
informaram que é F=12kg. Para verificar isso, ela pesou-se
com o filho no colo, obtendo M+F=79kg. Posteriormente,
pesou-se sem o filho, obtendo M=71kg. Resumindo, aqui
estão os resultados (em kg)
M+F=79
M=71
F=12
Essas equações são inconsistentes! Que valores devemos
atribuir para os pesos da mãe e do filho?
1 – De fato, a massa. Mas tentar desfazer essa confusão é uma batalha perdida
Otaviano Helene
Curso de extensão oferecido no IFUSP em julho/2010
1 – Solução para um problema sem
solução: o MMQ
• M+F=79
• M=71
• F=12.
Procure valores para M e F
que minimizem as diferenças
entre os valores calculados e
os valores experimentais.
Mas ... minimizar com que
critério?
Solução do MMQ: minimizar as diferenças quadráticas.
Primeira dívida: por que essa forma de minimização
Q( M , F ) = ( M + F − 79) 2 + ( M − 71) 2 + ( F − 12) 2
∂Q
∂M
~ ~
F ,M
=0
e
∂Q
=0
∂F F~ , M~
⇓
~ ~
~
2(M + F - 79) + 2(M - 71) = 0
~ ~
~
2(M + F - 79) + 2(F - 12) = 0
Eqs. (1)
Solução:
~
M = 69,7
e
~
F = 10,7
• E se os dados tiverem diferentes precisões?.
Resultados
• M+F=79
• M=71
• F=12
desvio padrão
(incerteza)
3,0
2,0
1,0
Neste caso, minimize
Q( M , F ) =
( M + F − 79)
3
2
2
+
( M − 71)
2
2
2
+
( F − 12)
2
12
Segunda dívida: por que essa forma de ponderação?
Como estimar o desvio padrão
• Exemplo: medidas de um comprimento
• 40,9 40,2 40,5 39,8 40,3 40,4
1
2
σ ≈
( xi − x )
∑
n -1
2
Nesse exemplo, o desvio padrão
dos dados é aproximadamente 3,8.
O desvio padrão da média é
σ
0,36
σx =
≈
= 0,15
n
6
O resultado experimental é 40,35±0,15
Mais dívidas
A origem mais comum dos desvios padrões é a
propagação de incertezas
Pode haver (e isso é comum) covariâncias entre os dados
O MMQ não vale apenas para dados gaussianos
Os resultados do MMQ só tem as propriedades ótimas
quando conhecemos os valores verdadeiros dos desvios
padrões (ou se todos são iguais)
MMQ: Um exemplo, consumo de
combustível
Distância na
cidade (km)
Distância na
estrada (km)
Consumo
(litros)
100
300
39
300
100
49
10
200
22
200
10
29
100
100
22
Qual o rendimento desse veículo (em litros por
quilômetro) na estrada e na cidade? (Suponha que
todos os desvios padrões são iguais.)
Ajuste de parâmetros de funções:
exemplo de uma reta
5
4
3
2
y
O MMQ é muito
usado para o ajuste
de parâmetros em
funções conhecidas
Exemplo: (x; y)
 (1,0; 3,2),
(2,0; -0,2), (3,0; 0,0)
e (4,0; -1,2). Todos
os y’s com o mesmo
desvio padrão 1,0.
1
0
-1
-2
-3
0.5
1
1.5
2
2.5
x
3
3.5
4
4.5
y = a + bx
Q ( a, b) = ∑
Parâmetros a ajustar: a e b
( yi − a − bxi ) 2
O que devemos minimizar
σ i2
Como minimizar 
~ xi
~
1
=
a
+
b
∑ σ i2 ∑ σ i2
σ i2
∑
yi
∑
xi yi
σ i2
x
= a~ ∑ i
σ i2
yi

  1 2
2
∑

σi   ∑ σi
 xy
 = x
∑ i i 2 ∑ i 2
σi  

σi
~ xi2
+b∑
xi
∑ σ
x
∑ σ
2
i
σ i2

  a~
 ⋅  ~
b 
2
i 
2
i
~
∂Q(a~ , b )
=0
~
∂a
~
∂Q(a~ , b )
=0
~
∂b
Equações lineares
A minimização pode ser feita algebricamente,
numericamente ou graficamente
curvas de nivel de Q(a,b) - de 0,5 em0,5
6
5.5
5
a
4.5
4
3.5
3
2.5
2
-2
-1.8
-1.6
-1.4
-1.2
b
-1
-0.8
-0.6
-0.4
Resultado da função ajustada
5
4
3
y
2
1
0
-1
-2
-3
0.5
1
1.5
2
2.5
x
3
3.5
4
4.5
2 – O MMQ não é tendencioso
Uma medida é não-tendenciosa quando o valor
esperado do resultado é igual ao valor da grandeza
medida.
Exemplo: Um detector conta o número de partículas
durante um certo intervalo de tempo. Se a é o número
médio de partículas que em média esperaríamos
observar naquele intervalo de tempo, então a
probabilidade que sejam observados n eventos é dada
por um distribuição de Poisson, Pa(n)=e-aan/n!. É fácil
mostrar que o valor esperado de n é igual a a: <n>=a.
Assim, o número de eventos observado, n, é uma
medida não tendenciosa de a.
Os experimentos em ciências devem ser
tais que os valores esperados das
grandezas medidas sejam iguais a elas.
Exemplo: Se medimos um comprimento
usando réguas não tendenciosas e
procedimentos também não tendenciosos,
o resultado é uma medida não
tendenciosa do objeto medido; os valores
obtidos flutuarão em torno do valor
verdadeiro da grandeza.
Contra exemplo: uma medida
tendenciosa
Suponha que queiramos estimar a área de um
quadrado. Para tal, medimos o lado do do
quadrado (vamos chamar de l o resultado
da medida) por um processo não
tendencioso. Assim, l será igual a l0, o valor
verdadeiro do lado, mais um erro de
medida, e: l=l0+e. Se o valor esperado
desse erro é nulo, <e>=0, então
<l>=<l0+e>=<l0>+<e>=l0+0.
Note que o valor esperado de uma constante é ela mesma e o valor
esperado do produto de uma constante por alguma coisa que
varia é o produto da constante pelo valor esperado daquilo que
varia.
Mas, e a área?
Veja a sequência de equações abaixo.
a = l = ( l0 + e )
2
<a
2
>=< l0
<a
2
>= l0
2
2
= l0
+ 2l0e + e
2
2
> + < 2l0e > + < e >
2
+ 2l0 < e > + < e >
2
< a >= a0 + 0+ < e >≠ a0
E o MMQ?
Vamos voltar ao exemplo inicial (Eqs. (1). Note que as
soluções adotados para M e F dependem linearmente
dos valores medidos, 12, 71 e 79. Assim, se esses
valores são não tendenciosos, então os valores
ajustados pelo MMQ também serão não-tendenciosos.
~ ~
~
2(M + F - 79) + 2(M - 71) = 0
~ ~
~
2(M + F - 79) + 2(F - 12) = 0
~ ~
2M + F = 71 + 79
~
~
M + 2 F = 12 + 79
Conclusão
• O MMQ é não tendencioso no caso linear (as grandezas
medidas dependem linearmente dos dados
experimentais).
• Verifique que os valores ajustados dos parâmetros de
uma reta dependem linearmente dos dados
experimentais (valores de y da equação abaixo)

1

∑
σ i2
 a~  
 ~  =
 b   ∑ xi
2

σ

i

∑ σ2
i 
xi2 
∑ σ2
i 
xi
−1
yi


 ∑
2 
σ
i 

 xi yi

∑
2

σ

i 
Exemplo: não-tendenciosidade e
tendenciosidade
x=
x0-1 p=1/3
x0
p=1/3
x0+1 p=1/3
x é uma medida não tendenciosa de x0:
< x >= (1 / 3)( x0 − 1) + (1 / 3) x0 + (1 / 3)( x0 + 1) = x0
Mas ... a área dada por x2 é
tendenciosa:
(x0-1)2 p=1/3
(x0)2
p=1/3
(x0+1)2 p=1/3
a=
< x >= (1 / 3)( x0 − 1)
2
+ (1 / 3) x02
2
+ (1 / 3)( x0 + 1) =
x02
2
2
+ = a0
3
3
3 – Simplificando as equações do MMQ
 a b  x   ax + by 

  = 

 c d  y   cx + dy 
−1
 a b   a b  1 0

 
 = 

 c d   c d  0 1
t
a b  a c 

 = 

c d  b d 
c
( a b )   = (ac + bd )
d 
a
( a b ) =  
b
t
Formalismo matricial (parece
complicado ... mas simplifica e
facilita generalizações)
M+F=79
M=71
F=12
Forma mais rigorosa:
M0+F0+e1=79
M0+e2=71
F0+e3=12
 79   1 1 
 e1 
  
  M0   
 +  e2 
 71  =  1 0  ⋅ 
 12   0 1   F0   e 
  

 3
Q( M , F ) = ( M + F − 79) 2 + ( M − 71) 2 + ( F − 12) 2
essa equação é idêntica a
t
 79   1 1 
  79   1 1 

  
  M    
  M 

Q( M , F ) =  71  −  1 0  ⋅   ⋅  71  −  1 0  ⋅  
F
F










 12   0 1 
  12   0 1 

Parece que complicou?
• No caso linear, a equação básica do MMQ
sempre pode ser escrita na forma
x

y
 1   11
y 
x21

2
 =
  
 y  
 n   xn1
x12
x22

xn 2
x1m   a10   
 
e1

x2 m   a20   
⋅
+
e


2
  



 
  
xnm   am0   e 
 n
Y=X·A0+e
(dados)=(planejamento)(parâmetros)+(erros)
e
Q(a1,a2,...)=(Y-XA)t·(Y-XA)
∂Q
=0
∂ai a~ , a~ ...
1
2
~
t
−1 t
A = (X X) X Y
Exemplo
(x, y)
(1,0; 3,2)
(2,0; 0,2)
(3,0; 0,0)
(4,0; -1,2)

 1
 3,2  

 1
 0,2  = 
 0,0  1

 1
 − 1,2 
y = a + bx
1
 e1 

2   a0   e2 
 


⋅
+
3   b0   e3 

e 
 4
4
Exemplo
Considere um experimento para determinar a aceleração
da gravidade no qual foram medidas posições e
velocidades em alguns instantes de tempo (dados abaixo).
Adote x(t)=x0+v0t+gt2/2 e v(t)=v0+gt
Construir a equação básica do MMQ e ajustar x0, v0 e g
t(s)
1
2
3
4
5
x(m)
5,1
v(m/s)
10,7
20,8
45,9
40,1
50,4
Exercício: como aproveitar uma
informação aparentemente
incompleta
• Na pesagens mãe e filho obteve-se os
valores 69,7kg e 10,7 kg. Suponha os
dados originais que deram origem a esses
resultados tenham sido descartados e que
a mãe encontrou uma outra balança e
pesando-se com o filho no colo obteve 81
kg. É possível incluir essa nova
informação – insuficiente para estimar os
pesos das duas pessoas – e obter novas
estimativas para os pesos?
• Sim! Veja como:
Y = XA 0 + e
 66,7   1 0 
e 

 
 M0   1 
 +  e2 
 10,7  =  0 1  ⋅ 
 81   1 1   F0   e 

 

 3
  1 0 t  1 0  
~


 M  
 ~  =   0 1   0 1  
 F    1 1   1 1  



−1
t
 1 0   66,7 



 0 1   10,7 
 1 1   81 



Os novos valores a serem adotados são 67,9 e 11,9
4 – Variâncias e covariâncias
• Para usar plenamente o MMQ precisamos
conhecer variâncias e covariâncias.
Vamos lá
• A variância é formalmente definida como
o valor esperado do quadrado da
diferença entre um dado experimental e o
valor verdadeiro medido:
• σ2=<(x-x0)2>
Exemplo
• Considere um equipamento que fornece
como resultado os seguintes valores:
x=
x0-1
p=0,25
x0
p=0,50
x0+1 p=0,25
Note que isso
corresponde a
medida não
tendenciosa
de x.
A variância da medida dessa grandeza é
σ2=(0,25)(x0-1-x0)2+(0,50)(x0-x0)2+(0,25)(x0+1-x0)2=0,50
O desvio padrão é 0,71
Às vezes, precisamos estimar as variâncias a
partir de um conjunto de dados experimentais
40,9 40,2 40,5
39,8 40,3 40,4
1
2
σ ≈
(
x
−
x
)
∑
i
n -1
2
σ
0,36
σx =
≈
= 0,15
n
6
Às vezes, conhecemos muito bem as
variâncias por medidas anteriores:
equipamento usado muitas vezes em
medidas anteriores
Rev. Ensino de Física,13, 1991, O que é uma medida? O. Helene, S.P. Tsai, R.R.P. Teixeira, p.12
Propagação de incertezas (exata no caso linear)
• Veja a sequência de equações
σ x2 = ( x − x0 ) 2 conhecido
y = ax + b , a e b conhecidos
σ y2 = ( y − y0 ) 2 = ( ax + b − ax0 − b ) 2
= ( ax − ax0 ) 2 = a 2 ( x − x0 ) 2 = a 2σ x2
se y = y( x, z , w...)
2
2
 ∂y 
 ∂y 
σ y2 =   σ x2 +   σ z2 + ...
 ∂x 
 ∂z 
Propagação de incertezas: caso não linear 
aproximação
σ x2 conhecido
y = x2
σ y2
=
(
( y − y0 )
2
= ( x0 + e) −
σ y2 ≈ 4 x02σ x2
σ y2
2
 dy 
≈ 
 dx  xexp
2
(
2
= x −
)
2 2
x0
=
(
)
2 2
x0
x02
2
+ 2ex0 + e −
)
2 2
x0
(
= 2ex0 + e
)
2 2
Covariâncias
Origem: dois resultados experimentais são
covariantes se há uma ou mais fontes de
erros que afetem a ambos
Exemplos:
(a) Duas medidas feitas com a mesma
régua: os resultados serão covariantes
(b) Seções de choque medidas no mesmo
acelerador
Matriz de covariâncias
x1, x2, ... xn são n dados experimentais
 σ x2

cov(
x
,
x
)

cov(
x
,
x
)
1 2
1 n 
1

 cov( x2 , x1 )
σ x22
cov( x2 , xn ) 
Vx = 





2
 cov( x , x ) cov( x , x ) 

σ
n 1
n 2
xn


Propagação de variâncias e
covariâncias
y1 ( x1 , x2 ,...xn )
y2 ( x1 , x2 ,...xn )
Vy = DVx D
ym ( x1 , x2 ,...xn )
Di , j
∂yi
=
∂x j
t
5 – Mais resultados
a – O MMQ deve usar o matriz de
covariância dos dados experimentais,
V, o que não foi feito ainda. É fácil
(mas trabalhoso) mostrar que a
solução é
~
t −1 −1 t −1
A = (X V X) X V Y
Exemplo: média de dois dados
x1 e x1 são dois resultados
σ12
para uma mesma grandeza e V = 
 0
0 
σ 22 
o valor a ser adotado para a grandeza, dada pelo
MMQ, pode ser obtido como segue:

2
 x1  1
 e1 


σ
0

1
~
  =  ( x0 ) +   ⇒ x = (1 1) 


 0 σ2
 x  1
e 

2
 2
 2

x1
σ 12
+
−1
1 
  
1 
−1
x2
σ 22
=
1
1
+
σ 12 σ 22
e (propagação variância)
σ ~x2
=
1
1
1
+
σ 12 σ 22
 σ 12 0 

(1 1) 
2
 0 σ2 
−1
 x1 
 =
x 
 2
b – Matriz de covariância dos
parâmetros ajustados
Se
~
t −1 −1 t −1
A = (X V X) X V Y
então, usando
Vy = DVx D
t
podemos mostrar que a matriz de covariância dos
parâmetros ajustados é dada por
VA~
t
−1
−1
= (X V X)
c – As estimativas do MMQ são as de menor variância
entre todas as estimativas lineares. Vamos ilustrar.
Considere dois dados experimentais x1, σ1 e x2, σ2 , não
covariantes, correspondentes a medidas de uma mesma
grandeza. A solução do MMQ é
x1
σ 12
+
x2
2
σ
2
~
x=
1
1
+ 2
2
σ1 σ 2
Procure outra combinação linear de x1 e x2, x’=α x1+(1-α)x2.
É possível mostrar que a menor variância de x’ é obtida
quando a ponderação ocorre como na equação acima
d – O MMQ é não-tendencioso
A equação linear que relaciona os parâmetros aos dados
experimentais é Y=X·A0+e. Como <e>=0 (dados não
tendencioso), então <Y>=XA0. Usando esse resultado em
~
A = (Xt V −1X)−1 Xt V −1Y
temos
~
A = (Xt V −1X)−1 X t V −1 Y =
= (X t V −1X)−1 X t V −1XA 0 = A 0 .
e – A medida de uma grandeza pode afetar o valor
adotado de outra grandeza
Vamos fazer um exemplo numérico. Considere duas grandezas
cujos valores são s1=10 e s2=10, com matriz de covariância
 3 2
V = 

 2 3
Suponha que a primeira dessas grandezas tenha sido medida de
forma independente, obtendo-se o valor s’1=15, com variância
igual a 3 e independente dos resultados anteriores. A matriz de
covariância dos três dados é
Vs1 s 2 s1′
 3 2 0


=  2 3 0
 0 0 3


É fácil mostrar, usando o MMQ, que os novos valores a serem adotados
para s duas grandezas são 12,5 e 11,7. Ou seja, a medida da primeira
grandeza (s1) alterou o valor adotado para a segunda.