ADALINE Adaline Algoritmo de aprendizagem Algoritmo de

ADALINE Adaline Algoritmo de aprendizagem Algoritmo de

ADALINE
Adaline
•
Adaptive Linear Neuron [Widrow e Hoff, 1960]
•
Muitas vezes, assume-se que os estímulos e as respostas são
bipolares
•
•
• Estímulo recebido por Y
yin = b + ∑ xi wi
b
i
1
w1
• Função de activação
A regra de aprendizagem é designada “Regra δ”, “Método dos
Mínimos Quadrados” ou “Regra de Widrow-Hoff”
wi
⎧ 1 se yin ≥ 0
f ( yin ) = ⎨
⎩− 1 se yin < 0
i
wn
Aprendizagem supervisionada
n
DM / UAç
Redes Neuronais 07/08
58
Algoritmo de aprendizagem
0.
1.
DM / UAç
IV. Ajustar os pesos e o pendor
winovo = wivelho + α (t − yin ) xi , i = 1,..., n
b novo = b velho + α (t − yin )
Repetir até à convergência dos pesos e do pendor
Repetir os passos I-IV até esgotar as entradas (s:t)
I. Activar
xi=si, i=1,…,n
II. Fixar o impulso de resposta
y=t
III. Determinar a resposta
n
i =1
DM / UAç
59
Algoritmo de aprendizagem
Atribuir valores iniciais aos pesos e pendor e fixar coeficiente de
aprendizagem α
b=0; wi=0, i=1,…,n; 0<α≤1
yin = b + ∑ xi wi
Redes Neuronais 07/08
Regra δ
⎧ 1 se yin ≥ 0
f ( yin ) = ⎨
⎩ − 1 se yin < 0
Redes Neuronais 07/08
60
DM / UAç
Redes Neuronais 07/08
61
Adaline
•
•
Adaline
Aprender a Conjunção (estímulos e resposta bipolares e coeficiente de
aprendizagem 0.1)
1ª época
x1
x2
1
t
in
out ∆w1 ∆w2 ∆b w1
w2
b
1
1
1
1
0,0
1
0,1
0,1 0,1 0,1
0,1
0,1
1
-1
1
-1
0,1
1
-0,1
0,1 -0,1 0,0
0,2
0,0
-1
1
1
-1
0,2
1
0,1
-0,1 -0,1 0,1
0,1 -0,1
-1
-1
1
-1
-0,3
-1
0,1
0,1 -0,1 0,2
0,2 -0,2
2.5
2
1.5
1-
+
0.5
-1.5
-1
-0.5
-
-
0.5
1
1.5
-0.5
•
2ª época
x1
t
in
out ∆w1 ∆w2 ∆b w1
x2
1
1
1
1
1
0,1
1
0,1
0,1 0,1 0,3
0,2 -0,1
1
-1
1
-1
-0,1
-1
-0,1
0,1 -0,1 0,2
0,3 -0,2
-1
1
1
-1
0,0
-1
0,1
-0,1 -0,1 0,3
0,2 -0,3
-1
-1
1
-1
-0,8
-1
0,0
0,0 0,0 0,3
0,3 -0,3
DM / UAç
w2
b
Redes Neuronais 07/08
Adaline
•
•
•
out ∆w1 ∆w2 ∆b w1
x1
x2
1
t
in
1
1
1
1
0,0
1
0,1
1
-1
1
1
0,1
1
-1
1
1
1
0,0
-1
-1
1
-1
0,1
w2
b
0,1 0,1 0,1
0,1
0,1
0,1
-0,1 0,1 0,2
0,0
0,2
1
-0,1
0,1 0,1 0,1
0,1
0,3
1
0,1
0,1 -0,1 0,2
0,2
0,2
out ∆w1 ∆w2 ∆b w1
x2
1
t
in
w2
b
1
1
1
1
0,6
1
0,0
0,0 0,0 0,2
0,3
0,2
1
-1
1
1
0,2
1
0,1
-0,1 0,1 0,3
0,2
0,3
-1
1
1
1
0,2
1
-0,1
0,1 0,1 0,2
0,3
0,4
-1
-1
1
-1
-0,1
-1
0,1
0,1 -0,1 0,3
0,4
0,3
DM / UAç
Redes Neuronais 07/08
63
Adaline
Aprender a Disjunção (estímulos e resposta bipolares e coeficiente de
aprendizagem 0.1)
1ª época
2ª época
x1
DM / UAç
62
Redes Neuronais 07/08
•
3ª época
x1
•
64
out ∆w1 ∆w2 ∆b w1
x2
1
t
in
w2
b
1
1
1
1
1,0
1
0,0
1
-1
1
1
0,3
1
0,1
0,0 0,0 0,3
0,4
0,3
-0,1 0,1 0,4
0,3
0,4
-1
1
1
1
0,3
1
-0,1
-1
-1
1
-1
-0,2
-1
0,1
0,1 0,1 0,3
0,4
0,4
0,1 -0,1 0,4
0,4
0,4
x1
x2
1
t
in
1
1
1
1
1,2
out ∆w1 ∆w2 ∆b w1
1
0,0
0,0 0,0 0,4
w2
b
0,4
0,3
1
-1
1
1
0,3
1
0,1
-0,1 0,1 0,4
0,3
0,4
-1
1
1
1
0,3
1
-1
-1
1
-1
-0,3
-1
-0,1
0,1 0,1 0,4
0,4
0,5
0,1
0,1 -0,1 0,4
0,5
0,4
4ª época
DM / UAç
Redes Neuronais 07/08
65
Adaline
•
•
Adaline
5ª época
2.5
out ∆w1 ∆w2 ∆b w1
x1
x2
1
t
in
w2
b
1
1
1
1
1,3
1
0,0
0,0 0,0 0,4
0,4
0,4
1
-1
1
1
0,4
1
0,1
-0,1 0,1 0,5
0,4
0,4
-1
1
1
1
0,3
1
-0,1
0,1 0,1 0,4
0,4
0,5
-1
-1
1
-1
-0,4
-1
0,1
0,1 -0,1 0,5
0,5
0,4
2
1.5
10.5
6ª época
x1
-1.5
out ∆w1 ∆w2 ∆b w1
x2
1
t
in
1
1
1
1
1,4
1
0,0
0,0 0,0 0,4
0,5
0,4
1
-1
1
1
0,4
1
0,1
-0,1 0,1 0,5
0,4
0,5
-1
1
1
1
0,4
1
-0,1
0,1 0,1 0,4
0,5
0,5
-1
-1
1
-1
-0,4
-1
0,1
0,1 -0,1 0,5
0,5
0,5
DM / UAç
w2
b
Redes Neuronais 07/08
DM / UAç
66
-0.5
-
0.5
-
1
1.5
Redes Neuronais 07/08
67
Madaline
Aprender “OU” (estímulos e resposta bipolares e coeficiente de
aprendizagem 0.1)
DM / UAç
-1
-0.5
Adaline
•
+
Redes Neuronais 07/08
68
•
Many Adaptive Linear Neurons [Widrow e Hoff, 1960]
•
Algortimo de aprendizagem reformulado por Widrow, Winter e
Baxter, 1987
•
Muitas vezes, assume-se estímulos bipolares e respostas binárias
ou bipolares
•
Iremos estudar a Madaline como composição de duas Adalines e
com um neurónio de saída
•
A generalização para mais Adalines e com mais neurónios de saída
faz-se sem dificuldade
DM / UAç
Redes Neuronais 07/08
69
Madaline
•
Algoritmo de aprendizagem MRI
Duas arquitecturas
possíveis:
–
Madaline Rule I
(MRI): só os pesos e
pendor das Adalines
interiores é que são
ajustados
0.
Atribuir valores iniciais aos pesos e pendor das unidades Z1 e Z2 e
fixar coeficiente de aprendizagem α (0<α≤1)
1.
Repetir até à convergência dos pesos e do pendor
Repetir os passos I-IV até esgotar as entradas (s:t)
I. Activar
xi=si, i=1,…,n
II. Determinar as respostas de Z1 e Z2
(v1=v2=b=0.5)
–
Madaline Rule II
(MRII): todos os pesos
e pendores são
ajustados com
diferentes algoritmos
de aprendizagem
z1=b1+x1w11+x2w21
z2=b2+x1w12+x2w22
III. Determinar o estímulo de y
y=b+v1f(z1)+v2f(z2)
DM / UAç
Redes Neuronais 07/08
DM / UAç
70
Algoritmo de aprendizagem MRI
Madaline (MRI)
se f(y)≠t=1, ajustar da unidade zJ de estímulo total mais
próximo de 0
x1
wiJnovo = wiJvelho + α (t − z J ) xi
b
=b
velho
J
+ α (t − z J )
se f(y)≠t=-1, ajustar das unidade zK de estímulo total
positivo
wiKnovo = wiKvelho + α (t − z K ) xi
novo
K
b
DM / UAç
=b
velho
K
+ α (t − z K )
Redes Neuronais 07/08
71
• Aprender a disjunção exclusiva (estímulos e resposta bipolares e
coeficiente de aprendizagem 0.5)
IV. Calcular erro e ajustar pesos e pendor
novo
J
Redes Neuronais 07/08
72
x2
1
t
zin1
zin2
z1
z2
y
f(y)
w11
w21
b1
w12
w22
0
0
0
0
0
b2
0
1
1
1
-1
0,000
0,000
1
1
1,5
1
-0,500
-0,500
-0,500
-0,500
-0,500
-0,500
1
-1
1
1
-0,500
-0,500
-1
-1
-0,5
-1
0,250
-1,250
0,250
-0,500
-0,500
-0,500
-1
1
1
1
-1,250
-0,500
-1
-1
-0,5
-1
0,250
-1,250
0,250
0,500
-1,438
-0,750
-1
-1
1
-1
1,250
0,188
1
1
1,5
1
1,375
-0,125
-0,875
1,094
-0,844
-1,344
1
1
1
-1
0,375
-1,094
1
-1
0,5
1
0,688
-0,813
-1,563
1,094
-0,844
-1,344
1
-1
1
1
-0,063
0,594
-1
1
0,5
1
0,688
-0,813
-1,563
1,094
-0,844
-1,344
-1
1
1
1
-3,063
-3,281
-1
-1
-0,5
-1
-1,344
1,219
0,469
1,094
-0,844
-1,344
-1
-1
1
-1
0,594
-1,594
1
-1
0,5
1
-0,547
2,016
-0,328
1,094
-0,844
-1,344
1
1
1
-1
1,141
-1,09
1
-1
0,5
1
-1,62
0,945
-1,4
1,094
-0,84
-1,34
1
-1
1
1
-3,96
0,594
-1
1
0,5
1
-1,62
0,945
-1,4
1,094
-0,84
-1,34
-1
1
1
1
1,164
-3,28
1
-1
0,5
1
-1,62
0,945
-1,4
1,094
-0,84
-1,34
-1
-1
1
-1
-0,73
-1,59
-1
-1
-0,5
-1
-1,62
0,945
-1,4
1,094
-0,84
-1,34
1
1
1
-1
-2,07
-1,09
-1
-1
-0,5
-1
-1,62
0,945
-1,4
1,094
-0,84
-1,34
1
-1
1
1
-3,96
0,594
-1
1
0,5
1
-1,62
0,945
-1,4
1,094
-0,84
-1,34
-1
1
1
1
1,164
-3,28
1
-1
0,5
1
-1,62
0,945
-1,4
1,094
-0,84
-1,34
-1
-1
1
-1
-0,73
-1,59
-1
-1
-0,5
-1
-1,62
0,945
-1,4
1,094
-0,84
-1,34
DM / UAç
Redes Neuronais 07/08
73
Madaline (MRI)
Madaline (MRI)
+
+
-1
-0.5
0.5
+
1
1
-1
-
-5
1
-1
1.5
+
-2
-2
-
1
-1
1
1
-
2
2
0.5
+
-
+
-1
-2
-2
-10
-1
-2
1
2
-0.5
-3
-
-15
-1
-
-4
4
4
4
2
-2
DM / UAç
2
+
-
-1
+
1
-
2
2
-2
+
-
-1
+
1
-
-2
-2
-4
-4
Redes Neuronais 07/08
-2
2
1.
-
-1
+
1
-
2
-2
-4
74
Algoritmo de aprendizagem MRII
0.
+
DM / UAç
Redes Neuronais 07/08
75
Algoritmo de aprendizagem MRII
Atribuir valores iniciais aos pesos e pendor e fixar coeficiente de
aprendizagem α (0<α≤1)
IV. Calcular erro e ajustar pesos e pendores
se f(y)≠t
para todas as unidades do nível intermédio com
estímulo total próximo de 0 (e.g., [-0.25, 0.25])
não marcadas
Repetir até à convergência dos pesos e do pendor
Repetir os passos I-IV até esgotar as entradas (s:t)
I. Activar
xi=si, i=1,…,n
II. Determinar respostas de Z1 e Z2
a) marcar a unidade Z que tem valor mais
próximo de 0
z1=b1+x1w11+x2w21
b) alterar resposta de Z (1 para -1 ou vice-versa)
z2=b2+x1w12+x2w22
c) determinar resposta de Y
d) se erro foi reduzido
III. Determinar o estímulo de y
ajustar pesos de Z (usar nova
resposta de Z e regra Delta)
y=b+v1f(z1)+v2f(z2)
DM / UAç
Redes Neuronais 07/08
76
DM / UAç
Redes Neuronais 07/08
77