ADALINE Adaline Algoritmo de aprendizagem Algoritmo de
Transcrição
ADALINE Adaline Algoritmo de aprendizagem Algoritmo de
ADALINE Adaline • Adaptive Linear Neuron [Widrow e Hoff, 1960] • Muitas vezes, assume-se que os estímulos e as respostas são bipolares • • • Estímulo recebido por Y yin = b + ∑ xi wi b i 1 w1 • Função de activação A regra de aprendizagem é designada “Regra δ”, “Método dos Mínimos Quadrados” ou “Regra de Widrow-Hoff” wi ⎧ 1 se yin ≥ 0 f ( yin ) = ⎨ ⎩− 1 se yin < 0 i wn Aprendizagem supervisionada n DM / UAç Redes Neuronais 07/08 58 Algoritmo de aprendizagem 0. 1. DM / UAç IV. Ajustar os pesos e o pendor winovo = wivelho + α (t − yin ) xi , i = 1,..., n b novo = b velho + α (t − yin ) Repetir até à convergência dos pesos e do pendor Repetir os passos I-IV até esgotar as entradas (s:t) I. Activar xi=si, i=1,…,n II. Fixar o impulso de resposta y=t III. Determinar a resposta n i =1 DM / UAç 59 Algoritmo de aprendizagem Atribuir valores iniciais aos pesos e pendor e fixar coeficiente de aprendizagem α b=0; wi=0, i=1,…,n; 0<α≤1 yin = b + ∑ xi wi Redes Neuronais 07/08 Regra δ ⎧ 1 se yin ≥ 0 f ( yin ) = ⎨ ⎩ − 1 se yin < 0 Redes Neuronais 07/08 60 DM / UAç Redes Neuronais 07/08 61 Adaline • • Adaline Aprender a Conjunção (estímulos e resposta bipolares e coeficiente de aprendizagem 0.1) 1ª época x1 x2 1 t in out ∆w1 ∆w2 ∆b w1 w2 b 1 1 1 1 0,0 1 0,1 0,1 0,1 0,1 0,1 0,1 1 -1 1 -1 0,1 1 -0,1 0,1 -0,1 0,0 0,2 0,0 -1 1 1 -1 0,2 1 0,1 -0,1 -0,1 0,1 0,1 -0,1 -1 -1 1 -1 -0,3 -1 0,1 0,1 -0,1 0,2 0,2 -0,2 2.5 2 1.5 1- + 0.5 -1.5 -1 -0.5 - - 0.5 1 1.5 -0.5 • 2ª época x1 t in out ∆w1 ∆w2 ∆b w1 x2 1 1 1 1 1 0,1 1 0,1 0,1 0,1 0,3 0,2 -0,1 1 -1 1 -1 -0,1 -1 -0,1 0,1 -0,1 0,2 0,3 -0,2 -1 1 1 -1 0,0 -1 0,1 -0,1 -0,1 0,3 0,2 -0,3 -1 -1 1 -1 -0,8 -1 0,0 0,0 0,0 0,3 0,3 -0,3 DM / UAç w2 b Redes Neuronais 07/08 Adaline • • • out ∆w1 ∆w2 ∆b w1 x1 x2 1 t in 1 1 1 1 0,0 1 0,1 1 -1 1 1 0,1 1 -1 1 1 1 0,0 -1 -1 1 -1 0,1 w2 b 0,1 0,1 0,1 0,1 0,1 0,1 -0,1 0,1 0,2 0,0 0,2 1 -0,1 0,1 0,1 0,1 0,1 0,3 1 0,1 0,1 -0,1 0,2 0,2 0,2 out ∆w1 ∆w2 ∆b w1 x2 1 t in w2 b 1 1 1 1 0,6 1 0,0 0,0 0,0 0,2 0,3 0,2 1 -1 1 1 0,2 1 0,1 -0,1 0,1 0,3 0,2 0,3 -1 1 1 1 0,2 1 -0,1 0,1 0,1 0,2 0,3 0,4 -1 -1 1 -1 -0,1 -1 0,1 0,1 -0,1 0,3 0,4 0,3 DM / UAç Redes Neuronais 07/08 63 Adaline Aprender a Disjunção (estímulos e resposta bipolares e coeficiente de aprendizagem 0.1) 1ª época 2ª época x1 DM / UAç 62 Redes Neuronais 07/08 • 3ª época x1 • 64 out ∆w1 ∆w2 ∆b w1 x2 1 t in w2 b 1 1 1 1 1,0 1 0,0 1 -1 1 1 0,3 1 0,1 0,0 0,0 0,3 0,4 0,3 -0,1 0,1 0,4 0,3 0,4 -1 1 1 1 0,3 1 -0,1 -1 -1 1 -1 -0,2 -1 0,1 0,1 0,1 0,3 0,4 0,4 0,1 -0,1 0,4 0,4 0,4 x1 x2 1 t in 1 1 1 1 1,2 out ∆w1 ∆w2 ∆b w1 1 0,0 0,0 0,0 0,4 w2 b 0,4 0,3 1 -1 1 1 0,3 1 0,1 -0,1 0,1 0,4 0,3 0,4 -1 1 1 1 0,3 1 -1 -1 1 -1 -0,3 -1 -0,1 0,1 0,1 0,4 0,4 0,5 0,1 0,1 -0,1 0,4 0,5 0,4 4ª época DM / UAç Redes Neuronais 07/08 65 Adaline • • Adaline 5ª época 2.5 out ∆w1 ∆w2 ∆b w1 x1 x2 1 t in w2 b 1 1 1 1 1,3 1 0,0 0,0 0,0 0,4 0,4 0,4 1 -1 1 1 0,4 1 0,1 -0,1 0,1 0,5 0,4 0,4 -1 1 1 1 0,3 1 -0,1 0,1 0,1 0,4 0,4 0,5 -1 -1 1 -1 -0,4 -1 0,1 0,1 -0,1 0,5 0,5 0,4 2 1.5 10.5 6ª época x1 -1.5 out ∆w1 ∆w2 ∆b w1 x2 1 t in 1 1 1 1 1,4 1 0,0 0,0 0,0 0,4 0,5 0,4 1 -1 1 1 0,4 1 0,1 -0,1 0,1 0,5 0,4 0,5 -1 1 1 1 0,4 1 -0,1 0,1 0,1 0,4 0,5 0,5 -1 -1 1 -1 -0,4 -1 0,1 0,1 -0,1 0,5 0,5 0,5 DM / UAç w2 b Redes Neuronais 07/08 DM / UAç 66 -0.5 - 0.5 - 1 1.5 Redes Neuronais 07/08 67 Madaline Aprender “OU” (estímulos e resposta bipolares e coeficiente de aprendizagem 0.1) DM / UAç -1 -0.5 Adaline • + Redes Neuronais 07/08 68 • Many Adaptive Linear Neurons [Widrow e Hoff, 1960] • Algortimo de aprendizagem reformulado por Widrow, Winter e Baxter, 1987 • Muitas vezes, assume-se estímulos bipolares e respostas binárias ou bipolares • Iremos estudar a Madaline como composição de duas Adalines e com um neurónio de saída • A generalização para mais Adalines e com mais neurónios de saída faz-se sem dificuldade DM / UAç Redes Neuronais 07/08 69 Madaline • Algoritmo de aprendizagem MRI Duas arquitecturas possíveis: – Madaline Rule I (MRI): só os pesos e pendor das Adalines interiores é que são ajustados 0. Atribuir valores iniciais aos pesos e pendor das unidades Z1 e Z2 e fixar coeficiente de aprendizagem α (0<α≤1) 1. Repetir até à convergência dos pesos e do pendor Repetir os passos I-IV até esgotar as entradas (s:t) I. Activar xi=si, i=1,…,n II. Determinar as respostas de Z1 e Z2 (v1=v2=b=0.5) – Madaline Rule II (MRII): todos os pesos e pendores são ajustados com diferentes algoritmos de aprendizagem z1=b1+x1w11+x2w21 z2=b2+x1w12+x2w22 III. Determinar o estímulo de y y=b+v1f(z1)+v2f(z2) DM / UAç Redes Neuronais 07/08 DM / UAç 70 Algoritmo de aprendizagem MRI Madaline (MRI) se f(y)≠t=1, ajustar da unidade zJ de estímulo total mais próximo de 0 x1 wiJnovo = wiJvelho + α (t − z J ) xi b =b velho J + α (t − z J ) se f(y)≠t=-1, ajustar das unidade zK de estímulo total positivo wiKnovo = wiKvelho + α (t − z K ) xi novo K b DM / UAç =b velho K + α (t − z K ) Redes Neuronais 07/08 71 • Aprender a disjunção exclusiva (estímulos e resposta bipolares e coeficiente de aprendizagem 0.5) IV. Calcular erro e ajustar pesos e pendor novo J Redes Neuronais 07/08 72 x2 1 t zin1 zin2 z1 z2 y f(y) w11 w21 b1 w12 w22 0 0 0 0 0 b2 0 1 1 1 -1 0,000 0,000 1 1 1,5 1 -0,500 -0,500 -0,500 -0,500 -0,500 -0,500 1 -1 1 1 -0,500 -0,500 -1 -1 -0,5 -1 0,250 -1,250 0,250 -0,500 -0,500 -0,500 -1 1 1 1 -1,250 -0,500 -1 -1 -0,5 -1 0,250 -1,250 0,250 0,500 -1,438 -0,750 -1 -1 1 -1 1,250 0,188 1 1 1,5 1 1,375 -0,125 -0,875 1,094 -0,844 -1,344 1 1 1 -1 0,375 -1,094 1 -1 0,5 1 0,688 -0,813 -1,563 1,094 -0,844 -1,344 1 -1 1 1 -0,063 0,594 -1 1 0,5 1 0,688 -0,813 -1,563 1,094 -0,844 -1,344 -1 1 1 1 -3,063 -3,281 -1 -1 -0,5 -1 -1,344 1,219 0,469 1,094 -0,844 -1,344 -1 -1 1 -1 0,594 -1,594 1 -1 0,5 1 -0,547 2,016 -0,328 1,094 -0,844 -1,344 1 1 1 -1 1,141 -1,09 1 -1 0,5 1 -1,62 0,945 -1,4 1,094 -0,84 -1,34 1 -1 1 1 -3,96 0,594 -1 1 0,5 1 -1,62 0,945 -1,4 1,094 -0,84 -1,34 -1 1 1 1 1,164 -3,28 1 -1 0,5 1 -1,62 0,945 -1,4 1,094 -0,84 -1,34 -1 -1 1 -1 -0,73 -1,59 -1 -1 -0,5 -1 -1,62 0,945 -1,4 1,094 -0,84 -1,34 1 1 1 -1 -2,07 -1,09 -1 -1 -0,5 -1 -1,62 0,945 -1,4 1,094 -0,84 -1,34 1 -1 1 1 -3,96 0,594 -1 1 0,5 1 -1,62 0,945 -1,4 1,094 -0,84 -1,34 -1 1 1 1 1,164 -3,28 1 -1 0,5 1 -1,62 0,945 -1,4 1,094 -0,84 -1,34 -1 -1 1 -1 -0,73 -1,59 -1 -1 -0,5 -1 -1,62 0,945 -1,4 1,094 -0,84 -1,34 DM / UAç Redes Neuronais 07/08 73 Madaline (MRI) Madaline (MRI) + + -1 -0.5 0.5 + 1 1 -1 - -5 1 -1 1.5 + -2 -2 - 1 -1 1 1 - 2 2 0.5 + - + -1 -2 -2 -10 -1 -2 1 2 -0.5 -3 - -15 -1 - -4 4 4 4 2 -2 DM / UAç 2 + - -1 + 1 - 2 2 -2 + - -1 + 1 - -2 -2 -4 -4 Redes Neuronais 07/08 -2 2 1. - -1 + 1 - 2 -2 -4 74 Algoritmo de aprendizagem MRII 0. + DM / UAç Redes Neuronais 07/08 75 Algoritmo de aprendizagem MRII Atribuir valores iniciais aos pesos e pendor e fixar coeficiente de aprendizagem α (0<α≤1) IV. Calcular erro e ajustar pesos e pendores se f(y)≠t para todas as unidades do nível intermédio com estímulo total próximo de 0 (e.g., [-0.25, 0.25]) não marcadas Repetir até à convergência dos pesos e do pendor Repetir os passos I-IV até esgotar as entradas (s:t) I. Activar xi=si, i=1,…,n II. Determinar respostas de Z1 e Z2 a) marcar a unidade Z que tem valor mais próximo de 0 z1=b1+x1w11+x2w21 b) alterar resposta de Z (1 para -1 ou vice-versa) z2=b2+x1w12+x2w22 c) determinar resposta de Y d) se erro foi reduzido III. Determinar o estímulo de y ajustar pesos de Z (usar nova resposta de Z e regra Delta) y=b+v1f(z1)+v2f(z2) DM / UAç Redes Neuronais 07/08 76 DM / UAç Redes Neuronais 07/08 77