Aula 4 RNA – Adaline e Regra do Delta

2COP229
Inteligência Computacional
Aula 4
RNA – Adaline e Regra do Delta
[email protected]
2COP229
Inteligência Computacional
Sumário
1- Introdução;
[email protected]
2COP229
Inteligência Computacional
1- Introdução
-O Adaline foi desenvolvido em 1960 e sua principal aplicação era o chaveamento de
circuitos telefônicos.
- As principais contribuições do modelo são:
1) Desenvolvimento do algoritmo de aprendizado “Regra Delta”;
2) Aplicações de RNAs de forma prática para soluções de sinais analógicos;
3) Foi a primeira rede neural aplicada na indústria.
[email protected]
2COP229
Inteligência Computacional
1- Introdução
- Semelhante a Perceptron;
- Vários Adalines formam um Madaline;
-É de arquitetura feedforward;
[email protected]
2COP229
Inteligência Computacional
2- Funcionamento do Adaline
- Uma das diferenças, quando comparado ao modelo Perceptron é o bloco de verificação
do Erro:
erro = d – u
- O erro (diferença entre potencial de ativação {u} e valor desejado {d}) será utilizado para
realizar ajustes para os pesos {w0, w1, w2, ..., wn}.
-A teoria matemática sobre convergência do aprendizado da Perceptron tem o mesmo
principio do Adaline.
-Treinamento:
- É baseado na Regra Delta, conhecido também como LMS (least mean square),
Gradiente Descendente ou Mínimos Quadrados.
- Assumindo p amostrar para treinamento, a ideia é encontrar os pesos e limiar que
minimizam a diferença entre {d} e {u}. A função de erro quadrático médio, com
relação a p é definido por:
[email protected]
2COP229
Inteligência Computacional
2- Funcionamento do Adaline
-
O peso ótimo (w*) é obtido:
E ( w*) ≤ E ( w), para∀w ∈ ℜ
-
n +1
A função de erro quadrático em relação à p é definida por:
p
1
(k )
T (k )
2
E ( w) = ∑ (d − ( w x − θ ))
2 k =1
-
Alternativamente, o valor do watual pode ser expresso por:
w
atual
=w
anterior
p
+ η ∑ (d
(k )
− u) x
(k )
k =1
[email protected]
2COP229
Inteligência Computacional
2- Funcionamento do Adaline
-
w
Alternativamente, tem-se:
atual
=w
anterior
+ η .(d
(k )
− u ).x
(k )
k=1,...,p
Sendo:
w : [θ w1 w2 ... wn]T é o vetor contendo limiar e pesos
x(k):[ -1 x1(k) x2(k) ... xn(k)]T k-ésima amostra de treinamento.
d(k): é o valor desejado para a k-ésima amostra de treinamento.
u: é o valor de saída do combinador linear.
η : é a constante que define a taxa de aprendizado da rede
[email protected]
2COP229
Inteligência Computacional
2- Funcionamento do Adaline
-
A função do erro quadrático médio é definido por:
p
1
(k )
2
Eqm ( w) = ∑ (d − u )
p k =1
-
O algoritmo converge quando a diferença entre duas épocas for menor que a
precisão imposta (ε).
|Eqm (watual) – Eqm(wanterior)|
≤
ε
[email protected]
2COP229
Inteligência Computacional
3- Regra Delta
-
Interpretação Geométrica da Regra Delta da evolução rumo ao ponto ótimo w*
[email protected]
2COP229
Inteligência Computacional
4- Algoritmo Fase de Treinamento
[email protected]
2COP229
Inteligência Computacional
5- Algoritmo Erro Quadrático Médio
[email protected]
2COP229
Inteligência Computacional
6- Algoritmo Aplicação Adaline
[email protected]
2COP229
Inteligência Computacional
7-Comparação Perceptron e Adaline
-
Adaline se torna “imune” à ruídos.
[email protected]
2COP229
Inteligência Computacional
Referências:
Silva, IN da, Danilo Hernane Spatti, and Rogério Andrade Flauzino. "Redes neurais
artificiais para engenharia e ciências aplicadas." São Paulo: Artliber (2010).
[email protected]