Verificação automática de assinaturas empregando

Verificação automática de assinaturas empregando máquinas de suporte vetorial
Wagner Oliveira de Araujo
Pontifícia Universidade Católica de Goiás
Departamento de Computação
[email protected]
Anderson da Silva Soares
Universidade Federal de Goiás
Instituto de Informática
[email protected]
Clarimar José Coelho
Pontifícia Universidade Católica de Goiás
Departamento de Computação
[email protected]
Resumo
This paper presents a method for verifying personal
authorship signature off-line, based on characteristics graphtechnique classifier employing the support vector
machine (Support Vector Machine (SVM)) with polynomial kernel. Initially the analysis is presented for recognition of signatures in the context graphtechnique
expert and the fundamental concepts of SVM with optimal linear hyperplane separable and non-separable
smoothing grayscale, global optimal thresholding, morphological boundary extraction, axial tilt and Euclidean
distance measure which are used for the automatic verification of signatures. The results obtained from SVM
polynomial demonstrate good discriminatory power of features such as axial inclination graphkinetic. Ther error
rate type II shows high values compared with type I error rate. The overall rate of correct answers obtained
from 97.05 % is promising as compared to literature results.
A análise pericial grafotécnica pode compor o corpo de
provas de um processo judicial quando a autenticidade de
uma assinatura e questionada. A grafoscopia é uma ciência
forense que auxilia a justiça em provas técnicas de autenticidade de assinaturas e manuscritos no âmbito cível e criminal. Trata unicamente de aspectos da escrita e autoria e não
aborda os diferentes tipos de documentos ou material de suporte onde a assinatura é feita (aposta) [2, 15, 4].
A grafostática e o grafocinético são elementos relevantes para a análise grafoscópica. A primeira aborda critérios mais estáticos da análise como altura, comprimento e
forma da assinatura. O segundo aborda elementos dinâmicos do traço da assinatura como inclinação axial, pontos de
apoio, ataques e remates [15, 16, 12].
Um dos fatores da verificação de assinaturas não ser trivial, deve-se às fortes variações de características intrapessoal (Figura 1) e a possíveis similaridades existente entre
falsificações e assinaturas genuínas [11].
1. Introdução
O sistema para verificação de assinaturas tem por objetivo verificar a autenticidade de uma assinatura através de
métodos que possam discriminar uma assinatura genuína de
uma falsificação [3]. Conforme o método de aquisição da
assinatura, o processo de verificação pode ser classificado
como on-line (dinâmico) ou off-line (estático). Na abordagem on-line necessita-se de hardware especial (mesa digitalizadora ou caneta sensível a pressão). Por outro lado, na
abordagem off-line, a assinatura está disponível em uma folha de papel, o qual é depois digitalizada de modo a obter
uma representação digital composta por (M × N) pixels.
Figura 1. Sobreposição de 3 assinaturas do
mesmo autor demonstrando a variação intrapessoal.
As falsificações geralmente são classificadas em três
subconjuntos (aleatórias, simples e simuladas) (Figura 2). A
falsificação aleatória (Figura 2d) é normalmente uma amostra genuína (Figura 2a) de outro autor. A falsificação sim-
ples (Figura 2c), ocorre quando o falsificador conhece o
nome do autor, porém não possui um exemplo da assinatura a qual planeja falsificar. Por fim, a falsificação simulada (Figura 2b) ocorre quando o falsificador tendo posse
de um ou mais exemplos de assinaturas genuínas, consegue fazer uma imitação da assinatura genuína [4, 11].
(a) Assinatura genuína.
(b) Falsificação simulada.
First International Workshop on Automated Forensic Handwriting Analysis [1] distponível em <http:
//forensic.to/webhome/afha/SigComp.html>.
O banco de dados disponibiliza um conjunto de imagem com assinaturas off-line e outro conjunto com assinaturas on-line. As assinaturas off-line são imagens no formato
de gráficos portáveis na rede (Portable Network Graphics,
PNG) digitalizadas em 400 dpi no formato Red Green Blue
(RGB). O conjunto de imagem com assinaturas off-line é
composto por dois subconjuntos de assinaturas: genuínas e
forjadas. São dez (10) autores com vinte e quatro (24) amostras para cada autor totalizando duzentos e quarenta imagens (240) de assinaturas genuínas. O conjunto de assinaturas forjadas é centro e vinte e três (123).
Para realização desses experimentos o software Matrix
Laboratory (MATLAB) R2009b é utilizado em conjunto
com a Image Processing Toolbox para plataforma Windows
7 Professional N.
3. O laudo pericial grafotécnico
(c) Falsificação simples.
(d) Falsificação aleatória.
Figura 2. Tipos de falsificações.
Neste trabalho são usados a suavização em tons de cinza,
limiarização (método de Otsu), operadores morfológicos
(diferença e erosão), a inclinação axial, distância euclidiana,
validação cruzada (método holdout) no âmbito do SVM
com kernel polinomial. Apresenta-se um método baseado
em grafoscopia clássica empregando SVM supervisionado
para verificação de autoria a partir de assinaturas genuínas
e falsificações aleatórias apostas em documentos (off-line).
O texto está organizado em sete seções sucintamente
descritas a seguir. A seção 2 apresenta o banco de dados público contendo as assinaturas usadas para a análise de autoria. A seção 3 descreve alguns detalhes do processo de confecção de um laudo pericial grafotécnico. A seção 4 apresenta as principais características do método SVM no contexto de reconhecimento de padrões. A seção 5 apresenta o
método proposto para a verificação da autoria de assinaturas. A seção 6 apresenta os resultados obtidos.
A seção 7 conclui o trabalho e apresenta a lista de problemas para estudos futuros.
2. Materiais e ambiente de software
As imagens de assinaturas usadas para testar o método proposto são provenientes de um banco de dados público criado para o primeiro workshop internacional de análise automática de assinaturas
A classificação das assinaturas manuscritas off-line é
feita pelos peritos grafotécnicos em relação à autoria, como
associação ou dissociação, [12]. Uma associação indica que
o grafismo lançado no presente documento é elaborado, de
próprio punho, pelo autor avaliado. A dissociação indica
que o grafismo lançado não é produzido, de próprio punho,
pelo autor avaliado.
Durante a análise para o laudo pericial grafotécnico, o
perito utiliza um conjunto n de amostras de assinaturas de
autoria conhecida Ai onde i = {1, 2, . . . , n} é o número de
amostras padrão, em comparação com a amostra de autoria questionada A0 1 . O perito observa, tendo como base características grafotécnicas ~εi e ~ε01 , diferenças de medição
entre as amostras padrão e questionada (~δi×1 , ~δ0i×1 ) e posteriormente, toma uma decisão ∆00 i,2 . O laudo pericial grafotécnico resulta em ω que depende da soma dos resultados obtidos nas comparações individuais dos pares (padrão
e questionada) analisados (Figura 3).
4. Máquina de vetor de suporte
Os métodos de verificação automáticos da autoria de assinaturas off-line baseiam-se habitualmente em duas abordagens, global e pessoal, [2]. A abordagem pessoal utiliza
um modelo por autor, enquanto que a abordagem global faz
uso de um modelo geral para todos os autores. O modelo
pessoal, usualmente, exige um conjunto elevado de exemplares genuínos, para a geração de um modelo eficiente e
apresenta a vantagem de modelar adequadamente as variabilidades intrapessoais do autor. O modelo global, possui a
vantagem de necessitar de um número reduzido de exemplares de cada autor e de não necessitar de um novo trei-
Ai , . . . , An
maximizem a margem entre elas. Um conjunto de dados de
duas classes C1 e C1 , linearmente separáveis com margem
de separação máxima δ ou também chamado de hiperplano
de separação ótima [20] são demonstrados na Figura 5.
A′ 1
−
b=
w.
x−
1
w.
b
x− =
b= 0
−1
Extração de Características
~ε1
~ε′1
w.
x
||w2
||
Análise de Diferenças Encontradas
q
p
~δi×1 = (~εi − ~εk )2 ~δ′ = (~εi − ~ε′ )2
i×1
1
x2
Confrontação
#
"
∆i×2
∆′′ i×2 =
∆′ i×2
Vetor de suporte
δ
C1
Decisão Pericial
P
ω = ni=1 ∆′′ i
C2
w
Hiper plano ótimo
Figura 3. Fluxograma esquemático do laudo pericial grafotécnico.
Vetor de suporte
x1
||w b
||
namento do modelo, na inclusão de novos autores sua desvantagem é a generalização. No treinamento do modelo pessoal, a classe C1 representa a classe de exemplares genuínos
dos autores usados no treinamento. A classe C2 representa
o exemplar do autor questionado. Na verificação, o modelo
gerado é então utilizado para comparação entre os exemplares genuínos com o exemplar questionado Figura 4.
Espaço de características R2
x
Conjunto de verificação
Classe genuína
C1
Escritor 1
C2
Escritor 1
Forjada
C1
Classe forjada
C2
Limiar de aceitação
y
Figura 4. Modelo pessoal de verificação da autoria de assinaturas.
Figura 5. Hiperplano com separação ótima, máxima margem.
O SVM é baseado na ideia do Structural Risk Minimization (SRM), o qual minimiza o erro de generalização, isto é,
erros verdadeiros em amostras não vistas. O número de parâmetros livres usado no SVM depende da margem que separa os pontos dos dados, mas não do número de características de entrada a fim de evitar o sobre-ajuste [18].
A função de decisão do SVM linear é descrita por um vetor de entrada x, w é um vetor de peso ajustável , b é um bias
e g(x) um padrão de saída (Equação 1).
g(x) = w.x + b
Dado um conjunto de vetores de treinamento Λ (Equações 2 e 3)
Λ = (x1 , y1 ), . . . , (xl , yl ), x ∈ Rn , y ∈ {−1, 1}, i = 1, 2, . . . , l
(2)
N
T = {xi , yi }i=1
para i = 1, 2, . . . , N
O Support Vector Machine é introduzido como uma técnica para resolver problemas de reconhecimento de padrões. Esta estratégia de aprendizagem é proposta por Vapnik [26] e tem atraído a atenção dos pesquisadores devido
as suas principais características, que são a sua boa capacidade de generalização e robustez diante de dados de grande
dimensão.
A ideia principal é separar as classes com superfícies que
(1)
(3)
pertencente a duas classes separáveis, C1 {yi = +1} e C2
{yi = −1}, o SVM encontra o hiperplano com máxima distância Euclidiana do conjunto de treinamento. De acordo
com o princípio do SRM, existirá somente um hiperplano
com a margem máxima δ, definida como a soma das distâncias do hiperplano até o ponto mais próximo das classes.
Este limiar do classificador linear é a separação ótima do hiperplano (Figura 5).
Nos casos de conjuntos de treinamento não separáveis,
o i-ésimo ponto possui uma variável ξi , que representa a
magnitude do erro de classificação. A função de penalidade
Φ(ξ) representa a soma dos erros de classificação (Equação 4).
l
X
Φ(ξ) =
ξi
(4)
i=1
A solução do SVM pode ser encontrada através da minimização dos erros de treinamento (Equação 5). A constante
C é um termo de regularização que impõe um peso à minimização dos erros no conjunto de treinamento em relação à
minimização da complexidade do modelo [23].
X
1
k w k2 +C( ξ)
2
i=1
l
Φ(w, ξ) =
(5)
nq
q = 0, 1, 2, . . . , L − 1
(8)
n
onde n é o número total de pixels na imagem, nq é o número de pixels que possuem rq níveis de intensidade, e L
é o número total de possíveis níveis de intensidade na imagem.
Utilizando a análise discriminante, a variância entre as
classes da imagem limiarizada é definida pela Equação 9
pr (rq ) =
σ2B = ω0 (µ0 − µT )2 − ω1 (µ1 − µT )2 .
A literatura apresenta várias possibilidades de kernels
para o SVM em aplicações envolvendo o reconhecimento
de padrões, [6, 19, 10, 22, 27]. Neste estudo preliminar é
utilizado apenas o kernel Polinomial (Equação 6). O grau
do kernel polinomial é representado por p.
K(xi , x j ) = (xi ∗ x j + 1) p
baseado na análise discriminante e o valor do limiar é obtido supondo que os pixels da imagem podem ser classificados em duas classes: fundo (C0 : níveis de cinza no intervalo
[1, . . . , k]) e objeto ( C1 : níveis de cinza no intervalo [k +
1,. . . , L]). Neste caso, a distribuição de densidade e probabilidade de ambas as classes podem ser descritas pela Equação 8
(6)
5. Método proposto
O método proposto baseia-se no princípio da grafoscopia (Figura 3) descritas nas seções secundárias de 5.1 a 5.7.
(9)
O limiar ótimo k∗ é determinado como sendo aquele cuja
variância entre as classes σ2B é máxima, isto é:
σ2B (k∗ ) = max σ2B (k).
1≤k≤L
(10)
5.3. Extração de fronteiras
As fronteiras ou bordas dos grafismos foram obtidas através extração de fronteiras morfológicas (Equação 11) [9] pela erosão de A (imagem de uma assinatura)
por B, seguida da diferença de conjuntos entre A e sua erosão. Ou seja,
β(A) = A − (A B)
(11)
5.1. Suavização em tons de cinza
no qual B é um elemento estruturante em cruz (3 × 3).
O primeiro processamento a que a imagem é submetida
pelo software é o processo de leitura da imagem de entrada,
inicialmente do modelo Red, Green e Blue (RGB) de cores, para a escala em tons de cinza (Y), intervalo de intensidades de pixels é igual a [0, 255]. A aplicação desta transformação tem como base a formação de uma imagem resultante, a partir da soma do mesmo índice de um pixel em
cada uma das três diferentes dimensões da imagem. A determinação das tonalidades de cinza da nova imagem é obtida pela soma ponderada de três valores para todos os pixels que compõem a imagem, definida por [28, 17, 24] de
acordo com a Equação 7.
5.4. Extração de características individuais do escritor
Y = 0, 2989 × R + 0, 5870 × G + 0, 1140 × B
(7)
5.2. Limiarização
As imagens, das assinaturas, foram convertidas em imagens binárias, utilizou-se a limiarização global ótima com
o método de Otsu [21] (Equação 9). O método de Otsu é
O processo de comparação é baseado na análise de inclinação axial, uma característica grafoscópica que vem
sendo extensivamente utilizada em métodos para a verificação de assinaturas [8, 5]. O procedimento consiste em
percorrer a imagem binária tomou-se o pixel da borda (p5 )
do traço ao centro (p1 ) do elemento estruturante (Figura 6).
Em seguida, verificou-se em todas as direções do ângulo
θ = [0o , 180o ] partindo deste pixel central (p1 ) até a borda
no intervalo entre {d1 , . . . , d17 }, apenas considerando a existência de um fragmento de borda inteiro. Caso os pixels vizinhos sejam de valor um, considerou-se o fragmento de
borda, calculou-se a posição do fragmento em um vetor de
posições, para a construção do gráfico polar. Este vetor de
posições é finalmente normalizado pela distribuição de probabilidade p(θ), que é a probabilidade de localizar na imagem binária um fragmento de borda orientado em um ângulo θ em relação ao eixo da abscissa (x).
00
90o
135o
d13
d12
d11
d10
d9
d8
45o
d7
d6
p4
d14
p3
d15
180o
θ
d2
p1
d17
d5
d4
d3
p2
d16
p5
d1
0o
x
Figura 6. Elemento estruturante quadrado (9 ×
9).
5.5. Análise de distâncias entre características individuais do escritor
A base de dados foram convertidas em vetores de 17 características da inclinação axial, [7, 8]. Os vetores de características ~εi (genuínas) e ~ε01 (forjadas) são extraídas das
amostras Ai e A0 1 , sendo i = {1, 2, . . . , 24}. São realizadas
combinações sem repetições entre os vetores de características ~εi , dois a dois, totalizando 276 combinações. Para o
vetor ~ε01 são relacionados 24 vetores de características ~εi de
amostras Ai .
O vetor das distâncias Euclidianas ~δi×1 entre os vetores
de características genuínas ~δ4692×1 (Equação 12), i , k
~δ4692×1
276 p
X
(~εi − ~εk )2
=
(12)
l=1
∆2346×2
[~δ2346×1 , ~δ2346×1 ]
=
(13)
e questionadas ~δ0408×1 (Equação 14)
~δ0
408×1
∆0 204×2
24 q
X
=
(~εi − ~ε01 )2
~δ0
204×1 ]
(14)
(15)
são calculadas (Matrizes 13 e 15) obtendo-se o conjunto de
amostas de referência R (Equações 16 e 17).
"
#
∆2346×2
∆00 2550×2 =
∆0 204×2
00
R = ∆ 2550×2
(16)
R = {(xi , yi )}2550
(17)
i=1
5.5.1. Validação cruzada
min
5.6. Confrontação
O processo de confrontação é composto por duas fases, treinamento e teste. Na fase de treinamento, as medidas das distâncias entre vetores de características amostrais R (Equação 17) são calculadas entre pares de assinaturas. Quando duas assinaturas pertencem a um mesmo
autor, o vetor de característica é indicado com 1 (associação). Quando duas assinaturas pertencem a autores diferentes, o vetor de característica é indicado com −1 (dissociação). A distância entre duas assinaturas é considerada pequena, quando as amostras pertencem a um mesmo autor.
O SVM é treinado então, para separar pequenas distâncias
entre características (associação) e grandes distâncias entre
características (dissociação).
No estágio de teste, o SVM possui duas saídas. A primeira é composta pelas assinaturas pertencentes a um
mesmo autor C1 . A segunda é composta por assinaturas pertencentes a autores diferentes C2 .
5.7. Conclusão
l=1
[~δ0204×1 ,
=
sua identificação na presença de erros (et (Fk ), é dividido
o conjunto (r = 0, 2) de amostras de referência R (Equação 17) em dois subconjuntos exclusivos, um para treinamento T = {(xi , yi )}2041
i=1 (estimação dos parâmetros) e outro para teste T 0 = {(xi , yi )}509
i=1 (validação). O conjunto de
referência pode ser separado em quantidades iguais ou não.
Uma proporção muito comum é considerar 23 dos dados para
treinamento e o 31 restante para teste. Neste trabalho, particionamento do conjunto de dados é feito em 45 para conjunto
de treinamento e 15 para o conjunto de teste. Essa abordagem produz melhor resultado do que abordagem tradicional. [14, 13, 25].
Habitualmente, em um laudo pericial grafotécnico, o perito faz uso de um conjunto de amostras de assinaturas de
origem conhecida. Cada amostra conhecida, pertence ao
conjunto de padrões entre 4 a 25 amostras, é comparada
com a amostra de autoria questionada. Neste experimento
foram utilizadas 24 amostras de referência, para cada autor. Ao final da decisão, o método proposto classifica as saídas através de um somatório dos resultados. Este último estágio representa a decisão final do laudo pericial grafotécnico feito pelo perito.
6. Resultados
00
Fvc =k = 1, 2, . . . , v {et (Fk )}
(18)
A validação cruzada (Holdout Method) é empregada (Equação 18) de tal forma a encontrar a melhor representação dados, onde v corresponde a T 0 v ≤ Tmax ((1 − r)R) durante
A imagem de entrada é lida Figura 6a em seguida é suavizada para tons de cinza Figura 6b. Aplicou-se a limiarização global ótima pelo método de Otsu Figura 6c na próxima
etapa é realizada a extração de fronteira Figura 6d.
Inclinação axial θ >90º
90
0.15
60
120
0.1
30
150
0.05
180
0
210
(a) Imagem de entrada.
(b) Imagem tons de
cinza.
330
240
300
270
(a) Imagem de uma
assinatura com inclinação a esquerda.
(b) Gráfico polar com ângulo
obtuso.
Inclinação axial θ <90º
90
0.2
120
60
0.15
0.1
150
(c) Imagem binária.
(d) Imagem de extração de borda.
30
0.05
180
Figura 7. Pré-processamento das assinaturas.
0
210
330
240
300
270
A Figura 8 apresenta resultados satisfatórios na detecção da inclinação das assinaturas (Figuras 6a, 6c e 6e ) detectando o comportamento da inclinação axial para diferentes autores que variam entre ângulos maiores que 90o (Gráfico 6b), iguais a 90o (Gráfico 6f) e menores que 90o (Gráfico 6d).
O SVM é empregado em cada um dos dez autores. O experimento é realizado com vetores de 17 características para
a inclinação axial a classe de genuína é composta por um vetor de 2346 elementos e 204 para as forjadas. São efetuados
cinco processamentos para cada um dos dez autores. A Tabela 1 apresenta os melhores resultados para cada um dos
autores através da validação cruzada com uso de 2041 dados
para treinamento e 509 dados para teste. A probabilidade
de classificação correta é de 97,05% no melhor caso para
o (Autor 02) na Tabela 1. Os resultados apresentam a eficiência discriminatória da característica grafocinética (inclinação axial), utilizada em uma abordagem pessoal. A taxa
de erro tipo II, ainda apresenta valores elevados, se comparado com a taxa de erro tipo I.
7. Conclusões
É apresentado um estudo do método de verificação de
autoria de assinaturas off-line baseada nos princípios da
grafoscopia, com objetivo de aprimorar as verificações das
amostras de assinaturas. É realizado o experimento através
de Support Vector Machine com kernel polinomial. Para
esse propósito, são utilizadas apenas duas classes associação e dissociação. O modelo pessoal adotado tem se mostrado promissor quanto à acurácia, contudo não elimina a
(c) Imagem de uma
assinatura com inclinação a direita.
(d) Gráfico polar com ângulo agudo.
Inclinação axial θ =90º
90
0.08
120
60
0.06
0.04
150
30
0.02
180
0
210
330
240
300
270
(e) Imagem de uma
assinatura com 90o .
(f) Gráfico polar com ângulo
reto.
Figura 8. Resultados na detecção da inclinação
das assinaturas.
necessidade de um novo treinamento, quando da inclusão
de uma nova assinatura questionada.
Como trabalho futuro, sugere-se o estudo de outras características grafotécnicas, como mínimos gráficos permitindo ao modelo absorver mais adequadamente as variabilidades intrapessoais dos autores na redução da taxa de erro
tipo II. Outra proposta é testar outros kernels, exemplo Radial Basis Function (RBF) com o objetivo de melhorar o
processo de separação das classes.
Número
Kernel
TE
ETI
ETII
Autores Polinomial
%
%
%
Autor1
93,72
6,28 0,39
5,89
Autor2
97,05
2,95 0,20
2,75
Autor3
96,07
3,93 0,20
3,73
Autor4
94,70
5,30 0,98
4,32
Autor5
92,14
7,86 0,20
7,66
Autor6
92,53
7,47 0,20
7,27
Autor7
92,93
7,07 0,39
6,68
Autor8
92,54
7,46 0,39
7,07
Autor9
95,68
4,32 0,98
3,34
Autor10
95,48
4,52 0,22
4,30
Total de erro (TE), Erro tipo I (ETI) e Erro tipo II (ETII).
Grau utilizado p=3.
Tabela 1. Resuldos obtidos usando classificador SVM com kernel polinomial
Referências
[1] AFHA.
Signature Verification Competition for Online and Off-line Skilled Forgeries (SigComp2011), 2011.
Disponível em: <http://forensic.to/webhome/afha/
SigComp.html>. Acesso em: 21 maio 2012.
[2] F. L. BARANOSKI. Verificação da Autoria em Documentos Manuscritos Usando SVM. Dissertação (mestrado em
informática aplicada), Pós-graduação em Informática Aplicada, Pontifícia Universidade Católica do Paraná, Curitiba,
2005.
[3] L. BATISTA, D. RIVARD, R. SABOURIN, E. GRANGER,
and P. MAUPIN. State of the Art in Off-Line Signature Verification. In Pattern Recognition Technologies and Applications: Recent Advances, page 24. 2008.
[4] L. B. BATISTA. Multi-Classifier Systems for off-line Signature Verification. Thesis (doctor of philosophy), Université
Du Québec, Québec, Canada, 2011.
[5] M. BULACU, L. SCHOMAKER, and L. VUURPIJL. Writer Identification Using Edge-Based Directional Features. In
International Conference on Document Analysis and Recognition, 7., pages 937–941, Edinburgh, 2003. IEEE Computer
Society.
[6] C. J. C. BURGES. A Tutorial on Support Vector Machines
for Pattern Recognition. Data Mining and Knowledge Discovery, 2(2):121–167, 1998.
[7] S.-H. CHA. Use of Distance Measures in Handwriting
Analysis. PhD thesis, University of New York at Buffalo,
Apr. 2001.
[8] J. P. CRETTEZ. A set of handwriting families: style recognition. In Proceedings of 3rd International Conference on Document Analysis and Recognition, volume 1, pages 489–494.
IEEE Comput. Soc. Press, 1995.
[9] R. C. GONZALEZ, R. E. WOODS, and S. L. EDDINS. Digital Image Processing Using MATLAB. Pearson PrenticeHall, New Jersey, USA, 1 edition, 2003.
[10] T. JOACHIMS. Optimizing search engines using clickthrough data. In Proceedings of the eighth ACM SIGKDD
international conference on Knowledge discovery and data
mining - KDD ’02, page 133, New York, New York, USA,
2002. ACM Press.
[11] E. J. R. JUSTINO. O Grafismo e os Modelos Escondidos de Markov na Verificação Automática de Assinaturas.
Tese (doutorado em ciências), Pós-graduação em Informática Aplicada, Pontifícia Universidade Católica do Paraná,
Curitiba, 2001.
[12] E. J. R. JUSTINO, F. BORTOLOZZI, and R. SABOURIN. A
comparison of SVM and HMM classifiers in the off-line signature verification. Pattern Recognition Letters, 26(9):1377–
1385, July 2005.
[13] M. KEARNS. A Bound on the Error of Cross Validation
Using the Approximation and Estimation Rates, with Consequences for the Training-Test Split. Neural Computation,
9(5):1143–1161, July 1997.
[14] R. KOHAVI. A Study of Cross-Validation and Bootstrap for
Accuracy Estimation and Model Selection. In International Joint Conference on Artificial Intelligence (IJCAI), pages 1137—-1143, Montreal, Canada, 1995.
[15] K. M. KOPPENHAVER. Forensic Document Examination:
principles and practice. Humana Press, Totowa, New Jersey,
2007.
[16] R. N. MORRIS. Forensic Handwriting Identification: Fundamental Concepts and Principles. Academic Press, San Diego, California{USA}, 2000.
[17] J. MORTENSEN, J. J. WU, J. FURST, J. ROGERS, and
D. RAICU. Effect of Image Linearization on Normalized
Compression Distance. In Signal Processing, Image Processing and Pattern Recognition, Communications in Computer and Information Science, volume 61, page 106. SpringerVerlag Berlin, Inc., Berlin Heidelberg, 2009.
[18] S. MUKKAMALA, G. JANOSKI, and A. SUNG. Intrusion detection using neural networks and support vector machines. In Proceedings of the 2002 International Joint Conference on Neural Networks. IJCNN’02 (Cat.
No.02CH37290), pages 1702–1707, EUA, 2002. IEEE.
[19] K. R. MÜLLER, S. MIKA, G. RÄTSCH, K. TSUDA, and
B. SCHÖLKOPF. An introduction to kernel-based learning
algorithms. IEEE transactions on neural networks / a publication of the IEEE Neural Networks Council, 12(2):181–
201, Jan. 2001.
[20] E. E. OSUNA, R. FREUND, and F. GIROSI. Support Vector
Machines : Training and Applications. Report 1602, Massachusetts Institute of Technology (CBCL), Cambridge, Massachusetts, march 1997.
[21] N. OTSU. A Threshold Selection method from Gray-Level
Histograms. IEEE Transactions On Systems, Man, and Cybernetics, SCM-9(1):62–66, 1979.
[22] E. ÖZGÜNDÜZ, T. ÅENTÜRK, and M. E. KARSLIGIL.
Off-line Signature Verificatio and Recognition by Support
Vector Machine. Neural Networks, 1(90):1–4, 2003.
[23] A. PASSERINI. Kernel Methods , Multiclass Classification
and Applications to Computational Molecular Biology. Thesis, Università Degli Studi di Firenze, 2004.
[24] W. K. PRATT. Digital Image Processing: PIKS Scientific Inside. John Wiley& Sons, Inc, Los Altos, California, USA, 4
edition, 2007.
[25] A. C. RENCHER. Methods of Multivariate Analysis. John
Wiley & Sons, Inc, Nova York, USA, 2 edition, 2002.
[26] V. N. VAPNIK. Statistical Learning Theory. John Wiley &
Sons, Inc., USA, 1998.
[27] J. VARGAS, M. FERRER, C. TRAVIESO, and J. ALONSO.
Off-line signature verification based on grey level information using texture features. Pattern Recognition, 44(2):375–
385, Feb. 2011.
[28] S. G. WU, F. S. BAO, E. Y. XU, Y.-X. WANG, Y.-F.
CHANG, and Q.-L. XIANG. A Leaf Recognition Algorithm for Plant Classification Using Probabilistic Neural
Network. In Signal Processing and Information Technology,
2007 IEEE International Symposium on, pages 11–16, Giza,
2007.