Sistema de codificação de caracteres

Transcrição

Aula 5. 23/03/2015.
Práticas de
Desenvolvimento de Software
Aula 5 - Sistemas de codificação de caracteres;
Expressões regulares.
Oferecimento
Sistemas de codificação de caracteres (1)
Sistemas de codificação de
caracteres
Sistema de codificação de caracteres
Código que mapeia cada caractere de um repertório
em outros elementos, tais como padrões de bits,
sequências de números, pulsos elétricos, etc.
Código Morse
SOS
Codificação de caracteres
“Hello World!”
"
…110100101010…
!
Hello World!
ASCII
American Standard Code for Information Interchange
•
Originado na década de 1960
•
Representação de texto em computadores
•
Baseado no alfabeto americano
•
Codifica 128 caracteres em inteiros de 7 bits
•
33 não imprimíveis (caracteres de controle)
•
95 imprimíveis
ASCII
0 ~ 127
7 bits
128 caracteres
Especificação padrão
128 ~ 255
8 bits
128 caracteres adicionais
Falta de padronização
ASCII
#
odarP siuL yb detaerC
tcejorP nuoN eht morf
“O jacaré é perigoso!”
$
#
Created by Luis Prado
from the Noun Project
“O jacar‫ ג ג‬perigoso!”
Unicode
Unicode é um padrão para representação e manipulação
de texto em qualquer sistema de escrita existente.
Unicode
•
Conjunto de caracteres que tenta englobar todos os
sistemas de escrita do planeta
•
Repertório com mais de 110.000 caracteres
•
Caracteres não são mapeados em sequências binárias,
mas sim em “code points” (conceito teórico)
Caractere
Code point (hex)
A
U+0041
Ԑ
U+0510
‫ؽ‬
U+063D
Três problemas
Desafios para codificar o conjunto de caracteres do Unicode
ASCII
Espaço
Manter compatibilidade com o ASCII, padrão já
muito utilizado e estabelecido.
8 zeros
Três problemas
Desafios para codificar o conjunto de caracteres do Unicode.
ASCII
Espaço
8 zeros
Não desperdiçar espaço de armazenamento.
O número de bits para codificação é muito alto e a
maioria dos caracteres não é utilizada.
Três problemas
Desafios para codificar o conjunto de caracteres do Unicode.
ASCII
Espaço
8 zeros
Alguns sistemas interpretam sequências de 8 zeros
consecutivos como final de string.
UTF-8
UCS Transformation Format — 8-bit
Range de code points
Byte 1
Byte 2
Byte 3
Byte 4
Byte 5
Byte 6
-
-
-
-
-
-
-
-
-
-
-
-
…
…
…
U+0000
U+007F
0xxxxxxx
U+0080
U+07FF
110xxxxx 10xxxxxx
U+0800
U+FFFF
1110xxxx 10xxxxxx 10xxxxxx
…
…
…
…
…
U+4000000 U+7FFFFFF 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
UTF-8
1 Byte:
01000001 (A)
2 Bytes: 11001001 10101001
UTF-8
1 Byte:
01000001 (A)
2 Bytes: 11001001 10101001
01001 101001
Exemplo em Ruby 2.2.0
utf8_resume = "Résumé"
utf8_resume # => "Résumé"
utf8_resume.encoding # => #<Encoding:UTF-8>
latin1_resume = utf8_resume.encode("iso-8859-1")
latin1_resume # => "R\xE9sum\xE9"
latin1_resume.encoding # => #<Encoding:ISO-8859-1>
utf8_resume.bytes
# => [82, 195, 169, 115, 117, 109, 195, 169]
latin1_resume.bytes
# => [82, 233, 115, 117, 109, 233]
utf8_resume == latin1_resume # => false
Exemplo em Ruby 2.2.0
resume # => "R\xE9sum\xE9"
resume.encoding # => #<Encoding:UTF-8>
resume.encode("utf-8")
resume # => "R\xE9sum\xE9"
resume.force_encoding("iso8859-1").encode("utf-8")
resume # => # => "Résumé"
%
Strings = coleção de bytes + informação de encoding
Expressões regulares (1)
Expressões Regulares
A.K.A. Regular Expressions, Regex, Regexp
O que é expressão regular?
É uma notação para descrever conjuntos de caracteres.
$\d{2}$ [0-9]{4,5}-[0-9]{4}
Introdução teórica (será rápida!)
alfabeto = { a, b }
linguagem = { aa, ab, ba, bb }
regex1 = aa|ab|ba|bb
regex2 = a(a|b)|b(a|b)
regex3 = (a|b)(a|b)
Autômato finito determinístico
a
s1
a
s2
b
s3
b
AFD para a expressão regular (a|b)(a|b)
a
s1
s2
b
aa
ab
ba
bb
a
s3
b
a
s1
s2
b
aa
ab
ba
bb
a
s3
b
○
a
s1
s2
b
aa
ab
ba
bb
a
s3
b
○
○
○
○
E por que conhecer Regex?
'
Ferramenta muito poderosa que é
frequentemente usada em projetos.
Aplicada tanto a problemas simples
quanto em situações complexas.
Exemplos de aplicação
•
Processar um arquivo de log de um sistema buscando
um determinado código de erro
•
Verificar se um email está em um formato válido
•
Contar quantas vezes “aluno” é sucedido por
“inteligente” em um texto
•
Parsing de campos de endereços escritos de forma nãoestruturada
Metacaracteres
São caracteres que têm significados especiais e não
são usados de forma literal. Servem para construir
expressões regulares complexas.
Metacaracteres comuns
Met.
Descrição
Regex
Match
Não match
.
Match em qualquer caractere
a.c
“abc”, “a2c”
“ac”, “abbc”
[]
Match em caracteres
indicados dentro dos
colchetes
[abc]
“a”, “b”, “c”
“x”, “2”, “u”
[^]
Match em caracteres não
indicados dentro dos
colchetes
[âbc]
“x”, “2”, “u”
“a”, “b”, “c”
^
Match no início de uma linha
do texto
âbc
“abcdef”
“kabcdef”
Met.
Descrição
Regex
Match
Não match
$
Match no final de uma linha
do texto
abc$
“kabc”
“abcdef”
*
Match do elemento
precedente zero ou mais
vezes
ab*c
“ac”, “abbbbbc”
“abbbwc”
?
Match do elemento
precedente zero ou uma vez
ab?c
“ac”, “abc”
“abbc”, “bc”
{m,n}
Match do elemento
precedente entre m e n,
inclusive
a{1,2}
“a”, “aa”
“aaa”, “b”
Met.
Descrição
Regex
Match
Não match
+
Match do elemento
precedente uma ou mais
vezes
ab+c
“abc”, “abbbbc”
“ac”, “abwc”
\d
Match em caracteres
numéricos
\d{3}
“123”, “092”
“12b3”, “09p”
\
Indica que o caractere
seguinte não é um
metacaractere
a\.c
“a.c”
“abc”, “ac”
()
Captura o padrão entre
parênteses
a(.*)c
“abc”, “a2*dc”
“rbc”, “a2*d9”
DE
M
Rubular é um editor de regex baseado em Ruby
que permite testar expressões regulares de
forma muito simples e rápida.
http://rubular.com/
O
Rubular
DE
M
09:55 - [política] Prefeito da Krakosia é eleito o melhor para economia
10:14 - [cotidiano] Cachorro salva dono de assalto
11:01 - [esporte] Seleção local de golfe se classifica para mundial
11:36 - [esporte] João da Silva Sauro é cortado da seleção de golfe
13:19 - [economia] Desemprego sobe para 12% no último mês
14:55 - [política] Lei do esporte é aprovada às 10:30
16:13 - [economia] Cotação do dólar sobe 5% em uma semana
O
Feed de notícias
DE
M
?
Quais são as manchetes das notícias de economia?
O
Feed de notícias
DE
M
O
Feed de notícias
(
\[economia\] (.*)$
MATCH SIMPLES
MATCH + CAPTURA
DE
M
?
Quais são os horários de publicação das notícias?
O
Feed de notícias
DE
M
?
Quais são as manchetes de política entre 14:00 e 14:59?
O
Feed de notícias
DE
M
O
Feed de notícias
?
Quais temas têm manchetes com um valor percentual?
Fonte: https://xkcd.com/208/

Sistema de codificação de caracteres

Transcrição

Documentos relacionados

Fontes grátis em

Tabela ASCII

APÊNDICE C -Padrão de nomenclatura de arquivos

Organização e Gestão I

Clique aqui e conheça

Videojet 43s Impressora Ink Jet de Pequenos

Ficha de Unidade Curricular Ano lectivo – 2014/15

Aula 11

História da Arte III

Aula 9