Uma conversa que não pára: o Pinguim, o Morcego e o Elefante

Uma conversa que não pára: o Pinguim, o Morcego
e o Elefante
Uma solução de backup de alta disponibilidade para DataCenter
Allan Rodrigo de Lima – CCE/USP – VIII GeINFO
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
Agenda
Soluções em produção
Motivação p/ uma nova solução
A “Nova Solução”
A Evolução da “Nova Solução”
Descrição do cenário atual
Trabalhos Futuros
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
Soluções em produção
Backup Local descentralizado:
Feito localmente no servidor
Realizado manualmente pelo operador
DUMP/RESTORE
Utilizava unidades de fitas remotas
Mídias utilizadas: DDS, DDS-2, DDS-3, DDS-4, DLT-7000 e DLT-8000
Backup pela SAN:
Utilizando 4 unidades de fita SDLT 110/220
Capacidade para 198 fitas → 43TB (nominais)
Software Legato (custo da licença em torno de R$ 2000,00)
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
Solução descentralizada
Esquema de backup descentralizado
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
Solução de backup via SAN
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
Motivação p/ uma nova solução
Automatizar/Centralizar as operações
Atender a demanda dos “menos favorecidos”
Maior facilidade de operação de backup/restore
Maior facilidade de implementação/instalação nos clientes
Melhor gerenciamento dos volumes
Diminuição da janela de backup
Procurar uma solução “sem” custos de software (software livre)
Utilizar a infraestrutura instalada
Implementação de Alta Disponibilidade**
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
Solução Proposta (0)
Ø
Ø
Sistema modular e escalável
Utilizar infraestrutura existente
Ø
Ø
Ø
Servidores
Unidades de fita (DLT-8000 e SDTL)
Storage FC (segunda etapa)
BACULA + POSTGRESQL + LINUX
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
BACULA
BACKUP + DRACULA = BACULA -> “…Ele perambula pela noite para sugar a essência dos computadores…”
Ø Bacula é uma solução de backup em rede, projetada para os sistemas *BSD, Linux,
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Mac OS X, Unix and Windows.
Garantir compatibilidade de dados por 30 anos.
Licença GPLv2
Open Source (GPLv2)
Gerenciamento centralizado
Backup/restore pela rede
Medias diferentes (Tape, disk, USB, CD/DVD)
Confiável
Escalável para manipular 10,000 máquinas
Modular – 5 elementos principais
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
BACULA
BACKUP + DRACULA = BACULA -> “…Ele perambula pela noite para sugar a essência dos computadores…”
FILE
DAEMON
CONSOLE
s
ndo
a
com
comandos
DIRECTOR
Atributos dos arquivos
DADOS
comandos
STORAGE
DAEMON
Atributos dos arquivos
DADOS
Atributos e localização
dos arquivos
Catalog
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
A “Nova Solução”
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
Precisávamos evoluir…
Dificuldades:
Gerenciamento do grande número de clientes
Gerenciamento do banco de dados de informações
Falta de espaço para o armazenamento do banco de dados de informações (~120 GB)
Falta de dispositivos de armazemamento e redução quase total da janela de backup, devido ao
grande número de clientes
SPOF (single point of failure)
servidor principal
Realizava todas as rotinas.
Servidor de banco de dados.
Gerenciava todos os nós de armazenamento do sistema.
Falta de hardware confiável
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
Precisávamos evoluir…
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Ø
Dividir o grande número de clientes em vários servidores
Ter um grande espaço em disco (redundante) para o banco de dados
de informações
Dividir o banco de dados em função dos servidores
Hardware confiável
Instalação do banco de dados de informações num cluster AD
Utilizar ferramentas de adminstração gráficas (GUI)
Homogeneidade das midias de armazenamento (disco)
O desempenho era algo para se comecar a pensar
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
Precisávamos evoluir…
Ø
Ø
Ø
Ø
Ø
Utilização de storages ISCSI
Utilização de storage FC
Busca de alto desempenho utilizando LVM
Busca de alto desempenho utilizando rede de alta velocidade (Gigabit)
Busca de alto desempenho realizando tunning do sistema operacional
e do banco de dados de informações.
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
A conversa começou assim…
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
1 elefante incomoda muita gente… 2 elefantes
incomodam… incomodam muito mais… 3 elefantes…
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
Pinguim fala XFS!
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
Mas de onde vem a alta disponibilidade?
Ø
Confiabilidade de hardware e software nos servidores.
Ø
Para os profissionais de TI, sistemas de computação são considerados confiáveis quando são previsíveis,
exigem um mínimo de manutenção e funcionam sem interrupções para que os usuários possam utilizar os
recursos de que precisam oportunamente.
Ø
Nessa solução são utilizados
Ø
Ø
Ø
Ø
Ø
servidores Compaq DS-20 nos servidores principais que utilizam a versão estável do software baculadirector v. 2.4.4 e
servidores Itautec MX-200 com 300GB discos internos SAS em raid 1 nos servidores de banco de dados
com Postgresql 8.3
E servidores Itautec LX-200 nos dispositivos de armazenamento.
Sistema operacional Linux, distribuição Debian 5. (LVM2)
Confiabilidade dos dispositivos de armazenamento
Ø
STORAGES
Ø
Ø
iSCSI por caminhos diferentes na rede de computadores do datacenter
Fibre channel (FC), por caminhos diferentes na SAN do datacenter.
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
O que falta?
Ø
Um aplicativo que faca a configuração dos servidores de uma forma
mais “amigável”
Ø
Um Aplicativo que seja capaz de detectar a queda de um servidor e
redistribua os clientes entre os outros servidores centrais de forma
automatizada (ou não).
Ø
Virtualizar todos os servidores para que em caso de desastre possam
ser facilmente recolocados em um site de contingência da forma mais
rápida possível.
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009
DÚVIDAS?
Muito Obrigado!
[email protected]
11 3091-6418
Allan Rodrigo de Lima da Silva - CCE/USP - VIII GeINFO – Setembro de 2009