IDC - USP
Transcrição
IDC - USP
Datacenter USP Prof. Dr. Jaime Simão Sichman CloudUSP • Onde rodará o CloudUSP? • • • Desmaterialização de máquinas (Prof. Zuffo) Fábrica de Servidores (Prof. Natal) Conectividade (Prof. Edson) • Onde ficarão hospedadas estas máquinas? • IDCs da USP • Como se encontram hoje e qual o futuro dos IDCs da USP? Agenda 1. Introdução • • • • Definição de Internet Data Center (IDC) Classificação: Norma ANSI/EIA/TIA 942 Manutenção de um IDC Novas Tendências • Green IDC , SDN/SDDC, Novos Modelos 2. IDCs da USP – Situação Geral • • • • CCE CIRP CISC CIAGRI 3. Considerações finais Agenda 1. Introdução • • • • Definição de Internet Data Center (IDC) Classificação: Norma ANSI/EIA/TIA 942 Manutenção de um IDC Novas Tendências • Green IDC , SDN/SDDC, Novos Modelos 2. IDCs da USP – Situação Geral • • • • CCE CIRP CISC CIAGRI 3. Considerações finais Internet Data Center Definição: Ambiente de alta capacidade, disponibilidade e segurança para hospedagem de equipamentos e sistemas com acesso à Internet. Exemplos: roteadores, switches, servidores e seus sistemas, storage... Os principais componentes da infra-estrutura básica de um DATACENTER são : • • • • • • Espaço Físico Energia Energia de Standby Cabeamento Refrigeração Segurança Física e Lógica (restrições de acesso físico e lógico) Agenda 1. Introdução • • • • Definição de Internet Data Center (IDC) Classificação: Norma ANSI/EIA/TIA 942 Manutenção de um IDC Novas Tendências • Green IDC , SDN/SDDC, Novos Modelos 2. IDCs da USP – Situação Geral • • • • CCE CIRP CISC CIAGRI 3. Considerações finais Norma ANSI/EIA/TIA 942 • Define um padrão de classificação para aspectos básicos como: – Layout e espaço físico – Infraestrutura de cabeamento – Classificação por níveis de disponibilidade – Condições ambientais Norma ANSI/EIA/TIA 942 • Define um padrão de classificação para aspectos básicos como: – Layout e espaço físico – Infraestrutura de cabeamento – Classificação por níveis de disponibilidade – Condições ambientais Norma ANSI/EIA/TIA 942 Topologia – Tier 1 Sala de Suporte e Centro de Operações Sala de Telecomunicações Horizontal Distribution Area (HDA) Zone Distribution Area (ZDA) Equipment Distribution Area (EDA) Entrace Room (ER) Main Distribution Area (MDA) Cabeamento Horizontal Cabeamento Backbone HDA HDA EDA EDA Sala dos computadores Norma ANSI/EIA/TIA 942 A. B. C. D. E. F. G. H. I. J. MDA; HDA; Sala de estoque; Sala de eletricidade /mecânica com acesso para serviços públicos; Sala de telecomuni cações; Sala dos técnicos; Sala de entrada, Sala de computado res Sala de computado res; ZDA. Exemplo de implementação Norma ANSI/EIA/TIA 942 Topologia do CCE Provedor (es) de Acesso Sala de Suporte e Centro de Operações Main Distribution Area (MDA) + HDA Telecom Cabeamento Horizontal Cabeamento Backbone Zone Distribution Area (ZDA) Equipment Distribution Area (EDA) EDA Sala dos computadores EDA Norma ANSI/EIA/TIA 942 • Define um padrão de classificação para aspectos básicos como: – Layout e espaço físico – Infraestrutura de cabeamento – Classificação por níveis de disponibilidade – Condições ambientais Norma ANSI/EIA/TIA 942 • Quatro níveis de disponibilidade (tiers), considerando: – Arquitetura, – Telecomunicações, – Aspectos Elétricos, – Mecânicos – Operacionais Norma ANSI/EIA/TIA 942 4 níveis (Tiers) para IDCs • Tier 1: IDC Básico • Tier 2: IDC com componentes redundantes • Tier 3: IDC com ramos redundantes, permitindo manutenção sem paradas (N+1) • Tier 4: IDC Tolerante a Falhas, com ramos redundantes e simutaneamente ativos 2(N+1) TIER 4 TIER 3 TIER 2 TIER 1 RECOMENDAÇÕES Arquitetura Mecânica Elétrica Telecomunicações Norma ANSI/EIA/TIA 942 • Tier 1 – Básico – Nível 1 sem qualquer redundância em seus sistemas (cabeamento, ar-condicionado, no-break, gerador.). – A infra-estrutura de comunicações é distribuída a partir da sala de entrada para as áreas de distribuição principal e horizontal por um único encaminhamento. Pode haver redundância na topologia da rede mas não existe redundância física. – A documentação segue norma ANSI/TIA/EIA-606-A e anexo B da TIA942. – Pontos de falha: • Interrupção de acesso do provedor, falhas nos equipamentos, cabeamento de backbone ou horizontal danificados, etc. – Downtime: 28.8 h/ano (equivale a 99,671%) Norma ANSI/EIA/TIA 942- Tier 1 Norma ANSI/EIA/TIA 942 • Tier 2 – Possui redundância de componentes, porém um único encaminhamento – Redundância: • Equipamentos de telecomunicações do IDC e da Operadora • Dispositivos LAN/SAN • Cabeamento do backbone principal LAN e SAN • Módulo de nobreak para N+1 – Duas caixas de acesso de telecomunicações e dois caminhos de entrada até o ER – Gerador elétrico para suprir toda a carga – Sistemas de ar condicionado projetados para operação contínua 24x7 e redundância N + 1 – Pontos de falha: • ar-condicionado ou energia elétrica • Vulnerável a erros humanos e operacionais – Downtime: 22 h/ano (equivale a 99,749%) Norma ANSI/EIA/TIA 942- Tier 2 Norma ANSI/EIA/TIA 942 • Tier 3 – Com redundância de componentes e encaminhamentos, mas um único encaminhamento ativo. – Duas operadoras de telecomunicações com cabos distintos – Duas salas de entrada (ER) com no mínimo 20m de separação • Estas salas não podem compartilhar equipamentos de telecomunicações e devem estar em zonas de proteção contra incêndios, sistemas de energia e ar condicionado distintos – Caminhos redundantes entre as salas de entrada (ER), as salas MDA e as salas HDA • Nestas conexões deve-se ter fibras ou pares de fios redundantes – Sistema de redundância para os elementos ativos considerados críticos como o storage – Pelo menos uma Redundância elétrica N + 1 – Pontos de falha: qualquer catástrofe no MDA ou HDA – Downtime: 1.6 h/ano (equivale a 99,982%) Norma ANSI/EIA/TIA 942- Tier 3 • Norma ANSI/EIA/TIA 942 Tier 4 – Possui um gral elevado de tolerância a falhas devido as redundâncias de componentes e no mínimo dois encaminhamentos ativos – Todo o cabeamento redundante, além de protegidos por caminhos fechados – Os dispositivos ativos redundantes e com alimentação de energia redundante – Comutação automática para os dispositivos de backup – MDA secundária recomendável, em zona de proteção contra incêndio, devendo ser separadas e alimentadas por caminho separado – Não é necessário um caminho duplo até o EDA – Disponibilidade elétrica 2(N+1) – O prédio deve ter pelo menos duas alimentações de energia de empresas públicas, a partir de diferentes subestações – Sistema HVAC deve incluir múltiplas unidades de ar condicionado com capacidade de resfriamento combinada para manter a temperatura e a umidade relativa de áreas críticas nas condições projetadas – Pontos de falha: se o MDA falhar e não houver MDA secundária. Se a HDA falhar e não houver HDA secundária – Downtime: 0.4 h/ano (equivale a 99,995%) Norma ANSI/EIA/TIA 942- Tier 4 Norma ANSI/EIA/TIA 942 TopologiaTiers Norma ANSI/EIA/TIA 942 - resumo Disponibilidade do Site Downtime (h/ano) Centro de operações Tier 1 99,671 28,8 Não é necessário Redundância (Power, N cooling, etc.) Sistema de extinção Não é de incêndio por gás necessário Caminhos de Não é fornecimento de necessário energia e dados redundantes Custo médio relativo 100% ao Tier1 Tier 2 99,749 Tier 3 99,982 Tier 4 99,995 22 Não é necessário N+1 1,6 Exigido 0,4 Exigido N+1 2(N+1) Não é necessário Não é necessário FM200 ou Inergen Exigido FM200 ou Inergen Exigido 120% 185% 220% Agenda 1. Introdução • • • • Definição de Internet Data Center (IDC) Classificação: Norma ANSI/EIA/TIA 942 Manutenção de um IDC Novas Tendências • Green IDC , SDN/SDDC, Novos Modelos 2. IDCs da USP – Situação Geral • • • • CCE CIRP CISC CIAGRI 3. Considerações finais Manutenção de um IDC • Envolve o gerenciamento de: – – – – – – – – – – Capacidade Energia e refrigeração Controles de umidade e temperatura Sistemas de prevenção contra incêndios Segurança Física e Lógica Espaço para os Racks Posicionamento dos equipamentos Cabeamento Piso Elevado Monitoração e Operação 24x7x365 Manutenção de um IDC • Energia e refrigeração – O provimento de energia e refrigeração deve estar de acordo com as premissas adotadas quando da formulação do projeto – A carga de TI e a carga dos equipamentos que dão suporte à refrigeração e o seu crescimento futuro devem ser consideradas no correto dimensionamento dos componentes chaves do IDC Manutenção de um IDC • Temperatura e Umidade • Devem ser monitoradas e controladas por meio de sistema de climatização precisos e redundantes Manutenção de um IDC • Segurança Física • O acesso de pessoal no IDC deve ser controlado • A quantidade de pessoas que podem ter acesso ao IDC deve ser minimizada • Deve ser pensada em termos de depth of Security, ou seja em diferentes níveis partindo dos níveis mais leves para os mais fortes • Segurança Lógica • Proteção dos dados e tratamento dos incidentes relacionados à segurança da informação Manutenção de um IDC • Gerenciamento e monitoração • O gerenciamento e monitoração de todo o ambiente devem ser considerados de forma contínua Agenda 1. Introdução • • • • Definição de Internet Data Center (IDC) Classificação: Norma ANSI/EIA/TIA 942 Manutenção de um IDC Novas Tendências • Green IDC , SDN/SDDC, Novos Modelos 2. IDCs da USP – Situação Geral • • • • CCE CIRP CISC CIAGRI 3. Considerações finais Tendências • Green IDC – Um IDC onde Arquitetura, Telecomunicações, Aspectos Elétricos e Mecânicos são projetados para a máxima eficiência energética e o mínimo impacto ambiental. – Envolve tecnologias e estratégias avançadas. Green Energy Green Strategies Green Technology Green IDC Tendências: Green IDC • Algumas Pesquisas: – Stanford: Consumo de energia dos IDCs representava 2% de todo o consumo de energia nos EUA em 2010. – Fonte: Koomey, Jonathan G. Growth in DataCenter Eletricity use 2005-2010, Stanford University. – Uptime Institute: Custos de energia representam 44% do TCO de um IDC – Fonte: http://uptimeinstitute.com/ – Dell: De 100% energia injetada em um IDC: – apenas 41% é utilizado por TI – 28% consumida pelos equipamentos que transformam e adequam a energia – 31% pelos equipamentos de suporte (e.g. refrigeração) – Fonte: Data Center Efficiency in the Scalable Enterprise, 2007, Dell. Hype Cycle for Data Center Power and Cooling Technologies 2012 Hype Cycle for Sustainability and Green IT 2012 Tendências: Green IDC Tendências: Green IDC Cálculo do PUE para o IDC CCE http://www.42u.com/measurement/pue-dcie.htm Agenda 1. Introdução • • • • Definição de Internet Data Center (IDC) Classificação: Norma ANSI/EIA/TIA 942 Manutenção de um IDC Novas Tendências • Green IDC , SDN/SDDC, Novos Modelos 2. IDCs da USP – Situação Geral • • • • CCE CIRP CISC CIAGRI 3. Considerações finais Tendências: SDN/SDDC • Software defined networking (SDN) is an emerging architecture for computer networking. SDN separates the control plane from the data plane in network switches and routers. Under SDN, the control plane is implemented in software in servers separate from the network equipment and the data plane is implemented in commodity network equipment. OpenFlow is a leading SDN architecture. • Thus, SDN allows for: – Quick experimenting and optimization of switching/routing policies. – External access to the innards of switches and routers that formerly were closed and proprietary. Tendências: SDN/SDDC • VMware and Microsoft provide solutions for software-defined datacenters where all resources – compute, storage, availability, networking and security – are virtualized and automated. VMware calls the technology a Software-defined Datacenter (SDDC), while Microsoft speaks of Softwaredefined Networking (SDN). Computing, storage and availability resources have been automated for many years, but companies are working on virtualizing and automating networking and its associated policies and security. Two such solutions are VMware vCloud Suite and Microsoft Windows Server 2012 and System Center 2012 SP1, Virtual Machine Manager. InfoQ, September 2012 Agenda 1. Introdução • • • • Definição de Internet Data Center (IDC) Classificação: Norma ANSI/EIA/TIA 942 Manutenção de um IDC Novas Tendências • Green IDC , SDN/SDDC, Novos Modelos 2. IDCs da USP – Situação Geral • • • • CCE CIRP CISC CIAGRI 3. Considerações finais Tendências: Modelos de IDC • Construção ou Terceirização? • Diferentes modelos – IDC tradicional – IDC modular – IDC em containers • As soluções baseadas em containers podem ser eficientes e rapidamente instaladas, mas com ressalvas. As soluções baseadas em módulos pré-fabricados serão uma tendência dominante nos próximos 5 anos. Construção ou Terceirização ? • IDC próprio – Proteção aos dados – Política de acesso – Especificações flexíveis • IDC terceirizado – Capacidade “ilimitada” – Gestão e atualização externa – Preço competitivo (não para altas demandas) Tendências: Modelos de Data Centers • Data Center tradicional – Construção tradicional em forma de sala ou edifício – Ainda é a forma mais comum Data Centers – É possível criar Data Centers com PUE abaixo de 1,3 – Necessidade alta de capital inicial – Custo razoável a longo prazo – Impacto ambiental alto Datacenter tradicional Supercompe Data Center Tendências: Modelos de Data Centers • Data Center modular – Formado por módulos pré-fabricados – Os módulos de expansão são fabricados conforme a demanda – Modelo semelhante ao IDC de containers, possui dimensões bem maiores (de 46 m2 a 460 m2) – Possui flexibilidade no projeto físico, na rede e equipamentos de TI – Crescimento controlado Tendências: Modelos de Data Centers • Data Center modular – Pode ser personalizado nos aspectos de PUE, densidade de processamento, tipo de refrigeração e sistemas de gestão da infraestrutura – Os clientes possuem liberdade no projeto de cabeamento e na instalação dos equipamentos de TI – Não exige um capital inicial muito – A longo prazo, mal planejado, pode possuir um custo de construção maior do que um Data Center tradicional Datacenter Modular (HP Flexible Data Center) Tendências: Modelos de Data Centers • Data Center em containers – Formado por containers especialmente adaptados para acomodar equipamentos de TI. – Baseado em padrões ISO, fácil de ser transportado, com dimensões entre 6 a 12 metros – Projetado de acordo com o padrão TIA-942 Tier 3 – Os containers podem ser instalados fora das empresas – Necessitam conexões de água limpa, preferencialmente fria, energia confiável e rede – Dependendo das leis de zoneamento, os containers podem ser classificados como edifícios e, consequentemente, necessitarão das mesmas aprovações exigidas de um edifício real Tendências: Modelos de Data Centers • Data Center em containers – Os containers são oferecidos totalmente preenchidos por equipamentos homogêneos permitindo muito poder de processamento em pouco espaço físico – O cliente não tem muito controle sobre as proporções relativas ao poder de processamento, armazenamento e capacidade de rede – A densidade de equipamentos dificulta acessos para manutenção física Tendências: Modelos de Data Centers • Data Center em containers – O uso em aplicações que demandam heterogeneidade de equipamentos é bem restrito – Atraentes para aplicações de HPC e em situações de necessidade rápida de expansão – Muito utilizados para recuperação de desastres, ou como Data Center secundário (site backup) – Focado em altos níveis de eficiência energética, normalmente com PUE abaixo de 1,3 Datacenter em Modular Container Exemplo: 4 x ICE Cube® Air R80’s – 320 Racks @ 24KW Each = 8.8MW Tendências: Modelos • Shipping container-sized modules Tendências: Modelos • Shipping container-sized modules Tendências: Modelos • Portable Modular Data Center - IBM Tendências: Modelos Agenda 1. Introdução • • • • Definição de Internet Data Center (IDC) Classificação: Norma ANSI/EIA/TIA 942 Manutenção de um IDC Novas Tendências • Green IDC , SDN/SDDC, Novos Modelos 2. IDCs da USP – Situação Geral • • • • CCE – Alberto Camilli CIRP CISC CIAGRI 3. Considerações finais Linha do tempo Data Center do CCE Início da operação com “main frames” 1961 Primeira grande reforma 1991 Troca do AC Troca do Piso Troca do Gerador Troca do cabeamento Troca da BT Oferta de serviços IDC à comunidade USP 2004 Instalação super computador Mamute 2006 Modernização da USPnet Reforma da operação Sistema anti-incêndio Início da segunda grande reforma Início da operação “em nuvem” 2009 2012 Expansão de capacidade com tierização: - Expansão entrada (2010) - BT (2010) -Troca de AC (2011) - Troca de Gerador (2010 - ) - Troca de ativos de rede (2010 - ) -Troca de encaminhamentos cabos Conclusão da segunda grande reforma ... 2013 Atual IDC para contingência ? - Operação com contingência (Terremark) Novo IDC ? No começo era o caos ... Infra de elétrica até 1991 • Paradas de sistema previamente anunciadas por “mau tempo” • Paradas de sistema decorrentes de falta de energia • Paradas por outras razões ... • Operação não contínua em finais de semana Tier 0 Primeira grande reforma 1991 (lado de dentro, antes da reforma) Primeira grande reforma 1991 (lado de fora, antes) Primeira grande reforma 1991 (durante e depois) 1991-2005 220 KVA Tier 1 Sala de servidores 2003 68 Sala de servidores 2005 01/09/2005 CCE-Universidade de São Paulo Operação 2005 01/09/2005 Gargalos apareceram após entrada da máquina Mamute (a partir de 2006) AC: 6 máquinas de 15 TR tipo self (insuficiente !) Elétrica: 200 KVA Tier 1-2 == 300 KVA Tier 1 Sala de servidores em 2009 e 2010 72 Aumento de capacidade do IDC Remoção de gargalos + “Tierização” (FASE I) Mudança no sistema de ar-condicionado (antes e depois) Chiller sobre telhado do CCE 2012- adaptação para infra do CloudUSP Gargalos: -Perda de redundância no AC (Tier 1) -Limite na carga instalada: 170 KVA Tier 1 + 300 KVA Tier 1-2 CloudUSP (contingência) Sala de servidores 2012 (I) Sala de servidores 2012 (II) 2013 Remoção de gargalos + “Tierização” (FASE Final) Situação desejada: • AC com redundância mínima N+1 (Tier 2) para 200 TR • Elétrica 170 KVA Tier 1 + 500 KVA Tier 2 Outros itens necessitando intervenções (2013) Reforma da rede de dados: •Troca do encaminhamento dos dados (cabeamento horizontal) •Troca dos ativos de rede (topo de rack) • Rearranjo dos racks Ex: rearranjo dos racks com reencaminhamento cabeamento aéreo Layout atual Layout possível Agenda 1. Introdução • • • • Definição de Internet Data Center (IDC) Classificação: Norma ANSI/EIA/TIA 942 Manutenção de um IDC Novas Tendências • Green IDC , SDN/SDDC, Novos Modelos 2. IDCs da USP – Situação Geral • • • • CCE CIRP – Oswaldo Baffa CISC CIAGRI 3. Considerações finais Campus Ribeirão Preto Centro de Informática de Ribeirão Preto Centro de Informática de Ribeirão Preto Campus Ribeirão - USPnet USPnet em Ribeirão Preto • A USPnet conta com uma malha óptica de 140 km e 40 km fora dos limites do Campus, interligando aproximadamente 130 prédios. • No anel 0 temos um roteador da marca Juniper, modelo Mi10 , que interliga o Campus RP ao Campus SP, com um LP contratada com a empresa Telefônica de 400 Mbps. • No 1º. anel contamos com 03 três equipamentos da marca Foundry modelo NETIRON MLX-4, interligados e instalados em locais estratégicos do Campus: CIRP, FMRP ANEXO A e Prédio Telefonia; • A triangulação e a redundância dos três equipamentos do 1º. anel é feita em 10 Gbps , e as ramificações dos três equipamentos Foundry /NETIRON MLX-4 do 1º. anel para Unidades é feita por vários links à 1 Gbps, no mínimo de 1 por Unidade. Localização CIRP – IDC do CIRP – Bloco A Localização do IDC- CIRP – Bloco A dentro do Prédio do CIRP Estrutura – IDC CIRP -Bloco A • Localizada no bloco A do CIRP; • Possuí uma área de 48 metros quadrados; • Possuí piso falso, um condicionador de ar da marca Springer, modelo Wall Monted, 60.000 BTU´s, e dois condicionadores de ar da marca Springer de 30.000 BTU´s; • Gerador da marca Cummins, modelo GT40500XN72, de 116 Kva. • A sala contém, dois quadros de energia elétrica, um para abastecimento dos 17 racks e um para abastecimento do SDH da Telefônica Estrutura - IDC – CIRP- Bloco A Quadros elétricos do IDC Quadro elétrico do racks. Quadro elétrico do SDH Disposição dos racks no IDC – CIRP – Bloco A Localização do IDCs- CIRP – dentro do Prédio da Telefonia Estrutura – IDCs CIRP – Prédio Telefonia • As salas possuem uma área de aproximadamente 32 m²; • 02 condicionadores de ar de 36.000 BTUS; • Piso falso, parte elétrica e de rede foram totalmente refeitas; • Gerador da marca STEMAC de 56kva; • No´ breaks por racks. Disposição dos racks no IDCs CIRP – Prédio telefonia Estrutura - IDC s CIRP – Prédio Telefonia Proposta de novo IDC. Proposta do novo IDC Estrutura do novo IDC • • • • Área total construída m2: 660m2; Área de facilities m2: 405m2; Área de TI (racks) m2: 171m2; Consumo de energia elétrica ( nr. de racks(56) X 10 kva + %): 600 Kw; • Refrigeração em TR: 40 TR • No break: 800 kVA – 15 minutos; • Capacidade do gerador e autonomia: 1200 kVA. Agenda 1. Introdução • • • • Definição de Internet Data Center (IDC) Classificação: Norma ANSI/EIA/TIA 942 Manutenção de um IDC Novas Tendências • Green IDC , SDN/SDDC, Novos Modelos 2. IDCs da USP – Situação Geral • • • • CCE CIRP CISC - Maria de Lourdes Rebucci Lirani CIAGRI 3. Considerações finais Centro de Informática de São Carlos: Sala de Hospedagem / IDC ESPAÇO FÍSICO AtualAtual • Área total: 90,83 m2 • Área útil: 76,10 m2 Futuro • Área total: 138,88 m2 • Área útil: 127,94 m2 • • Área total: 90,83 m2 Área útil: 76,10 m2 Futuro • Área total: 138,88 m2 Centro de Informática de São Carlos: Sala de Hospedagem / IDC Centro de Informática de São Carlos: Sala de Hospedagem / IDC Refrigeração Atual • • • CPD tradicional 04 aparelhos 360.000 BTUs Futuro (em andamento) • Corredor quente-frio • Atualização dos aparelhos de ar condicionado Tradicional x Alta precisão → análise de custos Centro de Informática de São Carlos: Sala de Hospedagem / IDC Centro de Informática de São Carlos: Sala de Hospedagem / IDC Energia elétrica Atual • • 02 no-breaks independentes: 36 KVA Grupo gerador STEMAC: 114/103 KVA Futuro (em andamento) • 02 conjuntos de no-breaks modulares Leistung: 200 KVA cada • Grupo gerador STEMAC para TI: 360/331 KVA • Grupo gerador STEMAC para refrigeração e iluminação: 114/103 KVA • 2 quadros de energia em paralelo Centro de Informática de São Carlos: Sala de Hospedagem / IDC Centro de Informática de São Carlos: Sala de Hospedagem / IDC Centro de Informática de São Carlos: Sala de Hospedagem / IDC Centro de Informática de São Carlos: Sala de Hospedagem / IDC Equipamentos Atual • • • • • 15 racks convencionais 26 servidores em rack 59 servidores HPC (CISC/ICMC) 05 storages (90 Terabytes) Telecom Centro de Informática de São Carlos: Sala de Hospedagem / IDC Equipamentos Futuro • • • • • • Racks para IDC (corredor quente-frio) 20 servidores (virtualização e nuvem) 146 servidores HPC (CISC/ICMC/IFSC/IQSC) Storages Telecom Nuvem USP Centro de Informática de São Carlos: Sala de Hospedagem / IDC Centro de Informática de São Carlos: Sala de Hospedagem / IDC Telecom Atual • • 03 equipamentos Telefonica/Vivo • 01 equipamento: link 155MB (desativado) • 01 equipamento: link 155MB (desativado) e 2MB intragov • 01 equipamento: 2 links 1GB/400MB 01 equipamento RedeCOMEP/RedeSanca Centro de Informática de São Carlos: Sala de Hospedagem / IDC Telecom Atual • 13 equipamentos: • 03 para backbone • 01 roteador CISC • 03 switches para servidores CISC (portas Giga) • 05 switches storages e HPC CISC (Giga) • 01 switch para hospedagem (Link 10GB e 24 portas Giga) Centro de Informática de São Carlos: Sala de Hospedagem / IDC Telecom Futuro • Nuvem USP Centro de Informática de São Carlos: Sala de Hospedagem / IDC Centro de Informática de São Carlos: Sala de Hospedagem / IDC Campus 2 •Área útil IDC: 200 m2 •Refrigeração: 480.000 BTUs •Energia elétrica: • No-breaks: 2 x 550 KVA • Grupo gerador: 2 x 1500 KVA •Equipamentos: • Servidores e HPC: 475 • Storages: ?? •Telecom: Nuvem USP Agenda 1. Introdução • • • • Definição de Internet Data Center (IDC) Classificação: Norma ANSI/EIA/TIA 942 Manutenção de um IDC Novas Tendências • Green IDC , SDN/SDDC, Novos Modelos 2. IDCs da USP – Situação Geral • • • • CCE CIRP CISC CIAGRI – Luiz C.E. Rodriguez 3. Considerações finais Algumas estatísticas do Campus da USP em Piracicaba Área do Campus "Luiz de Queiroz" (Piracicaba) Estações experimentais em Anhembi, Anhumas e Itatinga Docentes: (2 assistentes; 102 doutores; 76 associados; e 62 titulares) Técnicos e administrativos Alunos de graduação 914,5 hectares 2.910,9 hectares 242 538 > 2.000 Títulos outorgados 13.167 Ciências Biológicas 145 bacharéis e 124 licenciados Ciências dos Alimentos 251 Ciências Econômicas 224 Engenharia Agronômica 10.685 Engenharia Florestal 907 Gestão Ambiental 208 Licenciatura em Ciências Agrárias 204 Licenciatura em Economia Doméstica (desativado em 1991) 338 Bacharelado em Economia Doméstica (desativado em 1991) 81 Alunos de Pós-graduação > 1.430 4 PPGs conceito 7; 3 PPGs conceito 6; 9 PPGs conceito 5; 1 PPG conceito 4 e 1 PPG conceito 3 Títulos outorgados Mestrado Doutorado 5.136 2.433 Algumas estatísticas do Campus da USP em Piracicaba Infra estrutrura de redes 36.395 metros de cabos ópticos instalados: Fibra multimodo: 30.895 metros Fibra monomodo: 5.500 metros 171 prédios conectados à rede USPnet (4 unidades) Mais de 210 ativos de rede (switches) utilizados no backbone e em redes locais Pontos de acesso habilitados para a USPnet Sem Fio (acumulado) Ano Access points Gateways 2005 8 1 2006 12 1 2007 16 1 2008 22 1 2009 38 1 2010 76 1 2011 135 5 Algumas estatísticas do Campus da USP em Piracicaba exemplo Média diária de uso do link de rede: 60 Mbps (com picos de 125 Mbps) Equipamentos habilitados para acesso à USPNet: 6.500 Média diária de acessos: 1.500 exemplo (capacidade máxima do link 200 Mbps) 26/Set/2012 A tendência é aumentar a demanda com iniciativas como CPDigi e e-Aulas, por exemplo. Inauguração: Outubro/2012 SERVIÇO TÉCNICO DE INFORMÁTICA - SVINFOR-80 José Mário T Carlos Sanches S Fabio Rogero Marcelo Zacarias Viviane A. Fiuza Duarte Diretoria (Estraviz) T S Beatriz Bortoletto T Maria Valéria S T S Ricardo Ramiro Secretaria Geral (Gislaine) LEGENDA: Assessoria Gestão pela Qualidade Total (Ricardo Ramiro) Desenvolvimento Institucional (Bia) ASSESSORIA TÉCNICA (Diretoria Técnica) T Ana Claudia Assessoria ASSESSORIA ADMINISTRATIVA SEÇÃO DE SUPORTE E MANUTENÇÃO SEÇÃO DE TELECOMUNICAÇÕES SEÇÃO DE DESENVOLVIMENTO SOFTWARE MATRIZ DE ATRIBUIÇÕES T - Titular S S - Substituto Serviço Técnico de Informática (Ana) Seção de Telecomunicações e Redes (Fábio) Seção Técnica Administrativa (Bia) Seção de Manutenção e Suporte (Marcelo Z.) Contabilidade e Contratos (terceirizados) (Bêne) Pessoal e Transporte (Márcia, Samira, Lima) Compras, Patrimônio e Tesouraria (Valéria, Márcia, Samira) Expediente, Manutenção e Almoxarifado (Débora) Seção de Desenvolvimento de Sistemas (Zé Mário) Seções Técnicas responsáveis pela gestão do IDC - CIAGRI Situação do atual IDC do CIAGRI no campus da USP em Piracicaba • Opera em prédio adaptado • Área ocupada: 37,5 m2 (6,10 x 5,18) • Instalações elétricas e sistema de refrigeração não atendem satisfatoriamente as demandas requeridas pelos novos equipamentos (blade servers e storage) • Carga destinada a TI limitada a 10kVA • Grupo gerador de 110 kVA • Sistema de ar condicionado sem redundância • Principais servidores corporativos virtualizados • Distribuição de equipamentos em 4 racks de 44 U • Ocupação dos racks em torno de 50% • Configuração atual sem classificação Tier Melhorias em andamento no atual IDC do CIAGRI • Execução do projeto de reforma no sistema elétrico • Aumento da capacidade de carga dos no-breaks (dupla conversão) para 40kVA • Aquisição de sistema de ar condicionado split backup • Virtualização de todos os servidores Melhorias de médio e longo prazos Novas instalações Modernização da infraestrutura em 5 lotes de prédios em 2012 Projeto de mobilidade para usuários da internet sem fio Melhorias de médio e longo prazos novas instalações do CIAGRI - 2014 Melhorias de médio e longo prazos novas instalações do CIAGRI - 2014 Novas Instalações do CIAGRI IDC em Piracicaba será instalado em área anexa ao Novo Prédio do CIAGRI Definição do local para o IDC levou em conta: Independência de acesso e anexo ao prédio novo Justificativas Segurança: independência permite medidas específicas de segurança, racionalidade e foco no projeto, e rápido isolamento em caso de sinistros. Racionalidade do Projeto: possibilidade de usar solução integrada (refrigeração em menor espaço concentrado onde estiverem os servers e storage); maior simplicidade do projeto de abastecimento de energia e água, concentração dos esquemas de conexão e cabeamento, modularidade visando eventuais expansões. Tempo: agilidade e possibilidade de oferecer solução imediata para as graves deficiências observadas no espaço ocupado pelo atual “IDC” do CIAGRI – modernização em menor prazo de tempo, pois não dependeremos mais da entrega do prédio novo. Agenda 1. Introdução • • • • Definição de Internet Data Center (IDC) Classificação: Norma ANSI/EIA/TIA 942 Manutenção de um IDC Novas Tendências • Green IDC , SDN/SDDC, Novos Modelos 2. IDCs da USP – Situação Geral • • • • CCE CIRP CISC CIAGRI 3. Considerações finais IDCs – Situação Atual SALA INFRAESTRUTURA Rackables Storages Network GERADOR HPCs NOBREAK Blades AR CONDICIONADO CONSUMO CENTRO TOTAL DE ÁREA ENERGIA Tier (m2) ELÉTRICA N° de Capac. (BTU) (Kw) máquinas DEMANDA Qtde total de equiptos CIRP 1 68 30 1 3 132.000 18 5 120 20 0 0 36 8 31 75 CIRP 2 50 5 1 2 72.000 3 5 54 8 0 0 3 4 4 11 CIAGRI 79 26 1 4 132.000 14 15 88 5 1 0 23 1 44 69 CISC 76 92 1 4 360.000 72 10 288 25 0 50 26 6 13 99 CCE 1200 450 1,5 2 2.400.000 500 10 1.500 24 15 3 100 5 20 1193 Capac. (Kw) Aut. (min.) Capac. (Kw) Aut. (Horas) IDCs – Situação Futura SALA DEMANDA HPCS RACKABLES STORAGES OUTROS CONSUMO CONSUMO TOTAL DE CONSUMO TOTAL DE AR COND. ENERGIA DE ENERGIA AUTO. GERADO AUT. Tier ENERGIA CAPACIDADE NOBREAK ELÉTRICA AR ELÉTRICA (MIN.) R (KVA) (HS) ELÉTRICA (TR) CONDICIONA TOTAL (Kw) ( Kw) DO (Kw) BLADES CENTRO INFRAESTRURA QTDE TOTAL DE EQUIPOS CIRP 660 2 600 420 1020 40 1120 15 1200 8 0 1 39 12 35 87 CIAGRI 283 2 510 357 867 17 175 120 900 5 16 76 1,5 180 126 306 30 72 10 288 25 0 680 2,5 622 435,4 1057,4 40 550 2500 2 6000 4000 10000 2400 6000 ÁREA TOTAL (m2) 4 20 50 26 6 1 83 32 432 10 1 - 475 CISC CCE 2 1563 10 10000 24 8000 Ações a serem tomadas • HW não é problema (projeto Cloud) • SW não é problema (virtualização, gerenciamento) • Capacidade dos IDCs deve ser melhorada – Novo IDC na Capital – IDC de contingência em SP – IDCs no interior como nós da nuvem • Interconexão intercampi deve ser melhorada – Novo modelo de negócios • Planejamento e gestão integrada Conclusões • TI tipicamente opera em ciclos alternados de concentração-distribuição – Como estaremos daqui a 20 anos? • A cada novo ciclo, há demandas para reformas no suporte à infra de TI (Data Centers + Rede) – reformas e mudanças em Data Center envolvem processos críticos e potencialmente desastrosos. • Dilema permanente: reformar x construir x alugar – importante ter opções à mão para conseguir-se lidar com as manobras que são sempre necessárias Obrigado!