Estabelecimento de Planos de Consumo Energético
Transcrição
Estabelecimento de Planos de Consumo Energético
Estabelecimento de Planos de Consumo Energético de Queries sobre Data Warehouses Ricardo Jorge Fonseca Gonçalves PG22778 GreenSSCM / Universidade do Minho Universidade do Minho Departamento de Informática • • • • Visão Global; Construção de Planos; Cálculo do Custo; Seleção do Plano Óptimo; • Visualização de Planos • Notas Finais • Últimos desenvolvimentos GreenSSCM / Universidade do Minho • Problema • Processamento de Queries: Fevereiro 2014 Agenda 2 GreenSSCM / Universidade do Minho • Problemas ambientais e o crescente aumento do custo de eletricidade sensibilizaram os gestores de centros de dados para a componente energética. • Os Sistemas Gestão de Base de Dados (SGBD) representam os maiores clientes de recursos computacionais nos centros de dados. • Preocupações com energia levantam novas necessidades não abordadas até então. Fevereiro 2014 Problema 3 Processamento de Queries: GreenSSCM / Universidade do Minho • Três etapas compõem o processamento de uma querie. • O objetivo é obter a melhor estratégia na recuperação dos dados. • O optimizador desejável é aquele que constrói planos de baixo custo e a técnica de cálculo do custo é precisa. Fevereiro 2014 -Visão Global 4 Processamento de Queries: GreenSSCM / Universidade do Minho • O resultado de um querie advêm do acesso aos dados armazenados no sistema, segundo uma estrutura bem definida. • Recorrendo a regras de transformação e algumas heurísticas é possível converter a representação em álgebra relacional da querie noutras equivalentes. • A diferente combinação de ordens de acesso e operadores físicos permite a construção de diferentes planos de execução. • Tais transformações não constituem, necessariamente, melhorias na estratégia de acesso aos dados. Fevereiro 2014 -Construção de Planos 5 Processamento de Queries: GreenSSCM / Universidade do Minho • Diferentes SGBD recorrem a diferentes fórmulas na avaliação da performance dos planos construídos. • Todos os sistemas tem em consideração nas suas fórmulas de cálculo do custo o uso de recursos como disco e CPU. • O resultado, descreve o uso destes recursos tendo em conta o hardware onde o sistema está inserido. Fevereiro 2014 -Cálculo do Custo 6 Processamento de Queries: , type ∈ tup, idx, op, seq, rnd GreenSSCM / Universidade do Minho Exemplo: • As funções em PostgreSQL são divididas em várias parcelas que descrevem as operações básicas necessárias à execução da tarefa de um operador. Fevereiro 2014 -Cálculo do Custo • Sequencial Scan: • C = nSeq * fSeq + ntup* ftup 7 Processamento de Queries: • Estatísticas desatualizadas; • Parâmetros mal calibrados; GreenSSCM / Universidade do Minho • Última fase do processo de optimização. • Em geral, a escolha recai sobre o plano que apresenta menor custo calculado na fase anterior. • Razões que influenciam a escolha do plano óptimo: Fevereiro 2014 -Seleção do Plano Óptimo 8 GreenSSCM / Universidade do Minho • Os SGBD disponibilizam variados modos de visualização dos planos de execução estimados e utilizados. • É possível obter informação sobre o número de linhas, número de ciclos de CPU, número de acessos a disco que cada operador necessita na realização da sua tarefa. • Valores que são utilizados no cálculo do custo total a partir das formulas de cálculo do custo. Fevereiro 2014 Visualização de Planos 9 Fevereiro 2014 Exemplo: GreenSSCM / Universidade do Minho Visualização de Planos 10 GreenSSCM / Universidade do Minho • Conhecimento sobre métodos e funções de custo utilizadas na optimização de queries. • Conhecimento dos diferentes métodos e informação disponibilizada sobre os planos de execução. • Informação necessária para a especificação e validação do modelo de previsão de consumo energético de uma querie. Fevereiro 2014 Notas Finais 11 • Alteração do kernel do PostgreSQL para fornecer através do comando Explain informação relativa a estimativa de consumo de energia de cada operador que compõe um plano de execução. • Objetivo: • Construção de uma ferramenta de visualização da árvore de execução de uma querie, contendo informação do consumo energético de cada nodo da árvore. • Construção de um parser para analisar informação produzida pelo comando EXPLAIN (alterado anteriormente). GreenSSCM / Universidade do Minho • Pesquisa de software e hardware de medição de consumo energético em computadores: • Fase inicial da construção do caso de partida. Abril 2014 Últimos desenvolvimentos 12 Modelos e medições de energia GreenSSCM / Universidade do Minho Abril 2014 Universidade do Minho Departamento de Informática Ricardo Jorge Fonseca Gonçalves PG22778 13 • • • • PowerAPI; pTop e pTopW; PowerTop; JouleMeter; • Hardware de medição energética • WattsUP? Pro • Power Spy 2 GreenSSCM / Universidade do Minho • Ferramentas de medição energética em Computadores: Abril 2014 Modelos e medições de energia • Referências 14 Ferramentas de medição energética: • Procfs • Sigar • Atop • Formulas de cálculo do consumo energético: • CPU: • DVFS (Dynamic Voltage and Frequency Scaling) • P = c * f * v2 • Com base na frequência máxima e voltagem utilizada. GreenSSCM / Universidade do Minho • Software que disponibiliza uma estimativa1 da energia consumida por cada componente (CPU, Disco, Memória,Network) por processo ou conjunto de processos. • Não necessita de hardware externo, recorre apenas as especificações fornecidas pelos vendedores do hardware (TPD(Thermal Design Power), Disk-read/writepower, Memory-read/write-power) • Sensores compatíveis: Abril 2014 -PowerAPI (Linux (CPU, Disk, Mem) e Windows (CPU, Mem)) • Disco e memória • Simples. • 1 No teste de CPU obteve um erro de 0,5% entre os valores estimados e reais (valores médios e normalizados).(Noureddine et al, 2012) 15 Ferramentas de medição energética: • No caso de estudo do paper (Do et al,2009) apresentou um erro médio de menos de 2 Watts entre os valores estimados e os medidos pelo WattsUp. • Menos flexível que PowerAPI. GreenSSCM / Universidade do Minho • Disponivel para Linux (pTop) e Windowns (pTopW) • Fornece o mesmo nivel de informação do PowerAPI. • Recorre a sensores do sistema (proc, etc) para obter informação sobre a utilização de recursos. • Não possibilita a escolha do modelo que estima o consumo energético. Abril 2014 -pTop e pTopW 16 Ferramentas de medição energética: GreenSSCM / Universidade do Minho • Disponivel para Linux identico ao comando Top do Linux • Apresenta os componentes do sistema que apresentam um maior consumo de energia. • Autocalibra-se em computadores alimentados por bateria. • Não disponibiliza uma API para desenvolvedores. Abril 2014 -PowerTop 17 Ferramentas de medição energética: GreenSSCM / Universidade do Minho • Disponivel para Windows • Apresenta o consumo total de energia de cada componente (Base, CPU, Disk, Monitor). • Permite apenas isolar o consumo energético do CPU ao nível da aplicação. • Autocalibra-se em computadores alimentados por bateria. Necessita de hardware externo ou informação sobre consumos energéticos dos diferentes componentes noutros computadores. • Não disponibiliza uma API para desenvolvedores. Abril 2014 -JouleMeter 18 GreenSSCM / Universidade do Minho • Watts UP? Pro - https://www.wattsupmeters.com/secure/products.php?pn=0 • Internal Memory for approximately 1700 records (32,000 if only watts recorded) • Parameters logged are user selectable 1.5% accuracy (see specification for details) • Watts accurate to 2-3 tenths, even for 1 watt loads (standby loads) • Logging and Memory Full indicators on LCD • Automatic and user selectable interval setting • USB interface and logging capability • 18 values displayed • World-wide compatible (100 - 250v, 50/60 Hz requires UO version and depends on cord set). • Software included (purchase as a separate item for no additional charge) • Real-time logging capable (additional software required) Abril 2014 Hardware de medição energética 19 • • • • • • • • 90 to 240V AC, 1mA to 6A RMS, 10mW to 1300W, 45 to 65Hz Integration and loggging from 1 minute to 20ms ! One month of storage with a resolution of 20ms, up to 20 years (5s) 1% precision, reliable measurement of very low powers (16 bits resolution) High speed acquisition (256 measurements per period up to 16,64Ksps) Factory or user calibration, possibility to restore the factory calibration Bluetooth link between the PowerSpy2 and your PC, no safety hazard Windows XP/Vista/Windows 7/Windows 8 Compatible GreenSSCM / Universidade do Minho • Power Spy 2 - http://www.alciom.com/en/products/powerspy2.html Abril 2014 Hardware de medição energética 20 Referências • Xu, Z., Tu, Y., Wang, X, 2010. Exploring Power-Performance Tradeoffs in Systems. In: IEEE 26th International Conference, 1-6 March 2010 • Noureddine A., Bourdon A., Rouvoy, R, Seinturier, 2012. A Preliminary Study of the Impact of Software Engineering on GreenIT. • Do T., Rawshdeh S., Shi W., 2009. pTop: A Process-level Power Profiling Tool. GreenSSCM / Universidade do Minho Abril 2014 Database 21 • pTop Linux - https://github.com/hch-im/ptop • pTopW - https://github.com/hch-im/ptopw • PowerTop - https://01.org/powertop • JouleMeter - http://research.microsoft.com/enus/projects/joulemeter/ GreenSSCM / Universidade do Minho • PowerAPI - https://github.com/abourdon/powerapi-akka • pTop - http://mist.cs.wayne.edu/ptop.html#Publications Abril 2014 Endereços 22 Planos de consumo energético de Queries sobre Data Warehouses GreenSSCM / Universidade do Minho Junho 2014 Universidade do Minho Departamento de Informática Ricardo Jorge Fonseca Gonçalves PG22778 23 • Conclusão GreenSSCM / Universidade do Minho • Modelo de consumo energético • Análise da utilidade do Modelo • Ferramenta de visualização de planos • Caso de estudo Junho 2014 Planos de consumo energético 24 SGBD Optimização Construção de Planos de Execução Cálculo do Custo Seleção do Plano Ótimo Cálculo do Consumo energético Estatísticas da Base de Dados GreenSSCM / Universidade do Minho • Inspirado no modelo de estimativa do tempo de execução. • Estimativa do consumo energético realizada em tempo de compilação Junho 2014 Modelo de Consumo energético Módulo de calibração de variáveis Medidor de energia Sistema 25 • Tira proveito de estatísticas já calculas (n˚ de operações básicas); • Calibra os fatores para traduzirem o consumo energético de cada operação básica; GreenSSCM / Universidade do Minho • Reutiliza as funções de custo utilizadas pelos SGBD na estimativa do tempo de execução; Junho 2014 Modelo de Consumo energético 26 GreenSSCM / Universidade do Minho • Os SGBD disponibilizam diferentes formas de visualização dos planos de execução que utilizam na obtenção de resposta a uma querie; • Estas disponibilizam informação sobre os operadores utilizados e o tempo de execução estimado de cada um. • Reformulando estas ferramentas foi possível construir e disponibilizar aos utilizadores o plano de consumo energético de queries. Junho 2014 Análise da utilidade do Modelo 27 Query A: SELECT c.name, COUNT(i.id) as Total FROM invoice i, client c , product p WHERE p.id=i.productid AND c.id=i.clientid AND p.description='Produto50' GROUP BY c.name ORDER BY Total DESC; Query B: SELECT name, COUNT(id) as Total FROM (SELECT i.id, c.name FROM invoice i, client c WHERE i.productid in (SELECT id FROM product WHERE description='Produto50') AND i.clientid = c.id) as T GROUP BY name ORDER BY Total DESC; GreenSSCM / Universidade do Minho • Exemplo: Junho 2014 Análise da utilidade do Modelo 28 Análise da utilidade do Modelo • Querie B: GreenSSCM / Universidade do Minho Junho 2014 • Querie A: 29 • Próximos passos: • Construir o algoritmo de calibração dos fatores de consumo energético; GreenSSCM / Universidade do Minho • Esta abordagem padece dos mesmos problemas dos modelos utilizados na estimativa do tempo de execução: • Estatísticas desatualizadas; • Fatores de consumo energético mal calibrados; • Permite de forma rápida apresentar ao utilizador uma estimativa do consumo energético da querie; Junho 2014 Conclusão 30 Calibração dos fatores de consumo energético GreenSSCM / Universidade do Minho Novembro 2014 Universidade do Minho Departamento de Informática Ricardo Jorge Fonseca Gonçalves PG22778 31 • Testes e validações • Conclusão Novembro 2014 • Métodos de calibração GreenSSCM / Universidade do Minho Calibração dos fatores de consumo energético 32 • Foram estudados dois métodos: • Método 1 – Sem recurso a hardware extra; • Método 2 – Com recurso a um medidor de consumo energético. GreenSSCM / Universidade do Minho • Calibrar as variáveis utilizadas pelos modelos e que traduzem o consumo energético de cada operação básica utilizada na construção da resposta a uma query. Novembro 2014 Métodos de calibração 33 • Ter conhecimento dos fatores de desempenho e da especificação de consumo energético dos componentes de hardware. Exemplo: • Operação de processamento de uma linha = 0,2 seg; • Consumo do CPU é 10 watts; • Consumo energético da operação de processamento de uma linha: • Energia = Potência x Tempo = 10 x 0,2 = 2 joules GreenSSCM / Universidade do Minho • Método 1: Novembro 2014 Métodos de calibração 34 • Necessário recorrer a hardware que permite uma leitura em tempo real do consumo de energia do computador. • Recorreu-se a ao medidor de consumo energético –WattsUp? Pro • Precisão de 1,5%; • Intervalo de medição ajustável (min. 1 seg); • Conjunto de queries simples que permitam cobrir todas as operações básicas; • Solver do Excel: GreenSSCM / Universidade do Minho • Método 2: Novembro 2014 Métodos de calibração 35 Novembro 2014 • Método 2: GreenSSCM / Universidade do Minho Métodos de calibração 36 GreenSSCM / Universidade do Minho • Operações básicas de leitura de dados Novembro 2014 Testes e validações 37 GreenSSCM / Universidade do Minho • Queries típicas de data warehousing Novembro 2014 Testes e validações 38 Estabelecimento de Planos de Consumo Energético de Queries sobre Data Warehouses Ricardo Jorge Fonseca Gonçalves PG22778 GreenSSCM / Universidade do Minho Universidade do Minho Departamento de Informática