Estabelecimento de Planos de Consumo Energético

Transcrição

Estabelecimento de Planos de
Consumo Energético de Queries
sobre Data Warehouses
Ricardo Jorge Fonseca Gonçalves
PG22778
GreenSSCM / Universidade do Minho
Universidade do Minho
Departamento de Informática
•
•
•
•
Visão Global;
Construção de Planos;
Cálculo do Custo;
Seleção do Plano Óptimo;
• Visualização de Planos
• Notas Finais
• Últimos desenvolvimentos
• Problema
• Processamento de Queries:
Fevereiro 2014
Agenda
2
• Problemas ambientais e o crescente aumento do
custo de eletricidade sensibilizaram os gestores
de centros de dados para a componente
energética.
• Os Sistemas Gestão de Base de Dados (SGBD)
representam os maiores clientes de recursos
computacionais nos centros de dados.
• Preocupações com energia levantam novas
necessidades não abordadas até então.
Fevereiro 2014
Problema
3
Processamento de Queries:
• Três etapas compõem o
processamento de uma
querie.
• O objetivo é obter a melhor
estratégia na recuperação dos
dados.
• O optimizador desejável é
aquele que constrói planos de
baixo custo e a técnica de
cálculo do custo é precisa.
Fevereiro 2014
-Visão Global
4
• O resultado de um querie advêm do acesso aos dados
armazenados no sistema, segundo uma estrutura bem
definida.
• Recorrendo a regras de transformação e algumas
heurísticas é possível converter a representação em
álgebra relacional da querie noutras equivalentes.
• A diferente combinação de ordens de acesso e
operadores físicos permite a construção de diferentes
planos de execução.
• Tais transformações não constituem, necessariamente,
melhorias na estratégia de acesso aos dados.
Fevereiro 2014
-Construção de Planos
5
• Diferentes SGBD recorrem a diferentes fórmulas
na avaliação da performance dos planos
construídos.
• Todos os sistemas tem em consideração nas suas
fórmulas de cálculo do custo o uso de recursos
como disco e CPU.
• O resultado, descreve o uso destes recursos
tendo em conta o hardware onde o sistema está
inserido.
Fevereiro 2014
-Cálculo do Custo
6
, type ∈ tup, idx, op, seq, rnd
Exemplo:
• As funções em PostgreSQL são divididas em
várias parcelas que descrevem as operações
básicas necessárias à execução da tarefa de um
operador.
Fevereiro 2014
-Cálculo do Custo
• Sequencial Scan:
• C = nSeq * fSeq + ntup* ftup
7
• Estatísticas desatualizadas;
• Parâmetros mal calibrados;
• Última fase do processo de optimização.
• Em geral, a escolha recai sobre o plano
que apresenta menor custo calculado na
fase anterior.
• Razões que influenciam a escolha do plano
óptimo:
Fevereiro 2014
-Seleção do Plano Óptimo
8
• Os SGBD disponibilizam variados modos de
visualização dos planos de execução estimados e
utilizados.
• É possível obter informação sobre o número de
linhas, número de ciclos de CPU, número de
acessos a disco que cada operador necessita na
realização da sua tarefa.
• Valores que são utilizados no cálculo do custo
total a partir das formulas de cálculo do custo.
Fevereiro 2014
Visualização de Planos
9
Fevereiro 2014
Exemplo:
Visualização de Planos
10
• Conhecimento sobre métodos e funções de
custo utilizadas na optimização de queries.
• Conhecimento dos diferentes métodos e
informação disponibilizada sobre os planos de
execução.
• Informação necessária para a especificação e
validação do modelo de previsão de consumo
energético de uma querie.
Fevereiro 2014
Notas Finais
11
• Alteração do kernel do PostgreSQL para fornecer através do comando
Explain informação relativa a estimativa de consumo de energia de cada
operador que compõe um plano de execução.
• Objetivo:
• Construção de uma ferramenta de visualização da árvore de
execução de uma querie, contendo informação do consumo
energético de cada nodo da árvore.
• Construção de um parser para analisar informação produzida pelo
comando EXPLAIN (alterado anteriormente).
• Pesquisa de software e hardware de medição de
consumo energético em computadores:
• Fase inicial da construção do caso de partida.
Abril 2014
Últimos desenvolvimentos
12
Modelos e medições de energia
Abril 2014
PG22778
13
•
•
•
•
PowerAPI;
pTop e pTopW;
PowerTop;
JouleMeter;
• Hardware de medição energética
• WattsUP? Pro
• Power Spy 2
• Ferramentas de medição energética em Computadores:
Abril 2014
Modelos e medições de energia
• Referências
14
Ferramentas de medição energética:
• Procfs
• Sigar
• Atop
• Formulas de cálculo do consumo energético:
• CPU:
• DVFS (Dynamic Voltage and Frequency Scaling)
•
P = c * f * v2
• Com base na frequência máxima e voltagem utilizada.
• Software que disponibiliza uma estimativa1 da energia consumida por cada
componente (CPU, Disco, Memória,Network) por processo ou conjunto de
processos.
• Não necessita de hardware externo, recorre apenas as especificações fornecidas
pelos vendedores do hardware (TPD(Thermal Design Power), Disk-read/writepower, Memory-read/write-power)
• Sensores compatíveis:
Abril 2014
-PowerAPI (Linux (CPU, Disk, Mem) e Windows (CPU, Mem))
• Disco e memória
• Simples.
•
1 No
teste de CPU obteve um erro de 0,5% entre os valores estimados e reais (valores médios e
normalizados).(Noureddine et al, 2012)
15
• No caso de estudo do paper (Do et al,2009) apresentou um
erro médio de menos de 2 Watts entre os valores estimados e
os medidos pelo WattsUp.
• Menos flexível que PowerAPI.
• Disponivel para Linux (pTop) e Windowns (pTopW)
• Fornece o mesmo nivel de informação do PowerAPI.
• Recorre a sensores do sistema (proc, etc) para obter
informação sobre a utilização de recursos.
• Não possibilita a escolha do modelo que estima o consumo
energético.
Abril 2014
-pTop e pTopW
16
• Disponivel para Linux identico ao comando Top
do Linux
• Apresenta os componentes do sistema que
apresentam um maior consumo de energia.
• Autocalibra-se em computadores alimentados
por bateria.
• Não disponibiliza uma API para desenvolvedores.
Abril 2014
-PowerTop
17
• Disponivel para Windows
• Apresenta o consumo total de energia de cada
componente (Base, CPU, Disk, Monitor).
• Permite apenas isolar o consumo energético do
CPU ao nível da aplicação.
• Autocalibra-se em computadores alimentados
por bateria. Necessita de hardware externo ou
informação sobre consumos energéticos dos
diferentes componentes noutros computadores.
• Não disponibiliza uma API para desenvolvedores.
Abril 2014
-JouleMeter
18
• Watts UP? Pro - https://www.wattsupmeters.com/secure/products.php?pn=0
• Internal Memory for approximately 1700 records (32,000 if only watts
recorded)
• Parameters logged are user selectable 1.5% accuracy (see specification for
details)
• Watts accurate to 2-3 tenths, even for 1 watt loads (standby loads)
• Logging and Memory Full indicators on LCD
• Automatic and user selectable interval setting
• USB interface and logging capability
• 18 values displayed
• World-wide compatible (100 - 250v, 50/60 Hz requires UO version and
depends on cord set).
• Software included (purchase as a separate item for no additional charge)
• Real-time logging capable (additional software required)
Abril 2014
Hardware de medição energética
19
•
•
•
•
•
•
•
•
90 to 240V AC, 1mA to 6A RMS, 10mW to 1300W, 45 to 65Hz
Integration and loggging from 1 minute to 20ms !
One month of storage with a resolution of 20ms, up to 20 years (5s)
1% precision, reliable measurement of very low powers (16 bits
resolution)
High speed acquisition (256 measurements per period up to 16,64Ksps)
Factory or user calibration, possibility to restore the factory calibration
Bluetooth link between the PowerSpy2 and your PC, no safety hazard
Windows XP/Vista/Windows 7/Windows 8 Compatible
• Power Spy 2 - http://www.alciom.com/en/products/powerspy2.html
Abril 2014
Hardware de medição energética
20
Referências
•
Xu, Z., Tu, Y., Wang, X, 2010. Exploring Power-Performance Tradeoffs in
Systems. In: IEEE 26th International Conference, 1-6 March 2010
•
Noureddine A., Bourdon A., Rouvoy, R, Seinturier, 2012. A Preliminary Study of the
Impact of Software Engineering on GreenIT.
•
Do T., Rawshdeh S., Shi W., 2009. pTop: A Process-level Power Profiling Tool.
Abril 2014
Database
21
• pTop Linux - https://github.com/hch-im/ptop
• pTopW - https://github.com/hch-im/ptopw
• PowerTop - https://01.org/powertop
• JouleMeter - http://research.microsoft.com/enus/projects/joulemeter/
• PowerAPI - https://github.com/abourdon/powerapi-akka
• pTop - http://mist.cs.wayne.edu/ptop.html#Publications
Abril 2014
Endereços
22
Planos de consumo energético de
Queries sobre Data Warehouses
Junho 2014
PG22778
23
• Conclusão
• Modelo de consumo energético
• Análise da utilidade do Modelo
• Ferramenta de visualização de planos
• Caso de estudo
Junho 2014
Planos de consumo energético
24
SGBD
Optimização
Construção de
Planos de
Execução
Cálculo do
Custo
Seleção do
Plano Ótimo
Cálculo do
Consumo
energético
Estatísticas da Base de
Dados
• Inspirado no
modelo de
estimativa do
tempo de execução.
• Estimativa do
consumo
energético realizada
em tempo de
compilação
Junho 2014
Modelo de Consumo energético
Módulo de calibração de
variáveis
Medidor de energia
Sistema
25
• Tira proveito de estatísticas já calculas (n˚ de
operações básicas);
• Calibra os fatores para traduzirem o consumo
energético de cada operação básica;
• Reutiliza as funções de custo utilizadas pelos SGBD
na estimativa do tempo de execução;
Junho 2014
Modelo de Consumo energético
26
• Os SGBD disponibilizam diferentes formas de
visualização dos planos de execução que utilizam
na obtenção de resposta a uma querie;
• Estas disponibilizam informação sobre os
operadores utilizados e o tempo de execução
estimado de cada um.
• Reformulando estas ferramentas foi possível
construir e disponibilizar aos utilizadores o plano
de consumo energético de queries.
Junho 2014
Análise da utilidade do Modelo
27
Query A:
SELECT c.name, COUNT(i.id) as Total
FROM invoice i, client c , product p
WHERE p.id=i.productid AND c.id=i.clientid AND p.description='Produto50'
GROUP BY c.name ORDER BY Total DESC;
Query B:
SELECT name, COUNT(id) as Total FROM
(SELECT i.id, c.name FROM invoice i, client c
WHERE i.productid in
(SELECT id FROM product WHERE description='Produto50')
AND i.clientid = c.id) as T
GROUP BY name ORDER BY Total DESC;
• Exemplo:
Junho 2014
28
• Querie B:
Junho 2014
• Querie A:
29
• Próximos passos:
• Construir o algoritmo de calibração dos fatores de
consumo energético;
• Esta abordagem padece dos mesmos problemas
dos modelos utilizados na estimativa do tempo de
execução:
• Estatísticas desatualizadas;
• Fatores de consumo energético mal calibrados;
• Permite de forma rápida apresentar ao utilizador
uma estimativa do consumo energético da querie;
Junho 2014
Conclusão
30
Calibração dos fatores de consumo
energético
Novembro 2014
PG22778
31
• Testes e validações
• Conclusão
Novembro 2014
• Métodos de calibração
Calibração dos fatores de
consumo energético
32
• Foram estudados dois métodos:
• Método 1 – Sem recurso a hardware extra;
• Método 2 – Com recurso a um medidor de consumo
energético.
• Calibrar as variáveis utilizadas pelos modelos e que
traduzem o consumo energético de cada operação
básica utilizada na construção da resposta a uma
query.
Novembro 2014
Métodos de calibração
33
• Ter conhecimento dos fatores de desempenho e da
especificação de consumo energético dos
componentes de hardware.
Exemplo:
• Operação de processamento de uma linha = 0,2 seg;
• Consumo do CPU é 10 watts;
• Consumo energético da operação de processamento
de uma linha:
• Energia = Potência x Tempo
= 10 x 0,2
= 2 joules
• Método 1:
Novembro 2014
34
• Necessário recorrer a hardware que permite uma leitura
em tempo real do consumo de energia do computador.
• Recorreu-se a ao medidor de consumo energético –WattsUp?
Pro
• Precisão de 1,5%;
• Intervalo de medição ajustável (min. 1 seg);
• Conjunto de queries simples que permitam cobrir todas as
operações básicas;
• Solver do Excel:
• Método 2:
Novembro 2014
35
Novembro 2014
• Método 2:
36
• Operações básicas de leitura de dados
Novembro 2014
Testes e validações
37
• Queries típicas de data warehousing
Novembro 2014
Testes e validações
38
Estabelecimento de Planos de
Consumo Energético de Queries
sobre Data Warehouses
PG22778

Estabelecimento de Planos de Consumo Energético

Transcrição

Documentos relacionados

Pecados mortais em políticas públicas

CV José Manuel González Méijome

Apresentação do PowerPoint

Diapositivo 1 - CIM Alto Minho

Ficha de Pré-Inscrição

Programas MIT, CMU e UT Austin-Portugal: A Investigação e as PMEs

10 Dezembro 2014 - Departamento de Física

Roteiro Centro Histórico - Câmara Municipal de Monção

Newsletter Tecnohospital

NOME: Rui Pereira Dias TITULO: Antena 5 INSTITUICAO