Proposição de um indicador geral de desempenho utilizando AHP

XXIII ENEGEP - Ouro Preto, MG, Brasil, 22a 24 de outubro de 2003
Proposição de um indicador geral de desempenho utilizando AHP
Paulino G. Francischini (USP) [email protected]
Gabriela M. Cabel B. (USP) [email protected]
Resumo:
O objetivo deste artigo é propor uma forma de avaliação de desempenho de uma unidade de
análise, através de um indicador, denominado ipgf, que verifique se a unidade está
cumprindo as metas propostas. A idéia central é transformar todos aqueles indicadores em
percentuais de cumprimento das metas e, através da aplicação do conceito de AHP, permitir
uma comparação da importância relativa entre os indicadores. O ipgf é, portanto, uma soma
ponderada destes percentuais de cumprimento de metas que fornece uma avaliação geral do
desempenho da unidade de análise.
Palavras chave: indicadores, desempenho, AHP.
1.
Introdução
Uma das maiores dificuldades na avaliação de desempenho de empresas, departamentos,
setores ou grupos de trabalho é ponderar qualitativamente como aquela unidade de análise
está cumprindo as suas metas. Observa-se que, válidos ou não, as unidades dispõe de
indicadores que são atualizados e analisados periodicamente, mas quanto maior o número de
indicadores e metas a cumprir, maior a dificuldade de uma avaliação global do desempenho
da unidade.
Por exemplo, uma unidade possui sete indicadores em seu quadro de gestão a vista e algumas
metas são cumpridas e outras não. Cabem as perguntas: as metas cumpridas são as mais
importantes para o desempenho geral da empresa? E as demais metas são igualmente
importantes? Enfim, entre tantas metas a cumprir, como está o desempenho geral da unidade?
A primeira dificuldade de comparação está na incompatibilidade das unidades entre os
diversos indicadores pelos quais a unidade é medida. A segunda é a falta de priorização entre
as metas, uma seja, a definição de uma importância relativa entre elas. A terceira dificuldade
é, muitas vezes, a própria falta de metas a serem cumpridas, reduzindo as reuniões de análise
de desempenho em meras observações sem objetivo consistente.
O mesmo problema pode surgir em reuniões de análise crítica de andamento de projetos.
Entre as várias atividades mostradas em um Gráfico de Gantt, com suas interdependências e
cronogramas, é difícil, muitas vezes, avaliar objetivamente se as atividades mais importantes
estão sendo cumpridas ou não. Nestes casos, são conhecidas as avaliações através de
milestones, mas, se eles forem indevidamente dispostos no cronograma, a avaliação
qualitativa, através de argumentações, considerações e exposição de motivos, pode ficar
prejudicada, além da ação corretiva ser diagnosticada com demora.
Verifica-se que, nos dois casos, são necessários: a) existência de indicadores claros de
desempenho: válidos, quantificáveis, não redundantes, rastreáveis, controláveis, corretos,
precisos, completos e confiáveis; b) existências de metas claramente definidas a serem
atingidas em determinado período de tempo, assim como as metas parciais, para cada um dos
indicadores avaliados; c) existência de uma priorização ou quantificação de importância
relativa entre os indicadores, geralmente denominada de “pesos”; d) unificar a dimensão
XXIII ENEGEP - Ouro Preto, MG, Brasil, 22a 24 de outubro de 2003
associada a todos os indicadores avaliados na unidade de análise para que possam ser tratados
matematicamente e reunidos os resultados em um único indicador geral de desempenho da
unidade de análise.
Embora passíveis de crítica, os itens a) e b) foram encontrados na maioria das unidades de
análise pesquisadas. Mesmo em atividades em pequenos grupos (APG’s), o número de
indicadores, freqüentemente, excedia a 10 indicadores, o que tornava muito complexa a
avaliação de desempenho geral. Em diretorias de empresas pesquisadas, o número de
indicadores aproxima-se de 50, enquanto que em uma banco comercial eram monitorados 167
indicadores. Verifica-se que existe uma tendência, na amostra analisada, de exagero no
número de indicadores de desempenho associado a uma carência de objetivos claros a serem
alcançados. Ou seja, controla-se pelo desejo de controlar.
A primeira providência cabível é o direcionamento dos indicadores em medir a busca de um
objetivo claro, eliminando-se eventuais redundâncias e medidas sem uma relação evidente de
causa e efeito com o desempenho global desejado. Isto pode ser obtido através de modelos
conhecidos na literatura como Muscat-Fleury (MUSCAT e FLEURY, 1993), Balanced
Scorecard (KAPLAN e NORTON, 1995), PMQ (DIXOM et al, 1990), SMART (CROSS e
LINCH, 1990), e outros.
O que foi exposto justifica a necessidade de uma priorização entre os indicadores, o que nos
leva ao conceito de Análise de Decisão de Critérios Múltiplos ou multiple criteria decision
analysis (MCDA). A ferramenta mais difundida para este tipo de análise, o analytic hierarchy
process (AHP) foi proposto por Saaty (1980) e largamente utilizado em órgãos
governamentais, corporações e empresas de consultoria, conforme demonstram Harker e
Vargas (1987), Perez (1995) e Al-Harbi (2001). Inicialmente criticado como deficiente em
bases teóricas, conforme Belton e Gear (1985), demonstrou-se sua consistência em seus
fundamentos, além de sua aplicabilidade em questões operacionais.
2.
Indicadores de desempenho
Desempenho pode ser definido como uma comparação entre o realizado e o esperado (SINK e
TUTLE, 1993). Desse modo, o desempenho é positivo se o realizado estiver acima do
esperado ou negativo, se estiver abaixo do esperado. Em adição, o mesmo autor define
eficácia como uma comparação entre saídas de um sistema produtivo; eficiência como uma
comparação entre entradas; produtividade como a relação entre saídas e entradas.
Vemos que esta terminologia não é única na literatura. Por exemplo: para a ISO 9001:2000,
há coincidência na definição de eficácia, no entanto, a comparação entre entradas é chamada
de taxa de utilização de recursos e a relação entre saídas e entradas é denominada de
eficiência. Drucker (1968) já define estes termos em termos qualitativos: eficácia é fazer a
coisa certa, enquanto que eficiência é fazer certo a coisa. Muscat (1990) deriva daí uma
definição de produtividade: fazer certo a coisa certa.
O processo de escolha dos indicadores de produtividade também é bastante discutido na
literatura. Uma breve revisão destes modelos foi compilada a seguir:
O modelo SMART - sigla derivada de: “Strategic Measurement Analysis and Reporting
Technique”, foi desenvolvido pelos laboratórios Wang, em função da insatisfação existente
com as medidas de desempenho tradicionais ( Ghalayini e Noble, 1996). No topo da pirâmide
encontra-se a visão ou estratégia da empresa e nos níveis abaixo são definidos os objetivos
das diferentes unidades de negócio. A pirâmide do desempenho foi inicialmente desenvolvida
por Cross e Linch (1991).
XXIII ENEGEP - Ouro Preto, MG, Brasil, 22a 24 de outubro de 2003
O modelo BSC - Balanced Scorecard integra medidas de cunho estratégico, financeiro e
operacional e foi desenvolvido por Kaplan e Norton (1985). Partindo da visão e da estratégia
da corporação, são definidos os objetivos, as medidas de desempenho, as metas e as
iniciativas a serem tomadas em quatro perspectivas: a do cliente, a financeira, a dos processos
internos e a perspectiva da inovação e do crescimento.
O modelo PMQ – “Performance Measurement Questionaire” (DIXON et al., 1990), tem
como objetivo proporcionar um meio pelo qual uma organização determine, a partir de um
conjunto de medidas de desempenho, o que deve ser melhorado. É baseado em um
questionário focalizando as prioridades competitivas e as medidas de desempenho.
Muscat e Fleury (1993) estudaram os indicadores de qualidade e de produtividade na indústria
brasileira e apresentaram indicadores de gestão de estratégia de manufatura e de que maneira
os indicadores deveriam ser utilizados para a competitividade. O modelo é iniciado com a
estratégia do negócio e a estratégia da organização e considera os valores da empresa como a
cultura, as crenças e a política. Identifica a qual é a estratégia competitiva da empresa e, a
partir dela quais são os fatores críticos de sucesso a partir dos quais são estabelecidos os
indicadores e as competências críticas.
O modelo apresentado por Sink e Tuttle (1993) analisa a empresa considerando a visão, os
princípios, a missão, os recursos, os produtos e os serviços gerados, os pontos fortes e os
pontos fracos da estrutura organizacional da empresa, os atuais níveis de desempenho, os
obstáculos existentes à melhoria do desempenho, as oportunidades e as ameaças externas que
podem influir no desempenho da empresa. Para acompanhar o desempenho são utilizados sete
critérios: eficácia, eficiência, qualidade, produtividade, qualidade de vida, inovação e
lucratividade.
O modelo de Rummler e Brache (1994) mede o desempenho nos níveis: a) da organização,
relacionando a empresa com seu mercado; b) do processo, focalizando os fluxos de trabalho e;
c) do trabalho, focalizando as pessoas que executam os trabalhos.
Verifica-se que todos estes modelos têm um enfoque dedutivo, ou seja, a partir do objetivo a
ser alcançado, várias formas são propostas para se chegar a um conjunto de indicadores de
desempenho.
No entanto, nota-se também uma deficiência de tratamento destes indicadores de uma forma,
aproximadamente, indutiva. Ou seja, a partir dos indicadores definidos pelos diversos
modelos apresentados, elaborar uma avaliação conjunta destes indicadores. No próximo item,
vamos apresentar algumas ferramentas a serem utilizadas.
3.
AHP – analytic hierarchy process e ANP – analytic network process
O processo básico de aplicação do AHP consiste em priorizar a importância relativa de n
elementos de tomada de decisão em relação a um objetivo, através de avaliações parciais
destes elementos, dois a dois, facilitando a análise pelos avaliadores. Através de um índice de
consistência, verifica-se se os valores atribuídos a cada par de critérios estão coerentes.
Saaty (1980) elaborou os seguintes passos para a aplicação do AHP:
a) Definir o problema e determinar o seu objetivo;
b) Estruturar uma hierarquia, começando do objetivo principal, passando pelos critérios de
avaliação e, finalmente chegando ao mais baixo nível da hierarquia, geralmente uma
relação de alternativas para cada um dos critérios;
XXIII ENEGEP - Ouro Preto, MG, Brasil, 22a 24 de outubro de 2003
Figura 1 – Estrutura do AHP
c) Elaborar uma matriz n x n do mais baixo nível da hierarquia, onde serão comparadas as
importâncias relativas, segundo uma escala apresentada na Tabela 1, para cada par de
alternativas em relação ao nível imediatamente acima. Deste modo, são necessárias n(n –
1) avaliações (uma para cada par de elementos da matriz), uma vez que as recíprocas são
automaticamente designadas;
Atributo
9
8
7
6
5
4
3
2
1
Julgamento de Prioridade entre pares
extremamente prioritário
entre muito forte e extremamente prioritário
muito forte priorização
entre forte e muito forte priorização
forte priorização
entre moderado e forte priorização
moderada priorização
entre sem priorização e moderado
sem prioriozação
Fonte: Saaty (1985) e Al-Harbi (2001)
Tabela 1 - Julgamento de Prioridade entre pares
d) Calcular uma matriz de síntese de prioridades, o vetor de prioridades e λmax, seguindo o
modelo proposto. Os cálculos podem ser feitos manualmente ou através de softwares
específicos, como o Expert Choise;
e) Cálculo do consistency index (CI) onde CI = (λmax – n)/(n – 1;
f) Cálculo do consistency ratio (CR), onde CR = CI / valor apropriado da Tabela 2. Se CR <
0,1, então a consistência das avaliações é adequada. Caso contrário, a tabela n x n deve ser
refeita;
Tamanho da matriz
Consistência aleatória
1
2
3
4
5
6
7
8
9
10
0,00 0,00 0,58 0,90 1,12 1,24 1,32 1,41 1,45 1,49
Fonte: Saaty (1980)
Tabela 2 - Consistência aleatória média
XXIII ENEGEP - Ouro Preto, MG, Brasil, 22a 24 de outubro de 2003
g) Repetir os passos acima para cada um dos níveis da hierarquia de decisão.
O ANP – analytic network process - foi desenvolvido por Saaty (1996) e é uma ampliação
do AHP. Permite considerar a interdependência dentro e entre os critérios e não necessita que
os critérios estejam sujeitos a uma hierarquia rígida. Da mesma maneira que o AHP, no ANP
é construída uma matriz, denominada de “supermatriz” para quantificar as alternativas
4.
Modelo proposto de indicador de desempenho geral (ipgf)
The field research in 5 companies aimed to verify how the performance indicators were used
to direct the company to achieve its A pesquisa realizada em 5 empresas visando verificar
como os indicadores de desempenho eram utilizados para direcionar a empresa na busca de
seus objetivos, mostrou uma lacuna significativa entre os indicadores elaborados em
determinado momento da empresa e sua real utilização como instrumento de gestão. A Tabela
3 mostra que o próprio número de indicadores monitorados torna impraticável a monitoração
e tomada de ação corretiva baseada nestes indicadores
Empresa
A
B
C
D
E
Tipo de Empresa
No de Indicadores
Banco Comercial
Metalúrgica
Bebidas
Embalagens
Metalúrgica
167
65
41
55
40
Fonte: Elaborado pelo Autor
Tabela 3 – Empresas Pesquisadas
As entrevistas realizadas mostravam uma necessidade de um instrumento que mostrasse, de
alguma forma, como todos aqueles indicadores estavam se comportando e que sinalizasse se
algo grave estivesse ocorrendo. As principais dificuldades encontradas para que isso fosse
possível eram
a) A impossibilidade de comparação entre indicadores com unidades diferentes e
b) A dificuldade de priorização ou importância relativa entre eles
meta
Indicador de
desempenho
δi
pi
ti
Valor
real
%δi =
δi
pi
tempo
Figura 2 – Transformação de unidade dos indicadores de desempenho
A primeira dificuldade foi contornada com a introdução do conceito de diferença percentual
do realizado em relação ao planejado (meta). A Figura 2 mostra graficamente a transformação
XXIII ENEGEP - Ouro Preto, MG, Brasil, 22a 24 de outubro de 2003
de unidade. Deste modo, qualquer que seja a unidade do indicador i, podemos fazer uma
transformação %δi como descrita abaixo:
%δit=
δit
pit
onde:
δi = valor real do indicador i no tempo t – valor meta do indicador i no tempo t
pi = valor meta do indicador i no tempo t
Assim, todos os indicadores que são gerenciados pela empresa podem sofrer qualquer
operação aritmética. No entanto, há importâncias relativas entre cada um dos indicadores em
relação ao objetivo a ser alcançado pelo departamento, diretoria ou organização. Estas por sua
vez, podem estar subordinadas a objetivos maiores dentro de uma corporação.
O problema a ser resolvido agora é possibilitar a incorporação destas importâncias relativas.
A ferramenta mais adequada para este fim é a aplicação da matriz de síntese de prioridade do
modelo AHP. Verifica-se que, o resultado desta matriz é uma ponderação a ser aplicada a
cada um dos indicadores para o cálculo do desempenho global como demonstrado abaixo:
n
ipgft= ∑ OPit.%δit
i=1
onde
OPt = Prioridade Global do indicador i no tempo t
%δi = valor transformado decimal do indicador i no tempo t
O mesmo procedimento pode ser utilizado para os diversos níveis de desagregação
hierárquica dos indicadores: grupos, setor, departamento, diretoria ou empresa.
5.
Estudo de Caso
O modelo proposto foi aplicado para avaliação de um grupo de melhoria em uma metalúrgica.
A empresa possui aproximadamente 20 grupos de melhoria (APG´s) e cada um deles elabora
um conjunto de indicadores para medir o seu desempenho. O problema que a empresa
enfrenta é avaliar se os grupos de melhoria estão fornecendo algum tipo de resultado para a
empresa. Como são diversos indicadores, algumas metas eram cumpridas e outras não, e uma
avaliação global do grupo era dificultada por avaliações qualitativas, freqüentemente
desviando para discussões inúteis.
Por simplificação, foi escolhido um grupo com apenas três indicadores de desempenho:
retrabalho de peças (Ret), disponibilidade de equipamentos (Disp) e absenteísmo de
funcionários (Abs). O primeiro passo foi estabelecer metas claras para cada um dos
indicadores. Verificou-se que as metas deveriam variar no tempo para facilitar o
acompanhamento das melhorias.
XXIII ENEGEP - Ouro Preto, MG, Brasil, 22a 24 de outubro de 2003
Disponibilidade
Absenteísmo
250,0
90,0
200,0
85,0
150,0
4,0
hh
95,0
6,0
% hm
8,0
80,0
100,0
50,0
0,0
70,0
0,0
m
ar
/0
2
m
ai
/0
2
m
ar
/0
2
m
ai
/0
2
ju
l/0
2
se
t/0
2
no
v/
02
ja
n/
0
m 3
ar
/0
3
m
ai
/0
3
75,0
ju
l/0
2
se
t/0
2
no
v/
02
ja
n/
03
m
ar
/0
3
m
ai
/0
3
2,0
m
ar
/0
2
m
ai
/0
2
ju
l/0
2
se
t/0
2
no
v/
02
ja
n/
0
m 3
ar
/0
3
m
ai
/0
3
% pc
Retrabalho
Figura 3 – Indicadores monitorados pelo setor
O segundo passo foi estabelecer um grupo de discussão para priorizar os indicadores, um em
relação aos outros. Através de consenso, chegou-se a uma priorização mostrada na Tabela 4:
Ret
1
3
5
9
Ret
Disp
Abs
Disp
1/3
1
3
4 1/3
Abs
1/5
1/3
1
1 1/2
Tabela 4 – Matriz de comparação entre pares
Utilizando-se do AHP, calculou-se o Vetor de Priorização e verificou-se a consistência da
avaliação de prioridades. Os resultados são colocados abaixo:
Ret
0,111
0,333
0,556
Ret
Disp
Abs
l max = 3,039
CI = 0,019
Disp
0,077
0,231
0,692
Abs
0,130
0,217
0,652
RI = 0,58
Vetor Priorização
0,106
0,260
0,633
∑ = 1,000
CR = 0,033
< 0,10
OK
Através dos cálculos do modelo proposto, chega-se a um gráfico onde mostra, de maneira
global, como o setor analisado está cumprindo suas metas. A Figura 4 mostra o resultado:
ipgf
0,40
0,20
3
ai
/0
m
ja
n/
03
fe
v/
03
m
ar
/0
3
ab
r/0
3
ju
l/0
2
ag
o/
02
se
t /0
2
ou
t/0
2
no
v/
02
de
z/
02
2
ai
/0
2
ju
n/
02
m
ab
r
ar
/0
m
/0
2
0,00
-0,20
-0,40
-0,60
-0,80
-1,00
Figura 4 – Evolução do indicador ipgf
Analisando-se o comportamento do indicador, verifica-se um decréscimo nos últimos meses.
Rastreando-se o foco do problema, verifica-se que o não cumprimento das metas de
XXIII ENEGEP - Ouro Preto, MG, Brasil, 22a 24 de outubro de 2003
absenteísmo de funcionários prejudica fortemente o desempenho do setor, apesar de um
relativo bom desempenho nos outros indicadores. Em resumo, o setor está com um
desempenho global abaixo do esperado.
6.
Conclusão
O modelo proposto permite uma avaliação global de um setor mesmo considerando
indicadores com unidades diferentes. O uso da técnica AHP mostrou-se adequada para este
propósito apesar das dificuldades de implementação da matriz de avaliação entre pares.
A desvantagem do modelo é que pode encobrir desempenhos ruins de vários indicadores
pouco importantes, mas cujas conseqüências podem ser significativas no longo prazo. Assim,
o uso do indicador deve ser acompanhado de procedimentos de rastreabilidade e
controlabilidade, isto é, ao detectar uma queda no indicador, ações corretivas devem ser
colocadas em funções adequadas para garantir o retorno ao cumprimento das metas.
Referências
AL-HARBI, K.M. (2001) - Application of the AHP in project management. International Journal of Project
Management. 19 19-27
BELTON V. GEAR, T (1985) - The legitimacy of rank reversal- a comment. 13(3): 143-4
CAVENAGHI, V. (2001) Gestão do desempenho empresarial. A contribuição da área de manufatura. Tese
(Doutorado). Escola Politécnica da Universidade de São Paulo. Departamento de Engenharia de Produção, São
Paulo.
CROSS, K.F & LYNCH, R.L (1990) - Managing the corporate warriors. Quality Progress, vol 23, n.4, p. 54-59,
apr.
DRUCKER, P.F. (1968) - O gerente eficaz, Rio de Janeiro. Zahar Editores.
EXPERT CHOISE, Inc. Expert Choise software manual. Pittsburg, PA. USA
HARKER, P.T & VARGAS L.G. (1987) - The theory of ratio scale estimation: Saaty´s analytic hierarchy
process. Management Science. 33(1) 1383-403
MUSCAT, A.R.N. & FLEURY, A. C. C. (1993) - Indicadores de qualidade e produtividade na indústria
brasileira. Revista Indicadores de Qualidade e Produtividade, vol. 1, n. 2, p. 82-107, set.
PEREZ. J. (1995) - Some comments on Saaty´s AHP. Management Science. 41 (6): 1091-5
RUMMLER, G.A. & BRACHE , A (1994) - Melhores desempenhos das empresas. 2a ed. São Paulo, Makron
Books.
SAATY, T.L (1980) - The analytic hierarchy process. New York. McGraw-Hill
SAATY, T.L. (1985) - Decision making for leaders. Belmont. California: Life Time Learning Publications
SAATY. T.L. (1990) - How to make a decision: the analytic hierarchy process. European Journal of
Operational Research. 48:9-26
SAATY, T.L. (1996) - Decision making with dependence and feed-back: the analytic network process.
Pittsburgh, RWS Publications.
SAATY, T.L. (1999) - Fundamental of the analytic network process. ISAHP, aug 12-14, p. 1-14, Kobe, Japan.
SINK, D. S. & TUTTLE, T.C (1993) - Planejamento e medição para performance. Rio de Janeiro, Qualitymark