Artigo de Revisão

Artigo de Revisão
Review Article
Barvalento Médico 2008; 1 (vol.1): 8-18
Appropriateness Evaluation
Protocol 1997-2007
Experiência em dois paises
Appropriateness Evaluation
Protocol 1997-2007
Experiences in Two Countries
Javier Rodriguez-Vera
Serviço de Medicina Interna Centro Hospitalar Barlavento Algarve
Barlavento Médico
8
Correspondência | Correspondence
[email protected]
SUMÁRIO: O Appropriateness Evaluation Protocol
(AEP) é um instrumento amplamente utilizado por
todo o mundo para determinar causas e magnitude do
uso inadequado das camas hospitalares. Com vantagem
relativamente a outros sistemas, o AEP baseia-se em
critérios objectivos, sendo possível estabelecer comparações entre diferentes hospitais ou num mesmo Serviço para determinar o impacto de medidas destinadas
a melhorar a adequação do uso das camas hospitalares.
Permite ainda identificar as causas de adequação ou
inadequação do internamento e estadia hospitalar, pelo
que também é útil para estabelecer estratégias de optimização da eficiência da hospitalização. Neste artigo
os autores revêem os resultados da aplicação prática
do AEP em dois países do sul de Europa durante um
período de 10 anos.
ABSTRACT: Appropriateness Evaluation Protocol
(AEP) is an instrument widely used anywhere in the
world to determine the causes and magnitude of the
inadequacies of the use of the hospitable beds. Like
advantages as opposed to other systems, the AEP is
based on objective criteria, reason why it is possible to
establish comparisons between different hospitals or in
a same Service to determine the impact of the measures destined to improve the adjustment of the use of
the hospitable beds. In addition, it allows to identify the
causes of adjustment and inadequacies of the income
and stays, reason why also it turns out from utility to
establish strategies of optimization of the efficiency
of the hospitalization. In this article we reviewed the
results of the practical application of the AEP in two
countries of the south of Europe throughout 10 years.
PALAVRAS-CHAVE: Appropriateness Evaluation Protocol, Efficiency of Hospital Use, hospital admissions.
KEY WORDS: Appropriateness Evaluation Protocol,
Efficiency of Hospital Use, hospital admissions.
INTRODUÇÃO
INTRODUCTION
As restrições orçamentais ocorridas nos Estados
Unidos como consequência das crises económicas
dos anos 70, afectaram duas áreas que, anteriormente,
gozaram de recursos praticamente ilimitados: a Defesa
1
e a Saúde . Nestas áreas habitualmente, procuravam-se
resultados, independentemente dos custos que
a sua execução pudesse implicar. Para a nova mentalidade que apareceu com a diminuição das compensações económicas, importava o termo eficiência que
vinha sendo aplicada poucos anos antes com o intuito
de se obterem os mesmos resultados com menos recur2
sos . Como consequência na área da saúde, fizeram-se
vários estudos e intervenções a nível dos procedi3,4
mentos médicos que modificaram radicalmente a
mentalidade da época.
A optimização da utilização das camas hospitalares foi
The budget cutbacks in the US, which resulted from
the economic crisis of the 1970’s, affected two fields
which had previously benefited from unlimited resour1
ces: defence and health . In these two areas, achieving
results had traditionally been the aim regardless of the
expenditure. The new strategy, which resulted from the
decrease in funding, emphasised the term efficiency.
Its use had been implemented some years earlier with a
view to obtaining the same results with fewer resources
2
. As a result, various studies and evolving medical pro3,4
cedures radically changed the strategy in the health
care sector. Hospital bed occupation was further optimised and various protocols and procedures evolved to
assess the need for hospital admission and inappropria5,6,7
te admissions and their causes . In the beginning of
the 1980’s, Avedis and Donabedian created the
1 Therborn G, Roebroek J. The irreversible
welfare state: its recent maturation, its
encounter with the economic crisis, and
its future prospects. Int J Health Serv.
1986;16(3):319-38.
2 American Medical Association. Criteria
Development Project- Sample criteria
for short stay hospital review. American
Medical Association, Chicago, 1976
3 Bernstein SJ, Hilborne LH, Leape LL,
Fiske ME, Park RE, Kamberg CJ, Brook
RH. The appropriateness of use of
coronary angiography in New York State.
JAMA. 1993 Feb 10;269(6):766-9.
4 Brook RH, Park RE, Chassin MR,
Solomon DH, Keesey J, Kosecoff J.
Predicting the appropriate use of carotid
endarterectomy, upper gastrointestinal
endoscopy, and coronary angiography. N
Engl J Med. 1990 Oct 25;323(17):1173-7
5 Gertman OM and Restucia JD. The
appropriateness evaluation protocol:
a tecqnique for assessing unnecessary
days of hospital care. Med Care 19:7.
1981
6 Lamprey J. Interqual ISD Review System.
Interqual Chicago. 1982
7 Utilization Management Associates. The
Managed Care Appropriateness Protocol
Reviewers Manual. Wellesley, MA 1989.
8 D´alche-Gautier MJ, Maiza D, Chastang
F. Assessing the appropriateness
of hospitalization days in a French
university hospital. Int J Health Care
Asssur Inc Leadersh Health Serv 2004;
17 (2-3): 87-91.
um destes casos, fazendo surgir vários protocolos e
procedimentos para avaliar a necessidade de internamento hospitalar e a estadia prolongada não justificada,
5,6,7
bem como as suas causas . No início da década de
80, Avedis e Donabedian criaram o “Appropriateness
5
Evaluation Protocol” (AEP) que foi o instrumento
mais utilizado na Europa desta avaliação da
8,9,10
sobreutilizacão das camas hospitalares
.
APPROPRIATENESS EVALUATION PROTOCOL
O AEP é constituído por uma série de critérios objectivos e explícitos que classificam como adequado o internamento e estadia numa unidade hospitalar, quando
o doente cumpre pelo menos um deles. Os critérios
dividem-se em duas secções. A primeira é constituída
por duas partes: estado do doente e serviços clínicos. A
segunda secção é composta por três partes: cuidados
médicos, de enfermagem e cuidados do doente. Todos
eles têm implícito que a história clínica foi devidamente
executada tanto pelo médico como pela enfermagem,
uma vez que o revisor, deverá fazer sempre a sua apreciação com base em dados escritos e não “lendo nas
entrelinhas”. A tendência de “decifrar/interpretar”
5
Appropriateness Evaluation Protocol (AEP) , which is
the tool most widely used throughout Europe to assess
8,9,10
overuse of hospital beds
.
APPROPRIATENESS EVALUATION PROTOCOL
The AEP consists of a series of objective and explicit
criteria that classify as appropriate an admission or
hospital stay if at least one of the criteria is met by the
patient. The criteria are divided into two categories.
The first consists of two factors: the patient’s condition
and medical services. The second category consists of
three factors: medical care, nursing care and patient
care. It goes without saying that the patient’s medical
record should be appropriately written up not only by
the medical staff but also by the nursing staff since
its reviewer must always make his or her assessment
based on written data and not from ‘reading between
the lines’. The tendency to ‘interpret’ the contents of a
medical record and it’s illegibility are some of the main
obstacles in correctly evaluating the appropriateness of
11,12
admission or hospital days of care .
The idea that a doctor’s referral determines an admission does not necessarily mean that this is the best way
Hospital Barlavento Algarve,
Portimão (Portugal)
Barlavento Médico
9
9 Panis LJ, Verheggen FW, Pop P. To stay
or not to stay. The assessment of appropriate hospital stay: a Dutch report. Int J
Qual Health Care. 2002;14:55-67.
10 Fellin G et al. Appropriateness Of Hospital Use: an overview of Italian studies. Int
J Qual H Care 1995 (7), 3: 219-225.
11 Ramos Cuadra et al. The effect of
completeness of medical records on
the determination of appropriateness
of hospital days. Int J Qual Health Care.
1995 Sep;7(3):267-75.
12 Rodriguez-Vera FJ, Marin Y, Sanchez
A, Borrachero C, Pujol E. Illegible
handwriting in medical records. J R Soc
Med. 2002 Nov;95(11):545-6
13 Dal-Re R. Good clinical practices in
clinical trials: the responsibility of the
researcher. A survey of 827 hospital
physicians (I). Availability. Monitoring.
Safety. Contract] Med Clin (Barc). 1993
Mar 6;100(9):346-50.
14 Cohen JA. Coefficient of agreement for
nominal scales. Educ Psychol Measur
20:37, 1960
15 Restuccia J. Manual de Utilización del
Appropriateness Evaluation Protocol.
Fundación Avedis Donabedian. Barcelona, 1995.
16 Matorras Galan P et al. Adecuación de
los ingresos en un servicio de medicina
interna de un hospital de tercer nivel.
Med Clin (Barc) 1990; 94:290-293.
17 Gomez Llorente et al. Utilidad del Pediatric Appropriateness Evaluation Protocol
para detectar deficiencias de circuitos
asistenciales sanitarios. An Pediatr (Barc).
2004 Mar;60(3):228-35.
Barlavento Médico
10
o conteúdo dos processos clínicos e a sua difícil legibilidade são alguns dos principais obstáculos
para uma correcta avaliação da pertinência de um inter11,12
namento ou dos dias de estadia hospitalar .
O facto de ser uma indicação médica a justificar o
internamento não implica que esta esteja correcta. Isto
é, o AEP não determina se as indicações médicas são
adequadas, mas apenas se com base na terapêutica
prescrita, o doente reúne todas as condições necessárias para a admissão e internamento num Hospital de
cuidados agudos.
Assim a variedade da prática clínica será um
dos “factores de confusão” que causam variação nos
13
níveis de adequação entre diferentes hospitais . Por
norma, admite-se que a prática clínica considerada globalmente é uniforme e que este parâmetro não deverá
afectar de forma significativa os resultados dos estudos
de adequação de admissão e internamento hospitalar.
A revisão e categorização dos internamentos em
adequados e inadequados deve fazer-se, idealmente, em
equipa: dois revisores independentes, nenhum deles
com conhecimento prévio do doente, receberão uma
formação acerca da utilização do AEP e da aplicação
dos critérios em casos clínicos concretos. Posteriormente, avaliarão separadamente as historias clínicas e
darão o seu parecer acerca da adequação do internamento ou permanência no hospital. Normalmente em
caso de divergências de opinião, um terceiro revisor
com mais experiência na área, dará o seu parecer. Na
prática, o grau de concordância entre os revisores deve
14
ser igual ou superior a 85% . Um nível inferior indicará a necessidade de realizar uma nova reunião para
esclarecer as diferentes aplicações e interpretações que
possam ser dadas aos critérios de adequação.
Os critérios que avaliam a adequação são diferentes
consoante se trate de um internamente ou de um dia de
15
estadia no Hospital . Um maior número de critérios
cumpridos não supõe um aumento da adequação,
visto que esta é uma variável dicotómica, pressupõe de
alguma forma que a probabilidade de ter sido julgado
correctamente como adequado o internamento ou a estadia será maior. De igual modo, as causas da inadequação também são diferentes para julgar uma admissão
ou um dia de permanência no hospital.
Dependendo do tipo de doentes que aborde, o AEP
tem diferentes versões: médico-cirúrgica, pediátrica e
de cirurgia electiva. Com ele (AEP) pretende-se adaptar, de uma forma eficiente, a realidade assistencial e
16, 17,
detectar eficazmente as causas de inadequação
18
. Assim, por exemplo, num protocolo cirúrgico
acentua-se a necessidade do internamento do doente
antes da cirurgia. Já no protocolo médico é valorizada
de forma especial a possibilidade de realização de um
estudo/tratamento a outro nível assistencial que não no
Hospital de cuidados agudos.
Além disso, em diversos países já foram efectuadas
adaptações do AEP às características do sistema de
to proceed. That is to say, the AEP does not determine whether the diagnosis is appropriate. More exactly, it
suggests that, based on the prescribed therapy, the patient fulfils the appropriate requirements for admission
or a stay in an acute care hospital. Differences among
medical practitioners therefore, are, one of the ‘confusing factors’ that causes a discrepancy in the levels of
13
appropriateness amongst the different hospitals . As
a rule, we accept that medical practice, as a whole, is
consistent and this parameter should not significantly
affect the results of the appropriateness studies for
admittance and hospital stays.
Ideally, there should be a team of two independent
reviewers responsible for revising and categorizing
admittances and stays as appropriate and inappropriate.
Neither of them should have previous knowledge of
the patient and they should be trained to use the AEP
and apply the criteria to specific clinical cases. Next,
they should evaluate each medical history separately
and decide if admittance or hospital stay is appropriate.
Normally, in the event of a difference of opinion, a
more experienced third reviewer gives his or her position. In practical terms, the agreement rates amongst
14
the reviewers should be equal to or higher than 85% .
A lower rate indicates the need for another meeting to
clarify the different uses and interpretations that can be
given to the criteria of appropriateness.
The criterion to assess appropriateness differs for
15
admittances and hospital days of care . Meeting more
of the criteria does not imply an increase in appropriateness as this is a dichotomic variable. It does, however,
imply a greater probability of having correctly judged,
as appropriate, an admittance or hospital days of care.
By the same token, the causes of inappropriateness are
also different when judging an admission or hospital
days of care.
There are different versions of the AEP: surgery,
paediatrics and elective surgery - which depend on the
type of patient. Thus, it can be used more effectively
in health care today and successfully identify the causes
16,17,18
of inappropriateness
. For example, the surgical
protocol makes special note of the need of patient
admittance prior to surgery and the ability of the clinician to study/treat the patient at a non-acute facility.
Moreover, the AEP has been modified in various countries to reflect differences in the provision of health
care and to optimise the effectiveness of this tool. We
have the I-AEP, G-AEP, and the F-AEP which refer to
the Italian, German and French versions respectively,
19,20,21
among others
. Portugal also has its own version,
the PRU Protocol of Review and Utilisation), which
22,23,24
has been used for local and nation-wide studies
.
As regards the temporal sequence of studies, the AEP
may be used in concurrent, prospective, and retrospective studies. Most published studies are based on
25,26,27
retrospective reviews
. This provides valuable
information based on the review of a number of
saúde para optimizar o rendimento desta ferramenta.
Assim, podemos falar entre outras de I-AEP, G-AEP,
ou F-AEP que correspondem às adaptações em Itália,
19, 20, 21
Alemanha e França, respectivamente,
. Em
Portugal também existe uma versão própria, o PRU
(Protocolo de Revisão da Utilização), com o qual se
têm realizado estudos tanto a nível local como nacional
22, 23, 24
.
Quanto à sequência temporal do estudo, o AEP
poderá realizar-se, de forma transversal, retrospectiva
e prospectiva. O maior número de estudos publicados
25, 26, 27
baseia-se em revisões retrospectivas
. Estes
proporcionam uma informação importante baseada na
revisão de um número de historias clínicas previamente
calculados e que relativamente ao total de doentes
estudados, proporcionará dados com significado
estatístico. Como inconvenientes assinalemos o facto
de haver necessidade de um importante investimento
em termos de recursos humanos (dedicação de tempo
por parte de um grupo de revisores) e o facto de só
se dispor da informação da extensão e das causas da
inadequação depois de ser concluído o tempo de
estudo.
Em caso de detecção de problemas pontuais, por
exemplo durante uma determinada estação do ano, prefere-se a variante transversal também conhecida como
concorrente. Nesta leva-se a cabo o estudo da
adequação do internamento e estadia hospitalar dos
doentes internados no hospital um determinado
dia. Deste modo, obtemos dados “instantâneos” da
adequação de uma forma rápida e eficiente. Como
inconveniente, temos o facto de o número de doentes
observados poder resultar em dados sem significado
estatístico. Não obstante, mostrará tendências estatísticas que em caso de aumento de afluência aos hospitais,
como no caso de epidemias, poderá ajudar a encontrar
alternativas adequadas ao internamento em hospitais de
cuidados agudos.
Finalmente, a versão prospectiva, proporciona uma
visão objectiva, diária da adequação da utilização das
camas hospitalares. De forma ideal, deverá ser realizada
individualmente por cada médico por motivos de eficiência (não é possível dedicar um revisor durante todo
o ano para avaliar a adequação). Além de proporcionar
dados acerca do sobreuso, esta versão terá um valor
acrescido que é a consciencialização dos profissionais
de saúde dos critérios de adequação e a valorização
28
diária da necessidade do internamento hospitalar .
Quando os critérios ordinários não têm a precisão
necessária para determinar a adequação devido a
variantes da prática clínica, é possível recorrer a uma
série de critérios considerados como extraordinários
(override), para contextualizar a avaliação da adequação
com os meios hospitalares. Estes critérios são
utilizados habitualmente para considerar adequado um
internamento que não reúne nenhum critério do Protocolo, mas que no entender dos revisores estaria
previously calculated medical records and provides
significant statistical data concerning the total number
of patients studied. Its drawbacks include of the need
for a large investment in terms of human resources
(dedication of time by a group of reviewers) and the
fact that information regarding the degree and causes
of inappropriateness is only available after the study
is concluded. The transversal version, also known as
concurrent version, is usually preferred to detect specific problems, - for instance, problems during certain
seasons. In this case, a study of the appropriateness of
admission and hospital stays is carried out on admitted
patients on a specific day. ‘Instant’ data is obtained in
this manner to assess appropriateness in a rapid and
efficient manner – the downside being that the number
of patients observed may provide data of little statistical significance. Not withstanding, these studies enable
the identification of trends, for statistical purposes, and
should there be an increase in the number of people
needing a hospital, as in the event of an epidemic, they
may assist in finding adequate alternatives to admittance to acute care hospitals. Finally, the prospective
version provides us with an objective view, on a day to
day basis, of the appropriateness of the use of hospital
beds. Ideally, it should be carried out by each doctor
for efficiency purposes (a reviewer can not be made
available all year long solely to assess appropriateness).
In addition to providing data regarding over usage, this
version has an added advantage which is the health care
professional’s need to know the criteria for assessing
appropriateness and the daily evaluation of the necessi28
ty for hospital admittances .
When ordinary criteria are not precise enough to
determine appropriateness due to variations of medical
practice, there are a series of extraordinary criteria or
‘override’ options to contextualise the assessment of
appropriateness in relation to the relevant hospitals.
An override can occur when, by clinical opinion of the
reviewers, an individual case requires hospitalisation
despite the fact that no protocol criteria have been
met. Various studies have been carried out regarding
15
this tool with contradictory results . At present, these
subjective criteria should only be applied by advanced users with certified AEP training. Another less
common possibility is the modification of criteria
that according to the Protocol would normally justify
admittance, but which in the opinion of the reviewers
added a factor of confusion to the situation that was
assessed. An example of this would be the case of an
ordinary intra-venous prescription at a higher volume
than necessary to maintain the venous system permeable. Under normal conditions, more than 500cc per day
could be considered fluid therapy and be an appropriateness criteria, however if we accept as an override that
fluid therapy can only be considered if over 1000cc,
only those patients that receive a volume higher than
this would meet the appropriateness criteria.
11
Barlavento Médico
18 Anton P et al. Uso inadecuado de la
hospitalización en cirugía general. Magnitud, factores asociados y causas. Cir Esp.
2005 Sep;78(3):183-91.
19 Capalbo G, et al. Appropriateness
evaluation of short hospital admissions
using Appropriateness Evaluation
Protocol (Italian version): experience of
a teaching hospital. Ann Ig. 2004 NovDec;16(6):759-65.
20 Schneeweiss,S;Sangha,O. An update
of the German version of AEP (Appropriateness Evaluation Protocol): metric
properties and practical experiences.
Chirurg.2001;72(2):196-8.
21 Lombard I, Cause of non-pertinent
hospital stays: interobserver concordance using the French version of the
Appropriateness Evaluation Protocol.
Rev Epidemiol Sante Publique. 2001
;49(4):367-75.
22 Bentes M, Gonsalves ML, Santos M, Pina
E.. Design and development of a utilization review program in Portugal. Int J
Qual Health Care. 1995 ;7(3):201-12
23 Cordero A et al. Adequação dos
internamentos num serviço de Medicina.
Aplicação da escala AEP (Appropriateness Evaluation Protocol) Acta Med Port.
2004 ;17(2):113-8. Epub 2004 Apr 30.
24 Vieira N et al. Adequação dos
Internamentos Hospitalares num
Serviço de Medicina Interna utilizando
o Appropriateness Evaluation Protocol
durante o ano de 2004. Acta Med Port
2006; 19: 67-70
25 Restuccia J. The evolution of the Hospital
Utilization Review Methods in the United
States. Int J Qual H Care 1995 (7);
3:253-260.
26 Fellin et al. Appropriateness of Hospital
use: an overview of Italian studies. Int J
Qual H Care 1995 (7); 3: 219-225.
27 Lorenzo S, Suñol R. An Overview of
Spanish studies on appropriateness of
hospital use. Int J Qual H Care 1995 (7);
3: 213-218.
28 Rodriguez-Vera J, Vieira N, Ramos J,
Ferrao E, Taveira T, Monteiro L, Grade
MJ, Duarte I, Arez L, Tomé R. Resultados
de un programa de aumento de
eficiencia de la hospitalización basado en
la utilización del AEP (Appropriateness
Evaluation Protocol). Presented as Poster
in the XX Congress of the Sociedad
Andaluza de Medicina Interna (SADEMI)
on 15 Nov 2003.
29 Ingold BB, Yersin B, Wietlisbach V,
Burckhardt P, Bumand B, Bula CJ. Characteristics associated with inappropriate
hospital use in elderly patients admitted
to a general internal medicine service.
Aging (Milano). 2000 Dec;12(6):430-8.
30 Hrobon P, Chlumsky J, Jirasek V, Kvapil
M. Assessment of the need for and
length of hospitalization at the internal
medicine department. Vnitr Lek. 1998
Sep;44(9):541-6.
31 Rodriguez-Vera J, de la Llave EP.
Inappropriate admissions. J R Soc Med.
2002 Feb;95(2):111.
32 Lopez Amado M, Garcia Sarandeses A,
Herranz Gonzalez-Botas J, Lopez Blanco
G, Martinez Vidal J. Appropriateness
emergency hospital admissions at an
ORL service of a third level hospital.
Acta Otorrinolaringol Esp. 1993 JanFeb;44(1):31-4.
33 Baneres J, Alonso J, Broquetas J, Anto
JM. Inadequate hospital admissions and
inactive days of hospital stay in patients
with chronic obstructive pulmonary
disease and lung neoplasms. Med Clin
(Barc). 1993 Mar 20;100(11):407-11.
34 Ruiz Lazaro PJ. Inappropriate hospitalization according to the Pediatric
Appropriateness Evaluation Protocol. A
study of Spanish pediatric services. An
Esp Pediatr. 1998 Mar;48(3):328-9.
35 Rodriguez-Vera FJ, Marin Fernandez Y,
Sanchez A, Borrachero C, Puyol de la
Llave E. Adecuación de los ingresos y
estancias en un servicio de Medicina
Interna de un hospital de segundo
nivel utilizando la versión concurrente
del Appropriateness Evaluation Protocol (AEP). An Med Interna. 2003
Jun;20(6):297-300.
Barlavento Médico
12
clinicamente justificado. Foram levados a cabo vários
estudos sobre a utilidade desta ferramenta com resulta15
dos controversos .
Actualmente só se recomenda a aplicação
destes critérios subjectivos nos utilizadores avançados e
com formação certificada na utilização do AEP. Outra
possibilidade menos utilizada, consiste na modificação
de critérios que habitualmente justificam um internamento hospitalar segundo o Protocolo, mas que no
entender dos revisores, no meio avaliado foi um factor
de confusão. Este poderia ser por exemplo, o caso da
prescrição por rotina de soros em volume superior ao
necessário para a manutenção da via venosa permeável:
em condições normais, um volume superior a 500 cc
por dia poderia ser considerado soroterapia e ser um
critério de adequação. Mas se aceitamos como critério
que a soroterapia só se considera a partir de 1000 cc
por dia, unicamente os doentes que recebam um volume superior a este, terão este critério de adequação.
Decidir qual é a percentagem conveniente de inadequação das admissões num Serviço de Medicina é um
problema complexo. Os diferentes estudos levados
a cabo indicam percentagens que oscilam entre 9 - 24%
29,30
, dependendo das características do Hospital,
do sistema de saúde e da patologia própria dos
doentes. Por isso não podemos decidir que existam
valores categóricos de “boa” ou “má” adequação. Em
vez disso, a principal utilidade desta percentagem será
a comparação da adequação entre hospitais com características semelhantes e como marcador de adequação
dentro de um mesmo hospital, podendo ser utilizado
como elemento de valorização do efeito de estratégias
28, 31
para optimizar a utilização das camas hospitalares .
AEP NA PENÍNSULA IBÉRICA
Na Península Ibérica, a introdução deste instrumento
só se verificou na década de 90, quando começaram
a aparecer os primeiros estudos com AEP em doentes
16,
médicos, pediátricos e com patologias específicas
32, 33, 34
. Os primeiros estudos foram levados a
cabo em doentes internados em serviços de Medicina
Interna, sendo revistas de forma retrospectiva as histórias clínicas de uma amostra dos doentes internados
durante um ano. A taxa de adequação era de 17% 16.
Desde então, têm sido levados a cabo vários estudos,
com uma taxa de adequação de admissões hospitalares
31, 35
entre 9 e 15%
. Em Portugal, em meados dos
anos 90, um projecto governamental estudou as taxas
de inadequação dos internamentos e estadias em vários
hospitais públicos, quantificando as taxas de inadequação dos internamentos não obstétricos em 25%
22
. Posteriormente, foram levados a cabo estudos em
doentes internados em Serviços de Medicina Interna,
com uma taxa de inadequação de internamento ron23, 24
dando os 20%
. Desde os primeiros dias da sua
aplicação, têm sido divulgadas opiniões díspares quanto
Determining the convenient percentage of inappropriateness of admissions in a Health Service is a complex problem. Different studies carried out indicate
29,30
percentages that vary between 9 and 24% percent ,
depending on the characteristics of the Hospital, its
health care system and the pathology of the patients.
Therefore, we cannot say that there are absolute ‘good’
or ‘bad’ figures regarding inappropriateness. Rather,
the main purpose of the determined percentage is to
compare inappropriateness amongst hospitals with the
same characteristics and to use it as a marker of appropriateness inside the same hospital. It can be used to
determine the effect of strategies in order to optimise
28,31
the usage of hospital beds .
AEP IN THE IBERIAN PENINSULA
The introduction of this tool only took place in the
1990’s in the Iberian Peninsula when the first studies
on the AEP started to appear on medical, paediatrics
16,32,33,34
and specific pathologies patients
. The first studies were carried out on patients admitted to Internal
Medicine Departments. For a period of a year a retrospective review of the medical records of a sample
of these patients was carried out. The rate of inappro16
priateness was 17% . Since then, various studies have
been carried out with a rate of inappropriateness of
31,35
hospital admissions varying between 9 and 15% .
QUADRO I - ELEMENTOS AVALIAÇÃO AEP
Table I – ELEMENTS OF AEP EVALUATION
PORTUGAL (meados anos 90) | (middle 90s)
1.Vários Hospitais, internamentos não Obst.
Several Hospital, Admicions non Obst.
Taxa inadequação internamentos
Rate of inappropriateness
25%
2. Serviços de Medicina Interna
Internal Medicine Services
Taxa inadequação internamentos
Rate of inappropriateness
20%
Andaluzia
Hosp. Juan Jimenez 1997
Taxa inadequação internamentos
Rate of inappropriateness
13%
Hosp. Juan Jimenez 1998 (Med. Interna)
Taxa inadequação internamentos
Rate of inappropriateness 15%
Algarve
Hospital Barlavento 2003 (Med. Interna)
Taxa inadequação internamentos
Rate of inappropriateness
17,7%
Andaluzia
Hosp. Juan Jimenez 1999 (Med. Interna)
Após instituição de medidas para melhorar adequação de internamento
After application of measures to improve inappropriateness rate
Taxa inadequação desceu para
Rate of inappropriateness dropped to
9%
à utilidade do AEP para diminuir as admissões e os
36, 37
internamentos inadequados
, embora tenham
sido poucos os estudos que valorizam a efectividade
do AEP como ferramenta real de trabalho na prática
clínica.
AEP NA ANDALUZIA
Na Andaluzia, região do sul de Espanha, o primeiro
estudo relevante publicado data de finais dos anos 90
39
. Este estudo realizou-se no Hospital Juan Ramón
Jimenez de Huelva, um Centro de segundo nível que
tem como área de influência a capital da província,
cidades costeiras e um hospital de primeiro nível que
serve uma região periférica montanhosa num
total der cerca de 250 000 pessoas. Foi estudada de
forma retrospectiva a adequação dos internamentos de
201 pessoas escolhidas aleatoriamente entre as 518 internadas entre os meses de Janeiro e Março de 1997. A
taxa de inadequação dos internamentos oscilou nos
13%.
Como causa principal de internamento inadequado
encontrou-se a necessidade do estudo de uma forma
rápida e que pela demora que implica realiza-lo de forma ambulatória não permitiu a sua realização desde a
consulta, correspondendo este facto a mais de metade
dos internamentos inadequados.
Um ano depois repetiu-se o estudo numa amostra
aleatória de doentes internados num determinado dia
no Serviço de Medicina Interna (estudo concorrente) e
a inadequação tinha aumentado aproximadamente
15%, sendo o mesmo motivo a maior causa da inade35
quação .
Depois destes resultados, foi tomada a decisão de
abrir uma Consulta de Orientação Diagnostica (CAD)
efectuada por um Internista com contacto telefónico
directo que poderia ser consultado pelos Médicos de
Família da zona de saúde e que (num período razoávelem todos os casos inferior a uma semana),
atenderia pessoalmente estes pacientes caso se achasse
necessário, de forma a que existisse uma diminuição de
afluência de doentes ao hospital por este motivo. Ao
mesmo tempo, foi criada a Consulta Rápida de Medicina Interna (CRMI), que atendia doentes referenciados
das Urgências num período de uma semana. A
maior parte dos doentes com síncopes, anemias para
estudo e síndromes constituicionais, precisavam previamente de internamento hospitalar para se levar a cabo
um estudo de forma eficiente. Na CRMI além de uma
resposta em tempo útil pelo Internista, conseguiu-se
através de um Protocolo de colaboração com outros
Serviços - principalmente Radiologia e Cardiologia
- que os exames complementares solicitados
por esta consulta tivessem uma prioridade semelhante
aos dos doentes hospitalizados. No caso de os resultados obtidos na CRMI aconselharem ou de a evolução
clínica do paciente o justificar, procedia-se ao interna-
In Portugal, in the mid 1990’s, a government project
studied the rates of inappropriateness of admittances
and hospital stays in various state hospitals and quantified the rates of inappropriateness of the admittan22
ces in obstetrics at 25% . After that, studies were
carried out in patients admitted to Internal Medicine
Departments with a rate of inappropriateness of
23,24
approximately 20% . As far back as the first days of
its implementation, there have been differing opinions regarding the usefulness of the AEP to reduce
36,37
admittances and inappropriate stays , although there
are few studies that emphasise the effectiveness of the
21,28,38
AEP as a real working tool in medical practice
.
EAP IN ANDALUSIA
In Andalusia, a southern region of Spain, the first
relevant study published dates back to the end of the
39
1990’s . This study took place at the Juan Ramón
Jiménez Hospital of Huelva. It is a level two centre in
an area that includes the capital of the province, coastal
cities and a level one hospital serving a mountainous
surrounding region, for a total of about 300,000
people. A retrospective study was carried out on the
appropriateness of the admittance of 201 people who
were randomly chosen from 518 admittances during
the months of January and March of 1997. The
rate of inappropriateness of the admittances varied
at around 13%. The main reason for the inappropriateness of admittances was due to the need for a
rapid study not possible on an out-patient basis since
hospital consultations imply lengthy waits. This factor
accounts for the inappropriateness of over half of the
admittances. One year later, the study was repeated
on a randomly chosen sample of patients admitted to
the Internal Medicine Department (concurrent study)
and the inappropriateness had increased to over 15%.
35
The cause of inappropriateness had not changed .
After considering these results, a decision was made
to open a Diagnostic Orientated Consultation (DOC)
which would be handled by an Internist who would
be readily available by a direct telephone line to the
Family Doctors of the health region. These physicians
would, in a reasonable period of time, (in all cases less
than one week) personally see the patients, if it proved
necessary. This would reduce the number of patients
coming to the hospital for this reason. Concurrently,
an Urgent Internal Medicine Consultation (UIMC)
was created to see patients referred to them from the
Emergency Department (ED) within the same period
of time. Most of the patients, with syncope, anaemia
not known to the study and constitutional syndromes
required hospital admittance so that a study could
efficiently be carried out. UIMC Internists managed to
respond to patients in a timely fashion and a Protocol
with other Services, namely Radiology and Cardiology
was established allowing for all additional testing,
13
Barlavento Médico
36 Callejas Rubio JL, Fernandez-Moyano A,
Palmero C, Navarro MD. Son realmente
objetivos los criterios del Appropriateness Evaluation Protocol (AEP)? Med Clin
(Barc). 2002 Feb 9;118(4):157-8.
37 Moya-Ruiz C, Peiro S, Meneu R. Effectiveness of feedback to physicians in reducing inappropriate use of hospitalization:
a study in a Spanish hospital. Int J Qual
Health Care. 2002 Aug;14(4):305-12.
mento hospitalar com a vantagem de se internar
uma pessoa completamente orientada desde o ponto
de vista diagnóstico e com as provas complementares
realizadas, pelo que a estadia hospitalar seria reduzida
consideravelmente. Um ano depois da aplicação destas
medidas, a percentagem de inadequação dos interna31, 38
mentos desceu 9,1%
, pelo que se conclui que
as medidas empregadas tiveram um impacto positivo
na diminuição da inadequação dos internamentos
hospitalares. Com esta experiência espanhola chegamos
à conclusão que o AEP é um instrumento útil para
determinar, não só a adequação dos ingressos e dos
dias de presença hospitalar, mas ao mesmo tempo
tem um papel importante na valorização das medidas
destinadas a diminuir a inadequação, podendo ser
aplicado noutras unidades assistenciais para optimizar a
utilização das camas hospitalares.
AEP NO HOSPITAL DO BARLAVENTO ALGARVIO
Barlavento Médico
14
O Hospital do Barlavento Algarvio, hoje Centro Hospitalar, é uma unidade assistencial de segundo nível que
tem como área de influência a região Oeste do Algarve
o que em termos populacionais representa cerca
200,000 pessoas.
Em 2002 tinha uma capacidade de 262 camas, das quais
44 pertencias ao Serviço de Medicina Interna. Tendo
em conta as semelhanças com o Hospital Juan Ramón
Jiménez de Huelva, tentou-se extrapolar a aplicação
do AEP a esta Unidade Hospitalar começando com o
Serviço de Medicina Interna.
Um primeiro estudo piloto transversal foi realizado em
23 doentes, levado a cabo em Março do 2003, indicava
que todas as admissões hospitalares eram adequadas
devido à prescrição de soros ou medicação parentética
28
. Estes resultados foram discutidos numa Reunião
de Serviço e os médicos responsáveis pelos internamentos em Medicina Interna alertados para valorizar a
necessidade de utilização desta via. Num novo estudo
transversal realizado um mês depois verificou-se que
4,3% das 23 admissões avaliadas foram inadequadas, e
só 56% dos internamentos adequados eram devido à
28
prescrição de medicação parentérica . Simultaneamente, durante este mesmo ano levou-se a cabo um
estudo prospectivo com a revisão sistemática das histórias clínicas dos doentes internados num dos quartos
do Serviço de Medicina I. Foram avaliados 175 internamentos, encontrando-se uma taxa de inadequação de
internamento de 17,7%, fundamentalmente devido à
necessidade de um estudo rápido que não seria compatível com o ritmo de funcionamento das Consultas
existentes, ou por ser necessário internamento num
nível assistencial diferente de um Hospital de cuidados
24
agudos . A diferença entre as taxas de inadequação
entre os dois estudos, transversal e prospectivo
atribui-se, apesar do pequeno tamanho da amostra dos
estudos transversais, ao efeito da consciencialização da
requested at consultations, to have the same priority
rating as that of hospitalised patients. A patient would
only be admitted to hospital if the conclusions reached
by the UIMC Internist made it advisable or if the
evolution of the person’s medical condition made it
necessary. The advantages were that the patient would
already have a diagnosis and would have completed all
diagnostic testing which would significantly reduce the
hospital stay. After one year of implementing these
measures, the percentage of inappropriate admittances
38,31
dropped to 9.1% . It can be concluded that these
measures had a positive impact on the reduction of
inappropriate admissions to hospital. The Spanish
experience allows us to conclude that the AEP is a
helpful instrument to determine not only the inappropriateness of admissions and hospital stays but also the
impact of measures used to reduce inappropriateness.
Furthermore, it can be applied to other health services
to optimise the usage of hospital beds.
EAP IN ALGARVE
The West Algarve Hospital is a level two health care
service. It covers the western region of the Algarve,
Portugal, and serves a population of approximately
200,000 people. In 2002 it had a 262 bed capacity, 44
of which belonged to the Internal Medicine Department. Given the similarities to the Juan Ramón
Jiménez Hospital of Huelva, this hospital’s AEP was
first used with the Internal Medicine Department. In
March of 2003 the first Pilot cross-study was done on
23 patients and indicated that all hospital admissions
were appropriate given the prescription of fluids or
intra-venous medication. These results were pointed
out in a departmental meeting and the physicians who
were responsible for admissions were encouraged to
use this method.
A new cross-study, concluded one month later, found
that 4.3% of the 23 admissions that were assessed
were inappropriate, and only 56% of the appropriate
admissions were considered appropriate due to the
prescription of intra-venous medication. At the same
time, a prospective study was done on patients admitted to two wards of the Internal Medicine Department.
A systematic study was done of their medical records.
The admissions of 175 patients were evaluated and the
rate of inappropriate admissions was 17.7%.
This was attributed to the need for a quick study which
was incompatible with the pace of existing consultations or because a patient needed to be admitted to a
24
non-acute care health facility . In spite of the reduced
sample of the cross-study, the difference between
the rates of inappropriateness found in the cross and
prospective studies can be explained by the increased
awareness of physicians of our Centre as regards the
over usage of the intra-venous route when administering medication.
sobreutilização da via parentética para a administração
de medicação nos médicos do nosso Centro. Depois de
avaliar cuidadosamente o peso específico de cada uma
das causas da inadequação do internamento e a disponibilidade dos meios humanos e infra-estruturas do
nosso Centro, conclui-se que o melhor sistema de diminuir a inadequação das admissões hospitalares seria dispor de uma unidade de continuidade assistencial. Nesta
o doente que não necessitasse especificamente de
internamento em Medicina Interna mas que precisasse
de um nível de cuidados superior ao que se pode
prestar com apoio domiciliário, pudesse permanecer
desde que avaliados por Medicina Interna, com seguimento por médicos de Medicina Geral e com apoio
pontual da nossa especialidade em caso de necessidade.
Em Janeiro de 2004 abriu-se um protocolo de colaboração com o Hospital de Santa Casa da Misericórdia,
Portimão, existindo 15 camas destinadas a este fim.
Para esta Unidade, independente, institucional e funcionalmente do nosso Hospital, poderiam ser transferidos
os doentes avaliados por Medicina Interna que se
encontrassem clinicamente estáveis e cuja única justificação do internamento fosse a necessidade de algum
tratamento com internamento hospitalar. Os doentes
eram avaliados diariamente por um clínico geral e, em
caso de necessidade, um internista da nossa instituição
deslocar-se-ia a esta Unidade. Em caso de agravamento
da situação clínica, o doente voltaria para o Hospital
através do Serviço de Urgência. O estudo levado a
cabo em 2005 com os doentes internados durante o
ano anterior foi repetido com uma metodologia
After carefully weighing each of the causes of inappropriateness of admission and the availability of human
resources and infrastructure of our Centre, we concluded that the best way to reduce inappropriate hospital
admissions would be to have a Continuing Health Care
Unit. Here, care could be provided to patients who
do not necessarily need to be admitted to an Internal
Medicine Department but need more care than home
assistance can offer.
Patients could stay in this alternative health care setting
once evaluated by Internal Medicine and be followed
up by General Practitioners. When necessary, the
Internal Medicine Department could assist on a case
by case basis. In January of 2004 a joint protocol was
established with Hospital da Santa Casa de Misericordia (Mercy Hospital) and 15 beds were set aside for this
purpose.
Patients could be transferred to this institutionally and
functionally independent hospital after having been
found by the Department of Internal Medicine to
be clinically stable and in need of hospital treatment.
Patients were assessed daily by a General Practitioner
and if necessary an Internist of our hospital would go
to this Hospital to give further therapeutic guidance.
If the patient’s condition deteriorated, he/she would
return to the Hospital through the Emergency Department.
A 2005 study with patients admitted to hospital the
previous year was repeated with the same methodology. In this study, 20.8% of the admissions did not meet
any criteria for admission to an acute-care hospital
15
Barlavento Médico
Hospital Juan Ramón Jiménez,
Huelva (Espanha)
Barlavento Médico
16
idêntica, verificando-se que 20,8% das admissões não
cumpriu critério nenhum de entrada num Hospital
de cuidados agudos após a abertura da Unidade de
24
Cuidados Continuados . O aumento das taxas de
inadequação foi um achado desfavorável cujas causas
trataremos de destrinçar. A principal delas foi que os
doentes, na maior parte dos casos, foram transferidos
de uma unidade de internamento e não da Urgência.
Portanto, concluímos que a aparição de um novo recurso de hospitalização fez com que alguns doentes, que
em condições normais, não teriam acedido ao nosso
serviço, fizeram-no com o objectivo de estabilizar o paciente previamente a sua transferência para a Unidade
de Cuidados Continuados. Contudo, este novo recurso
teve um efeito positivo, diminuindo a estadia média dos
nossos doentes de 8,44 dias para 7,22 dias 24. Quando
se analisaram as causas de internamento inadequado no
Serviço de Medicina no estudo de 2004, verificou-se
que a necessidade de internamentos num centro assistencial diferente de um hospital de cuidados agudos
assumiu um papel secundário, sendo a necessidade de
um estudo de forma rápida a principal justificante do
internamento inadequado. Isto reflecte de uma forma
indirecta que a medida adoptada tinha contribuído para
diminuir a inadequação associada à indisponibilidade de
instalações alternativas. O facto de existirem internamentos inadequados devido à necessidade de agilizar
o estudo ambulatório fez pensar que o problema
principal naquele momento era a demora na obtenção
dos estudos complementares e a observação por um
internista nas consultas. No mesmo ano, o Hospital
Distrital de Lagos passou a integrar o nosso Centro
Hospitalar como uma unidade de Internamento.
Aproveitando os dados obtidos por aquele estudo, foi
reorientado como um serviço de Medicina Interna com
uma capacidade de 22 camas, que posteriormente passou a 30. Foram destinados a este Centro precisamente
aqueles doentes que se encontravam numa situação
de estabilidade, mas que precisavam de uma orientação
diagnostica/terapêutica por parte de um especialista em
Medicina Interna. A repetição do estudo prospectivo
em 2005 mostrou que só 12,3% dos internamentos
foram inadequados segundo os critérios da AEP,
sendo neste caso a principal causa de inadequação o
internamento para levar a cabo o estudo de uma forma
rápida40.
A nossa meta para os próximos anos será, portanto,
estabelecer uma infra-estrutura ambulatória bem coordenada com os serviços de Atendimento Primários que
permita realizar o estudo de um doente em Tempo útil
sem necessidade de internamento no Hospital.
Como no exemplo do Hospital Juan Ramón Jiménez
de Huelva que nos permitirá, além de optimizar a
utilização das camas hospitalares, diminuir a frequência
no Serviço de Urgência e estabelecer novos canais de
comunicação entre o Médico de Família e o Internista.
Para um futuro mais distante fica a ideia de evitar o
following the opening of the Continuing Health Care
24
Unit . The increase in the rates of inappropriateness
was rather discouraging and we will try to unravel the
reasons for this: The main one was that patients were
being transferred from a hospital ward and not from
the Emergency Ward.
We concluded that some patients who wouldn’t
normally be admitted to our department were being
sent there because they needed to be stabilised prior
to being transferred to a Continuing Health Care Unit.
Indeed, this re-hospitalisation had a positive effect. It
reduced the average stay of our patients from 8.44 days
24
to 7.22 days .
When we analysed the causes of inappropriate admissions in our department in the 2004 study, we found
that admission to a non acute health care facility took
on a secondary role. The need for a prompt study became the main reason of inappropriate admission. The
adopted measure had indirectly contributed to reduce
the inappropriateness associated with the unavailability
of alternative facilities. The fact that inappropriate
admissions existed due to the need to expedite out
patient studies made us think that the main problem at
that time was the delay in obtaining additional testing
and the Internist’s attention at the Consultations.
That same year, the District Hospital of Lagos joined
our Hospital Centre with one facility. Making use of
the data obtained from that study, it was restructured
as a 22 bed Internal Medicine Department which has
since grown to 30 beds. Stabilised patients who needed
diagnostic and therapeutic guidance by an Internal
Medicine specialist were transferred to this centre.
The repetition of the prospective study in 2005 showed that only 12.3% of the admissions were inappropriate according to the AEP criteria. In this case the
main cause of inappropriate admission was the need to
admit patients as quickly as possible for study and not
40
possible on an out patient basis .
Our goal for the coming years will be, therefore, to
create a coordinated out patient infrastructure with
the Primary Health Care Services to expedite studies
without having to admit patients to Hospital. We can
use the Juan Ramón Jiménez Hospital of Huelva as an
example to optimise the use of hospital beds and thus
reduce the number of people coming to the ED and
establish new channels of communication between
Family doctor and Internist.
In the more distant future we should think about
avoiding hospital admission solely for the purpose of
intra-venous fluid treatments and create an Internal
Medicine Day Hospital which could medicate and
reassess patients regularly.
CONCLUSION
The Appropriate Evaluation Protocol, applied periodically throughout a decade in patients admitted to acute
internamento hospitalar para a realização de tratamento
parentéticos como única justificação através da criação
de um Hospital de Dia de Medicina Interna que permita administrar medicações e fazer reavaliações médicas
com regularidade.
CONCLUSÃO
O Appropriateness Evaluation Protocol, aplicado de
forma periódica ao longo de uma década em doentes
internados em Hospitais de agudos na Europa,
tem demonstrado ser um instrumento eficaz e
eficiente para a detecção das deficiências estruturais
do sistema de saúde na sua dimensão de sobre utilização das camas de agudos em unidades hospitalares. É
igualmente útil para a detecção de causas de inadequação dos doentes admitidos e demoras de internamento
hospitalar e para elaborar estratégias destinadas a diminuir a inadequação bem como medir o impacto das
medidas adoptadas para aumentar a adequação do uso
do recurso ao internamento.
unit Hospitals in Sanitary Health regions in Europe,
has demonstrated to be an efficient tool for detecting
structural deficiencies and over use of acute care hospital beds in the health system. It has resulted useful
in the detection of causes of inappropriate admissions
and hospital stays, for elaborating strategies designed
to reduce inappropriateness and for measuring the impact of adopted measures to improve appropriateness
of hospital admissions.
Barlavento Médico
17
Referências | References
1. Therborn G, Roebroek J. The irreversible welfare state: its recent maturation, its encounter with the economic
crisis, and its future prospects. Int J Health Serv. 1986;16(3):319-38.
2. American Medical Association. Criteria Development Project- Sample criteria for short stay hospital review.
American Medical Association, Chicago, 1976
3. Bernstein SJ, Hilborne LH, Leape LL, Fiske ME, Park RE, Kamberg CJ, Brook RH. The appropriateness of
use of coronary angiography in New York State. JAMA. 1993 Feb 10;269(6):766-9.
4. Brook RH, Park RE, Chassin MR, Solomon DH, Keesey J, Kosecoff J. Predicting the appropriate use of
carotid endarterectomy, upper gastrointestinal endoscopy, and coronary angiography. N Engl J Med. 1990 Oct
25;323(17):1173-7
5. Gertman OM and Restucia JD. The appropriateness evaluation protocol: a tecqnique for assessing unnecessary
days of hospital care. Med Care 19:7. 1981
6. Lamprey J. Interqual ISD Review System. Interqual Chicago. 1982
7. Utilization Management Associates. The Managed Care Appropriateness Protocol Reviewers Manual. Wellesley,
MA 1989.
8. D´alche-Gautier MJ, Maiza D, Chastang F. Assessing the appropriateness of hospitalization days in a French
university hospital. Int J Health Care Asssur Inc Leadersh Health Serv 2004; 17 (2-3): 87-91.
9. Panis LJ, Verheggen FW, Pop P. To stay or not to stay. The assessment of appropriate hospital stay: a Dutch
report. Int J Qual Health Care. 2002;14:55-67.
10. Fellin G et al. Appropriateness Of Hospital Use: an overview of Italian studies. Int J Qual H Care 1995 (7), 3:
219-225.
11. Ramos Cuadra et al. The effect of completeness of medical records on the determination of appropriateness
of hospital days. Int J Qual Health Care. 1995 Sep;7(3):267-75.
12. Rodriguez-Vera FJ, Marin Y, Sanchez A, Borrachero C, Pujol E. Illegible handwriting in medical records. J R
Barlavento Médico
18
Soc Med. 2002 Nov;95(11):545-6
13. Dal-Re R. Good clinical practices in clinical trials: the responsibility of the researcher. A survey of 827 hospital physicians (I). Availability. Monitoring. Safety. Contract] Med Clin (Barc). 1993 Mar 6;100(9):346-50.
14. Cohen JA. Coefficient of agreement for nominal scales. Educ Psychol Measur 20:37, 1960
15. Restuccia J. Manual de Utilización del Appropriateness Evaluation Protocol. Fundación Avedis Donabedian.
Barcelona, 1995.
16. Matorras Galan P et al. Adecuación de los ingresos en un servicio de medicina interna de un hospital de
tercer nivel. Med Clin (Barc) 1990; 94:290-293.
17. Gomez Llorente et al. Utilidad del Pediatric Appropriateness Evaluation Protocol para detectar deficiencias
de circuitos asistenciales sanitarios. An Pediatr (Barc). 2004 Mar;60(3):228-35.
18. Anton P et al. Uso inadecuado de la hospitalización en cirugía general. Magnitud, factores asociados y causas.
Cir Esp. 2005 Sep;78(3):183-91.
19. Capalbo G, et al. Appropriateness evaluation of short hospital admissions using Appropriateness Evaluation
Protocol (Italian version): experience of a teaching hospital. Ann Ig. 2004 Nov-Dec;16(6):759-65.
20.Schneeweiss,S;Sangha,O. An update of the German version of AEP (Appropriateness Evaluation Protocol):
metric properties and practical experiences.Chirurg.2001;72(2):196-8.
21. Lombard I, Cause of non-pertinent hospital stays: interobserver concordance using the French version of the
Appropriateness Evaluation Protocol. Rev Epidemiol Sante Publique. 2001 ;49(4):367-75.
22. Bentes M, Gonsalves ML, Santos M, Pina E.. Design and development of a utilization review program in
Portugal. Int J Qual Health Care. 1995 ;7(3):201-12
23. Cordero A et al. Adequação dos internamentos num serviço de Medicina. Aplicação da escala AEP (Appropriateness Evaluation Protocol) Acta Med Port. 2004 ;17(2):113-8. Epub 2004 Apr 30.
24. Vieira N et al. Adequação dos Internamentos Hospitalares num Serviço de Medicina Interna utilizando o
Appropriateness Evaluation Protocol durante o ano de 2004. Acta Med Port 2006; 19: 67-70
25. Restuccia J. The evolution of the Hospital Utilization Review Methods in the United States. Int J Qual H Care
1995 (7); 3:253-260.
26. Fellin et al. Appropriateness of Hospital use: an overview of Italian studies. Int J Qual H Care 1995 (7); 3:
219-225.
27. Lorenzo S, Suñol R. An Overview of Spanish studies on appropriateness of hospital use. Int J Qual H Care
1995 (7); 3: 213-218.
28. Rodriguez-Vera J, Vieira N, Ramos J, Ferrao E, Taveira T, Monteiro L, Grade MJ, Duarte I, Arez L, Tomé
R. Resultados de un programa de aumento de eficiencia de la hospitalización basado en la utilización del AEP
(Appropriateness Evaluation Protocol). Presented as Poster in the XX Congress of the Sociedad Andaluza de
Medicina Interna (SADEMI) on 15 Nov 2003.
29. Ingold BB, Yersin B, Wietlisbach V, Burckhardt P, Bumand B, Bula CJ. Characteristics associated with inappropriate hospital use in elderly patients admitted to a general internal medicine service. Aging (Milano). 2000
Dec;12(6):430-8.
30. Hrobon P, Chlumsky J, Jirasek V, Kvapil M. Assessment of the need for and length of hospitalization at the
internal medicine department. Vnitr Lek. 1998 Sep;44(9):541-6.
31. Rodriguez-Vera J, de la Llave EP. Inappropriate admissions. J R Soc Med. 2002 Feb;95(2):111.
32. Lopez Amado M, Garcia Sarandeses A, Herranz Gonzalez-Botas J, Lopez Blanco G, Martinez Vidal J. Appropriateness emergency hospital admissions at an ORL service of a third level hospital. Acta Otorrinolaringol
Esp. 1993 Jan-Feb;44(1):31-4.
33. Baneres J, Alonso J, Broquetas J, Anto JM. Inadequate hospital admissions and inactive days of hospital
stay in patients with chronic obstructive pulmonary disease and lung neoplasms. Med Clin (Barc). 1993 Mar
20;100(11):407-11.
34. Ruiz Lazaro PJ. Inappropriate hospitalization according to the Pediatric Appropriateness Evaluation Protocol.
A study of Spanish pediatric services. An Esp Pediatr. 1998 Mar;48(3):328-9.
35. Rodriguez-Vera FJ, Marin Fernandez Y, Sanchez A, Borrachero C, Puyol de la Llave E. Adecuación de los
ingresos y estancias en un servicio de Medicina Interna de un hospital de segundo nivel utilizando la versión
concurrente del Appropriateness Evaluation Protocol (AEP). An Med Interna. 2003 Jun;20(6):297-300.
36.Callejas Rubio JL, Fernandez-Moyano A, Palmero C, Navarro MD. Son realmente objetivos los criterios del
Appropriateness Evaluation Protocol (AEP)? Med Clin (Barc). 2002 Feb 9;118(4):157-8.
37. Moya-Ruiz C, Peiro S, Meneu R. Effectiveness of feedback to physicians in reducing inappropriate use of
hospitalization: a study in a Spanish hospital. Int J Qual Health Care. 2002 Aug;14(4):305-12.
38. Rodriguez-Vera FJ. The AEP in the assessment of appropriate hospital stay. Int J Qual Health Care. 2002
Oct;14(5):429-30.
39. Rodriguez-Vera FJ, Alcoucer Diaz MR, Rodriguez Gomez FJ, Camacho Martinez T, Colchero Fernandez J,
Pujol de la Llave E. Adecuación de los ingresos en un servicio de Medicina Interna de un hospital de segundo
nivel. An Med Interna. 1999 Jun;16(6):277-80.
40. Vieira N, Rodriguez-Vera J,Grade MJ, Santos C. Adequação das admissões a um serviço de medicina interna
utilizando o Appropriateness Evaluation protocol (AEP). Presented as oral communication on the 12º Congresso Nacional da SPMI (Sociedade Portuguesa de Medicina Interna) on 26th May 2006.