To evaluate the performance of the Pediatric Index of Mortality 2 (PIM2) in a pediatric intensive care unit (PICU) with a high prevalence of patients with complex chronic conditions (CCCs), and compare the performance between patients with and without CCCs.
MethodsA prospective cohort study was conducted in a PICU in Brazil, with patients admitted between 2009 and 2011. The performance was evaluated through discrimination and calibration. Discrimination was assessed by calculating the area under the ROC curve, and calibration was determined using the Hosmer‐Lemeshow goodness‐of‐fit test.
ResultsA total of 677 patients were included in the study, of which 83.9% had a CCC. Overall mortality was 9.7%, with a trend of higher mortality among patients with CCCs when compared to patients without CCCs (10.3% vs. 6.4%, p = 0.27), but with no difference in the mean probability of death estimated by PIM2 (5.9% vs. 5.6%, p = 0.5). Discrimination was considered adequate in the general population (0.840) and in patients with and without CCCs (0.826 and 0.944). Calibration was considered inadequate in the general population and in patients with CCCs (p < 0.0001 and p < 0.0001), but it was considered adequate in patients without CCCs (p = 0.527).
ConclusionsPIM2 showed poor performance in patients with CCCs and in the general population. This result may be secondary to differences in the characteristics between the study samples (high prevalence of patients with CCCs); the performance of the PIM2 should not be ruled out.
Avaliar o desempenho do Pediatric Index of Mortality 2 (PIM2) em Unidade de Terapia Intensiva Pediátrica (UTIP) com alta prevalência de pacientes com condições crônicas complexas (CCC), e comparar o desempenho entre pacientes com e sem CCC.
MétodosEstudo de coorte prospectivo, realizado em UTIP no Brasil, com pacientes admitidos entre 2009 e 2011. O desempenho foi avaliado através da discriminação e calibração. A discriminação foi avaliada através do cálculo da área sob a curva ROC e a calibração através do teste de ajuste de Hosmer‐Lemeshow.
ResultadosForam incluídos no estudo 677 pacientes, com 83,9% deles apresentando uma CCC. A mortalidade geral foi 9,7%, com tendência de maior mortalidade entre pacientes com CCC quando comparados com pacientes sem CCC (10,3% vs. 6,4%; p = 0,27), porém sem diferença na média de probabilidade de morte estimada pelo PIM2 (5,9% vs. 5,6%; p = 0,5). A discriminação foi considerada adequada na população geral (0,840) e nos pacientes com e sem CCC (0,826 e 0,944). A calibração foi considerada inadequada na população geral e nos pacientes com CCC (p < 0,0001 e p < 0,0001), porém foi considerada adequada nos pacientes sem CCC (p = 0,527).
ConclusõesO PIM2 apresentou desempenho inadequado nos pacientes com CCC e na população geral. O desempenho inadequado pode ser secundário à diferença das características entre as amostras do estudo (alta prevalência de pacientes com CCC), e o desenvolvimento do escore não pode ser descartado.
Crianças com condições crônicas complexas (CCC) são caracterizadas pela presença de qualquer condição médica em que é esperada uma duração da patologia de pelo menos 12 meses (exceto quando o paciente evolui para óbito), e também que esta comprometa algum sistema orgânico ou órgão o suficiente para necessitar de cuidados de uma especialidade pediátrica e, provavelmente, de hospitalização em um hospital de cuidados terciários.1
Há um aumento da prevalência de crianças com CCC admitidas nas Unidades de Terapia Intensiva Pediátrica (UTIP), com a observação que pacientes com CCC apresentam maior risco de mortalidade e maior tempo de permanência na UTIP do que aqueles sem CCC.2
Os escores de predição de desfecho são ferramentas que quantificam a gravidade da condição clínica do paciente e predizem mortalidade, sendo considerados componentes importantes para a mensuração e melhoraria da qualidade do cuidado oferecido nas UTIP.3 Os dois escores de predição de desfecho mais comumente utilizados na população pediátrica, o Pediatric Index of Mortality 2 (PIM 2)4 e o Pediatric Risk of Mortality III (PRISM III),5 incluem poucas condições crônicas como variáveis de predição em seus modelos.
A partir do conceito de que os escores de predição de desfecho podem não funcionar adequadamente em um cenário onde as características ou diagnósticos dos pacientes sejam substancialmente diferentes dos apresentados por pacientes do desenvolvimento do modelo,4 e também da observação do aumento da prevalência de crianças com CCC admitidas nas UTIP nos últimos anos e que apresentam maior mortalidade do que pacientes sem CCC,2 foi considerada importante a avaliação do desempenho dos escores de predição de desfecho em um cenário que reflita esta mudança.
O objetivo do estudo foi avaliar o desempenho do escore de predição de desfecho PIM2 em uma UTIP com alta prevalência de pacientes com CCC, e comparar o desempenho do modelo entre os pacientes com e sem CCC.
MétodosO estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Federal, com a necessidade do termo de consentimento.
Foi realizado estudo de coorte prospectivo na UTIP do Hospital. A UTIP possui dez leitos, ocorrendo aproximadamente 370 admissões por ano, tanto de pacientes clínicos como cirúrgicos, incluindo cirurgias cardíacas.
Foram incluídos no estudo todos os pacientes admitidos na UTIP entre 01 de fevereiro de 2009 e 31 de janeiro de 2011; e foram excluídos: pacientes menores de 30 dias de vida ou maiores de 18 anos; com óbito constatado nas duas primeiras horas de internação; com suspeita de morte cerebral na admissão com posterior confirmação; aqueles considerados fora de possibilidade terapêutica curativa (FPTC); e aqueles cujos responsáveis não assinaram o termo de consentimento.
As variáveis estudadas foram: variáveis para caracterização dos pacientes; probabilidade de morte calculada pelo PIM2; e variáveis de desfecho. Os dados das variáveis pesquisadas foram coletados pelos próprios pesquisadores no prontuário médico e na folha de registro da enfermagem.
Na caracterização dos pacientes foram avaliados: idade; gênero; presença de CCC; tipo de CCC; tipo de admissão (clínica ou cirúrgica); tipo de patologia clínica; tipo de patologia cirúrgica; condição eletiva ou não eletiva da admissão; e utilização de ventilação mecânica invasiva.
A presença de CCC foi registrada quando o paciente apresentava qualquer condição médica em que era esperada uma duração da patologia de pelo menos 12 meses (exceto quando paciente evoluía para óbito), e que comprometesse algum sistema orgânico ou órgão o suficiente para necessitar de cuidado de uma especialidade pediátrica e, provavelmente, de hospitalização em um hospital de cuidados terciários. 1 A CCC do paciente era qualificada de acordo com a classificação desenvolvida por Feudtner et al.:1 malformações neuromusculares; malformações cardiovasculares; respiratório; renal; gastrointestinal; hematológico ou imunológico; metabólico; outros defeitos genéticos ou congênitos; e neoplasias.
O paciente foi classificado como tendo uma patologia clínica: cardiovascular; respiratória; renal; hepática; neurológica; pós‐parada cardiorrespiratória; ou oncológica/hematológica. Já a classificação como tendo uma patologia cirúrgica foi: cardiovascular; neurológica; cirurgia geral; ortopédica; transplantes; ou cateterismo cardíaco. A admissão foi registrada como eletiva quando uma admissão na UTIP ou uma cirurgia poderia ser postergada por mais de 6 horas, sem efeitos adversos para o paciente. A probabilidade de morte de cada paciente do estudo foi calculada através das instruções disponibilizadas pelos autores do escore.4 Já as variáveis de desfecho avaliadas foram evento de saída do UTIP (alta ou óbito) e tempo de internação.
Estatística descritiva foi utilizada para caracterizar os pacientes, e o desempenho do PIM2 foi avaliado através das medidas de discriminação e calibração do escore. A discriminação foi avaliada através do cálculo da área sob a curva ROC (receiver operator characteristic),6 sendo considerada adequada quando a área foi maior do que 0,7.7 A calibração foi avaliada através do teste de ajuste de Hosmer‐Lemeshow,6 sendo considerada adequada quando o valor de p do teste Hosmer‐Lemeshow foi maior do que 0,05.7 No teste de Hosmer‐Lemeshow, os pacientes foram divididos em dez grupos, com probabilidades de risco crescente e número similar de casos em cada grupo.
A comparação entre a mortalidade encontrada na população estudada com a mortalidade prevista pelo escore PIM2 foi realizada dividindo a taxa de mortalidade observada pela taxa de mortalidade prevista (conforme calculada pelo escore), chamada de taxa de mortalidade padronizada (TMP).8 A TMP foi apresentada com seu intervalo de confiança (IC) de 95%. Se o IC 95% da TMP incluiu 1, o desempenho foi considerado médio; se o IC 95% da TMP apresentou o limite superior menor do que 1, o desempenho foi considerado bom; e se o IC 95% da TMP apresentou o limite inferior maior do que 1, o desempenho foi considerado ruim.9 Todas as análises foram realizadas através do software SPSS versão para Windows 12 (SPSS, Chicago, Illinois, Estados Unidos).
ResultadosDurante o período do estudo, 756 pacientes foram admitidos na UTIP. Foram excluídos 79 pacientes: 63 tinham idade menor que 30 dias de vida, dez foram considerados FPTC, quatro evoluíram para óbito durante as duas primeiras horas após a admissão na unidade, e dois apresentavam suspeita diagnóstica de morte encefálica na admissão, confirmada posteriormente. No total, 677 pacientes foram incluídos no estudo, com 568 (83,9%) apresentando uma CCC.
As principais características clínicas da população geral e dos subgrupos de pacientes com e sem CCC são apresentadas na tabela 1, assim como as medianas de tempo de permanência, as taxas de mortalidade, médias de probabilidade de morte estimada pelo PIM2 e as TMP da população geral e dos subgrupos. Na comparação dos pacientes com e sem CCC, não foi observada diferença com significância estatística na mediana do tempo de permanência na UTIP (3 dias vs. 3 dias; p = 0,84), na mortalidade (10,3% vs. 6,4%; p = 0,27) e na média de probabilidade de morte estimada pelo PIM2 (5,9% vs. 5,6%; p = 0,5).
Características da população geral e subgrupos avaliados
| Características (%) | População geral(677 pacientes) | Pacientes com CCC(568 pacientes) | Pacientes sem CCC(109 pacientes) |
|---|---|---|---|
| Idade (meses) | 59 (13‐122)a | 64 (17‐123)a | 18 (5‐82)a |
| Gênero masculino | 349 (51,5%) | 287 (50,5%) | 62 (56,8%) |
| Condição crônica complexa | 568 (83,9%) | ||
| Admissão clínica | 320 (47,3%) | 248 (43,6%) | 72 (66%) |
| Admissão cirúrgica | 357 (52,7%) | 320 (56,3%) | 37 (33,9%) |
| Ventilação mecânica invasiva | 370 (54,6%) | 322 (53,8%) | 48 (44%) |
| Admissão não eletiva | 320 (47,2%) | 243 (42,8%) | 77 (70,6%) |
| Tipos de CCC | |||
| Neoplasias | 171 (30,1%) | ||
| Malformações cardiovasculares | 154 (27,1%) | ||
| Malformações neuromusculares | 64 (11,2%) | ||
| Gastrointestinal | 55 (9,6%) | ||
| Renal | 49 (8,6%) | ||
| Respiratório | 27 (4,7%) | ||
| Outros defeitos genéticos ou congênitos | 20 (3,5%) | ||
| Hematológico ou imunológico | 19 (3,3%) | ||
| Metabólico | 9 (1,5%) | ||
| Motivo da admissão clínica | |||
| Respiratório | 134 (41,8%) | 95 (38,3%) | 39 (54,1%) |
| Circulatório | 76 (23,7%) | 69 (27,8%) | 7 (9,7%) |
| Neurológico | 32 (10%) | 22 (8,8%) | 10 (13,8%) |
| Outros | 25 (7,8%) | 21 (8,4%) | 4 (5,5%) |
| Hepático | 19 (5,9%) | 14 (5,6%) | 5 (6,9%) |
| Pós‐PCR | 18 (5,6%) | 14 (5,6%) | 4 (5,5%) |
| Onco‐hematológica | 9 (2,8%) | 9 (3,6%) | 0 (0%) |
| Renal | 7 (2,1%) | 4 (1,6%) | 3 (4,1%) |
| Tipo de cirurgia realizado | |||
| Cirurgia geral pediátrica | 105 (29,4%) | 86 (26,8%) | 19 (51,3%) |
| Neurocirurgia | 91 (25,4%) | 76 (23,7%) | 15 (40,5%) |
| Cirurgia cardiovascular | 84 (23,5%) | 83 (25,9%) | 1 (2,7%) |
| Hemodinâmica | 39 (10,9%) | 39 (12,1%) | 0 (0%) |
| Transplante | 17 (4,7%) | 17 (5,3%) | 0 (0%) |
| Outros | 12 (3,3%) | 11 (3,4%) | 1 (2,7%) |
| Ortopédica | 9 (2,5%) | 8 (2,5%) | 1 (2,7%) |
| Tempo de permanência | 4 dias b | 3 dias b | 3 dias b |
| Estimativa de mortalidade pelo PIM2 | 5,9% | 5,9% | 5,6% |
| Mortalidade | 9,7% | 10,3% | 6,4% |
| TMP | 1,65 (1,26‐2,04) a | 1,75 (1,31‐2,19) a | 1,14 (0,29‐1,99) a |
CCC, condição crônica complexa; PCR, parada cardiorespiratória; PIM2, pediatric index of mortality 2; TMP, taxa de mortalidade padronizada.
A discriminação do escore avaliada através da área sob a curva ROC foi considerada adequada tanto na população geral quanto nos subgrupos de pacientes com e sem CCC (tabela 2). A calibração do escore avaliada através do teste de ajuste de Hosmer‐Lemeshow foi considerada inadequada na população geral e no subgrupo de pacientes com CCC, porém foi considerada adequada no subgrupo de pacientes sem CCC (tabela 2).
Desempenho do PIM2 na população geral e nos subgrupos
| Categorias | Área sob a curva ROC | X2 do teste de HL | p do teste de HL |
|---|---|---|---|
| Geral | 0,840 (0,810‐0,867) | 43,405 | < 0,0001 |
| Condição crônica complexa | 0,826 (0,792‐0,856) | 36,38 | < 0,0001 |
| Sem condição crônica complexa | 0,944 (0,883‐0,979) | 7,089 | 0,527 |
ROC, receiver operator characteristic; HL, Hosmer‐Lemeshow.
Optamos por avaliar o PIM2 por este ser considerado um escore de fácil utilização, eficiente e de domínio público.10 O PIM2 é uma atualização do Pediatric Index of Mortality que foi publicado em 1997, tendo sido, desde então, amplamente utilizado.11,12 Desde a sua edição, em 2003, vários estudos foram publicados avaliando o desempenho do escore em populações e cenários diferentes daquele do estudo de desenvolvimento, com a maioria deles evidenciando desempenho adequado do escore.10
Em nosso estudo, 83,9% dos pacientes admitidos tinham uma CCC, valores superiores aos encontrados em estudo recente, que apontou uma prevalência de 53% numa coorte que incluiu pacientes de 54 UTIP nos Estados Unidos.2 A alta proporção de pacientes com CCC que foi observada em nosso estudo e na literatura recente pode estar relacionada aos avanços no cuidado médico nos últimos anos e, principalmente, na terapia intensiva pediátrica e neonatal, o que tem resultado em uma melhoria nas taxas de sobrevivência de pacientes com doenças anteriormente intratáveis, levando a um aumento de pacientes portadores de CCC que apresentam maior risco de internações em UTIP do que a população geral.13,14
A mortalidade geral da população do estudo foi 9,7%, compatível com as taxas observadas atualmente na terapia intensiva pediátrica, que tem variado entre 5 a 10%.15 Houve uma tendência de maior mortalidade nos pacientes com CCC quando comparada com pacientes sem CCC, porém sem significância estatística. A observação de que pacientes com doenças crônicas apresentam maior mortalidade quando admitidos em UTIP tem sido relatada na literatura recente. Wolfler et al., em estudo avaliando o PIM2, observaram uma mortalidade elevada nos pacientes com doença crônica quando comparada com a população geral (15,6% e 5,2%, respectivamente).16 Odetola et al. observaram uma mortalidade significativamente maior nos pacientes com comorbidades em relação aos pacientes sem comorbidades admitidos nas UTIP dos Estados Unidos em 1997 (12,5% vs. 8,6%) e em 2006 (10,8% vs. 7,8%).17 Edwards et al. também observaram uma maior taxa de mortalidade entre os pacientes com CCC em relação aos pacientes sem CCC admitidos em UTIP dos Estados Unidos em 2008 (3,9% vs. 2,2%).2
Entretanto, essa tendência de maior mortalidade nos pacientes com CCC em nosso estudo não foi captada pela probabilidade de morte estimada pelo PIM2, que foi similar entre os pacientes com e sem CCC (5,9%vs. 5,6%; p = 0,5), podendo indicar um desempenho inadequado do escore. Esta observação também foi encontrada por Edwards et al., que demonstraram que pacientes com CCC têm ummaior risco de mortalidade na UTIP do que o previsto pelo PIM2.2
Com isso podemos levantar a hipótese de que as diferenças das características dos pacientes com CCC em nosso estudo, em relação à população de desenvolvimento do escore, poderiam explicar o desempenho inadequado do PIM2, conforme relatado pelos próprios autores do escore, que afirmam que diferenças das características e diagnósticos de uma população, quando comparada com a população do desenvolvimento do escore, podem resultar em um desempenho inadequado do modelo quando avaliado em um novo cenário.4 É importante destacar que não há dados sobre a prevalência de CCC na população de desenvolvimento do PIM2, porém, algumas doenças crônicas são variáveis de desfecho, como, por exemplo, imunodeficiência combinada grave e doença neurodegenerativa.4
Na avaliação do desempenho do PIM2, consideramos o escore inadequado tanto para amostra total quanto para o subgrupo de pacientes com CCC em decorrência da calibração ineficiente mensurada através do teste de ajuste de Hosmer‐Lemeshow; entretanto, o escore apresentou desempenho adequado nos pacientes sem CCC.
A interpretação dos resultados do teste de Hosmer‐Lemeshow, quando escores são aplicados em novas populações, deve ser realizada com cuidado, pois possíveis fatores “externos”, como tamanho da amostra, podem influenciar no valor do p do teste.18 Marcin et al. relatam que, quando a calibração é avaliada em amostra independente da amostra de desenvolvimento do escore, uma calibração inadequada pode ser resultado de um escore inadequado, porém também pode ser um indicador de diferenças na qualidade de cuidado ofertado entre as amostras do estudo e de desenvolvimento do escore.3
Em situações na qual a avaliação do escore numa amostra independente evidencia um desempenho inadequado, algumas questões devem ser respondidas:19 A diferença de desempenho está relacionada com o pessoal responsável pelo cuidado dos pacientes? As opções terapêuticas e diagnósticas têm acessibilidade e uso similares?
O sistema de saúde do qual a UTIP faz parte é eficiente? A coleta dos dados foi adequada? O escore não é apropriado para uma diferente mistura de casos?
O desenho do estudo não permite responder às três primeiras perguntas que estão relacionadas à qualidade do cuidado de saúde ofertado na UTIP estudada. Porém, pode ser destacado que a unidade faz parte de um sistema público de saúde de um país em desenvolvimento, e que enfrenta dificuldades relacionadas ao financiamento, estrutura, pessoal e organização operacional que podem afetar negativamente na qualidade do cuidado de saúde ofertada.
A quarta pergunta pode ser respondida através da metodologia empregada na coleta de dados do estudo, que seguiu as orientações propostas pelos autores do PIM2. 4 Já a quinta pergunta, aquela que indaga se o PIM2 pode não ser apropriado para uma diferente mistura de casos, revelou‐se a hipótese levantada em nosso estudo. O desempenho inadequado do escore nos pacientes com CCC e na amostra total, que tinha 83,9% de pacientes com CCC, pode ser secundário à diferença das características entre as amostras do estudo e as do desenvolvimento do escore. Murphy‐Filkins et al. relatam que mudanças na demografia dos pacientes e na prevalência das doenças alteram a mistura de casos, o que pode influenciar no desempenho dos escores.20 Talvez, com o aumento recente observado na prevalência de CCC entre os pacientes internados nas UTIP e a observação de que estes pacientes apresentam maior morbimortalidade do que a população geral, será necessário que os futuros escores de predição de desfecho utilizem esta condição na construção de seus modelos.
A TMP de 1,65 (IC 95%, 1,26‐2,04) para população geral e de 1,75 (1,31‐2,19) para o subgrupo de pacientes com CCC indicou que a qualidade do cuidado de saúde ofertado pela UTIP para estes pacientes no período do estudo foi pior do que aquela oferecida pelas UTIP que participaram do estudo de desenvolvimento do PIM2, no período entre 1997 e 1999. Já a TMP de 1,14 (0,29‐1,99) para os pacientes sem CCC indicou que a qualidade do cuidado de saúde oferecido na UTI para este subgrupo no período do estudo foi similar àquela ofertada pelas UTIP participantes do estudo de desenvolvimento do PIM2, no período entre 1997 e 1999.
A TMP é o principal indicador de qualidade do cuidado de saúde na terapia intensiva pediátrica, fazendo parte do primeiro conjunto de indicadores de qualidade que foram submetidos à Joint Commission on Accreditation of Healthcare Organizations e publicado em 2005.21 Porém, a precisão deste indicador dependerá da habilidade do escore em predizer mortalidade na população estudada,8 e, com isso, além da hipótese da qualidade inadequada como causa TMP elevada na população geral do estudo e no subgrupo de pacientes com CCC, a hipótese do PIM2 não ser adequado para a população estudada não pode ser descartada.
O estudo apresenta algumas limitações. A principal delas recai sobre o fato de que o estudo foi realizado em apenas uma UTIP, tornando difícil a comprovação da hipótese levantada e, subsequentemente, a generalização dos achados. As condições de funcionamento (equipamentos, medicamento e pessoal) da UTIP estudada podem não ser similares àquelas de países desenvolvidos, o que pode ter influenciado nos resultados encontrados. E, por último, a análise estatística pode ter sido influenciada pelo tamanho relativamente pequeno da amostra.
O PIM2 apresentou desempenho inadequado no subgrupo de pacientes com CCC e na população geral do estudo, que tinha 83,9% de pacientes com CCC. Embora o mau desempenho do escore possa ser secundário à qualidade dos cuidados de saúde ofertados pela UTIP, a hipótese de que a diferença das características entre as amostras do estudo e as do desenvolvimento do escore seja responsável pelo desempenho inadequado do PIM2 não pode ser descartada. Com o aumento da prevalência de pacientes com CCC admitidos nas UTIP observado nas últimas décadas, pode ser necessário que os futuros escores de predição de desfecho utilizem esta condição na construção de seus modelos.
Conflitos de interesseOs autores declaram não haver conflitos de interesse.
Como citar este artigo: da Fonseca JG, Ferreira AR. Application of the Pediatric Index of Mortality 2 in pediatric patients with complex chronic conditions. J Pediatr (Rio J). 2014;90:506–11.
Estudo conduzido na Unidade de Terapia Intensiva Pediátrica, Hospital das Clínicas, Universidade Federal de Minas Gerais, Belo Horizonte, MG, Brasil.
recomendados
