Validity of an instrument to evaluate the immunobiological cold chain

Maíla Martins Oliveira; Valéria Conceição de Oliveira; Ana Paula Ferreira; Ilka Afonso Reis; Heloísa de Carvalho Torres; Gabriela Gonçalves Amaral; Eliete Albano de Azevedo Guimarães

Maíla Martins Oliveira
Valéria Conceição de Oliveira
Ana Paula Ferreira
Ilka Afonso Reis Department of Statistics. Universidade Federal de Minas Gerais (Belo Horizonte, Minas Gerais, Brazil)
Heloísa de Carvalho Torres
Gabriela Gonçalves Amaral
Eliete Albano de Azevedo Guimarães

Palabras clave: Vacunas, Refrigeración, Estudios de Validación, Evaluación de Programas y Proyectos de Salud, Enfermería

Key-words: Vaccines, Refrigeration, Validation Studies, Program Evaluation, Nursing

Palavras chave: Vacinas, Refrigeração, Estudos de Validação, Avaliação de Programas e Projetos de Saúde, Enfermagem

Resumen

Objetivo: desarrollar y validar los contenidos e interface de una herramienta multidimensional para evaluar el mantenimiento de la cadena de frío de la conservación inmunobiológica. Método: estudio metodológico realizado en tres pasos: revisión integradora; elaboración de modelo teórico y lógico para el desarrollo de la herramienta; implementación de la técnica Delphi para la validación de contenido y de apariencia de preguntas. Se calcularon el Índice de validez de contenido (IVC) y el Razón de Validez de Contenido (RVC), considerando apropiados aquellos valores mayores o iguales al 75 % y 0,4, respectivamente. Resultados: el cuestionario constaba de siete preguntas de estructura y 20 de proceso, subdivididas en tres componentes: Transporte/Recepción (n=3); Almacenamiento/Manipulación (n=13); Supervisión/Educación continua (n=4). El valor para el CVI fue 87,4 %, con valores iguales al 85,7 y 89 % en las dimensiones estructura y proceso, respectivamente. Los componentes del proceso obtuvieron valores para el IVC iguales a 88,9, 88,9 y 89,2 %, respectivamente. El RVC era una herramienta de 0,8, con valores iguales a 0,7 en la estructura de dimensión y 0,8 en proceso. En cuanto a la validación de la apariencia, el cuestionario se consideró inteligible. Conclusión: el estudio proporciona un instrumento con contenido validado para profesionales de la salud, en la supervisión de actividades de conservación de productos inmunobiológicos, asegurando el mantenimiento de la calidad inmunogénica de los productos ofrecidos a la población

Abstract

Objective: To develop and to test the validity of content and layout of a multidimensional tool to evaluate maintenance of the cold chain for immunobiological conservation. Method: A methodological study carried out in three steps: integrative review; development of theoretical and logical model for the development of the tool; implementation of the Delphi Technique to test the validity of content and layout. The Content Validity Index (CVI) and Content Validity Ratio (CVR) were calculated considering appropriate those values greater than or equal to 75% and 0.4, respectively. Results: The instrument consisted of 7 questions about structure and 20 about process, subdivided into three components: Transportation/Reception (n=3); Storage/Handling (n=13); Supervision/Permanent education (n=4). The CVI value was 87.4%, with values equal to 85.7% and 89% in the structure and process dimensions, respectively. The process components obtained CVI values equal to 88.9, 88.9 and 89.2%, respectively. The CVR was 0.8, with values equal to 0.7 and 0.8 in the structure and process dimensions. As for the layout validation, the questionnaire was considered intelligible. Conclusion: The study provides an instrument with validity of content and layout for health professionals in charge of the supervision of activities of immunobiological conservation, ensuring the maintenance of the immunogenic quality of the products offered to the population

Resumo

Objetivo: desenvolver e validar o conteúdo e interface de um instrumento multidimensional para avaliar a manutenção da cadeia de frio de conservação de imunobiológicos. Método: estudo metodológico realizado em três etapas: revisão integrativa; elaboração do modelo teórico- lógico para o desenvolvimento do instrumento; realização da Técnica Delphi para validar conteúdo e aparência das questões. Foram calculados o Índice de Validade de Conteúdo (ivc ) e a Razão de Validade de Conteúdo (RVC), considerando-se valores adequados aqueles maiores ou iguais a 75 % e 0,4, respectivamente. Resultados: o questionário constou de sete questões de estrutura e 20 de processo, subdivididos em três componentes: transporte/recebimento (n=3); armazenamento/manuseio (n=13); supervisão/educação permanente (n=4). O valor para o ivc foi de 87,4 %, com valores iguais a 85,7 % na dimensão estrutura e 89 % no processo. Os componentes do processo obtiveram valores para o IVC iguais a 88,9 %, 88,9 % e 89,2 %, respectivamente. O RVC do instrumento foi de 0,8, com valores iguais a 0,7 na dimensão estrutura e 0,8 no processo. Quanto à validação de aparência, o questionário foi considerado inteligível. Conclusão: o estudo fornece um instrumento de medida com conteúdo validado e que se configura em uma ferramenta de gestão útil na supervisão de salas de imunização

Bibliografía

(1) Das MK, Arora NK, Mathew T, Vyas B, Sindhu M, Yadav, A. Temperature integrity and exposure to freezing temperature during vaccine transfer under the universal immunization program in three states of India. Indian J Public Health. 2019;63(2):139-42. Available from: DOI: http://doi.org/10.4103/ijph.IJPH_123_18
(2) Oliveira VC, Pinto IC, Gallardo MDPS, Arcêncio RA, Cavalcante RB. Weaknesses of vaccine storage in Primary Healthcare Centers. Rev Bras de Enferm. 2015;68(2):265-70. Available from: DOI: http://doi.org/10.1590/0034-7167.2015680215i
(3) Guimarães EAA, Oliveira VC, Oliveira MM, Viegas SMF, Ferreira AP, Dias FCS. Eventos críticos na manutenção da conservação de vacinas. Rev enferm UFPE. 2018;12(6):1781-9. Available from: DOI: https://doi.org/10.5205/1981-8963-v12i6a230909p1781-1789-2018
(4) Yakum NM, Ateudjieu J, Walter EA, Watcho P. Vaccine storage and cold chain monitoring in the North West region of Cameroon: a cross sectional study. BMC Research Notes. 2015;8:145. Available from: DOI: https://doi.org/10.1186/s13104-015-1109-9
(5) Hanson CM, George AM, Sawadogo A, Schreiber B. Is freezing in the vaccine cold chain an ongoing issue? A literature review. Vaccine. 2017;35(17):2127- 33. Available from: DOI: https://doi.org/10.1016/j.vaccine.2016.09.070
(6) Ashok A, Brison M, Letallec Y. Improving cold chain systems: Challenges and solutions. Vaccine. 2017;35:2217-23. Available from: DOI: https://doi.org/10.1016/j.vaccine.2016.08.045
(7) Thielmann A, Viehmann A, Weltermann BM. Effectiveness of a web-based education program to improve vaccine storage conditions in primary care (Keep Cool): study protocol for a randomized controlled trial. Trials. 2015;16:301. Available from: DOI: http://doi.org/10.1186/s13063-015-0824-9
(8) Fernández IL, Callau MV, Blasco GP, Melendo EA, Gasanz BG, Pérez-Aramendía MJB. Vaccine cold chain interruption in a primary care center and economic evaluation. Enferm Clín. 2017;27(1):44-8. Available from: DOI: https://doi.org/10.1016/j.enfcli.2016.07.012
(9) Colloster MC, Martin N. Vaccine refrigeration: Thinking outside of the Box. Hum vaccin immunother. 2014;10(4):1126-8. Available from: DOI: https://doi.org/10.4161/hv.27660
(10) Oliveira VC, Gallardo PS, Gomes TS, Passos LMR, Pinto IC. The nurse’s supervision in the vaccination room: the nurse’s perception. Texto Contexto Enferm. 2013;22(4):1115-21. Available from: DOI: http://doi.org/10.1590/S0104-07072013000400018
(11) Donabedian A. The quality of medical care. Science. 1978; 200(4344):856-64. Available from: https://www.ncbi.nlm.nih.gov/pubmed/417400
(12) Champagne F, Brouselle A, Hartz Z, Contandriopoulos AP. Modelizar as Intervenções. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz ZMA, organizadores. Avaliação em saúde: conceitos e métodos. Rio de Janeiro: Fiocruz; 2011.
(13) Ministério da saúde do Brasil. Manual de Rede de Frio do Programa Nacional de Imunizações. Ministério da Saúde, Secretaria de Vigilância em Saúde. 5.a ed. Brasília: Ministério da Saúde; 2017. Available from: https://bit.ly/3aC0mpH
(14) Centers for Disease Control and Prevention. Vaccine Storage and Handling Toolkit 2019. Available from: https://bit.ly/3c0Clcn
(15) Ogboghodo EO, Omuemu VO, Odijie O, Odaman OJ. Cold chain management practices of health care workers in primary health care facilities in Southern Nigeria. Pan Afri Med J. 2017;27(34):1-12. Available from: DOI: http://doi.org/10.11604/pamj.2017.27.34.11946
(16) Pereira RDM, Alvim NAT. Técnica Delphi no diálogo com enfermeiros sobre a acupuntura como proposta de intervenção de enfermagem. Esc Anna Nery. 2015;19(1):174-80. Available from: http://doi.org/10.5935/1414-8145.20150024
(17) Pasquali L. Instrumentação psicológica: Fundamentos e práticas. Porto Alegre: Artmed; 2010.
(18) Scarparo AF, Laus AM, Azevedo ALCS, Freitas MRI, Chaves LDP. Reflexões sobre o uso da técnica Delphi em pesquisas na enfermagem. Rev Rene. 2012;13(1):242-51. Available from: http://www.periodicos.ufc.br/rene/article/view/3803
(19) Vieira S. Como elaborar questionários. São Paulo: Atlas; 2009.
(20) Lucian R, Dornelas JS. Mensuração de Atitude: Proposição de um instrumento de elaboração de escalas. RAC. 2015;19(2):157-77. Available from: DOI: https://bit.ly/2UX8TwM
(21) Timmins F. Surveys and questionnaires in nursing research. Nurs Stand. 2015;29(42):42-50. Available from: DOI: https://doi.org/10.7748/ns.29.42.42.e8904
(22) Tristán-López A. Modificación al modelo de Lawshe para el dictamen cuantitativo de la validez de contenido de un instrumento objetivo. Avances en Medición. 2008;6(1):37-48. Available from: https://bit.ly/2X6WXeI
(23) Fuzissaki MA, Santos CB, Almeida AM, Gozzo TO, Clapis MJ. Semantic validation of an instrument to identify the nursing practice in the management of radiodermatitis. Rev Eletr Enf. 2016;18:1142. Available from: DOI: https://doi.org/10.5216/ree.v18.35164
(24) Lennon P, Atuhaire B, Yavari S, Sampath V, Mvundura M, Ramanathan N et al. Root cause analysis underscores the importance of understanding, addressing, and communicating cold chain equipment failures to improve equipment performance. Vaccine. 2017;35(17):2198-202. Available from: DOI: http://doi.org/10.1016/j.vaccine.2016.09.068
(25) Som M, Panda B, Pati S, Nallala S, Anasuya A, Chauhan A et al. Effect of supportive supervision on routine immunization service delivery-a randomized post-test study in Odisha. Glob J Health Sci. 2014;6(6):61-7. Available from: DOI: http://doi.org/10.5539/gjhs.v6n6p61
(26) Pompeu DA, Rossi LA, Paiva L. Content validation of the nursing diagnosis Nausea. Rev Esc Enferm. 2014;48(1):48-56. Available from: DOI: http://doi.org/10.1590/S0080-623420140000100006
(27) Panda B, Pati S, Nallala S, Chauhan AS, Anasuya A, Som M et al. How supportive supervision influences immunization session site practices: a quasi-experimental study in Odisha, India. Glob Health Action. 2015;8(1):25772. Available from: DOI: http://doi.org/10.3402/gha.v8.25772
(28) Bogale HA, Amhare AF, Bogale AA. Assessment of factors affecting vaccine cold chain management practice in public health institutions in east Gojam zone of Amhara region. BMC Public Health. 2019;19(1433):1-6. Available from: DOI: https://doi.org/10.1186/s12889-019-7786-x
(29) Medeiros SG, Neto AVL, Saraiva COPO, Barbosa ML, Santos VEP. Safety evaluation in vaccine care: elaborating and validating a protocol. Acta Paul Enferm. 2019;32(1):53-64 Available from: DOI: http://dx.doi.org/10.1590/1982-0194201900008
(30) Cendón BV, Ribeiro NA, Chaves CJ. Pesquisas de Survey: análise das reações dos respondentes. Inf & Soc. 2014;24(3):29-48. Available from: https://bit.ly/3bKpeeU

Validity of an instrument to evaluate the immunobiological cold chain

Validación de un instrumento para evaluación de la cadena de frío immunobiológica

Validação de um instrumento para a avaliação da cadeia de frio de imunobiológicos

Resumen

Abstract

Resumo

Bibliografía