Una evaluación puede utilizar datos cuantitativos o cualitativos, y a menudo incluye ambos. Ambos métodos proporcionan información importante para la evaluación, y ambos pueden mejorar el compromiso de la comunidad. Estos métodos rara vez se utilizan por separado; combinados, suelen proporcionar la mejor visión general del proyecto.
En esta sección se describen los métodos cuantitativos y cualitativos, y en la tabla 7.1 se muestran ejemplos de preguntas cuantitativas y cualitativas según la etapa de evaluación. Los datos cuantitativos proporcionan información que puede contarse para responder a preguntas como “¿Cuántos?”, “¿Quiénes participaron?”, “¿Cuáles fueron los resultados?” y “¿Cuánto costó?”.
Los datos cuantitativos pueden recogerse mediante encuestas o cuestionarios, pruebas previas y posteriores, observación o revisión de los documentos y bases de datos existentes, o mediante la recopilación de datos clínicos. Las encuestas pueden ser autoadministradas o administradas por un entrevistador y realizarse cara a cara o por teléfono, por correo o en línea. El análisis de los datos cuantitativos implica el análisis estadístico, desde las estadísticas descriptivas básicas hasta los análisis complejos.
Los datos cuantitativos miden la profundidad y la amplitud de una implementación, por ejemplo, el número de personas que participaron, el número de personas que completaron el programa. Los datos cuantitativos recogidos antes y después de una intervención pueden mostrar sus resultados e impacto. Los puntos fuertes de los datos cuantitativos para la evaluación incluyen su generalización si la muestra representa a la población, la facilidad de análisis y su consistencia y precisión si se recogen de forma fiable.
Las limitaciones del uso de datos cuantitativos para la evaluación pueden ser los bajos índices de respuesta de las encuestas, la dificultad para obtener documentos y las dificultades para realizar mediciones válidas. Además, los datos cuantitativos no permiten comprender el contexto del programa y pueden no ser lo suficientemente sólidos para explicar cuestiones o interacciones complejas Holland et al., 2005; Garbarino et al., 2009. Resulta sorprendente que no haya escasez de orientación.
Encontramos quince elementos de orientación estructurada, incluidos marcos, conjuntos de herramientas y listas de comprobación. Esto no incluye los libros de texto ni las guías de métodos sobre evaluación de la investigación cualitativa, de los que hay innumerables ejemplos. Y sólo incluye recursos de acceso gratuito.
El volumen de asesoramiento puede ser abrumador, y gran parte de él se basa en la investigación sanitaria. En nuestras entrevistas se identificó la necesidad de una herramienta de navegación, potencialmente similar al Inventario de Experimentadores de la Alianza para la Evidencia Útil, que ofrezca más detalles sobre los métodos de evaluación cualitativa, sus pros y sus contras, y cuándo utilizarlos. También se manifestó el deseo de explorar una Normativa de Evidencia de métodos mixtos, en lugar de desarrollar una orientación específica sobre los métodos de evaluación cualitativa.
En general, se afirma que la evaluación cuantitativa o cualitativa por sí sola no puede llegar a la cuestión del impacto.