Columna 2 | Serie: Medición vs Evaluación
La Comisión Nacional de Acreditación exige hoy que las carreras y programas demuestren el impacto bilateral de sus acciones de vinculación con el medio: no solo que la carrera vincula, sino que esa vinculación tiene efectos verificables en el medio externo y que ese medio retroalimenta a la carrera. Es una exigencia que apunta en la dirección correcta. El problema es que, en la práctica, se topa con uno de los desafíos metodológicos más complejos de la evaluación en educación superior: demostrar causalidad en sistemas multifactoriales.
¿Qué significa evaluar impacto?
La evaluación de impacto es un tipo particular de evaluación que busca responder a una pregunta específica de causa y efecto: ¿cuál es el efecto causal de una intervención sobre un resultado de interés? No basta con mostrar que algo ocurrió después de la intervención; hay que demostrar que ocurrió a causa de la intervención, y no por otras razones concurrentes.
Ese requisito causal es el que hace tan difícil la evaluación de impacto en contextos educativos. La literatura especializada identifica como obstáculos recurrentes el problema de la atribución causal, los grupos fluctuantes de respondentes en las instituciones de educación superior y la imposibilidad práctica de ir más allá de estudios de caso cualitativos, cuya comparabilidad entre instituciones es difícil de lograr. En otras palabras, los investigadores especializados en este tema reconocen que el problema no tiene una solución técnica simple.
Existe un déficit significativo de estudios sistemáticos de impacto del aseguramiento de la calidad en educación superior. Los análisis disponibles se basan predominantemente en evaluaciones ex post que no logran dar cuenta adecuadamente de las experiencias de los actores directamente involucrados, en particular estudiantes y docentes.
El problema de la vinculación con el medio
El caso de la vinculación con el medio es especialmente ilustrativo de esta dificultad. Tomemos el ejemplo de una carrera de trabajo social que realiza prácticas en comunidades vulnerables, desarrolla proyectos de asesoría a organizaciones locales, organiza seminarios abiertos con actores del medio. ¿Cómo demuestra que esas acciones tuvieron impacto bilateral? ¿En qué indicadores? ¿En qué plazo? ¿Y cómo aísla ese impacto de todas las otras variables que también influyen en la comunidad o en la organización con la que se vinculó?
Los efectos de la vinculación se despliegan en múltiples niveles simultáneamente: en los individuos que participaron, en las relaciones entre actores, en las organizaciones involucradas y en la sociedad más amplia. Los efectos en los niveles más amplios son generalmente los más lentos y los más difíciles de atribuir a una intervención específica. Un programa que forma profesores puede tener impacto en el aprendizaje de sus egresados, en las escuelas donde trabajan, en las comunidades donde esas escuelas operan. Pero demostrar esa cadena causal con evidencia sólida requiere diseños longitudinales, grupos de comparación y recursos que ninguna carrera tiene disponibles en el contexto de un proceso de autoevaluación ordinario.
La metodología recomendada para la evaluación de impacto del aseguramiento de la calidad consiste en estudios comparativos y longitudinales realizados simultáneamente a las intervenciones de calidad, apoyados en métodos mixtos. Sin embargo, incluso con esa metodología, los desafíos y límites de los diseños causales son considerables.
Lo que la CNA pide y lo que es razonablemente posible
No se trata de renunciar a evaluar la vinculación. Se trata de ser precisos sobre qué es lo que se puede evaluar con rigor y qué se convierte en mera declaración de buenas intenciones enmascarada como indicador.
Lo que sí es posible y razonable evaluar: la existencia y sistematicidad de las acciones de vinculación, la calidad de los procesos de colaboración, la participación efectiva de actores del medio en la retroalimentación del programa, la percepción de los actores externos sobre el valor de la vinculación. Esto es evaluación de proceso y de resultados. Es honesto, es verificable y es útil para mejorar.
Lo que es metodológicamente problemático: afirmar que una acción de vinculación específica produjo un cambio verificable en el medio externo, especialmente cuando ese medio está atravesado por múltiples otras intervenciones, políticas y factores contextuales que también operan sobre los mismos resultados. Cuando la evaluación de impacto no aborda sistemáticamente la atribución causal, existe un riesgo real de que produzca hallazgos incorrectos y lleve a decisiones equivocadas.
La exigencia de bilateralidad es valiosa en su principio —la vinculación no puede ser unilateral ni meramente declarativa— pero su operacionalización como indicador cuantificable en un proceso de acreditación de corto plazo fuerza a las carreras a construir narrativas de impacto que difícilmente resisten un análisis metodológico riguroso. Y ahí aparece de nuevo el problema de la columna anterior: cuando los datos no tienen interpretación académica propia, alguien más la construirá. Y esa interpretación puede ser tan poco rigurosa como el indicador que pretende evaluar.
Una propuesta
La solución no es eliminar la exigencia de vinculación ni renunciar a evaluarla. Es ser más honestos sobre lo que se puede demostrar. Las carreras deberían poder presentar evidencia sistemática y reflexionada de sus prácticas de vinculación, con análisis académico de su pertinencia y sus alcances, sin tener que fingir que pueden demostrar causalidad donde la metodología disponible no lo permite. Eso sería una autoevaluación sustantiva: no la que llena todos los casilleros del formulario, sino la que dice con precisión lo que sabe y reconoce con honestidad lo que no puede saber aún.
Referencias: