De Pedro Rey Biel (@pedroreybiel)
Inspirado por el episodio anual de Los Simpson en el que se cuentan tres historias de terror, hoy me decido a hablarles de tres espeluznantes casos relacionados con cómo se mide la calidad docente de los profesores. Como saben, creemos que hay muchas cosas que arreglar en nuestra universidad, y muchas de ellas pasan por evaluar de forma correcta lo que ocurre en nuestras aulas...sin olvidarnos de la correlación positiva existente entre buena docencia y productividad investigadora. Aquí van nuestros tres terroríficas historias, basadas en anónimos casos reales.
1. El caso de las evaluaciones docentes que desaparecían. En una universidad pública había gran consternación porque las tasas de respuesta de los alumnos a las evaluaciones docentes periódicas habían descendido del 85% a poco más del 3%. ¿La razón de tan brúsqueda caída? La tecnología. Decanato decídió dejar de subcontratar a una empresa externa para realizar cuestionarios en papel, pensando que un cuestionario online que rellenaran los alumnos conseguiría los mismos objetivos, ahorrando además en papel. Sin embargo, no entendieron que los estudiantes, al no verse forzados a rellenar cuestionarios durante 10 minutos dentro del aula, no tenían ningún incentivo a perder el tiempo contestando esas mismas preguntas online. Y no es que fueran especialmente perversos o vagos, sino que la propia legislación de la universidad era extremadamente garantista y protegía a los profesores manteniendo los resultados de estas encuestas anónimos. Total, que básicamente los resultados no se usaban para nada, algo que conocían los alumnos. Tras varios años de reuniones de la junta de facultad en que los distintos decanos decían que "algo había que hacer para subir las tasas de respuesta", sin proponer ninguna medida, un (no ya tan) joven profesor de economía del comportamiento se ofreció a estudiar el problema e intentar solucionarlo. Se creó una comisión que se reunió varias veces. Se propusieron ideas tanto desde el lado de la oferta como de la demanda. La primera de ellas era sencilla, y copiaba lo que se hace en otra institución rival a un coste bajo y tecnológicamente muy sencillo: para que los alumnos puedan ver las notas de sus asignaturas online, primero deben contestar la encuesta docente. Pero la junta de facultad tumbó la medida por excesiva (a pesar de que las notas ya se publicaban físicamente en tablones en el campus...se trataba sólo de facilitar el acceso online a cambio de colaborar en un objetivo común de la universidad). Entonces se propusieron otras ideas: modificar los cuestionarios para que las preguntas reflejaran de forma más veraz y útil lo que ocurria en las aulas, hacer los resultados de las encuestas públicos y dar prioridad a los alumnos con mejores notas para poder elegir con qué profesores matricularse (rechazado por exponer en exceso a los malos profesores), hacer sólo públicos los resultados de los mejores docentes y premiarles de alguna forma (ni siquiera se consiguió aprobar que hubiera un reconocimiento expreso, sin incurrir en ningún coste económico), utilizar los teléfonos móviles para que los alumnos rellenaran la encuesta online desde el aula (imposible técnicamente porque la escasa capacidad del servidor de la universidad provocaba el colapso de la red). Tras dos años de reuniones frustrantes, sin ninguna decisión aprobada, la comisión desapareció y el profesor, quien precisamente había publicado un artículo sobre cómo utilizar los incentivos para aumentar la tasa de respuesta de los cuestionarios a clientes de empresas, abandonó por ésta, junto con otras muchas otras razones administrativas similarmente frustrantes, la universidad pública.
2.El lamento de los profesores pasteleros. Las cosas no iban mejor en las universidades privadas y en las escuelas de negocios, donde las evaluaciones docentes se utilizan de forma expresa para tomar decisiones sobre contratación y renovación de profesores. El problema aquí no es la tasa de respuesta, sino que se toma demasiado en serio una "encuesta de satisfacción del cliente". De hecho, en un reciente claustro de profesores que duró más de dos horas, algunos profesores se sorprendieron de la importancia que el rector daba a estas estadísticas, mostrando múltiples gráficos que mostraban que los alumnos estaban contentos... cuando otras palabras como "aprendizaje" o "investigación" apenas se mencionaron. El alumno paga, en muchos casos cantidades considerables, y por tanto, hay que tenerlo satisfecho. Pero ¿qué es lo que mantiene contento a un alumno, que a su vez es evaluado por un profesor? Se lo pueden imaginar fácilmente. Como me dijeron cuando estaba decidiendo el contenido del temario del nuevo curso que me invitaron a dar en una escuela de negocions americana... "Do not worry...just keep them entertained!" ("no te preocupes...!entretenlos!"). He visto profesores realmente angustiados preparando presentaciones llenas de dibujitos y animaciones para hacer sus clases más dinámicas (lo cuál en sí no es negativo... salvo la parte de la angustia), renunciando a cargar sus clases de contenido difícil por la creencia firme en que les podía repercutir negativamente en sus evaluaciones docentes...y en su carrera en la institución. He visto profesores decidiendo estratégicamente administrar la encuesta docente en el día que daban "la clase más divertida" y, lo que ya roza el ridículo, he visto profesores cocinar galletas y brownies para distribuir entre los alumnos mientras rellenan la encuesta. Lo que en aquel entonces me parecía evidencia anécdótica, se ha confirmado recientemente con un experimento aleatorizado. !Cocinar galletas funciona!: en aquellos grupos en los que aletoriamente el profesor distribuye galletas entre sus alumnos, tanto el contenido del curso como el profesor que lo imparte obtienen calificaciones más altas. Así que ya saben...!a cocinar! Se han propuesto otras soluciones para hacer que estas evaluaciones sean más serias: cotejar las evaluaciones docentes con resultados de los mismos alumnos en cursos posteriores para los que los conocimientos del curso evaluado son necesarios, evaluaciones externas de los alumnos que midan lo que realmente han aprendido, seleccionar a los mejores alumnos de cada curso para que sean sólo ellos los que den su opinión... Todas estas medidas tienen por supuesto dificultades prácticas...pero quizá sean preferibles a realizar encuestas de popularidad sobre qué profesor entretiene mejor a sus alumnos (que insisto, debe ser parte de un buen docente) a costa de no enseñarles mucho o de darles buenas notas (y galletas).
3.El ataque contra las profesoras eficientes. Un último caso que pone los pelos de punta a quienes creemos que es importante evaluar y premiar la buena docencia, se pone de manifiesto en este amplio estudio de Friederike Mengel, y , publicado recientemente en el Journal of the European Economic Association que utiliza 20.000 evaluaciones docentes para investigar la posible discriminación que puede existir en contra de determinados grupos. En particular, encuentran que las profesoras son evaluadas sistemáticamente peor que los profesores. Además, la discriminación se produce especialmente en contra de las profesoras que están iniciando su carrera y, en mayor medida, por parte de los alumnos varones. Además, ocurre con más frecuencia en cursos considerados más "técnicos", cargados de contenido matemático. y resultados similares se han obtenido sobre discriminación en contra de profesores extranjeros o pertenecientes a ciertas etnias.
¿Qué hacer ante tan terribles historias? Creo que, en primer lugar, debemos tomarnos en serio la evaluación docente. De nada sirve obtener tasas de respuesta ridículas que en absoluto son representativas y que vienen marcadas por las opiniones de los alumnos extremos...sólo aquellos que te adoran o te odian van a entrar en un cuestionario online si no tienen ninguna otra razón para hacerlo. Dar señales de que esas evaluaciones son útiles y sirven para tomar decisiones es importante, siempre y cuando se sepa lo que se está midiendo y no se creen incentivos perversos y competiciones de popularidad. Por último, ser conscientes de los sesgos existentes, de las razones por las que se producen, y tenerlos en cuenta a la hora de tomar decisiones, tampoco estaría de más.
!Feliz día de difuntos! (un poco adelantado, pero me tocaba entrada hoy).
No hay comentarios:
Publicar un comentario