Evaluando Evaluaciones "Made in Uruguay"

Primera parte.

Evaluando Evaluaciones. El Regreso I.

Con pocos platillos, y menos bombos, hace unos días, aparecieron, tímidamente, en algunos medios, los resultados de la primera evaluación del Plan Ceibal en cuanto a impactos en el aprendizaje. Seguramente, poco bombo, debido a los pocos impactos que se pueden mostrar.
Si hay algo que debería estar claro cuando evaluamos algo, mas allá de resultados, es saber que cuernos estamos evaluando. Si, ya se, los impactos en el aprendizaje del Plan Ceibal...pero yo voy un poco mas a lo básico...¿que diablos es el Plan Ceibal? Pero no quiero la definición típica, panfletaria y con olor a eslogan, que dan sus impulsores.Quiero saber simplemente, qué es, que reglas tiene, si es uniforme y se aplica dentro y de acuerdo a un marco pedagógico común a todas las escuelas, según grado escolar; si tiene un proyecto pedagógico serio detrás, del que todos los maestros tienen noticia; cuales son su bases teórico-conceptuales; si se utilizan las XO de acuerdo y en armonía con los programas; cuando y en que momento se utilizan, y para qué y como...en fin, todas esas minucias, que no se han podido contestar, ya que, como sospecho hace mucho tiempo, no tiene nada de eso. Fue solo una entrega de hardware, y que los maestros, se arreglen como puedan. O peor aun, como no puedan. Es un secreto a voces, que la endeble base teórico-conceptual del modelo 1 a 1, OLPC, y por ende, del Plan Ceibal, es el Construccionismo (o Constructivismo, según la traducción), trasnochado de Seymour Papert, alentado por Negroponte. Inventar la rueda todos los días...Los maestros, son desechables.

Existe desde el 2007, un Proyecto Pedagógico, pero los maestros, lo ignoran. No en el sentido de no darle importancia, no. No saben que EXISTE. Después, es un "arreglate como puedas", y que te enseñen los niños...ja ja ja.

"El desajuste está en que es un proyecto del Poder Ejecutivo impuesto a la Administración Nacional de Educación Pública (Anep), quien lo debe adaptar y aplicar en cuanto al contenido", afirmó a Ultimas Noticias Daniel Guasco, miembro del CES.El Consejo se pregunta "¿cuáles son los contenidos didácticos para los estudiantes, y de formación para los docentes? Los desconocemos, e incluso desconocemos cuál es el objetivo del Plan Ceibal", criticó Guasco. "Depende de lo que se entienda por educación, como la transmisión de valores o la preparación para determinadas tareas. En segundo lugar, un plan como el Ceibal debería suponer una estructura curricular y aspectos políticos de acceso a la herramienta didáctica.Si el Plan se reduce a una herramienta para facilitar el trabajo de alumnos y profesores, estoy de acuerdo; pero si solo es para transmitir conocimiento para el mercado laboral, cualquier docente está en desacuerdo". En este caso, remató "desconocemos cuáles son los contenidos didácticos para los niños y de formación para los docentes, así como cuáles son los objetivos del Plan Ceibal".

Si cambiamos los nombres de las autoridades, si en lugar de CES ponemos ANEP, todo lo planteado ahora por Secundaria, se tendría que haber planteado hace 4 años por Primaria.No se hizo. No se consulto, no se planifico, no se compartió, no se debatió...solo se impuso en forma dictatorial y demagógica.Las interrogantes siguen siendo las mismas, la falta de respuesta a ellas, también.

Si esto fuese una critica a una película de suspenso y terror (y de alguna forma lo es), empezar contando el final, seria un desastre, muy poco periodístico. Un spoiler, se le llama.Como no lo es, a ser claro. La evaluación hecha por el IECOM (Instituto de Economía de la Facultad de Ciencias Económicas y Administración), concluye que cerca de 800 niños de 27 escuelas del Interior, de los 7 departamentos mas expuestos (nunca mejor expresado, siendo el plan, como es, un tipo de radiación de la cual no se conocen sus efectos), que ahora están en sexto año, basándose en pruebas de Lenguaje y Matemática hechas en el 2006, estando los alumnos en tercero, y comparadas con pruebas similares hechas en el 2009, y con uso de las XO en un periodo estimado de entre 1 año y 1 año y cinco meses, tuvieron mejores resultados en Matemáticas, que cerca de 800 niños en las mismas condiciones (¿?), de 59 escuelas de Montevideo y Canelones, con poco o ningún uso de las XO, en un porcentaje promedio de un 5%. Eso, nada mas ni nada menos. No se comprobó mejora en las pruebas de Lenguaje.
El total de escuelas normales publicas en Uruguay, es de 2066, urbanas y rurales. La matricula total de niños de 1º a 6º, en 2010, es de 281.088. Como ya se ha dejado establecido, el total de niños participantes en esta evaluación, es de casi 1600 en total.

Preguntas desde la estadística, y ya que habrá gente leyendo esto que sepa de ellas: ¿se pueden proyectar estos resultados al universo total de matriculados, teniendo en cuenta que las comparaciones son entre 7 departamentos, 27 escuelas y casi 800 niños expuestos a las XO, comparados a Montevideo y Canelones, 59 escuelas y casi 800 niños sin exposición?¿Es lo mismo integrar un hogar de contexto critico en Montevideo, que en el resto de los departamentos?Si en forma aleatoria, se eligieran 1600 niños en otras escuelas de los mismo departamentos, los resultados, cabe la posibilidad que fueran radicalmente diferentes y hasta contradictorios entre si?¿Podría una evaluación sobre un universo mas amplio, dar resultados diferentes?

Hasta acá, la primera parte. Mas adelante, los sesgos a que esta expuesta cualquier evaluación.

Segunda parte.

Evaluando Evaluaciones. El Regreso II.

Hace unos días, nos preguntábamos, sin poder llegar a una respuesta razonable, si para evaluar el "Plan Ceibal", no tendríamos que saber, en primer lugar, qué es y como se "usa" exactamente el "Plan Ceibal", mas allá de definiciones difusas. Podríamos decir, en forma muy general, que es usar las XO para facilitar el aprendizaje...¿pero como se usan?¿Dentro de un marco pedagógico común a todas las escuelas, con metodologías, planes y programas informáticos estudiados en profundidad, que signifiquen una organización seria, racional y unificada?¿O se deja, como se sabe que se dejo, a los docentes, a la buena de los dioses?

Habíamos adelantado, que nos ocuparíamos de los sesgos a los que pueden estar expuestos los resultados de un estudio o evaluación cualquiera
¿Qué son los sesgos? Son hechos, contextos, accidentes, circunstancias, y hasta creencias personales, que pueden torcer involuntariamente los resultados de una evaluación. El principal sesgo, el mas importante, y que casi nadie nombra, es el sesgo llamado por mi "Efecto Paganini": el que pone el dinero, la plata, los dolares, en fin, el que paga el estudio, no quiere resultados contrarios a sus creencias, intereses y posiciones. Simple y claro.

"Quien encargó y financió la evaluación del Instituto de Estadísticas, Aasen, director de Unicef, ya en Junio anticipaba resultados del informe que encargaba: " Destacó que Uruguay ha logrado que todo niño y niña de primaria tenga una computadora, con resultados que, a sólo un año de completarse el proceso, ya demuestran una mayor auto-estima en los alumnos con menores recursos". Difícil hacer una investigación objetiva e imparcial cuando el que te paga te marca la cancha." Dicho por un docente, integrante de un importante órgano asesor de la enseñanza.

Un segundo sesgo poco nombrado y menos comentado, es la "persistencia de los sistemas de creencias". Se aplica, principalmente a las creencias religiosas, místicas, y pseudo-científicas. En el "Ceibalismo" hay mucho de todas. Muchas personas ven en el Ceibal, y en su fetiche las XO, la solución de todos los males. Tal como si de un Talismán Mágico todopoderoso habláramos, se advierten también en la argumentación presentada por muchos, a favor del plan: "fe", "bondad", "alegría", "magia blanca", "algo mas allá del bien y del mal", que no puede ser, por lo tanto, "malo". El Ceibal, entre los mortales comunes y corrientes, mas que defensores, tiene "creyentes", cuyos argumentos dejan de lado la razón, la lógica, y los argumentos científicos.
No quiero decir que las autoras de la evaluación tengan prejuicios a favor o en contra del Ceibal, no lo se, ni lo voy a averiguar. Pero que existen y son comunes a toda evaluación, es una realidad.

Vamos a suponer, por unos instantes, algo realmente audaz: que los resultados de la evaluación hecha por el IECOM (Instituto de Economía de la Facultad de Ciencias Económicas y Administración), son exactos y fiables, mas allá de toda duda razonable. Ya veremos, que, por lo menos, son contradictorios con otras evaluaciones hechas por ANEP, en las mismas materias. Pero esa frutilla amarga de la torta, la dejamos para el final.

Vamos a tratar de analizar, como, SIN un proyecto pedagógico común, difundido y conocido, se llego a esas supuestas mejoras estadísticas de un 5% entre usuarios y no usuarios de XO...¿a que se debieron esas mejoras? Si no tenemos proyecto, debemos analizar otras variables, de las que se me ocurren, como mas importantes, los maestros, y las mismas XO*. Mas adelante, comentaremos sobre contextos, estatus socio-económicos-culturales, posesión de PC en la casa, conexión a Internet, numero de libros en la casa, etc.

Pero vamos a detenernos en los maestros, y sus habilidades y saberes en Informática. Se le hicieron sobre el tema, dos preguntas durante la evaluación: si han hecho algún "curso de Informática", sin definir claramente qué es un curso de Informática; y si han realizado cursos sobre uso de las XO.

Comentario: he conocido muchas personas que hicieron "un curso de Informática", y en un alto porcentaje, obtienen solo un manejo muy elemental, que deja mucho que desear.
Conozco gente ayuna de todo "curso de Informática", que tiene un manejo mas que aceptable. Eso demuestra dos cosas: la Informática, por mas que nos lo quieran hacer creer, no es para todos. Hay gente con vocación y habilidades innatas, y gente que, simplemente, carecen de habilidades para ella. Incluidos los maestros en el concepto de "gente".

Respecto a los cursos de manejo de XO, he conocido "voluntarios del Plan Ceibal", que sobresalen justamente por eso, ser voluntarios y voluntariosos, pero sus saberes en Informática, apenas alcanza para ellos, menos que menos, para enseñar a otros, mas si los otros, son maestros.

Incluso, es sabido que las XO usan GNU/Linux, que no es el sistema operativo sobre el que las personas toman cursos, por lo menos no en el 99% de los casos. Mas grave aun, las XO usan un GNU/Linux llamado "Fedora", pero la interfaz gráfica o "escritorio", que corre sobre él, es "Sugar". No es fácil de entender, aun para aquellos que están en Informática, menos aun para quienes no están ni quieren estarlo.

Personalmente, para preguntar a los maestros sobre sus saberes en Informática, hubiera usado el método (patentado por mi), mucho mas directo y efectivo, llamado "Método Margarita".
¿En que consiste? Bien, dado un maestro, se le pregunta (sistema múltiple opción, para hacerlo mas fácil): sobre Informática en general, y sobre computadoras en particular, usted sabe
A) Mucho
B) Poquito
C) Nada

En caso de B) o C) entre los maestros del grupo llamado "Tratamiento" (o sea, los que suponemos niños con un rendimiento 5% superior usando XO, que aquellos que no la usaron o usaron poco), usted, como maestro, atribuye ese mejoramiento en Matemáticas, a:
A) generación espontánea
B) milagro atribuible al Santísimo Cerebro de Pascal
C) chat permanente con el Ingeniero Miguelito Brechner, que le soplaba los resultados
D) que las XO tienen "eso", tan "cool" y especial, ahhhhhh...
E) no sabe, no contesta, no le importa, se encoge de hombros, levanta las cejas y pone cara de asombro...



Si no hay un método común a todas las escuelas, si no hay saberes de parte de los maestros, ¿como se llego a mejorar 5% en Matemáticas?¿Seguimos insistiendo en la MAGIA de las XO, que por si solas pueden actuar en forma milagrosa, aun en evaluaciones que se pretenden serias? 
Pequeño detalle, que me llamo la atención, y según datos de la evaluación misma, hay 46.1% de maestros, que NO usaron programas específicos en  Matemática y Lenguaje.
Entre los maestros del grupo Tratamiento, hay 14.2% de maestros que no tienen NINGUNA formación en Informática, y 39.9% que no tienen ninguna formación en uso de las XO.

Y para el final, otra evaluación, otra supuesta "realidad".

"La  Evaluación  de  Aprendizajes  en  6º  año  de  Primaria  demuestra  un descenso  en  las  competencias  para  resolver  problemas  matemáticos de  22,3  puntos  con  respecto  a  la  prueba  2005.  En  Lengua,  hay  un descenso de 5,7 puntos.
Unos 53.876 alumnos de 6º año de Educación Primaria pública participaron de la muestra de evaluación realizada por el departamento de Evaluación de los Aprendizajes de la Dirección Sectorial de Planificación Educativa de Anep. Las pruebas de Matemática, Lectura y Ciencias 2009 apuntaron a evaluar las capacidades y conocimientos que el escolar desarrolló a lo largo de su paso por la escuela primaria.Teniendo en cuenta los resultados de las pruebas de aprendizaje en 2005, se observaron variaciones en los desempeños de los alumnos en Matemática, donde se registró una caída de 22,3 puntos en la escala, lo que representa un quinto de un nivel de desempeño, tomando en cuenta una escala que se extiende de 200 puntos a 700.Esta situación se ve reflejada si se compara con las referencias de 2005 y se comprueba que el promedio fue de 522,3 puntos en las pruebas de Matemática, mientras que en 2009 fue de 500." 
Fuente: Ultimas Noticias, 13 de diciembre del 2010.

Ok...muchachos..¿En que quedamos? Para mantener la coherencia, si una evaluación sobre aprendizajes es elaborada por un Instituto de Economía, y hay otra, elaborada por el organismo que gobierna la enseñanza Primaria, tiendo a creerle a este ultimo. De otro forma, cuando la ANEP haga una evaluación sobre el rumbo económico de nuestro país, voy a tener que confiar mas en la ANEP que en la Facultad de Ciencias Económicas. No es coherente.

Si otro día tengo tiempo y ganas, sigo evaluando la evaluación del IECOM, y llamativos datos que hay, sobre los diferentes ambientes y ventajas comparativas, que se desprenden de la misma evaluación, que podrían explicar las supuestas mejoras, mas allá, mucho mas allá, que por influencia directa del Plan Ceibal.

Otra cosita...¿no hubiera sido mejor, mucho mejor, tener supuestas mejoras en Lenguaje, mas que en Matemáticas?

*Sobre una critica a las XO como dispositivo, ver en este mismo blog 
El ultimo trabajo de Mark Warschauers y Morgen Ames.


Jorge Nelson Olivera
BLOGUENTARIOS.