Datos y monitoreo continuo

Una comunidad de aprendizaje interesada en el alcance de los datos

Anuncio de Una comunidad de aprendizaje interesada en el alcance de los datosLos maestros de Head Start en Minnesota estaban convencidos, por su experiencia compartida, del valor de su enfoque para medir los resultados de su trabajo con niños pequeños: una evaluación auténtica del progreso del desarrollo de los niños.

Pero, ¿qué es lo que sabían realmente sobre la calidad de la información recopilada a través de una evaluación auténtica? ¿Y podrían determinar, como lo requieren las Normas de Desempeño del Programa Head Start, que una evaluación auténtica informa eficazmente la instrucción y monitorea el progreso de los niños? La Asociación de Head Start de Minnesota (MHSA, sigla en inglés) se propuso responder estas preguntas y, en el proceso, ha creado una comunidad de aprendizaje en todo el estado que no solo ha estudiado el valor de la evaluación auténtica, sino que también ha creado una base de datos estatal de Head Start que combina información de evaluación, demográfica y de aula.

La Directora Ejecutiva de MHSA, Gayle Kelly, define la meta ambiciosa de la comunidad: "Queremos establecer el modelo de lo que debería ser un sistema de datos de la primera infancia".

Cómo evaluar las evaluaciones

La MHSA había creado previamente comunidades de aprendizaje en torno a la salud oral y la salud mental en la primera infancia. Para explorar el proceso de evaluación y su valor en el fortalecimiento de la práctica en el aula, la asociación buscó el apoyo de la Minnesota Early Learning Foundation. Con los recursos de la subvención, convocó a un grupo de evaluación de la calidad con maestros principales y coordinadores de educación que representan a 25 concesionarios, alrededor de las tres cuartas partes de todos los del estado. Además del valor de las redes regulares y el acceso a la consulta de expertos, las agencias participantes se beneficiaron de un acuerdo de licencia estatal que les dio acceso a dos herramientas de evaluación en línea: Creative Curriculum y Work Sampling System®, a un costo significativamente reducido.

El proyecto buscó establecer un sistema de evaluación en línea a nivel estatal que le permita a la MHSA agregar datos de más de 5,000 de los 17,000 niños inscritos en los programas Head Start de Minnesota. Pero pronto dirigió su atención al problema de la calidad de los datos y las exigencias que la evaluación auténtica otorga a las habilidades de observación e informática de los maestros. Aunque se capacitó a cerca de 500 miembros del personal de Head Start en los dos instrumentos, ninguna de las herramientas ofreció una forma asequible o eficiente de medir la fiabilidad de las calificaciones de los maestros.

El grupo abordó el problema trabajando con el Center for Early Education and Development [Centro de Educación y Desarrollo Tempranos] de la Universidad de Minnesota para crear y poner a prueba un instrumento de revisión de la calidad para la evaluación de los resultados del niño. Esta "lista de verificación de fidelidad" se probó con los datos de 88 maestros y reveló que la calidad y la integridad de los datos de los maestros era inferior a la esperada (recibiendo un puntaje promedio de 9 de 15 puntos posibles).

"Evaluar la calidad de la evaluación de los maestros no es un proceso sencillo, pero es especialmente crítico", concluyó la MHSA."Debemos ser extremadamente cautelosos a la hora de tomar decisiones importantes hasta que se comprenda más acerca de la calidad de los datos que se utilizan para que los programas rindan cuentas", añadió Kelly, "El análisis de datos nos ayudó a comprender la importancia de tener buenos sistemas de datos y controles de calidad".

Kelly indica que una de las ventajas del trabajo de calidad de los datos ha sido el "crecimiento en la capacidad de los coordinadores de educación con respecto a la recopilación y análisis de los datos. Estas son personas que están mucho más orientados a la relación. Lo más importante que hemos hecho es cubrir ese déficit de habilidades. Ahora entienden cuándo los datos parecen equivocados, cuando ven patrones que simplemente no tienen sentido".

Evaluación del progreso de los niños

Ahora más experimentada en cuestiones de evaluación y calidad de datos, y continuando los controles de fidelidad, la MHSA en la primavera del 2011 comenzó a crear la base de datos de Head Start de Minnesota Head Start para informar los esfuerzos de los programas locales a fin de establecer y cumplir las metas de preparación escolar. Una asociación de MSHA con el Minnesota Human Capitol Research Center (HCRC) de la Universidad de Minnesota convocó a 23 programas para trabajar juntos para estudiar el progreso de los niños en relación con los "factores de influencia" de las características demográficas de los niños, las características familiares, las características de los maestros y las características de las aulas y de los programas. Comenzando con el año escolar 2010-11, 18 de los 23 programas entregaron los datos recopilados a través de herramientas de evaluación en línea incluyendo Teaching Strategies GOLD, Work Sampling Online y COR Online.

Al igual que con el grupo de evaluación, el trabajo encontró problemas en los datos, tales como el desafío al personal del programa de extraer datos demográficos y de otro tipo de los paquetes de software y el hecho de que muchas variables clave - desde el diagnóstico de salud mental hasta las cualificaciones de los maestros - no fueron rastreados electrónicamente. Pero el proyecto sí lanzó una base de datos que combinaba las características del niño, la familia, el maestro y el aula con los datos de la evaluación en tres herramientas para 2.500 niños. Se examinó la alineación de las herramientas de evaluación y se determinaron las variables predictivas, del otoño a la primavera del año escolar / programático. Y con los datos del 2011-12, se establecieron puntos de referencia para los resultados del niño y se comenzó a seguir el progreso del niño mediante la herramienta de evaluación.

"El impulso está ahí", indica Kelly, añadiendo que los concesionarios locales trabajaron arduamente para lograr que la incorporación de los datos suceda rápidamente. "La comunidad de aprendizaje se esforzó por establecer expectativas más altas y desafiarse mutuamente para una mejora continua".

El Proyecto Metas de Preparación Escolar ha seguido de cerca un estándar para la versión de Minnesota del P4 del Sistema de Muestreo de Trabajo: "porcentaje de dominio al 75%". Esto se basa en una conclusión de HCRC de que los niños que lograron el 75% del total de puntos en ese instrumento al comienzo del kindergarten pudieron pasar las pruebas de rendimiento en las matemáticas y lectoescritura de Minnesota cuando llegaron al tercer grado. El siguiente gráfico muestra la determinación del HCRC de la proporción de niños de 4 años en 2010-11 que alcanzaron una tasa de competencia general del 75%, en función de la cantidad total de puntos para cada evaluación.

Resultados de la evaluación del niño como indicador de la preparación escolar

Gráfico que muestra el porcentaje de niños que llegaron al estándar del 75%

Otra recomendación de HCRC es seguir a los niños en sus experiencias K-12 y, como mínimo, identificar el nivel de competencia necesario para los instrumentos que no sean de WSS Minnesota P4.

Próximos pasos

La MHSA ha logrado construir su comunidad de aprendizaje en torno a los datos por un costo de menos de $50,000 - recaudados a partir de su subvención inicial de base, un contrato con el Departamento de Educación del estado y contribuciones de los programas participantes y las personas que trabajan para ellos. Los concesionarios de Head Start también proporcionaron una gran cantidad de asistencia técnica al proyecto para asegurar los acuerdos de intercambio de datos y finalizar los conjuntos de datos en la primavera del 2011. "Esta es la base de lo que se necesita para crear una base de datos estatal", señala Kelly.

No obstante, la MHSA tiene en su planificación expandir la base de datos para incluir más variables explicativas sobre el compromiso familiar y las competencias de los maestros, para examinar el progreso infantil de niños con diferentes trayectorias de desarrollo al momento de la inscripción y seguirlos en los sistemas de datos K-12.

El Departamento de Educación de Minnesota también está apoyando un grupo de trabajo de asistencia técnica del sistema de información estudiantil para ayudar a los concesionarios a administrar los datos administrativos de sus hijos y sus familias en un enfoque más coordinado con el liderazgo local de los concesionarios. Los recursos pueden ser muy sencillos, pero continúan apoyando el trabajo que informa el diseño del programa, la evaluación de la calidad y las prácticas de enseñanza exitosas para los niños de Minnesota.

(Este perfil se basa en entrevistas realizadas en abril de 2012).