La siguiente actividad te ayudará a alcanzar los objetivos de esta tercera unidad del MOOC:
Actividad 1. Usos de los ítems liberados
Esta actividad consiste en hacer una entrada en tu blog indicando cuáles son para ti los posibles usos de los ítems liberados, o la utilidad que pueden tener desde tu perspectiva. En esa misma entrada deberás establecer enlaces a aquellos ítems liberados que sean de tu interés para trabajar con los alumnos, hijos, etc. Pueden ser enlaces a alguna URL (siempre que se especifique el ítem concreto al que se hace referencia); a imágenes o vídeos donde se muestre qué ítems se han seleccionado, etc.
Para finalizar deberás tuitear el uso o utilidad de los ítems liberados que consideres más relevante incluyendo el hashtag del curso #preguntasPISA.
Aquí tienes el enlace a la URL (dirección web) del INEE donde puedes encontrar todos los ítems liberados clasificados por prueba: http://www.mecd.gob.es/inee/Recursos.html
Recursos
Hasta tener un ítem hay que pasar un proceso muy laborioso, entre un ciclo y otro de la prueba.
Un ítem aislado no proporciona la información necesaria para evaluar a un alumno ni conforma una prueba como puede ser el caso de PISA. La elaboración de un ítem y su introducción dentro del conjunto de la prueba debe permitir la medida del rendimiento de los alumnos en la competencia evaluada; debe discriminar. De esta forma se pueden obtener relaciones entre los diversos sistemas educativos participantes.
Cuando se habla de la creación de ítems, crear un ítem, dos o cinco puede tratarse de algo relativamente sencillo, sin embargo crear ítems que se adapten a unos descriptores concretos y además en un número elevado para poder hacer una selección posterior, según los porcentajes que se establezcan para la prueba, tanto de conocimientos como de procesos cognitivos, ya no es tan sencillo.
Los ítems deben estar asociados a estímulos, lo cual conlleva cierto riesgo: en el caso de que se detecte que el estímulo no es adecuado, todos los ítems creados dependientes de él quedan anulados. Es por tanto necesario crear un número elevado y pensado desde el principio, adaptándose a las especificaciones de la matriz para evitar en la medida de lo posible trabajos innecesarios, o una mala calidad de los ítems y los estímulos.
Frecuentemente los estímulos marcan el contexto de partida, como generalmente ocurre en Comprensión Lectora, aunque se pueden incluir gráficos, esquemas, planos, cómics, etc. El alumnado de hoy en día está inmerso en un mundo de información a través de Internet, por lo que gran cantidad de información a la que se enfrentan está en ese entorno. Podemos emplearlo como un recurso muy rico de estímulos sin olvidar otros como folletos, textos o anuncios, fotografías realistas, etc.
Requisitos para la construcción de ítems:
No dejéis de visitar la página del INEE desde donde podéis acceder a todas las preguntas y recursos liberados de distintas pruebas internacionales
También os recomendamos los tres vídeos sobre cómo construir ítems de matemáticas de David Tout: Vídeo 1, Vídeo 2, Vídeo 3
El artículo de Vicente Alcañiz y David Cervera titulado “Evaluaciones externas, mucho más que resultados. Una mirada centrada en PISA”
Bloc 3.2
Actividad 1. Usos de los ítems liberados
Esta actividad consiste en hacer una entrada en tu blog indicando cuáles son para ti los posibles usos de los ítems liberados, o la utilidad que pueden tener desde tu perspectiva. En esa misma entrada deberás establecer enlaces a aquellos ítems liberados que sean de tu interés para trabajar con los alumnos, hijos, etc. Pueden ser enlaces a alguna URL (siempre que se especifique el ítem concreto al que se hace referencia); a imágenes o vídeos donde se muestre qué ítems se han seleccionado, etc.
Para finalizar deberás tuitear el uso o utilidad de los ítems liberados que consideres más relevante incluyendo el hashtag del curso #preguntasPISA.
Aquí tienes el enlace a la URL (dirección web) del INEE donde puedes encontrar todos los ítems liberados clasificados por prueba: http://www.mecd.gob.es/inee/Recursos.html
Recursos
Hasta tener un ítem hay que pasar un proceso muy laborioso, entre un ciclo y otro de la prueba.
Un ítem aislado no proporciona la información necesaria para evaluar a un alumno ni conforma una prueba como puede ser el caso de PISA. La elaboración de un ítem y su introducción dentro del conjunto de la prueba debe permitir la medida del rendimiento de los alumnos en la competencia evaluada; debe discriminar. De esta forma se pueden obtener relaciones entre los diversos sistemas educativos participantes.
Cuando se habla de la creación de ítems, crear un ítem, dos o cinco puede tratarse de algo relativamente sencillo, sin embargo crear ítems que se adapten a unos descriptores concretos y además en un número elevado para poder hacer una selección posterior, según los porcentajes que se establezcan para la prueba, tanto de conocimientos como de procesos cognitivos, ya no es tan sencillo.
Los ítems deben estar asociados a estímulos, lo cual conlleva cierto riesgo: en el caso de que se detecte que el estímulo no es adecuado, todos los ítems creados dependientes de él quedan anulados. Es por tanto necesario crear un número elevado y pensado desde el principio, adaptándose a las especificaciones de la matriz para evitar en la medida de lo posible trabajos innecesarios, o una mala calidad de los ítems y los estímulos.
Frecuentemente los estímulos marcan el contexto de partida, como generalmente ocurre en Comprensión Lectora, aunque se pueden incluir gráficos, esquemas, planos, cómics, etc. El alumnado de hoy en día está inmerso en un mundo de información a través de Internet, por lo que gran cantidad de información a la que se enfrentan está en ese entorno. Podemos emplearlo como un recurso muy rico de estímulos sin olvidar otros como folletos, textos o anuncios, fotografías realistas, etc.
Requisitos para la construcción de ítems:
- Conocer en profundidad de los contenidos de la materia a evaluar.
- Conocer los descriptores de cada dominio o proceso cognitivo.
No dejéis de visitar la página del INEE desde donde podéis acceder a todas las preguntas y recursos liberados de distintas pruebas internacionales
También os recomendamos los tres vídeos sobre cómo construir ítems de matemáticas de David Tout: Vídeo 1, Vídeo 2, Vídeo 3
El artículo de Vicente Alcañiz y David Cervera titulado “Evaluaciones externas, mucho más que resultados. Una mirada centrada en PISA”
Bloc 3.2
Visualiza este vídeo donde te proponemos algunas de las ideas clave de esta semana.
Participa en el #MOOCafé:
Y, si no puedes celebrar el #MOOCafé en la fecha propuesta, no pasa nada, es sólo una propuesta; todos los eventos que propongáis en la semana del 24 al 30 de noviembre son bienvenidos.
Además, en la próxima unidad, la unidad 4, mostraremos cómo evidenciar tu participación en el #MOOCafé.
Recursos
En los marcos teóricos de las evaluaciones externas internacionales aparece recogida toda la información útil y necesaria para llevar a cabo desde el diseño de la prueba hasta su aplicación y además, de ellos dependen los análisisque se puedan hacer del rendimiento de los participantes en las mismas.
La parte más visible de la que se compone una prueba son las preguntas (ítems) y por tanto son las que, en muchas ocasiones, son sometidas a crítica por diversos motivos. Posiblemente debidos a que se desconoce lo que pretenden medir, y por ello es importante no descontextualizar una pregunta del conjunto total de la prueba. Si ya has ido a la página de las preguntas liberadas del INEE, habrás tenido la oportunidad de ver unos pocos estímulos y preguntas de la prueba internacional PISA, por ejemplo, y habrás observado que cada ítem se relaciona siempre con un “grado de adquisición de la competencia” y con un “bloque de contenidos.”
Cuando tenemos intención de planificar una prueba lo primero que debemos de tener claro es para quién la vamos a hacer, la edad, o el nivel al que va dirigido, y cuál es el objetivo (diagnosticar, evaluar, etc). Hay que establecer el contenido de la prueba, las preguntas, las técnicas a incluir, el límite del tiempo, el número de ítems. Además, hay que considerar los contenidos y competencias que se van a implementar y cómo se ponderarán los mismos.
Estas y otras características son las que aparecen definidas en el marco teórico, pero sin duda la herramienta que facilita y guía la construcción y la interpretación de las pruebas es lo que denominamos matriz de especificaciones.
La matriz de especificaciones está compuesta por:
Os recomendamos los vídeos de David Tout: Vídeo 1 y Vídeo 2 sobre el marco de PISA matemáticas, y los de Juliette Mendelovits: Vídeo 1 y Vídeo 2, para PISA comprensión lectora. No os olvidéis de pasar por el canal de YouTube del INEE, donde encontraréis muchos más vídeos sobre los marcos de las distintas evaluaciones. Además en el canal de Slideshare podéis descargaros las presentaciones de la mayoría de las ponencias que veis en los vídeos, como pueden ser las de David Tout o la de Juliette Mendelovits.
Bloc 3.3
Participa en el #MOOCafé:
Lo que os proponemos es “pasar de lo virtual a lo presencial”, que la
comunidad de aprendizaje que estamos creando en el MOOC se extienda más
allá de la red; por eso la idea es participar en un encuentro con otros
compañeros y compañeras del MOOC, en un evento al que hemos llamado #MOOCafé,
para intercambiar información, compartir ideas sobre las líneas a
seguir, compartir fuentes, herramientas y recursos de información,
debatir sobre la situación actual de la evaluación externa, en
definitiva, sobre #preguntasPISA,
de manera que gracias a ese intercambio, además de ampliar nuestra red
de aprendizaje también regresemos al MOOC con nuevas ideas que ayuden a
enriquecer nuestro trabajo a otros niveles.
Se proponen dos alternativas, de tal modo que puedes optar por una u otra, o incluso, si te apetece, por participar en ambas:
- OPCIÓN PRESENCIAL: Te proponemos que convoques y/o participes en un encuentro presencial. Es una buena oportunidad para conocer a docentes que trabajan cerca de ti y estrechar lazos con otras personas interesadas en la educación y evaluación.
El evento debe ser abierto, con lo cual puedes invitar a cualquier
persona, docente o no, que pueda estar interesada en compartir ideas y
experiencias con el resto de participantes. El evento #MOOCafé tendrá
lugar el próximo lunes 24 de noviembre en horario de 18:00 a 20:00, GMT+1. Gracias a Twitter, podemos retroalimentar la experiencia de los distintos grupos.
En el caso de los participantes de Latinoamérica se propone las 23:00 horas (GTM+1). Aquí puedes ver la correspondencia en tu zona horaria.
En el caso de los participantes de Latinoamérica se propone las 23:00 horas (GTM+1). Aquí puedes ver la correspondencia en tu zona horaria.
El #MOOCafé se puede celebrar en cualquier sitio
donde sea posible charlar y si es acompañados de un café, mejor aún. Es
importante que el sitio elegido tenga wifi; de esta manera será más
fácil compartir el desarrollo del evento a través de las redes.
También puedes llevarte el evento a tu centro e invitar a tus compañeros y compañeras, o a otros miembros de la comunidad educativa, como alumnado y familias. Seguro que pueden aportar ideas interesantes para debatir y reflexionar.
También puedes llevarte el evento a tu centro e invitar a tus compañeros y compañeras, o a otros miembros de la comunidad educativa, como alumnado y familias. Seguro que pueden aportar ideas interesantes para debatir y reflexionar.
Proponemos incluir en el debate las siguientes cuestiones:
- ¿Se pueden trabajar competencias en el aula con los ítems liberados?
- ¿Cómo evaluaríais con una prueba externa las competencias que no miden los estudios actuales?
- Utilidad de las evaluaciones externas
Es conveniente elegir un hashtag propio de cada
#MOOCafé concreto, para luego poder recuperar las aportaciones de cada
uno en la Red y ‘reconstruir digitalmente’ cada debate, sin olvidar
incluir en todos los casos #preguntasPISA.
Si estás dispuesto a realizar un encuentro y sabes dónde y cuál es el aforo, puedes dar de alta la sede del #MOOCafé usando Eventbrite. También podéis enviarnos la información del evento, una vez dado de alta, para que podamos darle difusión.
- OPCIÓN VIRTUAL: Si no puedes participar en ninguno de los #MOOCafés presenciales, proponemos que convoques un encuentro a través de Google Hangouts en directo, o te sumes a uno ya creado, en el que debatir y compartir ideas sobre #preguntasPISA, partiendo de las mismas preguntas propuestas, aunque otras cuestiones relacionadas con el MOOC también son bienvenidas. Podéis publicitar el Hangout en vuestros blogs y en redes sociales, e invitar personalmente a compañeros y compañeras, ya sea del MOOC, de vuestras distintas redes de aprendizaje, o a cualquier otra persona con la que os gustaría conversar.
Y, si no puedes celebrar el #MOOCafé en la fecha propuesta, no pasa nada, es sólo una propuesta; todos los eventos que propongáis en la semana del 24 al 30 de noviembre son bienvenidos.
Además, en la próxima unidad, la unidad 4, mostraremos cómo evidenciar tu participación en el #MOOCafé.
Recursos
En los marcos teóricos de las evaluaciones externas internacionales aparece recogida toda la información útil y necesaria para llevar a cabo desde el diseño de la prueba hasta su aplicación y además, de ellos dependen los análisisque se puedan hacer del rendimiento de los participantes en las mismas.
La parte más visible de la que se compone una prueba son las preguntas (ítems) y por tanto son las que, en muchas ocasiones, son sometidas a crítica por diversos motivos. Posiblemente debidos a que se desconoce lo que pretenden medir, y por ello es importante no descontextualizar una pregunta del conjunto total de la prueba. Si ya has ido a la página de las preguntas liberadas del INEE, habrás tenido la oportunidad de ver unos pocos estímulos y preguntas de la prueba internacional PISA, por ejemplo, y habrás observado que cada ítem se relaciona siempre con un “grado de adquisición de la competencia” y con un “bloque de contenidos.”
Cuando tenemos intención de planificar una prueba lo primero que debemos de tener claro es para quién la vamos a hacer, la edad, o el nivel al que va dirigido, y cuál es el objetivo (diagnosticar, evaluar, etc). Hay que establecer el contenido de la prueba, las preguntas, las técnicas a incluir, el límite del tiempo, el número de ítems. Además, hay que considerar los contenidos y competencias que se van a implementar y cómo se ponderarán los mismos.
Estas y otras características son las que aparecen definidas en el marco teórico, pero sin duda la herramienta que facilita y guía la construcción y la interpretación de las pruebas es lo que denominamos matriz de especificaciones.
La matriz de especificaciones está compuesta por:
- Contenidos: Declaraciones procedimentales que forman el cuerpo de enseñanza de una disciplina.
- Procesos o competencias: Niveles de complejidad en la resolución de una tarea.
- Descriptores: Formulaciones sintéticas de las competencias que habrán de ser medidas por los ítems que se elaboren. De cada uno de ellos se pueden construir varios ítems.
- Establecer los contenidos.
- Establecer los procesos cognitivos o grados de adquisición de la competencia.
- Determinar los descriptores.
- Determinar el peso relativo de cada casilla, donde se relacionan los contenidos con los procesos.
- Elaborar ítems específicos para cada descriptor.
- Marco teórico de PISA 2015: ciencias, matemáticas, comprensión lectora, resolución de problemas
Os recomendamos los vídeos de David Tout: Vídeo 1 y Vídeo 2 sobre el marco de PISA matemáticas, y los de Juliette Mendelovits: Vídeo 1 y Vídeo 2, para PISA comprensión lectora. No os olvidéis de pasar por el canal de YouTube del INEE, donde encontraréis muchos más vídeos sobre los marcos de las distintas evaluaciones. Además en el canal de Slideshare podéis descargaros las presentaciones de la mayoría de las ponencias que veis en los vídeos, como pueden ser las de David Tout o la de Juliette Mendelovits.
Bloc 3.3
Actividad 2. Opinamos en Twitter
-“Los ratones patas arriba” (PIRLS). “LA LECTURA Educación Primaria 4º curso Pruebas de evaluación de la comprensión lectora. PIRLS 2001 y 2006”, página 57. http://www.mecd.gob.es/dctm/ievaluacion/internacional/lalecturapirls.pdf?documentId=0901e72b8010b9f5
- “Un juez justo” (PISA). “LA LECTURA EN PISA 2000, 2003 Y 2006. MARCO Y PRUEBAS DE LA EVALUACIÓN”, página 113. http://www.mecd.gob.es/dctm/ievaluacion/internacional/pisalectura.pdf?documentId=0901e72b8010c470
Actividad 4. Adaptamos los estímulos de dos ítems liberados
Hay muchos elementos a tener en cuenta en el diseño de una prueba:
los contenidos, los objetivos, la codificación, todo lo que puede
contener el marco como ya hemos visto en los recursos de ayuda de las
secciones Objetivos e Ideas clave.
Pero también existen otros elementos a tener en cuenta como el
calendario escolar, los espacios para la prueba, la metodología de
aplicación, la longitud de la prueba, etc.
Hay un elemento que a veces parece invisible, pero que está ahí y juega un papel fundamental, en cualquier evaluación externa, el control de calidad. Su importancia radica en garantizar que las condiciones de realización de la prueba sean homogéneas, lo que garantiza que los resultados puedan ser comparables ya que todos los procesos han seguido unos estándares preestablecidos.
Algunas recomendaciones para seleccionar, adaptar o crear estímulos, tal como se pide en el reto de esta unidad son:
- Buscar estímulos en los que el alumno pueda tener cierto interés.
- Seleccionar en función de las preguntas que se van a hacer
Recordad que el contexto no tiene que ser largo, de hecho puede ser un elemento de partida y los ítems podrán ir incrementando o añadiendo información de contexto (observa como ejemplo el estímulo que aparece en esta guía del usuario de TIMSS desde la página 16 a la 24).
Os recomendamos que no dejéis de visitar los siguientes recursos:
Finalidad, objetivos y diseño de una prueba. INEE
Explicación sobre ítems. David Cervera
La página del INEE con todas las preguntas y recursos liberados
Los diferentes canales del INEE donde se publica información puntual y concreta sobre preguntas liberadas:
Consiste en escribir dos tuits con tu opinión
personal sobre cada una de las siguientes preguntas e incluyendo el
hashtag del MOOC #preguntasPISA para cada tuit:
- ¿Utilizar los recursos liberados de ediciones anteriores en las clases o en casa puede mejorar los resultados de nuestros alumnos?
- ¿Es posible trasladar al día a día del aula alguno de los estándares de las evaluaciones externas?
Por lo que han contado los expertos y por todo
lo que habéis visto en los vídeos y en los recursos, ya sabréis que hay
distintos estudios que miden la misma competencia. Éste es el caso de
las pruebas PISA y PIRLS que evalúan la comprensión lectora a distintas
edades. Teniendo en cuenta que estos dos estudios están llevados a cabo
por dos organismos diferentes y que tienen un marco teórico también
distinto, lo que se pide en esta actividad es hacer una valoración en el
espacio de debate del curso sobre alguna diferencia significativa de
ambos basándose en dos textos que han formado parte de esas pruebas:
“Los ratones patas arriba” (PIRLS) y “Un juez justo” (PISA).
Para encontrar los textos:-“Los ratones patas arriba” (PIRLS). “LA LECTURA Educación Primaria 4º curso Pruebas de evaluación de la comprensión lectora. PIRLS 2001 y 2006”, página 57. http://www.mecd.gob.es/dctm/ievaluacion/internacional/lalecturapirls.pdf?documentId=0901e72b8010b9f5
- “Un juez justo” (PISA). “LA LECTURA EN PISA 2000, 2003 Y 2006. MARCO Y PRUEBAS DE LA EVALUACIÓN”, página 113. http://www.mecd.gob.es/dctm/ievaluacion/internacional/pisalectura.pdf?documentId=0901e72b8010c470
Actividad 4. Adaptamos los estímulos de dos ítems liberados
En esta actividad deberás elegir un estímulo de
dos estudios que evalúen la misma competencia, uno de educación Primaria
y otro de educación Secundaria y hacer una propuesta de adaptación en
función de tu grupo de alumnos incluyendo todos los elementos que
consideres necesarios para ello.
Publica una entrada en tu blog en la que
expliques tu propuesta. Tras publicarla, debes incluir un enlace a la
misma en la actividad de evaluación entre pares aquí en la plataforma;
pulsa el botón P2P que tienes a tu disposición en el menú lateral derecho, justo al lado de “Actividad final de la unidad 3”.
Esta es una actividad P2P, de
forma que deberás evaluar la misma actividad que otros tres compañeros
hayan realizado, y tres compañeros evaluarán la tuya.
Mientras no evalúes las actividades de tres
compañeros, que la plataforma te propondrá de forma aleatoria y
guardando el anonimato de sus autores, no recibirás la calificación de
tu actividad. Para facilitarte la evaluación, puedes utilizar la rúbrica que te proporcionamos.
Recursos
Hay un elemento que a veces parece invisible, pero que está ahí y juega un papel fundamental, en cualquier evaluación externa, el control de calidad. Su importancia radica en garantizar que las condiciones de realización de la prueba sean homogéneas, lo que garantiza que los resultados puedan ser comparables ya que todos los procesos han seguido unos estándares preestablecidos.
Algunas recomendaciones para seleccionar, adaptar o crear estímulos, tal como se pide en el reto de esta unidad son:
- Buscar estímulos en los que el alumno pueda tener cierto interés.
- Seleccionar en función de las preguntas que se van a hacer
- Textos (continuos o discontinuos, que incluya información desestructurada)
- Gráficos, imágenes, fotografías, dibujos…
- Esquemas (sinópticos, eléctricos, planos, distribución, montaje)
- Comentarios, notas al pie, aportaciones laterales
- Tiras cómicas
- Mapas de metro, de autobús, de ciudad, de carreteras del mundo
- Organigramas, tablas, listados
- Notas manuscritas
- Carteles, señales, propaganda, etc.
Recordad que el contexto no tiene que ser largo, de hecho puede ser un elemento de partida y los ítems podrán ir incrementando o añadiendo información de contexto (observa como ejemplo el estímulo que aparece en esta guía del usuario de TIMSS desde la página 16 a la 24).
Os recomendamos que no dejéis de visitar los siguientes recursos:
Finalidad, objetivos y diseño de una prueba. INEE
Explicación sobre ítems. David Cervera
La página del INEE con todas las preguntas y recursos liberados
Los diferentes canales del INEE donde se publica información puntual y concreta sobre preguntas liberadas:
- YouTube
- Slideshare
- Twitter: @educaINEE
- Blog
Cap comentari:
Publica un comentari a l'entrada