DESARROLLO DE RÚBRICASPARA EVALUAR CRITERIOS DE PENSAMIENTO CRÍTICO Prof. Nadia Cordero Chamary Fuentes UPR-RP Oficina de Evaluación del Aprendizaje Estudiantil Decanato de Asuntos Académicos 28 de agosto de 2014 OBJETIVOS DEL TALLER • Familiarizar a los participantes con aspectos relevantes sobre construcción de rúbrica partiendo de la utilidad de las mismas para los profesores y los estudiantes. • Desarrollar una rúbrica para medir criterios del pensamiento crítico. • Enfatizar el uso de la rúbrica como un posible medio para detectar áreas de necesidad y fortalezas en el aprendizaje estudiantil (avalúo). Oficina de Evaluación del Aprendizaje Estudiantil MARCO DE REFERENCIA El marco de referencia para esta presentación se apoya en: • la revisión de la literatura del área de desarrollo de rúbricas. • las teorías sicométricas sobre la construcción de instrumentos. Oficina de Evaluación del Aprendizaje Estudiantil EJERCICIO #1: EXPLORACIÓN Usted desea evaluar pensamiento crítico en un trabajo escrito de sus estudiantes. • Describa los pasos que considere necesarios para lograrlo. Oficina de Evaluación del Aprendizaje Estudiantil DISCUSIÓN GRUPAL DEL EJERCICIO #1 Oficina de Evaluación del Aprendizaje Estudiantil . ¿Cómo evaluamos pensamiento crítico? Oficina de Evaluación del Aprendizaje Estudiantil . UNA ALTERNATIVA ES: MEDIANTE EL USO DE RÚBRICAS Oficina de Evaluación del Aprendizaje Estudiantil . tanto del producto como del proceso. ¿QUÉ ES UNA RÚBRICA? • La rúbrica es una matriz de valoración en la cual se establecen los criterios y los indicadores de competencia mediante el uso de escalas para determinar la calidad de la ejecución de los estudiantes en unas tareas específicas dentro de un continuo. Oficina de Evaluación del Aprendizaje Estudiantil . • Permite obtener una medida aproximada. las diferentes partes del producto o desempeño y luego se suma el puntaje de éstas para obtener una calificación total (Moskal. • Con la matriz de valoración analítica se evalúa inicialmente. TIPOS DE RÚBRICAS • Generalmente se conocen dos tipos de rúbricas: la global u holística y la analítica. 2000. 2001). por separado. • En la holística se evalúa la totalidad del proceso o producto sin juzgar por separado las partes que lo componen. Oficina de Evaluación del Aprendizaje Estudiantil . Nitko. • Indicadores – describen el grado de competencia que categoriza la ejecución de los estudiantes basada en los criterios. Oficina de Evaluación del Aprendizaje Estudiantil . ELEMENTOS DE LA RÚBRICA • Criterios – caracterizan la conducta esperada o requerida para completar la tarea. • Escala – indica los valores o puntuaciones mediante los cuales cuantificamos la ejecución de los estudiantes para. de este modo. facilitar una medición más precisa y objetiva. MODELO DE RÚBRICA Niveles / Escala Criterios Indicadores de a evaluar desempeño Oficina de Evaluación del Aprendizaje Estudiantil . operacional. Modelo de rúbrica para evaluar trabajos de investigación Excelente Satisfactorio En progreso Iniciado Criterio a evaluar 7-8 5-6 3-4 1-2 Se plantea el problema y el Plantea claramente el Se plantea el problema y el propósito de la investigación problema y propósito de la propósito pero es poco pero la justificación o Planteamiento investigación. evidencia que presenta. La evidencia que teórico-práctico con teórico-práctico y la presenta a veces no es evidencia. conocimiento de la disciplina. Se identifican todas las No se identifican las variables del estudio. problema. es limitada. definición conceptual y conceptual y operacionalmente. Su contribución al Contribución a Contribuye de forma clara al Contribuye al conocimiento Contribuye muy poco al conocimiento de la disciplina la disciplina conocimiento de la disciplina. Se sustenta la confusión en la justificación es claro. INTRODUCCIÓN relevante Las preguntas o hipótesis Las preguntas o hipótesis Las preguntas o las hipótesis Preguntas de están planteadas de manera Las preguntas o hipótesis se necesitan mejorarse para causan confusión y no se investigación clara y se relacionan con el relacionan con el problema. sustentado. Presenta El problema presentado no significado teórico-práctico del problema relevante. de la disciplina. Las Algunas variables fueron Variables del Las variables no fueron variables y no existe su variables fueron definidas definidas conceptual y estudio definidas operacionalmente. operacionalmente. El mismo es relevante. relacionarse con el relacionan con el problema. Oficina de Evaluación del Aprendizaje Estudiantil . La justificación no no está claramente justificación o su significado en términos de su significado está sustentada. problema. actualizadas. Las bajo estudio. (últimos 5 años). variables. en el área. reconocidos en el área. Entre 79% y 60% de las Entre 59% y 40% de las Menos del 39% de las El 80% o más de las fuentes fuentes de información fuentes de información fuentes de información de información provienen de Calidad provienen de textos con provienen de textos con provienen de textos con textos con autoridad o autoridad o revistas autoridad o revistas autoridad o revistas revistas arbitradas. Oficina de Evaluación del Aprendizaje Estudiantil . Se utilizan son muy pocas. (últimos 5 años). son consultados. arbitradas. Las fuentes problema bajo estudio. LITERATURA con el problema bajo investigación fuentes son muy actualizadas son bastante actualizadas Las fuentes no están estudio. algunas variables. las variables. son variadas. arbitradas. Se utilizan INFORMACIÓN Variedad textos importantes de Algunos textos de autores textos de distintos autores muy pocos textos de autores FUENTES DE distintos autores reconocidos reconocidos en el área no reconocidos en el área. Las fuentes de información La variedad de las fuentes Las fuentes de información Las fuentes de información son variadas y se utilizan de información es limitada. MODELO DE RÚBRICA PARA EVALUAR TRABAJOS DE INVESTIGACIÓN Excelente Satisfactorio En progreso Iniciado Criterio a evaluar 7-8 5-6 3-4 1-2 La revisión de literatura tiene La revisión de literatura tiene La revisión de literatura tiene La revisión de literatura tiene Relación con el mucha relación con el relación con el problema una relación limitada con el muy poca o ninguna relación REVISIÓN DE tema de problema bajo estudio. La revisión es limitada y se La revisión es superficial y La revisión es extensa y se La revisión se relaciona con Extensión relaciona un poco con no se relaciona con algunas relaciona con las variables. arbitradas. ¿CUÁL DE LOS DOS TIPOS DE RÚBRICAS ES MEJOR? • Ningún tipo de rúbrica es mejor que el otro. Oficina de Evaluación del Aprendizaje Estudiantil . dependiendo de lo siguiente: • del tipo de trabajo o proyecto asignado. • Los dos tienen su lugar en la Evaluación Auténtica (Authentic Assessment). • del tipo de retroalimentación que queremos darle al estudiante. EJERCICIO #2 ¿Cómo definiría el constructo de pensamiento crítico? Oficina de Evaluación del Aprendizaje Estudiantil . DISCUSIÓN GRUPAL DEL EJERCICIO #2 Oficina de Evaluación del Aprendizaje Estudiantil . críticas y análisis desde diversas perspectivas de una manera profunda y constructiva con el fin de que desarrolle criterios propios. DEFINICIÓN DEL RECINTO Pensamiento Crítico – Destreza de pensamiento que le permite al estudiante analizar e interpretar el objeto de estudio. Oficina de Evaluación del Aprendizaje Estudiantil . por medio de juicios. EJERCICIO #3 Genere cuatro criterios para evaluar el constructo “pensamiento crítico”. Oficina de Evaluación del Aprendizaje Estudiantil . DISCUSIÓN GRUPAL DE EJERCICIO #3 Oficina de Evaluación del Aprendizaje Estudiantil . reglas. principios. • Síntesis de ideas. • Identificación y caracterización de argumentos. • Aplicación de procedimientos. • Planteamiento de soluciones o perspectivas variadas. • Evaluación de los argumentos. • Presentación de conclusiones o inferencias basadas en los hechos (toma de decisiones). • Evaluación de las fuentes de información. Oficina de Evaluación del Aprendizaje Estudiantil . POSIBLES CRITERIOS • Análisis de información (método inductivo o deductivo). competencia(s) o actividad(es). comportamiento(s). los criterios de desempeño específicos que va a utilizar para llevar a cabo la evaluación de esas áreas. desempeño(s). (validez) Oficina de Evaluación del Aprendizaje Estudiantil . Permita que los estudiantes se familiaricen con él. qué va a evaluar: un (unos) objetivo(s). • Establezca con claridad. (validez) • Describa lo más claramente posible. Determine cuáles va a evaluar. ¿CÓMO DESARROLLAR UNA RÚBRICA? • Busque un buen modelo e identifique las características que definen un buen trabajo. dentro de esa actividad. (validez) • Practique la administración de la matriz valorativa (rúbrica) para desarrollar consistencia en la evaluación. esto es. establezca los indicadores de desempeño que puede alcanzar el estudiante. • Revise lo que ha plasmado en la matriz de valoración o rúbrica para asegurarse de que no le falta nada. ¿CÓMO DESARROLLAR UNA RÚBRICA? • Diseñe una escala de calidad para calificar los criterios. (confiabilidad) Oficina de Evaluación del Aprendizaje Estudiantil . Puede añadirle una escala numérica. CUANDO HAYA CLARIFICADO LOS PASOS ANTERIORES… Comience a construir la rúbrica teniendo en cuenta lo siguiente: • La escala de calidad para calificar los criterios a evaluar se ubica en la fila horizontal superior. • En la primera columna vertical se ubican los criterios que se han seleccionado para evaluar. Recuerde que estas celdas centrales explican cuáles son las características de un trabajo excelente. de la forma más clara y concisa posible. Es importante que la gradación sea obvia y precisa para que exista una diferencia clara en los distintos grados que se pueden lograr el dominio de los criterios. con una gradación que va de mayor a menor. • En las celdas centrales se describe. Oficina de Evaluación del Aprendizaje Estudiantil . de uno iniciado y las variaciones intermedias entre el uno y el otro. los indicadores que se van a utilizar para evaluar esos criterios. Proficiente. NIVELES (TÍPICOS) DE LA ESCALA DE CALIDAD • Dos niveles • No satisfactorio. Aceptable. En desarrollo. Excede las espectativas Oficina de Evaluación del Aprendizaje Estudiantil . Competente. Satisfactorio • Tres niveles • En desarrollo. Cumple las espectativas. Experto • No aceptable. Logrado • Cuatro niveles • En inicio. Ejemplar • No aceptable. Marginal. Avanzado) Oficina de Evaluación del Aprendizaje Estudiantil . Excelente La Junta de Directores de la Asociación Americana de Colegios y Universidades (AACU) sugiere cuatro niveles: (Bajo el básico. Aceptable. Excelente • Seis niveles • No satisfactorio. Iniciado. Muy satisfactorio. Bueno. Proficiente. NIVELES (TÍPICOS) • Cinco niveles • Deficiente. Poco satisfactorio. Satisfactorio. Bueno. Básico. Trabaje los indicadores para una ejecución Excelente y el extremo opuesto a Excelente. Oficina de Evaluación del Aprendizaje Estudiantil . EJERCICIO #4 Establezca los indicadores de desempeño para dos de los criterios que usted especificó en el ejercicio anterior. DISCUSIÓN GRUPAL DEL EJERCICIO #4 Oficina de Evaluación del Aprendizaje Estudiantil . establece relaciones entre éstas. • Descompone en partes. EJEMPLO DE POSIBLES INDICADORES PARA EL CRITERIO ANÁLISIS • Identifica la idea central y patrones. • Interpreta y señala causas y efectos. Oficina de Evaluación del Aprendizaje Estudiantil . • Hace inferencias. • Indica el principio que las integra. • Contrasta ideas. • Desarrolla procedimientos en nuevos contextos. • Presenta soluciones viables. • Establece conclusiones. EJEMPLO DE POSIBLES INDICADORES PARA EL CRITERIO SÍNTESIS • Presenta argumentos sustentatos por evidencia. Oficina de Evaluación del Aprendizaje Estudiantil . • Formula nuevos temas. • Establece juicios propios. conceptos y valores. explica detalladamente por qué y cómo explica por qué y cómo lo situaciones principales y Representa los asuntos de problemas. en hechos. Modelo de Rúbrica (Pensamiento Crítico)* Excelente Satisfactorio En progreso Iniciado Criterios 8 -7 6-5 4–3 2-1 Identifica y resume claramente Identifica y resume los Identifica y resume No identifica. o los problemas. explica de forma limitada forma inexacta e dilemas o asuntos insertados e implícitos por qué y cómo lo son. situaciones en el contexto. discute las implicaciones de las posiciones y argumentos presentados . los tipos de están implícitos en los reconoce aquellos que conceptos y valores. Además. inapropiada. dilemas o principal o la pregunta. identifica son. Además. dilemas o problemas. supuestos y las implicaciones están implícitos en los de las posiciones y argumentos supuestos . lo son. dilemas o parcialmente los explica el problema Identifica y situaciones principales y explica situaciones principales y problemas. Distingue claramente los tipos Distingue los tipos de Distingue parcialmente No distingue los tipos de de planteamientos basados en planteamientos basados los tipos de planteamientos basados hechos. pero no mientos presentados . *Rúbrica para evaluar pensamiento crítico de la Universidad de Northeastern Ilinouis. conceptos y Distingue Además. valores. traducida y modificada por el personal de la Oficina de Evaluación del Aprendizaje Estudiantil . reconoce aquellos que valores. conceptos y planteamientos en hechos. resume. plantea. abordando la relación entre éstos. basados en hechos. problemas. problemas. dilemas o situaciones pertinentes y efectivos presentadas. pero no para los problemas. por qué y Explica parcialmente No explica cuáles métodos qué y cuáles métodos de cuáles métodos de cómo. Además. situaciones. alternos para trabajar con el dilemas o situaciones problema. cómo. Modelo de Rúbrica (Pensamiento Crítico)* Excelente Satisfactorio En progreso Iniciado Criterios 8 -7 6-5 4–3 2-1 Identifica correctamente las Identifica correctamente Identifica algunas de las No identifica las personas personas principales las personas principales personas principales principales implicadas en implicadas en los problemas. Considera la dilemas o situaciones para los problemas. dilemas o situaciones. traducida y modificada por el personal de la Oficina de Evaluación del Aprendizaje Estudiantil . dilemas o dilemas o situaciones. falla Reconoce Además. para los problemas. por Explica cómo. dilemas o problemas. Además. describe posibles métodos presentadas. conflicto de intereses entre problemas. presentadas. dilemas o implicadas en los ellos. No identifica personas y teóricos pertinentes a las las influencias de los establece conexión con contexto contextos secundarios y personas principales contextos empíricos y otras condiciones o demuestra la tensión y implicadas en los teóricos de las personas contextos. También. situaciones. Además. establece claramente situaciones. en explicar los contextos las personas los contextos empíricos y identifica la mayoría de los demuestra una empíricos y teóricos de los implicadas y el teóricos de éstos. por qué y cuáles de investigación. son investigación son pertinentes y investigación son métodos de pertinentes y efectivos efectivos para los problemas. Explica claramente. describe por qué son dilemas o situaciones Metodología presentadas. pertinentes y efectivos investigación. Además. implicadas en los implicadas en los los problemas. contextos empíricos y comprensión parcial de asuntos planteados. *Rúbrica para evaluar pensamiento crítico de la Universidad de Northeastern Ilinouis. situaciones o dilemas planteados. Anticipa objeciones considerar otras otras posiciones rivales. situaciones o anticipar objeciones hacia punto de vista o dilemas planteados. su punto de vista o a y reconoce Reconoce objeciones y debilidades y fortalezas. contenido que forman parte de los problemas. Modelo de Rúbrica (Pensamiento Crítico)* Excelente Satisfactorio En progreso Iniciado Criterios 8 -7 6-5 4–3 2-1 Ofrece interpretaciones Ofrece interpretaciones Ofrece interpretaciones de No ofrece interpretaciones precisas. dilemas planteados. traducida y modificada por el personal de la Oficina de Evaluación del Aprendizaje Estudiantil . situaciones o situaciones o dilemas situaciones o dilemas problemas. Presenta un punto de vista Presenta un punto de Presenta un punto de vista No presenta un punto de de forma clara y precisa de vista de los problemas. *Rúbrica para evaluar pensamiento crítico de la Universidad de Northeastern Ilinouis. objeciones. exhaustivas y de los elementos algunos de los elementos de los elementos convincentes de los fundamentales que fundamentales que forman fundamentales que forman Interpreta el elementos fundamentales forman parte de los parte de los problemas. impreciso e indeciso de los vista claro. planteados. planteados. y menores a su planteamiento perspectivas y posiciones. situaciones situaciones o dilemas problemas. planteados y discute sus dilemas planteados . Falla en Presenta un los problemas. provee respuestas o considera posiciones perspectivas convincentes a estas alternas débiles. parte de los problemas. examina de forma demuestra la relaciones argumentos detalle los argumentos parcialmente los limitada los argumentos lógicas entre éstos. *Rúbrica para evaluar pensamiento crítico de la Universidad de Northeastern Ilinouis. ni Además. traducida y modificada por el personal de la Oficina de Evaluación del Aprendizaje Estudiantil . ningunos de los supuestos supuestos supuestos importantes. y pero no menciona los que pero no los evalúa para ver importantes detrás de las presentados también algunos de los están implícitos. dilemas planteados. examina en detalle. si son viables o claros. examina Además. afirmaciones y que están implícitos. lógica con el argumento principal. Modelo de Rúbrica (Pensamiento Crítico)* Excelente Satisfactorio En progreso Iniciado Criterios 8 -7 6-5 4–3 2-1 Analiza detalladamente los Analiza los asuntos que Analiza parcialmente los No identifica los asuntos que aborda el aborda el argumento asuntos que aborda el componentes principales de argumento principal de los principal de los problemas. presentados secundarios y las teorías argumentos secundarios y secundarios y las teorías que los sustentan y su las teorías que los que los sustentan. pero no en dilemas planteados. supuestos importantes. Identifica y evalúa Identifica y evalúa los Identifica algunos de los No identifica o evalúa Evalúa los detalladamente los supuestos importantes. situaciones o situaciones o dilemas problemas. planteados. Además. relación lógica con el sustentan y su relación argumento principal. situaciones o Analiza los dilemas planteados. situaciones o problemas. argumento principal de los los argumentos de los problemas. recomendaciones hechas. razonamiento. Además. provee nuevos evalúa rigurosamente. Modelo de Rúbrica (Pensamiento Crítico)* Excelente Satisfactorio En progreso Iniciado Criterios 8 -7 6-5 4–3 2-1 Identifica y evalúa Identificó toda la evidencia Identifica los datos e No identifica los datos e rigurosamente toda la importante y la evalúa información que cuenta información que cuenta Evalúa la evidencia ofrecida. hacer Inferencias y Además. *Rúbrica para evaluar pensamiento crítico de la Universidad de Northeastern Ilinouis. rigurosamente. otros. al hacer hacer inferencias o Además. al hacer inferencias o deducciones las inferencias o deducciones deducciones incorpora inferencias o deducciones incorpora muchos errores deducciones evita errores de algunos errores de incorpora errores mayores de razonamiento. al razonamiento de otros. de otros. traducida y modificada por el personal de la Oficina de Evaluación del Aprendizaje Estudiantil . Además. como evidencia pero no la como evidencia para evidencia Además. razonamiento. argumentos. corroborar la veracidad de presentada datos o información con el las afirmaciones y falla en propósito de fortalecer sus evaluar su credibilidad. Identifica y explica Identifica y explica los Identifica y explica No identifica y explica los Evalúa las detalladamente los errores errores de razonamiento parcialmente los errores de errores de razonamiento de de razonamiento de otros. de razonamiento. conflictos. aunque superficial con muy pocos o ofrece evidencia para cada ellas. conflictos. soluciones a los posibles soluciones o no presenta problemas. *Rúbrica para evaluar pensamiento crítico de la Universidad de Northeastern Ilinouis. crítica. situaciones o Presenta clara. coherente y Además. traducida y modificada por el personal de la Oficina de Evaluación del Aprendizaje Estudiantil . Además. apoya de las recomendaciones con recomendaciones con recomendaciones son viables las recomendaciones con argumentos y ofrece argumentos y ofrece apoyadas de manera argumentos sólidos y evidencias para cada una de evidencias que. presentados de manera manera clara y coherente. presentados. Las soluciones concisa. son ningún argumento o una de ellas. evidencia. Modelo de Rúbrica (Pensamiento Crítico)* Excelente Satisfactorio En progreso Iniciado Criterios 8 -7 6-5 4–3 2-1 Presenta soluciones Presenta soluciones viables Presenta de forma limitada Presenta muy pocas viables a los posibles a los posibles problemas. situaciones o problemas. superficiales. conflictos. solución alguna a los situaciones o dilemas dilemas presentados de situaciones o dilemas posibles problemas. Además. claras y realistas. conflictos. apoya la mayoría apoya algunas dilemas presentados. Enlaces que presentan otras rúbricas para evaluar Pensamiento Crítico • Critical Thinking Value Rubric (AACU) .Rúbrica analítica • Critical Thinking Scoring Rubric (Facione and Facione) – Rúbrica holística • Modelos de rúbricas compilados por la OEAE – Parte I • Modelos de rúbricas compilados por la OEAE – Parte II Oficina de Evaluación del Aprendizaje Estudiantil . 4teachers.org . RECURSOS EN LA INTERNET http://rubistar. RECURSOS EN LA INTERNET http://www.rcampus.com/indexrubric.cfm . edu/plan_avaluo/ .uprrp. OTROS RECURSOS DE APOYO http://graduados. OTROS RECURSOS DE APOYO http://www.blogspot.com/ .oeaeuprrp. 85089 • Para mayor información sobre actividades.com Oficina de Evaluación del Aprendizaje Estudiantil .oeaeuprrp.com • Teléfonos: (787) 764-0000. • Email: oeaeupr@gmail. 85083. 85080. CONTACTOS PARA INFORMACIÓN • Dirección: Plaza Universitaria.85084. Tercer Nivel de la Torre Norte. exts.blogspot. planes de avalúo de programas académicos y otros documentos puede visitar el blog de la OEAE: www. ¡MUCHAS GRACIAS POR SU ATENCIÓN! ¡RECUERDE QUE ESTAMOS PARA AYUDARLE A FORTALECER EL PROCESO DE APRENDIZAJE DE SUS ESTUDIANTES! Oficina de Evaluación del Aprendizaje Estudiantil . edu/ .Esta presentación se encuentra en la página del CEA: http://cea.uprrp.