UNIVERSIDAD DE SANTANDERCONVENIO ENGLISH EASY WAY FACULTAD DE EDUCACIÓN MÓDULO EVALUACIÓN DE LA CALIDAD DE LA TECNOLOGÍA EDUCATIVA MÓNICA BIVIANA RAMÍREZ QUINTERO UNIVERSIDAD DE SANTANDER MAESTRÍA EN GESTIÓN DE LA TECNOLOGÍA EDUCATIVA Itagüí, Antioquia 2014 UNIVERSIDAD DE SANTANDER CONVENIO ENGLISH EASY WAY FACULTAD DE EDUCACIÓN ACTIVIDAD #4.2: INFORME DE ELEMENTOS QUE INTERVIENEN EN LA CALIDAD DE UN LMS CON LAS CARACTERÍSTICAS DE CALIDAD PROPUESTAS EN LAS NORMAS ISO. MÓNICA BIVIANA RAMÍREZ QUINTERO Tutor: NESTOR ANAYA CHAVEZ MAGISTER en Educación UNIVERSIDAD DE SANTANDER MAESTRÍA EN GESTIÓN DE LA TECNOLOGÍA EDUCATIVA Itagüí, Antioquia 2014 iii TABLA DE CONTENIDO ACTIVIDAD #4 ............................................................................................................... 4 DESARROLLO DE LA ACTIVIDAD # 4.2 ................................................................... 5 EVALUACIÓN DE UN SISTEMA DE GESTIÓN DEL APRENDIZAJE (LMS)......... 5 Caracterización de la calidad ......................................................................................... 5 Marco TICS y metodología eLSE ................................................................................. 5 Marco para el análisis de la potencialidad y validez ..................................................... 6 Marco para la evaluación............................................................................................... 6 Calidad basada en las herramientas ............................................................................... 6 Sistemas de Gestión de Contenidos de código abierto .................................................. 7 Estándares de Educación a Distancia ............................................................................ 7 LMS NORMAS Y ESTANDARES ............................................................................ 10 Modelo de calidad ISO/IEC 2500 ............................................................................... 10 Estándar ISO/IEC 19796-1 .......................................................................................... 11 Pros y contra de las propuestas y modelos .................................................................. 11 REFERENCIAS BIBLIOGRÁFICAS. ........................................................................... 13 4 ACTIVIDAD #4 2. Actividad 4.2 A partir de los diferentes materiales propuestos en este capítulo, analice la información y elabore un informe donde describa los diferentes elementos y características de calidad que deben ser tenidos en cuenta (en el modelo de calidad) al adelantar la evaluación de un sistema LMS. Se entregará vía tablero de anotaciones y bajo la siguiente nomenclatura que definirá claramente el contenido de la información: Nombre_Apellido_Informe_Actividad.4.2.doc 5 DESARROLLO DE LA ACTIVIDAD # 4.2 EVALUACIÓN DE UN SISTEMA DE GESTIÓN DEL APRENDIZAJE (LMS) Los sistemas LMS tienen amplios propósitos educativos, la elección de una plataforma se vuelve compleja ya que en el mercado hay opciones comerciales y de libre distribución, constantemente aparecen nuevos sistemas de gestión del aprendizaje y las actualizaciones de las versiones suelen tener mejoras importantes, por lo tanto, todo esto genera problemas para la toma de decisiones en cuanto a la evaluación de calidad se refiere. Esto lleva a que se determine las características y objetivos que se requieren para satisfacer las necesidades de los estudiantes, profesores y administradores. Ahora veremos diferentes propuestas y modelos relacionadas con la evaluación de LMS: CARACTERIZACIÓN DE LA CALIDAD Según Kapp la calidad de una plataforma e-Learning está dada por cinco características: Mantenimiento, Compatibilidad, Usabilidad, Modularidad y Accesibilidad. Al ser evaluadas de forma individual aseguran el entendimiento de las necesidades tecnológicas. No establece los criterios de medición dejándolo a los usuarios. MARCO TICS Y METODOLOGÍA ELSE Lanzilotti enfatiza en la interacción usuario-plataforma, definida por: Tecnología, Interacción, Contenidos y Servicios. De estos aspectos se obtiene una guía y una metodología de evaluación llamada eLSE que combina técnicas de inspección realizada por expertos que permite identificar problemas, luego se analiza respecto a las TICS y posteriormente se aplica una técnica llamada Tareas abstractas (TA), que describe las actividades que deben ser realizadas, vistas como patrones de evaluación y formuladas según una plantilla, se clasifican en dos categorías: Aprendizaje del contenido y calidad de uso. 6 MARCO PARA EL ANÁLISIS DE LA POTENCIALIDAD Y VALIDEZ Georgiakakis establece la utilidad y calidad de uso de un LMS a través de un proceso de dos pasos: Explorar y determinar su naturaleza con base a sus características y Examinar la usabilidad y la utilidad. El modelo propone una serie de criterios tanto pedagógicos como técnicos y a su vez lo divide en práctico y educativo. Emplea listas de cotejo y una matriz de decisión para identificar las características y clasificarlo. Después de definidas las características procede a establecer una serie de criterios como: Fácil de aprender y comprender, Eficiente en la realización de tareas, Eficiente en la navegación, Retorno a lugares seguros y Agradable. Los valores con los que se evalúa son del 1 al 5. MARCO PARA LA EVALUACIÓN Según Beshears la evaluación se puede hacer por los criterios: Requerimientos conocidos, Requerimientos futuros desconocidos, Implementación, Soporte y Costo. Se distribuyen 100 puntos entre ellos, también se puede realizar una lista de características para cada uno de ellos del 0 al 5. La suma de todos estos valores determina la calidad de la herramienta. CALIDAD BASADA EN LAS HERRAMIENTAS Se basa en la presencia o ausencia de herramientas clasificados en ocho categorías y en un conjunto de herramientas, la cual encontramos en un sitio web llamado EduTools. Mediante un formulario el desarrollador indica las herramientas que proporciona el sistema, donde será evaluado por un grupo de expertos. Las categorías y algunas herramientas son: herramientas de comunicación como chat, foro; herramientas de productividad como marcadores, búsqueda interna; herramientas para el desarrollo del alumno como Autoevaluaciones, portafolio; herramientas administrativas como Autenticación, Registro; herramientas de publicación de cursos como herramientas de control de calificaciones, monitoreo de estudiantes; Diseño curricular como plantillas de cursos, administración del currículo; Hardware/software como requiere un navegador web, requerimientos BD; Precio/licenciamiento como costo, código abierto 7 SISTEMAS DE GESTIÓN DE CONTENIDOS DE CÓDIGO ABIERTO Define trece criterios generales: Costo de uso, Mantenibilidad, Usabilidad y soporte, Perfil del vendedor y de la herramienta, Modularidad, Acorde a estándares, Capacidad de integración, Integración de Objetos de Aprendizaje, Efectividad y eficacia, Escalabilidad, Seguridad, Consideraciones de hardware y software y Soporte multilenguaje. Además de eso una lista de características y herramientas: Administración, Seguridad, Acceso, Integración con otros sistemas, Diseño de cursos, desarrollo e integración, Monitoreo de cursos, Diseño de actividades, Colaboración en línea y comunicaciones y Herramientas de productividad. Cada característica emplea una escala de 0 a 5 donde 0 es no existe o pobre, 3 es promedio básico estándar y 5 excede las expectativas del estándar. ESTÁNDARES DE EDUCACIÓN A DISTANCIA En este contexto existen organizaciones que crean normas, estándares y especificaciones para la interoperabilidad y calidad del servicio entre LMS, entre ellas: ADL (Advanced Distributed Learning Initiative) Es un programa del Departamento de Defensa de los Estados Unidos y de la Oficina de Ciencia y Tecnología de la Casa Blanca para desarrollar principios y guías de trabajo necesarias para el desarrollo y la implementación eficiente, efectiva y en gran escala de formación educativa sobre nuevas tecnologías Web. AICC (Aviation Industry CBT Committee) Es una organización sin fines de lucro, reúne a los formadores de la aviación, los desarrolladores de cursos, los proveedores de software, diseñadores y fabricantes para desarrollar normas, recomendaciones de tecnología y análisis de las mejores prácticas, compartiendo los estándares y realizando un proceso de certificación, así mismo los miembros contribuyen a desarrollar las normas de las tecnologías de la información de vanguardia. 8 Fue el primer organismo creado para crear un conjunto de normas que permitiese el intercambio de cursos CBT (Computer Based-Training) entre diferentes sistemas. Las especificaciones del AICC cubren nueve áreas principales, que van desde los objetos de aprendizaje (LO) hasta los LMS. Normalmente, cuando una compañía dice que cumple con las especificaciones AICC, significa que cumple con al menos una de estas directivas y recomendaciones ( AGRs):. AGR 01: AICC Publications AGR 02: Courseware Delivery Stations AGR 03: Digital Audio AGR 04: Operating/Windowing System AGR 05: CBT Peripheral Devices AGR 06: Computer-Managed Instruction AGR 07: Courseware Interchange AGR 08: Digital Video AGR 09: Icon Standards: User Interface AGR 10: Web-Based Computer-Managed Instruction IMS (Global Learning Consorcio) La misión de IMS es desarrollar y promover especificaciones abiertas para facilitar las actividades del aprendizaje en línea. El trabajo de la IEEE fue recogido por esta corporación privada fundada por algunas de las empresas más importantes del sector. Su objetivo fue la creación de un formato que pusiese en práctica las recomendaciones de la IEEE y la AICC. IEEE LTSC (Learning Technology Standards Committee) El LTSC se encarga de preparar normas técnicas, prácticas y guías recomendadas para el uso informático de componentes y sistemas de educación como de su interoperación. El estándar IEEE 1484.11.1-4 evalúa los LMS. 9 ISO / IEC ISO / IEC TR 29163-4:2009 ISO / IEC TR 29163-4:2009 cubre lo esencial de Learning Management System (LMS) agrupa los diferentes estándares como IMS, AICC y ADL . PROJECT OKI Por sus siglas en inglés (Open Knowledge Initiative, Iniciativa de Conocimiento Abierto) busca encontrar las ventajas y beneficios que ofrece para el desarrollo de LMS. El OKI se describe así mismo en su sitio en Internet como una arquitectura que desarrolla y promueve las especificaciones que describen cómo los componentes de un entorno de software se comunican entre sí y con otros sistemas empresariales; no es más que una arquitectura abierta y extensible para tecnología utilizada en el aprendizaje, especialmente la educación superior. Las especificaciones de OKI permiten la interoperabilidad sostenible y la integración mediante la definición de normas para la Arquitectura Orientada a Servicios (SOA) y la llamada definición de interfaces de servicio abierto (OSIDs). A través de este trabajo OKI busca abrir nuevas oportunidades de mercado a través de una amplia gama de dominios de aplicación de software. PORTAFOLIO Portafolio crea especificaciones y normas que describe el tipo de información que puede ser almacenada en el portafolio y como debe llevarse a cabo este registró a nivel de datos. El portafolio del estudiante es un medio de " tareas" dinámicas y progresivas sobre las principales fortalezas y logros del aprendizaje. Describe los documentos y materiales, los cuales colectivamente sugieren el alcance y la calidad de las actividades del estudiante. W3C 10 El Consorcio World Wide Web (W3C) es una comunidad internacional donde las organizaciones, personal con tiempo completo y el público en general trabajan conjuntamente para desarrollar estándares Web y accesibilidad. Liderado por el inventor de la Web Tim Berners-Lee, se describen especificaciones de accesibilidad en la web y que abarcan los LMS. LMS normas y estándares Los Sistema de Gestión de Aprendizaje que emplea las TIC para su funcionamiento, debe entenderse como un Software que media los procesos inmersos en estos sistema. Como es un Software debe revisarse desde el punto de vista de evaluativo obedeciendo a los aspectos técnicos según la norma ISO/IEC 9126 sin ser tan riguroso. La norma ISO/IEC 9126 busca poder medir la calidad de un programa informático. Entendiendo por calidad “la propiedad o conjunto de propiedades inherentes al software que permiten determinar su valor”. Para ello propone la descomposición del atributo calidad en otros más sencillos y fáciles de medir. De esta forma se establecen los requisitos de la calidad de un programa y se consigue un mayor conocimiento del programa estudiado MODELO DE CALIDAD ISO/IEC 2500 Es la integración de las normas ISO/IEC 9126 e ISO 14598, que pretende el desarrollo de productos de software conforme a su especificación y evaluación de calidad. Define tres vistas para evaluar dicha calidad, la vista interna, relacionada con las propiedades del software asociadas a las primeras fases del desarrollo (tamaño, complejidad, etc.); la vista externa se enfoca a la validación del producto en términos de su efectividad y rapidez, uso de memoria, etc., la vista de uso se refiere a la percepción del usuario con respecto a la efectividad del producto para la ejecución de tareas. Cada vista define una serie de métricas y aunque las dos primeras vistas no son relevantes, la vista de uso resulta útil desde el punto de vista del usuario. 11 Este modelo permite detectar fortalezas y debilidades de un sistema y se enfoca en la toma de decisiones para la compra y comparación ESTÁNDAR ISO/IEC 19796-1 Este es el primer estándar de calidad para el aprendizaje, la educación y la capacitación. Se basa en el Marco de Referencia para la Descripción de Calidad (RFDQ) y consta de dos partes: un modelo de procesos como clasificación de referencia y un esquema de descripción para el control de la calidad. El modelo de procesos considera todo el ciclo de vida del e-Learning y tiene las siguientes características: integración, completitud, apertura, adaptabilidad y unicidad. Además se divide en siete categorías (análisis de necesidades, análisis de marco de trabajo, concepción/diseño, desarrollo/producción, implementación, proceso de aprendizaje y evaluación/optimización) y treinta y ocho subprocesos, donde se debe especificar los métodos y métricas a tener en cuenta. El modelo de descripción de procesos, contiene la descripción de las estructuras o procedimientos sobre cómo realizar dichos procesos. PROS Y CONTRA DE LAS PROPUESTAS Y MODELOS La propuesta presentada por Kapp tiene como inconveniente su generalidad al no establecer de forma clara una metodología ni un rango de valores para la evaluación. En cuanto a la de Beshears está enfocado al proceso de implementación lo que quiere decir que se vuelve complejo para aquellos que no tienen conocimiento al respecto. En cambio Georgiakakis plantea un aspecto importante que es la usabilidad, traza un esquema de clasificación y unos niveles, que lo hacen sencillo de utilizar, sólo que su evaluación lo hacen expertos y en ambientes controlados. 12 En cuanto al marco TICS, se puede ver su enfoque a la parte tecnológica, donde cobra importancia la interacción usuario-sistema. Su principal ventaja son las inspecciones basadas en patrones, haciéndola objetiva, sólo que el número de AT´s generados puede no cubrir todas las características. EduTools ofrece un marco genérico y un listado de funcionalidades deseables para las herramientas, haciendo su medición sencilla mediante una lista de cotejo. Pero su desventaja radica en la presencia o ausencia de elementos que hacen que se realice una larga revisión de la calidad del sistema. La herramienta de código abierto establece una metodología cuantitativa para aplicar a la evaluación de calidad de un sistema LMS, solo que esta medición es subjetiva y su valor esta dado en la percepción global. La integración de las normas ISO 9126 e ISO 14598 da como resultado una metodología genérica que no involucra elementos de enseñanza-aprendizaje, esto lo hace limitado, aunque su ventaja es que se puede definir una colección de características y la forma en que serán medidas, estableciendo unos criterios objetivos que evitaran las valoraciones subjetivas. En cuanto al modelo ISO/IEC 19796-1, se enfoca mucho en el proceso de implementación de un esquema de aprendizaje, haciendo que el LMS no sea parte del estándar sino parte de un subproceso. Su ventaja radica en que proporciona un documento enfocado a la generación de métricas y mediciones de calidad. 13 REFERENCIAS BIBLIOGRÁFICAS. MATERIAL BASE Libro Electrónico Multimedial: Evaluación de la Calidad de la Tecnología Educativa. Capítulo IV. Evaluación de la Calidad del Software Educativo. o 4.1. Metodología Generalizada de Evaluación. o 4.2. Un Ejemplo de Evaluación. ANEXOS Enhancing ISO/lEC 25021 Quality Measure. Elements for wider application within ISO 25000 series. Dominique, S.-L., & Witold, S. (2000). Revisión de Modelos para Evaluación de Software Educativo. Cova, A., Arrieta, X., & Duran, J. (2007). La Calidad en los Sistemas de Gestión del Aprendizaje. Mendez, V., & Domiguez, C. M. (2011) MATERIAL COMPLEMENTARIO Software engineering –Product quality – Part 2: External metrics. ISO/IEC 9126-2 TR. (2003). Instrumento de evaluación de software educativo bajo un enfoque sistémico. Caracas. Díaz, A., Pérez, M., & Mendoza, L. (2003). 14 Enlaces Temáticos WCET (WICHE Cooperative for Educational Technologies). WCET EduTools. Consultado el: 5 nov, 2013. Commonwealth of Learning. LMS evaluation tool and user guide. Consultado el: 5 de nov, 2013. RASTREO PERSONAL Barchino, R., Gutiérrez, J., Otón, S. Panorámica de las Herramientas de Apoyo a la Teleformación. Alcalá de Henares, España: Universidad de Alcalá, Departamento de Ciencias de la Computación. Chacón-Rivas, M., Solano, I. Modelo de calidad para la evaluación de una plataforma LMS. Costa Rica: Instituto Tecnológico de Costa Rica. De la base de datos de Digitum. Chiarani, M., Pianucci, I. (2004). Criterios de evaluación de plataformas virtuales de código abierto para ambientes de aprendizajes colaborativos (Objeto de conferencia). De la base de datos del Servicio de Difusión de la Creación Intelectual. CIBERGRAFÍA FORTEC. Estándar SCORM: Definición y objetivos. Recuperado el 13 de septiembre de 2014 de http://www.formacionytecnologia.com/blog/estandar-scorm-definicion-y-objetivos/ Monti, S., San Vicente, F. Evaluación de plataformas y experimentación en Moodle de objetos didácticos (nivel A1/A2) para el aprendizaje E/LE en e-learning. Italia: Universidad de Bolonia. Recuperado el 13 de septiembre de 2014 de http://www.doredin.mec.es/documentos/00820083000260.pdf