Plan de Migración de Datos Para San Antonio Del SENA

ESPECIALIZACION TECNOLOGICA EN GESTION Y SEGURIDADEN BASE DE DATOS PLAN DE MIGRACIÓN DE DATOS PARA SAN ANTONIO DEL SENA MODULO EJECUCION SENA 2016 INTRODUCCION la viabilidad técnica y las restricciones del Proyecto. transformación y carga a los cuales tienen acceso los usuarios a través del Centro de Diseño . TECNICA Y ESTRATEGIA A UTILIZAR . así como las expectativas de los usuarios respecto a la información activa e histórica. destinos. La estrategia tecnológica escogida para el desarrollo de la migración es la implementación de ambientes separados de diseño y ejecución. Con esta opción existe un repositorio que almacena definiciones de metadatos para objetos como fuentes. teniendo en cuenta las directrices del sistema. especialmente en lo referente a mantener la integración de la funcionalidad y de los datos.Para escoger la estrategia de migración. se realizó un análisis detallado. y procesos de extracción. la facilidad de operación y de consulta. incluyendo más de 25 plataformas de código abierto y de base de datos . El Centro de Diseño es la interfaz de usuario que se utiliza en el diseño. Pentaho pone de datos grandes y todas las fuentes de datos en las yemas de los dedos de las empresas y los usuarios de TI. A continuación se describen los principales componentes de la arquitectura y la opción de implementación escogida. La plataforma ofrece. . Integración de datos .La herramienta escogida para el proceso de migración de datos determina la arquitectura tecnológica a implementar. La arquitectura es extensible con un mehcanism plug-in. Todos los metadatos asociados con el trabajo hecho en el Centro de Diseño se almacenan en el repositorio. En incluye la capacidad de almacenamiento de datos para cambiar lentamente y basura Dimensiones. programación y despliegue de procesos para mover y transformar los datos. documentos de Excel. archivos planos. "análisis listos" datos precisos a los usuarios finales de cualquier fuente. administración. Incluye soporte para múltiples fuentes de datos. Incluye una biblioteca de transformación con más de 70 objetos de mapeo. Con las herramientas visuales para eliminar la codificación y complejidad. y mucho más.  Pentaho Data Integration Pentaho Data Integration proporciona un enfoque declarativo de ETL donde se especifica qué hacer en lugar de como hacerlo.  Grandes herramientas de integración de datos visuales completas eliminan la codificación en SQL o escribir funciones MapReduce Java.CARACTERRISTICAS DE LA HERRAMIENTA INTEGRACIÓN DE DATOS GRANDE CON CERO CODIFICACIÓN OBLIGATORIO Herramientas intuitivas de Pentaho aceleran el tiempo que se necesita para diseñar. transformación y carga gráfica (ETL) herramienta para cargar y fuentes de datos grandes de proceso en formas familiares.  Extraer y combinar los datos existentes y diversos para producir uniformes y de alta calidad listos para analizar los datos.  Amplia conectividad a cualquier tipo o fuente de datos con soporte nativo para Hadoop. . desarrollar y desplegar análisis de datos grandes en hasta 15x. utilizando las variables para determinar asignaciones de campo.  Extracción.  Motor de procesamiento paralelo para garantizar un alto rendimiento y escalabilidad empresarial.  Transformaciones dinámicas. analizar las imágenes y archivos de vídeo para crear metadatos significativa.  Rich librería de componentes pre-construidos para acceder y transformar datos de un amplio espectro de fuentes. NoSQL y bases de datos analíticos. validación y reglas de enriquecimiento.  Interfaz visual para llamar a código personalizado. SIMPLE DISEÑADOR VISUAL DE ARRASTRAR Y DESARROLLO GOTA Empoderar a los desarrolladores con herramientas visuales para minimizar la codificación y lograr una mayor productividad.  Integración de las tareas de datos Hadoop en general de TI / ETL / soluciones de BI con distribución escalable en el clúster.  Mayor flexibilidad. medios de comunicación social y los archivos de registro. documentos. bases de datos NoSQL. . reducción del riesgo.  El apoyo a los servicios públicos para carga de datos a granel paralelos para la carga de datos con el máximo rendimiento. y otras tiendas de grandes datos. incluyendo contenido de la web. Depurador integrado para pruebas y puesta a punto la ejecución del trabajo. Hortonworks y MapR. así como las conexiones a almacenes de datos especializados como Amazon Redshift y Splunk.  El apoyo a las distribuciones de Hadoop de Cloudera.  Plugins a bases de datos NoSQL como Cassandra y MongoDB. OPORTE NATIVO Y FLEXIBLE PARA TODAS LAS FUENTES DE BIG DATA Una combinación de conexiones nativas de profundidad y una capa de datos de datos de gran adaptativo aseguran el acceso acelerado a las distribuciones principales de Hadoop. ya que aprovechan las nuevas versiones y capacidades. y el aislamiento de los cambios en el gran ecosistema de datos.  Capa de datos grande adaptable ahorra empresas considerable el tiempo de desarrollo.  Presentación de informes y análisis sobre las cantidades crecientes de usuario y los datos de máquina generado. Se deben hacer tres consideraciones. Realizar el análisis de la topología y obtener estimados de desempeño. - Descubrimiento inicial. - Mapeo. y son necesarios. Es necesario precisar la duración de la migración una vez se ejecuten las iteraciones previas a la migración final. etc. y poner en evidencia las relaciones entre ellos. las actividades de análisis están dirigidas a suplir los requerimientos del sistema. en la nueva aplicación. Permite entender cuáles bases de datos. Actividades En el esquema iterativo. . Entre mejor sea la especificación inicial menos iteraciones se tendrán que realizar. rangos. Del mismo modo se realiza el mapeo de los elementos de datos de la fuente al destino. entidades y atributos satisfacen los requerimientos de información del sistema destino.DESCRIPCION DE LAS FASES Análisis y Diseño Objetivo: Realizar un examen completo y establecer una lista de chequeo de los elementos de datos del sistema que serán migrados. El resultado de la fase de análisis y diseño es la especificación del mapeo entre los sistemas fuente y el sistema destino. Se debe evaluar qué relación origen-destino satisface el requerimiento de manera óptima y determinar los cambios requeridos (transformación) en los esquemas de datos incluyendo cuáles elementos no existen. Proceso que permite entender el valor de todos los elementos de datos. donde conseguirlos y como se mapean en el destino. restricciones de semántica o sintácticas. Durante la fase de desarrollo además de construir los scripts y el código específico de la migración utilizando la herramienta de migración seleccionada se deben enfrentar dos situaciones: Validación Objetivo: Validación de datos en de preparación. Actividades: Una vez se tiene listo el mapeo el siguiente paso es chequear si los datos cumplen las validaciones del sistema destino.Extracción y Transformación Objetivo: Desarrollar los procedimientos transformación y validación Actividades: Un análisis preciso permitirá un trabajo eficiente en las siguientes fases. . incluyendo reglas de negocio. el siguiente paso es construir los procedimientos necesarios para extraer los datos y transformarlos hacia el formato adecuado. Estas actividades se pueden realizar con la misma herramienta de desarrollo de tal manera que el resultado de esta fase es un conjunto de procedimientos o scripts a través de los cuales se realizarán las validaciones mencionadas. Después de que se conoce que datos migrar. enmarcándolos en un contexto de semántica del negocio que permita resolver los problemas lógicos así como los errores físicos. si no explicar el por qué no fue así. - Si efectivamente ese número de registros se crearon. Actividades En la fase de pruebas del usuario se identifican y resuelven los errores lógicos. .Pruebas y cargue Objetivo: Ejecutar los scripts o el código generados en la fase de desarrollo de la migración. - Si el sistema destino permite limpiar los datos cargados si la carga no fue satisfactoria y existe el procedimiento para hacerlo. El objeto es asegurar que la migración está correcta antes de poblar el sistema destino. - Si los datos fueron cargados en los campos correctos. mediante el uso de la capa intermedia de transformación. El primer paso es ejecutar los mapas. Así los mapas se ejecuten correctamente hay que identificar: - El número de registros que se espera que el script cree. - Si el formato de los datos fue el adecuado.