Actividad AA5-1: Conceptualización sobre Técnicas de migración yherramientas ETCL Programa: Gestión y Seguridad de Base de Datos – 1564956 Cuadrado Quiroz Jose Rafael Cód.: 3839909 Introducción El cuidado de la información siempre será considerado el principal activo de las empresas, si las empresas pierden datos, pierden dinero, afectando su competitividad y participación en el mercado, por lo que es de vital importancia que al momento que los sistemas informáticos son reemplazados por nuevas tecnologías, también se formalice el cuidado de datos procesados en los sistemas anteriores. La calidad de los datos puede ser la diferencia entre el éxito y el fracaso en una empresa y debe ser un aspecto a evaluar a la hora de elegir entre las distintas herramientas de migración de bases de datos del mercado. Cuando no se administran correctamente los datos, su deterioro aumenta, y ello termina afectando a la agilidad del negocio. Además, los problemas de calidad de datos pueden conducir a violaciones de políticas o requerimientos legales que afecten a la imagen corporativa. Calidad de datos es sinónimo de ventaja competitiva y hay que buscarla y garantizarla en cada acción y proceso de la empresa. El proceso de Migración de Datos es cada vez más utilizado y demandado, debido a la necesidad de tomar los datos de unos repositorios y trasladarlos a otros más eficientes, con mayores capacidades de almacenamiento, con mejores mecanismos de seguridad y provistos de mejores posibilidades de explotación de la data1. En el siguiente informe se identifican algunas Técnicas de migración y herramientas ETCL y los procesos utilizados para una migración exitosa de datos sin perdida y duplicidad. 1 Elmasri, R Navathe, S.B. Fundamentos de sistemas de bases de datos. 3ª e. Madrid, Pearson Educación, 2002. MIGRACION EXITOSA DE DATOS La migración de datos es un proceso que se hace para transferir los datos de un sistema a otro mientras se cambia el sistema de almacenamiento donde se encuentran los datos, o bien mientras se practican las modificaciones necesarias en la base de datos o la aplicación que los gestiona; dicho en otras palabras la migración de datos es el proceso mediante el cual realizamos una transferencia de datos de unos sistemas de almacenamiento de datos a otros, de unos formatos de datos a otros o entre diferentes sistemas informáticos2. Técnicas de Migración de Datos Planeación Lo más importante al migrar una BD, es llevar a cabo un proceso de planeación y análisis del trabajo, puesto que aunque pareciera tomarse algún tiempo adicional, este será retribuido en el éxito de la operación y menos costos por errores de datos. Es importante que esto sea aplicado cuando la Base de Datos destino esta en producción. Contador de registros Si la migración se realiza de forma manual, mediante alguna consulta de inserción es recomendable inicializar un contador para cada registro insertado con éxito y otro para los no insertados, así obviamente, la suma de ambos debe ser igual a los registros originales. Mapeador de Tipos de datos Algunas plataformas no soportan algunos tipos de datos, así que es necesario que planificar el mapeo de los campos en la nueva base de datos. Restricciones y Trigers Antes de iniciar la migración de la BD, es recomendable deshabiliatar los Trigers y/o restricciones que nos puedan generar error al momento que el DBMS ejecute el proceso de escritura de los datos. Codificación de Caracteres Cuando el copiado se realiza de forma automática, es necesario identificar la codificación de caracteres que la BD destino espera, pues así evitaremos el reemplazo automático de caracteres o en su caso perdida de los mismos 2 https://www.powerdata.es/migracion-de-datos Técnicas existentes de Migración Sincronización de Base de Datos Importación/Exportación de Archivos Sentencias DML Procedimientos ETCL Estas últimas son muy adecuadas para la tarea de migrar datos de una base de datos a otra, estando su uso aún más indicado en proyectos en que existen pocas conexiones entre origen y destino. En los casos en que, además de ejercer la función de almacenamiento de datos, la base de datos represente también la lógica empresarial en forma de procedimientos almacenados y disparadores, realizar un estudio de viabilidad de la migración a la base de datos de destino, podría ser la acción más indicada. De esta forma, si se demostrase que la base de destino no admite algunas de las características, todavía se estaría a tiempo de implementar cambios en las aplicaciones o en el software middleware. HERRAMIENTAS ETCL Existen muchas herramientas de ETCL diferentes, como también hay infinidad de bases de datos, sistemas y organizaciones distintas. En el momento de seleccionar la que liderará la migración e integración de datos pueden tomarse en consideración las recomendaciones de Gartner en cuanto a las cualidades que la herramienta ha de presentar: Adaptabilidad a distintos sistemas operativos y plataformas hardware. Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad. Habilidades para monitorizar, gestionar y controlar los procesos de integración de datos: en lo relativo a gestión de errores, recolección de estadísticas de ejecución, controles de seguridad, etc. Capacidades SOA. Capacidades de diseño y entorno de desarrollo: como soporte para test, representaciones gráficas, modelos y flujos de datos y flujos de datos, etc. Cualidades de arquitectura e integración referidas al grado de interoperabilidad, compactación y consistencia de los diferentes componentes que la formen. Aunque la elección de un software de ETCL no es sencilla, su repercusión en el curso del proyecto es decisiva. Una decisión correcta pasa por la automatización y en base a ella quedan garantizados: Un aumento en la velocidad de desarrollo del proyecto. La descentralización del control de la ejecución y de todos los procesos. Una mayor agilidad en el negocio. Mayor precisión. Minimización de errores. Herramienta IBM Cognos Data Manager3 Características: IBM® Cognos Data Manager proporciona funciones dimensionales de extracción, transformación y carga (ETL) para conseguir una inteligencia empresarial de alto rendimiento. Se puede integrar con la GUI de IBM Data Manager Designer para diseñar y crear prototipos Se pueden ejecutar compilaciones y secuencias de trabajos en sistemas remotos desde un sistema de entorno de diseño de Data Manager. Data Manager Engine se tiene que instalar en un sistema UNIX o Linux. Componentes de IBM Cognos Data Manager Data Manager Engine Data Manager Engine está formado por diversos programas que se pueden ejecutar desde Data Manager Designer (en Windows®) o directamente en la línea de mandatos (en Windows®, UNIX®, o Linux®). En la mayoría de aplicaciones, se pueden diseñar y crear prototipos mediante Data Manager Designer en un sistema Windows. Data Manager Engine se puede instalar en los sistemas Windows, UNIX, o Linux. Data Manager Designer En Data Manager Designer, se utilizan compilaciones para especificar un conjunto de reglas de proceso que determinan cómo Data Manager adquiere datos desde las bases de datos de origen, los transforma y los entrega a la base de datos de destino. Esta información se almacena en un catálogo de Data Manager. Data Manager Designer sólo se puede instalar en los sistemas Windows. 3 https://www.ibm.com/support/knowledgecenter/es/SSRL5J_1.0.0/com.ibm.rational.raer.overview.doc/top ics/c_datamanager.html Data Movement Service Puede utilizar Data Movement Service para ejecutar y planificar compilaciones y secuencias de trabajos en sistemas remotos mediante Cognos Connection, la interfaz de usuario para Cognos 8. Para utilizar Data Movement Service, Cognos 8 debe estar instalado en el entorno y Data Manager Engine debe estar instalado en la misma ubicación que los componentes del servidor de Cognos 8. Data Manager Network Services Se utiliza Data Manager Network Services para ejecutar compilaciones y secuencias de trabajos en sistemas remotos desde un sistema de entorno de diseño de Data Manager. Por ejemplo, si ha instalado Data Manager Engine en un sistema UNIX o Linux, también puede instalar el servidor de Data Manager Network Services para que se puedan ejecutar compilaciones y secuencias de trabajos en dicho servidor desde Data Manager Designer. Data Manager Network Services incluye un componente de servidor que debe instalarse con Data Manager Engine. El servidor permite establecer comunicación, ya sea directamente mediante una conexión de socket o mediante un servidor de aplicaciones, entre Data Manager Designer y Data Manager Engine. IBM Cognos Data Manager Versions Cognos Planning - Analyst4 Puede acceder a datos de plan publicados en IBM Cognos BI mediante el asistente para Generar modelo de Framework Manager, que requiere IBM Cognos Planning - Analyst 7.3 MR1 o posterior. Si se desea utilizar este producto con el servidor IBM Cognos BI, debe asegurarse de que los dos productos corresponden a la misma versión. Cognos Planning - Contributor Puede acceder (en tiempo real) a cubos no publicados de Contributor en IBM Cognos BI mediante la instalación personalizada del componente de IBM Cognos BI - Contributor Data Server que se incluye en la versión IBM Cognos Planning - Contributor 7.3 MR1 o posterior. Puede acceder a datos de plan publicados en IBM Cognos BI con la extensión de administración de Contributor Generar modelo de Framework Manager, que requiere IBM Cognos Planning - Contributor 7.3 MR1 o posterior. 4 https://www.ibm.com/support/knowledgecenter/es/SSEP7J_10.2.0/com.ibm.swg.ba.cognos.crn_arch.10.2. 0.doc/c_interop_interoperability.html Si desea utilizar este producto con el servidor IBM Cognos BI, debe asegurarse de que los dos productos corresponden a la misma versión. No puede instalar IBM Cognos Planning en la misma ruta que IBM Cognos BI de 64 bits. Cognos Finance Puede acceder a cubos de IBM Cognos Finance que están protegidos contra un espacio de nombres de Series 7 mediante el servicio IBM Cognos Finance Network API. También puede exportar datos y metadatos de IBM Cognos Finance para utilizarlos en Framework Manager. Cognos Controller Puede acceder a IBM Cognos BI para crear informes estándar de IBM Cognos Controller mediante un modelo predefinido de Framework Manager que se crea cuando se instala IBM Cognos Controller. También puede acceder a datos y estructuras publicados de Controller en Framework Manager para la creación de informes y análisis personalizados. Si se desea utilizar este producto con el servidor IBM Cognos BI, se debe asegurar que los dos productos corresponden a la misma versión. Cognos Transformer Puede utilizar modelos de IBM Cognos PowerCubes y Transformer que se han generado con Transformer 7.3 o posterior directamente en IBM Cognos BI. Los cubos y modelos son compatibles con las versiones posteriores y no requieren herramientas de migración o actualización. Puede ejecutar informes y análisis en IBM Cognos BI de IBM Cognos PowerCubes. Si se desea utilizar las nuevas características de integración de Transformer con IBM Cognos BI, se puede actualizar modelos de IBM Cognos Series 7.x Transformer a IBM Cognos BI Transformer 8.4 o posterior. Esto le permite utilizar orígenes de datos de IBM Cognos BI (como paquetes publicados), enumerar informes creados en Query Studio o Report Studio, autenticar utilizando la seguridad de IBM Cognos BI y publicar directamente en IBM Cognos Connection. Antes de cargar el modelo, hay que configurar el espacio de nombres de IBM Cognos Series 7 en IBM Cognos BI. El identificador de nombre que se utiliza para configurar el espacio de nombres en IBM Cognos BI debe coincidir con el nombre utilizado en IBM Cognos Series 7. Para obtener más información acerca de la configuración de un espacio de nombres de IBM Cognos Series 7 en IBM Cognos Data Manager Data Manager sirve para crear almacenes de datos y repositorios de datos para la creación de informes, el análisis y la administración del rendimiento. Al instalar Data Manager en su entorno de IBM Cognos BI, puede utilizar el servicio de movimiento de datos para ejecutar compilaciones y flujos de trabajo en IBM Cognos Connection. Debe instalar Data Manager Engine en la misma ubicación que los componentes de nivel de aplicación de IBM Cognos BI. Tanto Data Manager como IBM Cognos BI deben pertenecer a la misma versión. Cognos Analytic Applications IBM Cognos Analytic Applications es una solución de gestión del rendimiento que incluye un almacén de datos rellenado, paquetes que describen los datos disponibles en el almacén de datos y un conjunto de informes predefinidos. IBM Cognos Analytic Applications Workbench es una solución de gestión del rendimiento que incluye datos de ejemplo de inteligencia empresarial con los que puede crear aplicaciones y archivos de origen de documentación que puede modificar para producir su propia documentación personalizada para el producto. Algunos componentes de IBM Cognos Analytic Application están disponibles para su instalación en sistemas de 64 bits. Los directorios de instalación predeterminados para las instalaciones de 64 bits son distintos de los directorios de instalación predeterminados para las instalaciones de 32 bits. Independientemente de si va a instalar todos los componentes de servidor juntos en un único servidor o en varios servidores, los componentes de 32 bits y los de 64 bits deben encontrarse en directorios distintos. Cognos Mobile Con IBM Cognos Mobile puede acceder a los informes que se han creado con Analysis Studio, Report Studio, Query Studio y a los espacios de trabajo creados en IBM Cognos Workspace desde un dispositivo móvil (como una Blackberry) o una tableta. Cognos Lifecycle Manager Lifecycle Manager es una aplicación basada en Windows para auditar actualizaciones de ReportNet 1.1 MR3 o MR4 y versiones anteriores de IBM Cognos BI a versiones más recientes de IBM Cognos BI. Proporciona una característica de verificación que valida, ejecuta y compara los resultados de informes desde dos versiones diferentes de IBM Cognos BI. Esto permite identificar problemas de actualización y de compatibilidad entre las dos versiones. El diseño de la interfaz de usuario y la funcionalidad de creación de informes de estado proporcionan un proceso de prácticas recomendables y soporte para actualizar la planificación de proyectos y los informes de estado. Asimismo, Lifecycle Manager automatiza la mayoría de los procesos de recopilación de los archivos necesarios, como los informes y los modelos, para el caso de prueba. Cognos BI Business Viewpoint Studio IBM Cognos BI Business Viewpoint Studio le ofrece una versión de las dimensiones reales que se utilizan en los procesos de gestión del rendimiento en las empresas. Con Business Viewpoint Studio dispone de un proceso empresarial controlado, colaborativo y orientado al flujo de trabajo para gestionar tanto los cambios manuales como los automáticos en todos los datos relacionados con el modo que tienen las empresas de analizar y gestionar sus negocios. Tanto IBM Cognos BI Business Viewpoint Studio como IBM Cognos BI deben tener la misma versión. Cognos Content Archival Con IBM Cognos Content Archival, puede almacenar versiones de salida de informe y sus especificaciones de informe de origen en un repositorio de archivado de contenido externo. Esto mejora el rendimiento del sistema y amplía la escalabilidad del producto de IBM Cognos, pues reduce el tamaño del almacén de contenido, a la vez que contribuye a garantizar el cumplimiento de los estrictos requisitos relacionados con la normativa. IBM Cognos Content Archival da soporte a un IBM FileNet® Content Manager con el repositorio externo de IBM FileNet CMIS. Cognos TM1 IBM Cognos TM1 integra planificación empresarial, medición del rendimiento y datos operativos para que las empresas puedan optimizar la efectividad de sus negocios y la interacción con los clientes, con independencia del área geográfica o estructura. Cognos TM1 proporciona visibilidad inmediata de los datos, responsabilidad dentro de un proceso colaborativo y una visión coherente de la información, lo que permite a los directores estabilizar rápidamente las fluctuaciones operativas y aprovechar las nuevas oportunidades. Herramienta Oracle Database 11g: Oracle Warehouse Builder Enterprise etl Option Características: La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que puede ser adquirida con Oracle Warehouse Builder como parte de la edición empresarial del motor de base de datos. Permite ejecutar cargas de datos usando métodos rápidos y eficientes tales como el Oracle Data Pump y transportable tablespaces. Permite prever el efecto que puedan tener los cambios que se hagan en cualquier lugar de los metadatos del sistema ETL Es posible generar un modelo para configurar los ambientes de desarrollo, pruebas y producción a niveles separados. Oracle Warehouse Builder 11g Release 1 es una completa herramienta para todos los aspectos de administración de datos y metadatos. Esta brinda características para asegurar la calidad de datos, que integran el modelado relacional y multidimensional y que permiten la administración de todo el ciclo de vida de datos y metadatos5. Enterprise ETL Option. La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que puede ser adquirida con Oracle Warehouse Builder como parte de la edición empresarial del motor de base de datos (Oracle DB Enterprise Edition). Una de las características más interesantes del nuevo rendimiento de Oracle Database 11g son vistas materializadas basadas en OLAP. Los métodos convencionales para el ajuste del desempeño para esquemas de estrella dentro de los almacenes de datos han implicado durante mucho tiempo el uso de tablas de resumen (o vistas materializadas). Con este enfoque, el rendimiento de las consultas se ve mejorado al calcular previamente uno o más resúmenes y al almacenar esos resúmenes en el almacén de datos6 El tamaño de los almacenes de datos más grandes está creciendo exponencialmente. En la actualidad, cada vez más procesos de negocios se vuelven completamente automatizados y se recopilan más datos con mayores niveles de detalle, de manera que estos aumentos en el volumen de datos no muestren signos de reducción. Oracle Database 11g ofrece cuatro capacidades 5 http://www.oracle.com/technetwork/es/documentation/317509-esa.pdf 6 http://www.oracle.com/technetwork/es/database/enterprise-edition/documentation/database-11g- warehousing-y-bi-426655-esa.pdf clave para permitir la escalabilidad: Particionamiento, compresión, agrupamiento en clusters y paralelismo. Otras Herramientas de Migración de Base de Datos Data Quality de Informática Las principales características de una de las mejores herramientas de migración de bases de datos del mercado, la solución Data Quality de Informática son: Análisis de datos: desde una interfaz de autoservicio que facilita un acceso sencillo para la gestión el ciclo de vida del dato al completo. Descubrimiento de negocio: proporcionando la capacidad de visualizar todos los datos, con sus relaciones e interconexiones, para alcanzar una visión completa del negocio. Descubrimiento de datos: facilita las tareas de búsqueda de datos, términos de negocio, definición de reglas y perfiles; aportando una perspectiva única sobre sus relaciones. Perfilado de datos: permite analizar todos los datos del negocio en función de su estructura, relevancia o completitud, facilitando la detección de problemas de calidad y la creación de políticas y reglas aplicables en todo el negocio para velar por la consistencia de los datos. Esta funcionalidad debe ser requisito imprescindible a la hora de elegir entre las distintas herramientas de migración de bases de datos. Construcción de reglas de calidad: provee una política top-down que permite concentrarse en las definiciones lógicas y objetivos de negocio sin necesidad de acceder a los datos. Creación del glosario de negocio: hace posible crear un diccionario común de negocio que aclare conceptos y contextos. Además, es posible indexarlo a los metadatos técnicos subyacentes para facilitar la documentación de relaciones semánticas y el trazado de dependencias. Gestión de metadatos y linaje de datos: crea un marco de referencia para os datos, capturando detalles que dan soporte a los sistemas informacionales corporativos. Transformaciones de calidad de datos: que incluyen todos los procedimientos necesarios para asegurar la calidad de los datos, tanto en una migración de datos como en otros procesos de negocio. Entre las más destacables se encuentran la estandarización, el matching, el parsing, el enriquecimiento o la validación de datos. Formación en modo de autoservicio: cuenta con una biblioteca de libros explicativos que ayudan a optimizar el aprovechamiento de sus productos. Data Integration Hub La solución Data Integration Hub proporciona excelentes resultados en la integración de datos complejos, algo necesario ya en muchas empresas puesto que, incluso los entornos de integración de datos empresariales a gran escala mejor administrados aumentan de complejidad con el tiempo, dificultando la tarea de descubrir errores e inconsistencias. Aspecto crítico en cualquier migración de datos que se planee llevar a cabo si se quiere garantizar la solidez y calidad en los resultados. Los beneficios que esta solución de integración, indispensable en cualquier herramienta de migración de bases de datos, aporta son de gran valor para el negocio: Garantía de independencia en las aplicaciones: que consigue que operaciones como una migración de datos, su actualización o su traslado a la nube-todo se tornen mucho más simples, disminuyendo drásticamente la tasa de errores y el tiempo empleado para su consecución. Aumento sustancial de los niveles de productividad de TI: llegando a alcanzar cifras de hasta un setenta por ciento menos de interfaces en grandes implementaciones. Aseguramiento del control total: tanto sobre el linaje de los datos, como sobre su trazabilidad y seguridad. Dirección efectiva del negocio: capacidad de tomar posesión de la lógica de negocio sin la necesidad de esperar a las respuestas o soluciones por parte de TI. Habilitación TI: la solución aporta la capacidad para diseñar y gestionar el flujo y consumo de información de forma que se traduzca inmediatamente en ventaja competitiva distintiva de las empresas que saben tomar acción con agilidad. Data Integration Hub se diferencia de otras herramientas de migración de bases de datos del mercado por su flexibilidad y su coherencia. Permite, además, disminuir la complejidad general de una operación de migración de datos y garantizar agilidad en los procesos.