SlideShare une entreprise Scribd logo
1  sur  116
Creando el próximo Data Warehouse:  Integración y Calidad de Datos Sesión 1: Fundamentos del DWH Alberto Collado
Agenda ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Agenda Sesión 1 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Presentación PowerData
Presentación PowerData ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
La solución: los servicios de datos Servicios de datos Servicios de datos Proyectos de integración de datos Iniciativas de TI Necesidades empresariales Almacenamiento  de datos Consolidación  de datos Migración  de datos Sincronización  de datos Gestión de  datos maestros Eliminación  de sistemas  heredados BPO SaaS Hubs de productos,  proveedores  y clientes Consolidación de aplicaciones Inteligencia empresarial Subcontratar funciones secundarias Aumentar la rentabilidad del negocio Fusiones y adquisiciones Modernizar el negocio y reducir los costes de TI Mejorar decisiones y cumplir con la normativa Informatica PowerExchange Informatica Data Explorer Informatica PowerCenter Informatica Data Quality Plataforma de productos de Informatica
La plataforma de productos de Informatica Automatización de todo el ciclo de vida de la integración de datos Auditoría, control y creación de informes Garantizar la coherencia de los datos, realizar análisis de impacto y supervisar constantemente la calidad de la información Acceso A cualquier sistema, por lotes o en tiempo real Limpieza Detección Validar, corregir y estandarizar datos de todo tipo Buscar y perfilar cualquier tipo de datos de cualquier fuente Desarrollo y gestión Desarrollar y colaborar con un repositorio común y metadatos compartidos Data Explorer Data Quality PowerCenter PowerExchange Entrega Integración Entregar los datos adecuados en el momento y formato adecuados Transformar y conciliar datos de todo tipo
Presentación Asistentes:  Conocimientos y Expectativas
Fundamentos del DWH
Fundamentos del DWH ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Fundamentos del DWH Introducción al DWH: ¿Qué es?
¿Qué es un Data Warehouse? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Orientado a Tema ,[object Object],Proveedor Orden de Compra Pedido Cliente Producto Inventario Proporciona Compuesta por Recuperado  desde Contiene Realiza
Integrado ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Datos Ventas Marketing Admin. Cuentas Operaciones
Variable en el tiempo ,[object Object],[object Object],[object Object],[object Object],Id de cliente fecha desde fecha hasta nombre dirección  teléfono ratio de crédito ,[object Object],[object Object],[object Object],[object Object],Id de cliente nombre dirección teléfono ratio de crédito
No-Volátil Sistema OLTP  (dinámico) Sistema DSS (más estático) cambio inserción borrado carga lectura
Un Data Warehouse  es  ... ,[object Object],[object Object],[object Object],…  un CONCEPTO, no una COSA
¿Para qué construir un Warehouse? ,[object Object],[object Object],[object Object],[object Object],[object Object]
Visión del Usuario ,[object Object],[object Object],[object Object],Usuarios Finales Base de Datos Representación de Negocio Panel de Consulta
Fundamentos del DWH Arquitectura de un DWH
Arquitectura de un DWH ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Directo de OLTP a OLAP
Directo de OLTP a OLAP ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Data Warehouse Virtual: Directo o Federado EII
Data Warehouse “Total”
Data Marts No Estructurados
Data Marts Estructurados
OLAP  (Online Analytic Processing) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Ejemplo uso de una herramienta de consulta  ,[object Object],[object Object],[object Object],Información solicitada Condiciones Información disponible
Los informes son la capa visible … ,[object Object],[object Object],Extracción Limpieza de Datos Servidores Red Herramientas de OLAP / Business Intelligence / Cuadro de Mando Transformación Carga de Datos Bases de Datos Middleware
Data Marts Estructurados: Visión Completa
Fundamentos del DWH Modelado de Datos y Metadatos
Técnicas de Modelización Estructural ,[object Object],[object Object],[object Object]
Consideraciones de Tiempo ,[object Object],[object Object],[object Object],[object Object],[object Object]
Técnicas de Modelización Temporal ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Foto (Snapshot) ,[object Object],[object Object],[object Object],[object Object]
Foto (Snapshot) Múltiple ,[object Object],[object Object],[object Object],[object Object],[object Object]
Foto (Snapshot) Única ,[object Object],[object Object],[object Object],[object Object]
Foto (Snapshot) Única ,[object Object],[object Object],[object Object],[object Object]
Trazado de Auditoría ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Trazado de Auditoría ,[object Object],[object Object],[object Object]
Técnicas de Optimización Estructural y Física
Técnicas de Optimización ,[object Object],[object Object],[object Object],[object Object],[object Object]
Técnicas de Optimización ,[object Object],[object Object],[object Object],Data Warehouse Data Marts
Técnicas de Optimización ,[object Object],[object Object],[object Object]
Técnicas de Optimización ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Técnicas de Optimización ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Técnicas de Optimización ,[object Object],[object Object],[object Object],[object Object],[object Object],Claves Primarias en ambas tablas Metadatos a Nivel Registro en ambas tablas
Técnicas de Optimización ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Generación Claves Alternativas
Técnicas de Optimización ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Técnicas de Optimización ,[object Object],[object Object],[object Object],[object Object]
Técnicas de Optimización ,[object Object]
Fundamentos del DWH Esquemas en Estrella
Puntos Fuertes de la Modelización Dimensional ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Modelización Dimensional -  Regla de Oro Los Esquemas en Estrella  deberían  ser utilizados para cualquier dato accedido directamente por los usuarios finales.
El Esquema en Estrella ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Modelización Dimensional ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Esquema en Estrella (conceptual)
Diseño de una Tabla de Hechos ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Identifique el Proceso Departamental ,[object Object],[object Object],[object Object],[object Object]
Determine los Hechos ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Tablas de Hechos ‘Sin Hechos’ - EVENTOS ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Las Agregaciones Pueden: ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Determine las Dimensiones ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Para  Cada  Tabla de Dimensión ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
La Dimensión de Tiempo ,[object Object],[object Object],[object Object],[object Object],[object Object]
Establezca Relaciones ,[object Object],[object Object],[object Object],[object Object]
Métodos para Identificar Dimensiones y Hechos ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Ejemplo: Intereses de la División Financiera ,[object Object],[object Object],[object Object],[object Object],[object Object]
Ejemplo: Frase de Ejemplo de Misión ,[object Object]
Ejemplo: Preguntas a la División Financiera ,[object Object],[object Object],[object Object]
Ejemplo: Preguntas a la División Financiera (2) ,[object Object],[object Object],[object Object],[object Object]
Ejemplo: El Esquema Financiero en Estrella
Fundamentos del DWH Procesos y Estrategias de Carga del DWH
Mapeo de Datos ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Soluciones de Extracción, Transformación y Carga de Datos (ETL)   ,[object Object],[object Object],[object Object],[object Object],[object Object]
Plataformas de Integración de Datos ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Proceso de Diseño Def Origen 2. IMPORTACIÓN DE DEFICIONES DE ORÍGENES Def Destino 3. CREACIÓN DE ESQUEMA DESTINO Mapeo  4.  CREACIÓN DE MAPPINGS 1.  CREACIÓN DE REPOSITORIO
Transformaciones Más Comunes ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Algunas Transformaciones ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Trabajo con Transformaciones DESTINO ESTRATEGIA DE ACTUALIZACIÓN Basado en la coincidencia de Job_IDs,  LOOKUP Busca Job_IDs en el  destino T_JOBS ORIGEN EXTRACCIÓN DEL ORIGEN Ejemplo: Estrategia de Actualización
Diseño de Cargas ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Consejos sobre Planificación de Cargas ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Plan de Carga de Destinos ,[object Object],[object Object],[object Object],[object Object]
[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Planificación de Cargas ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
[object Object],Monitorización de Cargas
La Creación de un Data Warehouse Sostenible y sus Data Marts Incrementales  Requiere la Automatización  de los Procesos de Carga
Fundamentos del DWH Herramientas de Integración de Datos
Integración de Datos, más allá del BI ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
¿Un proceso simple ? ETL
Ensanchando el concepto de Integración de Datos EIM, Content Management Aplicaciones y Midleware (SAP, Siebel, TIBCO, Biztalk, …) BI (BO, SAS, Microstrategy,  Hyperion, Cognos …) Bases de Datos (Oracle, Microsoft, IBM, …) EAI Real Time Scheduling Changed Data  Capture Complex Data Exchange Mainframe ETL Data Grid High Availability Data Profiling DWL Auditing Data Quality Team Base  Develop/ Federation Web Services (SOA) Mucho más que ETL Metadatos
IBM MQSeries TIBCO  webMethods SAP NetWeaver XI SAP NetWeaver SAP IDOC SAP BCI SAP DMI SAP BW Oracle DB2 UDB DB2/400 SQL Server Sybase ADABAS Datacom DB2 IDMS IMS Flat Files, XLS, PPT FTP Encrypted Stream XML, PDF, DOC, … Informix Teradata ODBC Flat Files Web Logs … VSAM C-ISAM Complex Files Tape Formats… Web Services XML JMS ODBC… Peoplesoft Oracle Apps Siebel SAS… Oracle SQL Server Industry Formats Acceso Universal a los Datos Entrega de datos a Sistemas, Procesos y Organizaciones Etc etc …. XML, Messaging,  and Web Services Packaged Applications Relational and Flat Files Mainframe  and Midrange Systems
Informatica PowerCenter   Puntos de interés como plataforma de integración de datos (1/2) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Informatica PowerCenter   Puntos de interés como plataforma de integración de datos (2/2) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Informatica PowerCenter   “Trabajar como pienso” Del papel … MAESTRO DETALLE UNION TABLA REFERENCIA TOTALES DESTINO DATAWAREHOUSE SALIDA _ XML
Informatica PowerCenter   … a la práctica
Informatica PowerCenter Metadata Reporter  Presentación web de los metadatos del repositorio
Fundamentos del DWH Herramientas de Reporting y Análisis
Tipos de Herramientas OLAP ,[object Object],[object Object],[object Object],[object Object],[object Object]
On-Line Analytic Processing - (OLAP) ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Características del Procesamiento OLAP ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Motores Relacionales: ,[object Object],[object Object],[object Object],[object Object]
OLAP Relacional: ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
OLAP Relacional (total): ,[object Object],[object Object],[object Object],[object Object],[object Object]
OLAP Multidimensional ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Bases de Datos Multidimensionales: el ‘HiperCubo’ MÁS: Región Territorio Vendedor Etc.
OLAP Multidimensional ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
. . . La ‘Zona de Guerra’ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Argumentos de MOLAP contra ROLAP ,[object Object],[object Object],[object Object],[object Object],[object Object]
Argumentos de ROLAP contra MOLAP ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Data Mining ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Herramientas de Data Mining: ,[object Object],[object Object],[object Object],[object Object],[object Object]
Selección de Herramientas Finales: ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Múltiples Necesidades = Múltiples Herramientas ,[object Object],[object Object],[object Object]
Sin  Datos  de  Calidad  todo lo que Tenemos son  Opiniones
 

Contenu connexe

Tendances

data warehouse , data mart, etl
data warehouse , data mart, etldata warehouse , data mart, etl
data warehouse , data mart, etlAashish Rathod
 
Modelo dimensional de un proceso de negocio
Modelo dimensional de un proceso de negocioModelo dimensional de un proceso de negocio
Modelo dimensional de un proceso de negocioMiguel Orquera
 
Advanced Dimensional Modelling
Advanced Dimensional ModellingAdvanced Dimensional Modelling
Advanced Dimensional ModellingVincent Rainardi
 
Tableau Visual analytics complete deck 2
Tableau Visual analytics complete deck 2Tableau Visual analytics complete deck 2
Tableau Visual analytics complete deck 2Arun K
 
Bases de datos dinamicas y estaticas
Bases de datos dinamicas y estaticasBases de datos dinamicas y estaticas
Bases de datos dinamicas y estaticasJeisonGrajales
 
‏‏Chapter 8: Reference and Master Data Management
‏‏Chapter 8: Reference and Master Data Management ‏‏Chapter 8: Reference and Master Data Management
‏‏Chapter 8: Reference and Master Data Management Ahmed Alorage
 
"MDM: Cómo adquirir y retener más clientes" Master Data Management
"MDM: Cómo adquirir y retener más clientes" Master Data Management"MDM: Cómo adquirir y retener más clientes" Master Data Management
"MDM: Cómo adquirir y retener más clientes" Master Data ManagementPowerData
 
Base de datos
Base de datosBase de datos
Base de datosDavid
 
Data Warehouse Basics
Data Warehouse BasicsData Warehouse Basics
Data Warehouse BasicsRam Kedem
 
Relational vs Non Relational Databases
Relational vs Non Relational DatabasesRelational vs Non Relational Databases
Relational vs Non Relational DatabasesAngelica Lo Duca
 
Oracle databáze – Konsolidovaná Data Management Platforma
Oracle databáze – Konsolidovaná Data Management PlatformaOracle databáze – Konsolidovaná Data Management Platforma
Oracle databáze – Konsolidovaná Data Management PlatformaMarketingArrowECS_CZ
 
3D: DBT using Databricks and Delta
3D: DBT using Databricks and Delta3D: DBT using Databricks and Delta
3D: DBT using Databricks and DeltaDatabricks
 

Tendances (20)

data warehouse , data mart, etl
data warehouse , data mart, etldata warehouse , data mart, etl
data warehouse , data mart, etl
 
Data warehouse logical design
Data warehouse logical designData warehouse logical design
Data warehouse logical design
 
Modelo dimensional de un proceso de negocio
Modelo dimensional de un proceso de negocioModelo dimensional de un proceso de negocio
Modelo dimensional de un proceso de negocio
 
Advanced Dimensional Modelling
Advanced Dimensional ModellingAdvanced Dimensional Modelling
Advanced Dimensional Modelling
 
Dimensional Modelling
Dimensional ModellingDimensional Modelling
Dimensional Modelling
 
Data warehousing
Data warehousingData warehousing
Data warehousing
 
Tableau Visual analytics complete deck 2
Tableau Visual analytics complete deck 2Tableau Visual analytics complete deck 2
Tableau Visual analytics complete deck 2
 
Base De Datos Orientada A Objetos
Base De Datos Orientada A ObjetosBase De Datos Orientada A Objetos
Base De Datos Orientada A Objetos
 
Bases de datos dinamicas y estaticas
Bases de datos dinamicas y estaticasBases de datos dinamicas y estaticas
Bases de datos dinamicas y estaticas
 
‏‏Chapter 8: Reference and Master Data Management
‏‏Chapter 8: Reference and Master Data Management ‏‏Chapter 8: Reference and Master Data Management
‏‏Chapter 8: Reference and Master Data Management
 
"MDM: Cómo adquirir y retener más clientes" Master Data Management
"MDM: Cómo adquirir y retener más clientes" Master Data Management"MDM: Cómo adquirir y retener más clientes" Master Data Management
"MDM: Cómo adquirir y retener más clientes" Master Data Management
 
Base de datos
Base de datosBase de datos
Base de datos
 
Data Warehouse Basics
Data Warehouse BasicsData Warehouse Basics
Data Warehouse Basics
 
Ppt
PptPpt
Ppt
 
Kettle – Etl Tool
Kettle – Etl ToolKettle – Etl Tool
Kettle – Etl Tool
 
Data Lake,beyond the Data Warehouse
Data Lake,beyond the Data WarehouseData Lake,beyond the Data Warehouse
Data Lake,beyond the Data Warehouse
 
Exposicion oracle
Exposicion oracleExposicion oracle
Exposicion oracle
 
Relational vs Non Relational Databases
Relational vs Non Relational DatabasesRelational vs Non Relational Databases
Relational vs Non Relational Databases
 
Oracle databáze – Konsolidovaná Data Management Platforma
Oracle databáze – Konsolidovaná Data Management PlatformaOracle databáze – Konsolidovaná Data Management Platforma
Oracle databáze – Konsolidovaná Data Management Platforma
 
3D: DBT using Databricks and Delta
3D: DBT using Databricks and Delta3D: DBT using Databricks and Delta
3D: DBT using Databricks and Delta
 

Similaire à Fundamentos dw

Bussiness inteligence
Bussiness inteligenceBussiness inteligence
Bussiness inteligenceMaryy Aqua
 
Que Es Un Data Warehouse
Que Es Un Data WarehouseQue Es Un Data Warehouse
Que Es Un Data Warehouseguest10616d
 
Datawarehouse
DatawarehouseDatawarehouse
Datawarehouseshady85
 
Olap vs oltp bases datos 2
Olap vs oltp bases datos 2Olap vs oltp bases datos 2
Olap vs oltp bases datos 2Velmuz Buzz
 
Minería de datos Presentación
Minería de datos PresentaciónMinería de datos Presentación
Minería de datos Presentaciónedmaga
 
Minera de-datos-presentacin-1205263710628735-3
Minera de-datos-presentacin-1205263710628735-3Minera de-datos-presentacin-1205263710628735-3
Minera de-datos-presentacin-1205263710628735-3Climanfef
 
Data integration
Data integrationData integration
Data integrationPowerData
 
Dts y analysis services 2000
Dts y analysis services 2000Dts y analysis services 2000
Dts y analysis services 2000Salvador Ramos
 
Topicos de ingeneria_de_sistema_sii_calzada1
Topicos de ingeneria_de_sistema_sii_calzada1Topicos de ingeneria_de_sistema_sii_calzada1
Topicos de ingeneria_de_sistema_sii_calzada1Calzada Meza
 
Que Es Un Data Warehouse
Que Es Un Data WarehouseQue Es Un Data Warehouse
Que Es Un Data Warehouseguest10616d
 
Componentes de Business Intelligence
Componentes de Business IntelligenceComponentes de Business Intelligence
Componentes de Business IntelligenceCarlos Escobar
 
Manual Analysis Services
Manual Analysis ServicesManual Analysis Services
Manual Analysis Servicesbrobelo
 

Similaire à Fundamentos dw (20)

Data Warehouse
Data WarehouseData Warehouse
Data Warehouse
 
Data warehouse
Data warehouseData warehouse
Data warehouse
 
Bussiness inteligence
Bussiness inteligenceBussiness inteligence
Bussiness inteligence
 
Kdd fase1
Kdd fase1Kdd fase1
Kdd fase1
 
Que Es Un Data Warehouse
Que Es Un Data WarehouseQue Es Un Data Warehouse
Que Es Un Data Warehouse
 
Data warehouse
Data warehouseData warehouse
Data warehouse
 
Datawarehouse
DatawarehouseDatawarehouse
Datawarehouse
 
Olap vs oltp bases datos 2
Olap vs oltp bases datos 2Olap vs oltp bases datos 2
Olap vs oltp bases datos 2
 
Minería de datos Presentación
Minería de datos PresentaciónMinería de datos Presentación
Minería de datos Presentación
 
Minera de-datos-presentacin-1205263710628735-3
Minera de-datos-presentacin-1205263710628735-3Minera de-datos-presentacin-1205263710628735-3
Minera de-datos-presentacin-1205263710628735-3
 
Data integration
Data integrationData integration
Data integration
 
Dts y analysis services 2000
Dts y analysis services 2000Dts y analysis services 2000
Dts y analysis services 2000
 
Topicos de ingeneria_de_sistema_sii_calzada1
Topicos de ingeneria_de_sistema_sii_calzada1Topicos de ingeneria_de_sistema_sii_calzada1
Topicos de ingeneria_de_sistema_sii_calzada1
 
Datawarehouse
DatawarehouseDatawarehouse
Datawarehouse
 
Conceptos de Data Warehouse.ppt
Conceptos de Data Warehouse.pptConceptos de Data Warehouse.ppt
Conceptos de Data Warehouse.ppt
 
Bussines Inteligence
Bussines InteligenceBussines Inteligence
Bussines Inteligence
 
Que Es Un Data Warehouse
Que Es Un Data WarehouseQue Es Un Data Warehouse
Que Es Un Data Warehouse
 
Componentes de Business Intelligence
Componentes de Business IntelligenceComponentes de Business Intelligence
Componentes de Business Intelligence
 
Cuestiones de repaso_cap_31_utpl
Cuestiones de repaso_cap_31_utplCuestiones de repaso_cap_31_utpl
Cuestiones de repaso_cap_31_utpl
 
Manual Analysis Services
Manual Analysis ServicesManual Analysis Services
Manual Analysis Services
 

Plus de Roberto Espinosa

Modelado Dimensional 4 Etapas
Modelado Dimensional 4 EtapasModelado Dimensional 4 Etapas
Modelado Dimensional 4 EtapasRoberto Espinosa
 
Evolucion Poblacion Distrito
Evolucion Poblacion DistritoEvolucion Poblacion Distrito
Evolucion Poblacion DistritoRoberto Espinosa
 
Data Mining. Extracción de Conocimiento en Grandes Bases de Datos
Data Mining. Extracción de Conocimiento en Grandes Bases de DatosData Mining. Extracción de Conocimiento en Grandes Bases de Datos
Data Mining. Extracción de Conocimiento en Grandes Bases de DatosRoberto Espinosa
 
Informatica Pentaho Etl Tools Comparison
Informatica Pentaho Etl Tools ComparisonInformatica Pentaho Etl Tools Comparison
Informatica Pentaho Etl Tools ComparisonRoberto Espinosa
 

Plus de Roberto Espinosa (7)

Ergonomia sap 2012
Ergonomia sap 2012Ergonomia sap 2012
Ergonomia sap 2012
 
Modelado Dimensional 4 Etapas
Modelado Dimensional 4 EtapasModelado Dimensional 4 Etapas
Modelado Dimensional 4 Etapas
 
Diseño Dimensional
Diseño DimensionalDiseño Dimensional
Diseño Dimensional
 
Evolucion Poblacion Distrito
Evolucion Poblacion DistritoEvolucion Poblacion Distrito
Evolucion Poblacion Distrito
 
Estadisticas de londres
Estadisticas de londresEstadisticas de londres
Estadisticas de londres
 
Data Mining. Extracción de Conocimiento en Grandes Bases de Datos
Data Mining. Extracción de Conocimiento en Grandes Bases de DatosData Mining. Extracción de Conocimiento en Grandes Bases de Datos
Data Mining. Extracción de Conocimiento en Grandes Bases de Datos
 
Informatica Pentaho Etl Tools Comparison
Informatica Pentaho Etl Tools ComparisonInformatica Pentaho Etl Tools Comparison
Informatica Pentaho Etl Tools Comparison
 

Dernier

Innovaciones tecnologicas en el siglo 21
Innovaciones tecnologicas en el siglo 21Innovaciones tecnologicas en el siglo 21
Innovaciones tecnologicas en el siglo 21mariacbr99
 
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptxPROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptxAlan779941
 
How to use Redis with MuleSoft. A quick start presentation.
How to use Redis with MuleSoft. A quick start presentation.How to use Redis with MuleSoft. A quick start presentation.
How to use Redis with MuleSoft. A quick start presentation.FlorenciaCattelani
 
Avances tecnológicos del siglo XXI y ejemplos de estos
Avances tecnológicos del siglo XXI y ejemplos de estosAvances tecnológicos del siglo XXI y ejemplos de estos
Avances tecnológicos del siglo XXI y ejemplos de estossgonzalezp1
 
Avances tecnológicos del siglo XXI 10-07 eyvana
Avances tecnológicos del siglo XXI 10-07 eyvanaAvances tecnológicos del siglo XXI 10-07 eyvana
Avances tecnológicos del siglo XXI 10-07 eyvanamcerpam
 
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptxEL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptxMiguelAtencio10
 
pruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNITpruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNITMaricarmen Sánchez Ruiz
 
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdfRefrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdfvladimiroflores1
 
EVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptx
EVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptxEVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptx
EVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptxJorgeParada26
 
Modulo-Mini Cargador.................pdf
Modulo-Mini Cargador.................pdfModulo-Mini Cargador.................pdf
Modulo-Mini Cargador.................pdfAnnimoUno1
 
Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...
Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...
Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...JohnRamos830530
 

Dernier (11)

Innovaciones tecnologicas en el siglo 21
Innovaciones tecnologicas en el siglo 21Innovaciones tecnologicas en el siglo 21
Innovaciones tecnologicas en el siglo 21
 
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptxPROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
PROYECTO FINAL. Tutorial para publicar en SlideShare.pptx
 
How to use Redis with MuleSoft. A quick start presentation.
How to use Redis with MuleSoft. A quick start presentation.How to use Redis with MuleSoft. A quick start presentation.
How to use Redis with MuleSoft. A quick start presentation.
 
Avances tecnológicos del siglo XXI y ejemplos de estos
Avances tecnológicos del siglo XXI y ejemplos de estosAvances tecnológicos del siglo XXI y ejemplos de estos
Avances tecnológicos del siglo XXI y ejemplos de estos
 
Avances tecnológicos del siglo XXI 10-07 eyvana
Avances tecnológicos del siglo XXI 10-07 eyvanaAvances tecnológicos del siglo XXI 10-07 eyvana
Avances tecnológicos del siglo XXI 10-07 eyvana
 
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptxEL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
 
pruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNITpruebas unitarias unitarias en java con JUNIT
pruebas unitarias unitarias en java con JUNIT
 
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdfRefrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf
 
EVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptx
EVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptxEVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptx
EVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptx
 
Modulo-Mini Cargador.................pdf
Modulo-Mini Cargador.................pdfModulo-Mini Cargador.................pdf
Modulo-Mini Cargador.................pdf
 
Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...
Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...
Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...
 

Fundamentos dw

  • 1. Creando el próximo Data Warehouse: Integración y Calidad de Datos Sesión 1: Fundamentos del DWH Alberto Collado
  • 2.
  • 3.
  • 5.
  • 6. La solución: los servicios de datos Servicios de datos Servicios de datos Proyectos de integración de datos Iniciativas de TI Necesidades empresariales Almacenamiento de datos Consolidación de datos Migración de datos Sincronización de datos Gestión de datos maestros Eliminación de sistemas heredados BPO SaaS Hubs de productos, proveedores y clientes Consolidación de aplicaciones Inteligencia empresarial Subcontratar funciones secundarias Aumentar la rentabilidad del negocio Fusiones y adquisiciones Modernizar el negocio y reducir los costes de TI Mejorar decisiones y cumplir con la normativa Informatica PowerExchange Informatica Data Explorer Informatica PowerCenter Informatica Data Quality Plataforma de productos de Informatica
  • 7. La plataforma de productos de Informatica Automatización de todo el ciclo de vida de la integración de datos Auditoría, control y creación de informes Garantizar la coherencia de los datos, realizar análisis de impacto y supervisar constantemente la calidad de la información Acceso A cualquier sistema, por lotes o en tiempo real Limpieza Detección Validar, corregir y estandarizar datos de todo tipo Buscar y perfilar cualquier tipo de datos de cualquier fuente Desarrollo y gestión Desarrollar y colaborar con un repositorio común y metadatos compartidos Data Explorer Data Quality PowerCenter PowerExchange Entrega Integración Entregar los datos adecuados en el momento y formato adecuados Transformar y conciliar datos de todo tipo
  • 8. Presentación Asistentes: Conocimientos y Expectativas
  • 10.
  • 11. Fundamentos del DWH Introducción al DWH: ¿Qué es?
  • 12.
  • 13.
  • 14.
  • 15.
  • 16. No-Volátil Sistema OLTP (dinámico) Sistema DSS (más estático) cambio inserción borrado carga lectura
  • 17.
  • 18.
  • 19.
  • 20. Fundamentos del DWH Arquitectura de un DWH
  • 21.
  • 22. Directo de OLTP a OLAP
  • 23.
  • 24. Data Warehouse Virtual: Directo o Federado EII
  • 26. Data Marts No Estructurados
  • 28.
  • 29.
  • 30.
  • 31. Data Marts Estructurados: Visión Completa
  • 32. Fundamentos del DWH Modelado de Datos y Metadatos
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
  • 38.
  • 39.
  • 40.
  • 41.
  • 42. Técnicas de Optimización Estructural y Física
  • 43.
  • 44.
  • 45.
  • 46.
  • 47.
  • 48.
  • 49.
  • 50.
  • 51.
  • 52.
  • 53. Fundamentos del DWH Esquemas en Estrella
  • 54.
  • 55. Modelización Dimensional - Regla de Oro Los Esquemas en Estrella deberían ser utilizados para cualquier dato accedido directamente por los usuarios finales.
  • 56.
  • 57.
  • 58. Esquema en Estrella (conceptual)
  • 59.
  • 60.
  • 61.
  • 62.
  • 63.
  • 64.
  • 65.
  • 66.
  • 67.
  • 68.
  • 69.
  • 70.
  • 71.
  • 72.
  • 73. Ejemplo: El Esquema Financiero en Estrella
  • 74. Fundamentos del DWH Procesos y Estrategias de Carga del DWH
  • 75.
  • 76.
  • 77.
  • 78. Proceso de Diseño Def Origen 2. IMPORTACIÓN DE DEFICIONES DE ORÍGENES Def Destino 3. CREACIÓN DE ESQUEMA DESTINO Mapeo 4. CREACIÓN DE MAPPINGS 1. CREACIÓN DE REPOSITORIO
  • 79.
  • 80.
  • 81. Trabajo con Transformaciones DESTINO ESTRATEGIA DE ACTUALIZACIÓN Basado en la coincidencia de Job_IDs, LOOKUP Busca Job_IDs en el destino T_JOBS ORIGEN EXTRACCIÓN DEL ORIGEN Ejemplo: Estrategia de Actualización
  • 82.
  • 83.
  • 84.
  • 85.
  • 86.
  • 87. La Creación de un Data Warehouse Sostenible y sus Data Marts Incrementales Requiere la Automatización de los Procesos de Carga
  • 88. Fundamentos del DWH Herramientas de Integración de Datos
  • 89.
  • 91. Ensanchando el concepto de Integración de Datos EIM, Content Management Aplicaciones y Midleware (SAP, Siebel, TIBCO, Biztalk, …) BI (BO, SAS, Microstrategy, Hyperion, Cognos …) Bases de Datos (Oracle, Microsoft, IBM, …) EAI Real Time Scheduling Changed Data Capture Complex Data Exchange Mainframe ETL Data Grid High Availability Data Profiling DWL Auditing Data Quality Team Base Develop/ Federation Web Services (SOA) Mucho más que ETL Metadatos
  • 92. IBM MQSeries TIBCO webMethods SAP NetWeaver XI SAP NetWeaver SAP IDOC SAP BCI SAP DMI SAP BW Oracle DB2 UDB DB2/400 SQL Server Sybase ADABAS Datacom DB2 IDMS IMS Flat Files, XLS, PPT FTP Encrypted Stream XML, PDF, DOC, … Informix Teradata ODBC Flat Files Web Logs … VSAM C-ISAM Complex Files Tape Formats… Web Services XML JMS ODBC… Peoplesoft Oracle Apps Siebel SAS… Oracle SQL Server Industry Formats Acceso Universal a los Datos Entrega de datos a Sistemas, Procesos y Organizaciones Etc etc …. XML, Messaging, and Web Services Packaged Applications Relational and Flat Files Mainframe and Midrange Systems
  • 93.
  • 94.
  • 95. Informatica PowerCenter “Trabajar como pienso” Del papel … MAESTRO DETALLE UNION TABLA REFERENCIA TOTALES DESTINO DATAWAREHOUSE SALIDA _ XML
  • 96. Informatica PowerCenter … a la práctica
  • 97. Informatica PowerCenter Metadata Reporter Presentación web de los metadatos del repositorio
  • 98. Fundamentos del DWH Herramientas de Reporting y Análisis
  • 99.
  • 100.
  • 101.
  • 102.
  • 103.
  • 104.
  • 105.
  • 106. Bases de Datos Multidimensionales: el ‘HiperCubo’ MÁS: Región Territorio Vendedor Etc.
  • 107.
  • 108.
  • 109.
  • 110.
  • 111.
  • 112.
  • 113.
  • 114.
  • 115. Sin Datos de Calidad todo lo que Tenemos son Opiniones
  • 116.