Data Integrator 12c: Moving Data to Transform Business

Data Integrator 12c
Moving Data to Transform Business
Raúl Tarifa Vega
Business Analytics Solution Specialists Webinar

Webinar
Índice
© avanttic Consultoría Tecnológica, S.L.2
1 Introducción
2 Arquitectura de ODI 12c
3 Desarrollo con ODI 12c
4 Big Data con ODI 12c
5 Integración con otras herramientas
6 Migración de OWB 11g (Warehouse Builder) a ODI 12c
7 Actualización de ODI 11g a 12c
8 Oracle Data Integrator Cloud Service
9 Conclusiones

Webinar
Introducción
• Pertenece a la línea de productos de Business Analytics
• Es la herramienta de integración de datos estratégica de Oracle
3 © avanttic Consultoría Tecnológica, S.L.
Oracle Data Integrator (ODI) en el portfolio de Oracle
Data Integration Engineered Systems
Packaged Analytics
& EPM Apps
Data Analytic
Tools
ODI
12c

Webinar
Introducción
Es el proceso combinar datos que residen en diferentes fuentes para
permitir al usuario final tener una vista unificada de todos sus datos,
mediante:
Diseño Declarativo (KM)
Desarrollo orientado a flujos
Reutilización de código
Rendimiento optimizado para Oracle:
Particionado/Paralelismo/Hints/Merge/Inserts multiples destinos
Simulación ejecución
Depuración paso a paso
Funcionalidad extensible y/o customizable
¿Qué es la Integración de Datos?

Webinar
Introducción
Necesidades actuales en la integración de datos
Cualquier Fuente
de datos
Real Time,
Quality Data
Máximo rendimiento,
Alta disponiblidad
Interna o en
la Nube
Integrada,
Alta productividad

Webinar
Introducción
Desarrolla con ODI

Webinar
Introducción
• Procesos ELT para Data Warehouse / Integraciones ODS / Migraciones
• BD Heterogéneas, cualquier fuente BBDD, XML, …
• Real time Data Warehouse
• Con sus KM’s para CDC
• Mediante integración con OGG (GoldenGate)
• Diseñado para arquitecturas SOA
• Funcionalidad para Master Data Management (MDM)
• Alta disponibilidad
• Consolas monitorización infraestructura y ejecuciones
• Conectores para BigData
• Funcionalidad para Data Quality
• Desarrollo de alta productividad
Principales características de ODI 12c

Webinar
Índice
1 Introducción
9 Conclusiones

Webinar
Arquitectura de ODI 12c
• Repositorios
• ODI Studio
• Agentes
• Componentes J2EE
• Management Pack
Componentes

Webinar
Almacenados en esquema en BD
• Repositorio Master
• Topología de la infraestructura IT
• Información de seguridad
• Objetos versionados y archivados
• Repositorios:
Work (n Entornos de Desarrollo)
• Estructuras de datos (Modelos)
• Proyectos
• Información de ejecución
Exec (n Entornos Ejecución)
Repositorios de ODI
Master Work
Exec

Webinar
• Tipos Agente
• Standalone
• Collocated
• J2EE
• Responsabilidades
• Listener
• Scheduler
• Procesos java ejecutándose
próximos al host de BD
Agentes ODI
Cualquier origen Cualquier destino
ODI J2EE
(Dominio WLS)
ODI
Console J2EE Agent Standalone
Agent
(Dominio WLS)
Collocated Agent
Repositorio
ODI
Cliente (Cualquier Plataforma)
ODI Studio
…
Cliente web
ODI
Console

Webinar
• Interface web
• Monitorizar resultados
de ejecución
• Lanzar procesos
• Linaje y flujo de datos
ODI Console

Webinar
• Gestión y Rendimiento
• Gestión Configuración
• Gestión SLM
• Análisis histórico y reporting
ODI Management Pack

Webinar
1 Introducción
9 Conclusiones
Índice

Webinar
Desarrollo con ODI
• Topología
• Designer
• Data Model
• Proyectos
• Mappings
• Packages
• Execution Plans
• Procedures
• KM’s
• Operador
• Monitorizar estado ejecuciones
• Programación
• Seguridad
ODI Studio

Webinar
Desarrollo con ODI
Define
• Fuentes de datos
• Origen
• Destino
• Staging
• Modelos datos
• Lógico
• Físico
• Contextos de ejecución
• Agentes en nuestra infraestructura
• Repositorios ODI existentes
Topología
DIAgent_DES
DEV
PRO

Webinar
Desarrollo con ODI
Modelo
• Describe conjuntos de Datastores
(Atributos, claves, filtros y condiciones)
• Ingeniería inversa
• Define reglas integridad
(Estáticas/Flujo)
• Configuración para CDC
Designer

Webinar
Desarrollo con ODI
Contenido de un Proyecto
• Variables, Secuencias
• Procedimientos
• Funciones
• Mappings (Interfaces)
• KM’s
• Packages
• Load Plans
Designer
Múltiples implementaciones función

Webinar
Desarrollo con ODI
Perspectivas
• Lógica
• Física
Estructura de un mapping
Propiedades Físicas
• Esquemas: destino, staging
• Estrategia de carga (KM)
• Opciones (Borrar temporales,
autocommit, ….)
Lógica de negocio
• Objetos de datos y sus Relaciones
• Filtros Restricciones

Webinar
Desarrollo con ODI
Plantillas de código especializadas en la ejecución de un tipo de tarea
• LKM
• IKM
• CKM
• JKM
• RKM
• SKM
Knowledge Modules (KM)

Webinar
Desarrollo con ODI
• Objetos ejecutables
• Mappings
• Paquetes
• Load Plans
• Procedures
• Escenarios (Casos)
• Ejecución
• Interactiva
• Programada
• Simulación
• Ver resultado ejecución (Operador)
Ejecución de procesos ELT

Webinar
Desarrollo con ODI
Packages
• Define secuencia ejecución
• ODI Tools
• Mappings
• Procedimientos
Load Plans
• Definen el flujo de carga
• En serie
• En paralelo
• Ejecuta escenarios
• Diferentes tipos de reinicio
• Ejecución parcial
Orquestar el flujo de datos

Webinar
Desarrollo con ODI
• Objetos debugables
• Mappings
• Escenarios
• Procesos
• Paquetes
• Sobre cualquier agente
(sesiones en ejecución)
• Ejecución paso a paso
• Edición sentencias SQL
• Ejecutar código modificado
Debugger integrado

Webinar
Desarrollo con ODI
• Dos modos de journalizing
• Simple
• Consistente
• Modelo publicación/suscripción
• Journal/Vistas
• Procesos de captura
• Suscriptores
• Dos implementaciones
• Análisis Log transacciones
• Triggers
• ODI automatiza procesos
• Despliegue
• Control
Realtime Data Warehouse con Change Data Capture (CDC)

Webinar
Desarrollo con ODI
• KM’s y Substitution API
• SDK
• Groovy scripts
• Puede utilizar comandos del SDK
• Automatizar edición/ejecución masiva objetos
Extendiendo/Personalizando ODI

Webinar
1 Introducción
8 Oracle Data Integrate Cloud Service
9 Conclusiones
Índice

Webinar
Big Data con ODI 12c
• Integración de datos en Hadoop
(Sistema ficheros local / HDFS / Hbase / BD SQL estándar)
• Realizar validaciones y transformaciones de datos en Hadoop
• Llevar los resultados obtenidos en Hadoop a otro almacén de datos
(Oracle / BD SQL estándar / Hbase)
• Disponible a partir de ODI 11.1.1.6
• Se licencia por separado
Application Adapter for Hadoop (ODIAAH)

Webinar28 © avanttic Consultoría Tecnológica, S.L.
Big Data con ODI 12c
Nombre (KM) Propósito Origen Destino
LKM File to Hive Cargar datos de local o HDFS en tablas Hive File system Hive
IKM Hive Control Append Integra datos en Hive en modo truncate/insert Hive Hive
IKM Hive Transform Integra datos en Hive una vez transformados con un script
desarrollado en Perl/Python
Hive Hive
IKM File-Hive to Oracle (OLH-
OSCH)
Integra datos desde HDFS o Hive en tablas Oracle File system/Hive Oracle
IKM File-Hive to SQL Integra datos desde HDFS o Hive en BD SQL File system/Hive BD SQL
IKM SQL to Hive-HBase-File Integra datos desde BD SQL en HDFS/Hbase/Hive BD SQL Hive/HBase/
HDFS
IKM Hive to Hbase Incremental
Update
Integra datos desde Hive a Hbase, pudiendo realizar
insert/update.
Hive HBase
LKM HBase to Hive Cargar datos de Hbase a Hive HBase Hive
CKM Hive Validar cumplimiento restricciones - Hive
RKM Hive Ingeniería inversa de tablas Hive - Hive
RKM HBase Ingeniería inversa de tablas Hbase - HBase
KM’s incluidos en el Application Adapter for Hadoop (ODIAAH)

Webinar
1 Introducción
9 Conclusiones
Índice

Webinar
Integración con otras herramientas
• Cualquier agente puede exponer
transformaciones de ODI como WS
• Los agentes J2EE pueden
exponer Data Services
• Invocar Web Services y
procesar su respuesta
Arquitectura SOA

Webinar
• Funcionalidad EDQ
• Profiling
• Validar direcciones
• Estandarización/Análisis Sintáctico
• Combinar y enriquecer registros
• Integración EDQ con ODI
• Mediante ODI Tools
• Monitorización estado jobs EDQ en Operador
• Disponible desde 11.1.1.6
Enterprise Data Quality (EDQ)

Webinar
• OGG transformaciones básicas “in-row” /
ODI transformaciones complejas (lookups, …)
• Rendimiento OGG optimizado al procesar microbatches con ODI
• Mismo mapping soporta bulk-loads y microbatches
• GG es menos invasivo que CDC
Oracle GoldenGate (OGG) para Real Time Data Warehouse
32
EMP DEPT
DIM
FACT
DIM
DIMDIM
ODS Schema
DW Schema
Oracle BI
Log-based, Real-time Data Feeds
EMP DEPT
Oracle GoldenGate
Source OLTP
System
trans2 trans1trans3
Batch Feed
Historic AnalyticsReal-time Analytics
Oracle
Data Integrator
& Data Quality

Webinar
• Linaje de los datos
• Análisis de impacto
Master Data Management (MDM) con OBIEE

Webinar
1 Introducción
9 Conclusiones
Índice

Webinar
• Porque…
• OWB 11.2 es versión terminal
• “Premier Support” de OWB 11.2 finalizó
en enero de 2015
• La BD 12.x no incluye OWB en la instalación
• OWB 11.2 NO estará certificado en BD > 12.1
• Ahora
• Oracle provee utilidad de migración de OWB 11.2.0.x a ODI 12.1.y*
• Rediseño filosofía desarrollo de ODI orientándola a flujo
Migración de OWB 11g a ODI 12c
¿Por qué, cuándo y cómo?
*(x>= 3, y>=4)

Webinar
• Gradualmente
• Integrando desarrollos OWB en los flujos ODI
• Migrando automáticamente los proyectos OWB a ODI (utilidad migración)
• Empezando a desarrollar en ODI los nuevos proyectos (y lo no migrable)
¿Por qué, cuándo y cómo?

Webinar
1) Rediseño intuitivo de la filosofía: orientado a flujos.
2) Ejecuta las transformaciones en las BBDD existentes en lugar de tener un servidor intermedio robusto de uso
exclusivo para el motor de transformación.
3) Permite utilizar cualquier motor de BBDD como motor de transformación reduciendo los costes y aumentando
el desempeño.
4) La arquitectura de ODI permite trabajar de manera declarativa (Cero Código SQL) reutilizando las mejores
prácticas de carga y extracción de datos a partir de plantillas ya predefinidas (Knowledge modules - KMs).
5) Arquitectura Nativa y Compatible con SOA. Todas las tareas y el control de los procesos de integración están
expuestos como servicios gracias a un agente en java.
6) No tiene restricciones de marca o versión del motor de BBDD que se utilice como motor de transformación o
como destino de la información.
7) Menor costos de implementación en cuanto a la curva de aprendizaje, el hardware utilizado y la capacidad e
acoplarse a una infraestructura de SOA existente dentro de la organización.
8) El producto sigue evolucionando hacia el futuro, siendo compatible con nuevas tecnologías como Big data…
Principales Funcionalidades de ODI frente a OWB

Webinar
1 Introducción
6 Migración de OWB 11g (Warehouse Builder) a ODI 12c 12c
8 Oracle Data Integrate Cloud Service
9 Conclusiones
Índice

Webinar
Actualización de ODI 11g a 12c
• Nomenclatura (interface => mapping)
• Filosofía de desarrollo
• Dos implementaciones de KM: Template style / Component style
• Desarrollo de mappings orientado a flujo
• Desaparecen interfaces temporales
• Aparecen reusable mappings
• Múltiples destinos en un mismo mapping
• Aparecen Collocated Agents
• Conversión de internal ID a Global Unique Identifiers (GUID)
• Mejora rendimiento
• Ejecución en paralelo automática
• Ejecución tareas concurrentemente
¿Qué ha cambiado?

Webinar
Actualización de ODI 11g a 12c
• Modos ejecución ODI 12c
• Mappings nativos 12c
• Compatiblidad 11g
• ¿Cómo generar mappings en modo compatibilidad?
• Activando opción en la utilidad de actualización
• Mediante una opción antes de importar un mapping
• Todos los módulos se ejecutan de la misma manera
• Es posible convertir mappings compatibles 11g a 12c
Modo compatibilidad

Webinar
1 Introducción
6 Migración de OWB 11g (Warehouse Builder) a ODI 12c12c
9 Conclusiones
Índice

Webinar
Oracle Data Integrator Cloud Service
Facilidades en Cloud
Acelere Desarrollos y Análisis
• Implemente ODI en Oracle Public Cloud y
ejecute cargas de trabajo de E-LT en Oracle
Platform as a Service
• Mejor procesamiento de inserción, para un
ETL de alto rendimiento en cloud, con
menos movimiento de datos
Costos de desarrollo más bajos
• Integración nativa con Oracle Database
Cloud Service, Exadata Cloud Service, Big
Data Cloud Service y Java Cloud Service
• Costos de infraestructura y mantenimiento
reducidos con ODICS
Potente solución de nube híbrida
• Suscripción mensual o a medida

Webinar
Integraciones Cloud
• Integración Ficheros diarios y
Programados
• Integraciones Configurables
• Integración datos con archivos XML
• Integración incorporada con BICS
• Integración incorporada con DBCS
• Integración Información histórica
ICS
integraciones en tiempo real con otras SAAS
API SOAP
• Invocaciones WS
• Datos disponibles, para mayor Capacidad
• políticas OWSM
API REST
• Futuro inmediato
• Estará disponible en
las siguientes
versiones

Webinar
ETL-ELT en Cloud All Data Warehouse
1. Disminuya los costos de su EDW
ejecutándose en PaaS o LaaS
2. Movimiento de datos más rápido en tiempo
real o por lotes con ODCS y GGCS
3. Maximice el rendimiento de sus procesos de
ODI y Data Warehouse con la computación
en la nube
4. Consolide todos sus datos en un solo lugar
para sus análisis
5. Tiene las Innovaciones con las últimas
tecnologías en base de datos y Big Data para
una visión más rápida

Webinar
Resumen Moviento de Datos
1. Opciones ORACLE VPN, Oracle Cloud se
convierte en una extensión de su propia red
2. Sin VPN, los datos locales se pueden transferir
a través de Oracle Storage CS, automatizado
utilizando ODI
3. ODI admite la integración con GoldenGate
Cloud Service para el movimiento de datos en
tiempo real
4. ODI respalda los servicios de SaaS a través
de los servicios RESTful o adaptadores de
terceros
5. Los datos se transforman en una base de
datos relacional o Hadoop utilizando los motores
de procesamiento de datos: SQL o Hive

Webinar
1 Introducción
9 Conclusiones
Índice

Webinar
Oracle Data Integrator 12c
• ODI 12c es una inversión segura
• Consolida la experiencia de OWB y ODI para ofrecer elevada
productividad
• Amplia cobertura funcional, pero extensible y costumizable
• Alta disponibilidad, monitorización
• Preparada para el presente … y el presente inminente
• Conectores Big data
• Real time (CDC, OGG)
• Momento para migrar de OWB 11g a ODI 12g
• Momento para ir a CLOUD
Conclusiones

Webinar
Oracle Data Integrator 12c
Preguntas

Raul.tarifa@avanttic.com
Para más información contacte con nosotros a través de comercial@avanttic.com
BARCELONA
Aragó 182, 4ª planta
08011 Barcelona
Tel. 93 151 84 51
MADRID
Poeta Joan Maragall 38, 6º B, Edificio Cuzco II
28020 Madrid
Tel. 91 116 17 89
el partner

Data Integrator 12c: Moving Data to Transform Business

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Data Integrator 12c: Moving Data to Transform Business

Similaire à Data Integrator 12c: Moving Data to Transform Business (20)

Plus de avanttic Consultoría Tecnológica

Plus de avanttic Consultoría Tecnológica (20)

Dernier

Dernier (15)

Data Integrator 12c: Moving Data to Transform Business