Publicité
Publicité

Contenu connexe

Publicité

CTTI: El camino del Dato con Confluent

  1. El camino del Dato Dirección de Analítica y Dato Octubre 2022
  2. Govern de les Dades
  3. Gobierno del dato 3 Oportunidad de Transformación Difícil integraci ón de los sistemas Informació n oculta Diversos productos y infraestructu ras El dato en diferentes “idiomas” Reducción de costes de hardware y software Homogeneiz ación de Infraestructur as y productos Reducción de costes en procesar información Nueva estrategia De integración de sistemas Nueva informaci ón visible El dato en un “único idioma” Elevado coste de proceso de la informació Contexto del dato Evolución del contexto del dato Informaci ón dispersa Informaci ón centraliz ada
  4. Estrategia en relación al dato 4 Sistemas de BackOffice: • Sistemas Legacy • Sistemas SAP Sistemas de FrontOffice: Sistemas analíticos: • Sede electrónica (oficina virtual) • Servicio de Relación con el Contribuyente Servicios De acceso a la información • Analytics • Business Intelligence (BI) Seguridad Servicios de monitorización Servicios de Calidad de datos Sistemas de intercambio de datos: • Entre sistemas internos de la organización • Entre administraciones Dades de referencia Censos Documentos Entidades de negocio Repositorio central de información GOBIERNO
  5. 5 Gestor de colas y sucesos Gestor Multitenant Interfaces Catalogación Aprovisionamiento Administración Uso • Envío de suceso a tópicos • Suscripción en tópicos • Uso de cualquier conector y patrón • Gestión de la autorización • Creación de tópicos • Documentación del Servicio Automatització Observabilitat • Disponibilidad • Monitorización • Escalabilidad • Aislamiento de datos • Aislamiento de aplicaciones • Compartición de tópicos Gobierno de la Plataforma Transversal Kafka Infraestructura • Inventario de servicios / sucesos de negocio. • Documentación del servicio • Flujo de aprobación • Flujo de Facturación • Soporte • Cloud / onPrem • Infraestructura como a código • Autoservicio Arquitectura EventHub
  6. Arquitectura Eventhub 6
  7. Arquitectura Eventhub 7
  8. 8 CPD a CPD b CPD c Cloud a Cloud b CPD a CPD b CPD c Cloud a Cloud b clientes clientes clientes servicio Implantación inicial: 1 CPD dando servicio a todos los clientes Estado final: n CPD/cloud dando servicio a todos los clientes, gestionados coordinadamente con una consola única clientes servicio clientes servicio clientes servicio clientes servicio clientes servicio Arquitectura Eventhub
  9. Govern de les Dades
  10. 10 Metodologia Data-Driven Impulsamos las decisiones y los servicios mediante el conocimiento de los datos Gobierno del dato Del dato al conocimiento Del conocimiento a la toma de decisiones • Analítica avanzada y inteligencia artificial • Catálogo de productos avanzados • Metodología de descubrimiento de casos de uso • Ética y explicabilidad Organización DATA DRIVEN • Gestionar des de los datos • Gobierno técnico del dato • Gobierno de las API • Incorporación de dades • Serveis de dades • Explotación de datos • Datos abiertos • Creación de relatos a través de los datos
  11. Gobierno del dato 11 El gobierno de los datos es la orquestación de personas, procesos y tecnología que consigue que una organización pueda transformar sus datos en un activo estratégico
  12. Gobierno del dato 12
  13. Gobierno del dato 13 DAMA – Associació Internacional de Data Management
  14. Conclusions
  15. Estrategia data-driven 15 15 Estadio intermedio que da lugar a • Despliegue de “xilos” de información, sobre infraestructuras tecnológicas estandarizadas • Gestión de datos verticalizada. • Plataforma Dedicada / Compartida • Compatibilizar Verticales y Integración Transversal • Plataforma proveída según demanda • Políticas y estándares unificados islas de datos desconectadas i no armonizadas Despliegues Verticales Arquitectura Normalizada Poner a disposición de todos los Departamentos una Solución Transversal ⮾ Gobierno estratégico Gobierno tecnológico Referentes departamentales de datos
  16. 16 Líneas estratégicas 16 1 2 3 Plataforma de datos Construir un modelo que permita integrar los datos de los sistemas operacionales donde la información es homogeneizada y estandarizada en un “idioma único” apoyada en datos maestros Estrategia de Calidad Implementar soluciones y servicios transversales para favorecer la implantación de procesos de calidad del dato. Estrategia documental Evolución de los modelos documentales para la explotación de los datos. Información centralizada, estandarizada y accesible Tener la información estratégica de los diferentes sistemas de información de forma centralizada, estandarizada y accesible para fomentar la compartición de la información Aumentar el perímetro de la información Detectar nueves fuentes de datos y explotar mejor la información que contienen los documentos y otros datos no estructurados Obtener conocimiento de los datos Ayudar a que los procesos de negocio sean mas eficaces y eficientes a través del conocimiento obtenido de los datos. Abordar procesos de negocio o hasta generar nuevos casos de negocio con IA o con modelos de analítica avanzada A B C 4 Plataforma analítica Potenciar las soluciones para obtener información relevante de los datos y documentos a través de la inteligencia artificial (IA).
  17. 17 Gobierno del Dato Ética y explicabilidad Analítica avanzada y inteligencia artificial Metodología de descubrimiento de casos de uso Soluciones tecnológicas Gobierno abierto Incorporación de datos Estrategia data-driven Plataformas Departamentales Plataforma datos abiertos Servicios básicos Servicios avanzados Del conocimiento a la toma de decisiones Del dato al conocimiento Plataforma transversal de analítica (PTA) Gestionar desde los datos Gobierno técnico del dato Explotación de datos Servicios de datos Plataforma transversal de datos (PTD) Gobierno de las API Creación de relatos
  18. Estrategia data-driven 18 Capa de integración Ingesta y calidad de los datos Repositorio principal de datos Datalake Bases de datos de soporte Gobierno y orquestación Apps BI Entorno de pruebas Entorno de trabajo de los científicos de datos Herramientas Sistemas operacionales y datamarts ETL’s IoT Sistemas terceros Redes Sociales Ficheros Búsqueda avanzada API Procesado de dades Análisis Predictivo Machine Learning I.A.
  19. MODELO CORPORATIVO INFRAESTRUCTURAS Y SERVICIOS DE DATOS Ingesta de datos Calidad del dato Infraestructuras Gobierno del dato Almacenamiento Big Data Virtualización Industrialización de la analítica Disponibilización On Premise 1 On Premise 2 Clould 4 Cloud 2 Cloud 3 INFRAESTRUCTURAS EXTERNAS DE DATOS (GOBERNADAS) · · · GOBIERNO PROCESOS DE DATOS Gobierno de Datos Datos de Referéncia Monitoritzación Gobierno del dato Modelo de Calidad Ecosistema corporativo Control y repercusión económica Control de rendimiento y consumo Modelo de Seguridad Metadatos Traçabilitat i llinatge Integración de tecnologias Ciclo de vida del dato (Multi-plataforma & Multi-proyecto) Datos Maestros Industrialitzación Dominios de Información Modelo Federal Automatitzación Market Place Pipelines de Dades Integración con el Gobierno del Dato Explotación de Datos Publicación de Datos Seguridad del Dato Arquitectos de Datos Ingenieros de Big Data Herramientas de orquestación y Pipelines Despliegue del entorno Integració de dades, llibreries i APIs Pre-processat de dades Tratamientos Reglas de Calidad Seguridad Transformación Normalización Enriquecimiento de dades Dominios de información Resultados y visualización Almacenamiento Modelo / Datos / Metadatos Despliegue de Servicios APIficació Explotación de datos Publicación de datos Productos de datos Explotación de Dades Business Intelligence Analítica de dades Automatización Robotización Monitorización Coste económico Industrialització del Govern de dades Pipelines de Dades Cloud 1 Ingenieros de Datos
  20. Estrategia data-driven 21 Pla Operacional Pla Analítico Aplicación Producto de Datos Aplicación Producto de Datos Aplicación Producto de Datos Computación y datos a nivel del dominio Políticas y normativas Recomendación Infraestructuras Catálogo unificado Sinergias de Plataforma Las aplicaciones aprovechan los recursos analíticos recomendados per la Gobierno Federado de la PTD para crear y mantener sus propios datalakes y para construir los productos de datos que publicaran en el Catálogo unificado El Gobierno Federado de la PTD podría asumir la responsabilidad de dotar de recursos compartitos a diferentes dominios, por motivos de eficiencia tecnológica o económica Dominio A Dominio B Dominio C Aplicación Producto de Datos Gobierno Federado PTD DOMINIO: Conjunto de recursos y productos de datos de un mismo ámbito funcional APLICACIÓN: Sistema operacional que cubre una funcionalidad del dominio
  21. Estrategia data-driven 22 Gobierno Federado PTD Datalake Dominio E (almacenamiento, ingesta, control de acceso (GICAR), analítica, productos de datos) Ingenieros de infraestructura de datos Ingenieros de datos del ámbito Científicos de datos Científicos de datos (R+D+I, universidades, ...) Propietario Producto Datos Ámbito Datos en batch Datos en tiempo real Catálogo Unificado Productos Dominio A Productos Dominio B Productos Dominio C Productos Dominio D
  22. Conclusions
  23. Gracias! gencat.cat
Publicité