Este documento describe la arquitectura de Big Data propuesta para el proyecto VUCE 2.0 del MINCETUR. Discuten las características de los datos, los objetivos de Big Data y cómo VUCE 2.0 se alinea con estos objetivos debido a su alto volumen, variedad y velocidad de datos. Luego proponen dos arquitecturas, una local "on premise" y otra en la nube, comparando sus beneficios y limitaciones. Finalmente, brindan ejemplos de proyectos de Big Data empleados por el gobierno peruano

1. Germán Cayo Morales
Consultor Especializado en Gestión y Análisis de Datos
PROYECTO VUCE 2.0 - MINCETUR
PROYECTOS DE BI y BIG DATA
VUCE 2.0

2. Página 2Página 2
Indicadores - Big Data
VUCE 2.0

3. Página 3Página 3
Big Data en el Proyecto VUCE 2.0
jueves, 19 de diciembre de 2019
Datos Estructurados
Datos No
Estructurados
Gran Volumen de Datos

4. Página 4Página 4
Big Data en el Proyecto VUCE 2.0
jueves, 19 de diciembre de 2019
• Características de los datos
Volumen
Variedad
Velocidad

5. Página 5Página 5
Objetivo de Big Data
jueves, 19 de diciembre de 2019
• La verdadera revolución no está en las
máquinas que calculan los datos, sino en
los mismos datos y como vamos a
usarlos.
• Big Data se refiere a lo que se pueden
hacer a gran escala para extraer nuevas
percepciones o crear nuevas formas de
valor, de forma que se transforman los
mercados, las organizaciones o las
relaciones con nuestros clientes

6. Página 6Página 6
Big Data en el Proyecto VUCE 2.0
jueves, 19 de diciembre de 2019
Por qué Big Data en el Proyecto VUCE 2.0?

7. Página 7Página 7
Big Data en el Proyecto VUCE 2.0
jueves, 19 de diciembre de 2019
• Por qué Big Data en el Proyecto VUCE 2.0?
• El Proyecto VUCE 2.0 se alinea a la definición de los Objetivos de Big Data ya
que cuenta con las siguientes características:
Volumen
El alto volúmenes de
almacenamiento entre los
diferentes Software que
participan en el Proyecto
VUCE 2.0
Variedad
Los diferentes tipos
de fuentes de datos
que son SQL y
NoSQL
Velocidad
El Proyecto debe
permitir responder
de forma eficiente a
los procesos masivos
que debe ejecutar.
Valor
Genera conocimiento
e información esencial
a diferentes Entidades
del Gobierno y a los
Importadores y
Exportadores que
interactúan en VUCE.
Visualización
Proporcionar
herramientas de
análisis para hacer
comparaciones y
tomar decisiones
inteligentes

8. Página 8Página 8
Arquitectura Big Data VUCE 2.0
jueves, 19 de diciembre de 2019
Data Discovery Ingesta Almacenamiento Tratamiento Explotación
GOBIERNO DE DATOS
Proyecto VUCE 2.0
BATCHPROCESSING
Data Lake
Tercerización Proyecto VUCE 2.0 Tercerización
SEGURIDAD DE LA INFORMACION

9. Página 9Página 9
Arquitectura Big Data VUCE 2.0
jueves, 19 de diciembre de 2019
BIG Data
Arquitectura On Premise

10. Página 10Página 10
Ingesta Almacenamiento Tratamiento
Arquitectura Big Data VUCE 2.0 – On Premise
GOBIERNO DE DATOS
SEGURIDAD DE LA INFORMACION
Desarrollador ELT Data Enginer Desarrollador ELT Data Science Business AnalyticsRoles
Hardware
y
Software

11. Página 11Página 11
Arquitectura Big Data VUCE 2.0 – On Premise
jueves, 19 de diciembre de 2019
• Beneficios
• Control total de los recursos de hardware y software, personalización
de instalación de componentes de Big Data utilizando tecnología Open
Source.
• Datos almacenados de forma local para su gestión y explotación.
• Limitaciones
• Conjunto diverso de especialistas para la administración,
mantenimiento y soporte de cada componente dentro de la
arquitectura.
• Infraestructura tecnológica especializada y dedicada para el
procesamiento de operaciones.
• Limitación de almacenamiento por incremento exponencial de datos en
el tiempo.

12. Página 12Página 12
Arquitectura Big Data VUCE 2.0
jueves, 19 de diciembre de 2019
BIG Data
Arquitectura Cloud
Computing

13. Página 13Página 13
Arquitectura Big Data VUCE 2.0 – Cloud Computing
jueves, 19 de diciembre de 2019
SEGURIDAD DE LA INFORMACION
Ingesta Almacenamiento Tratamiento
GOBIERNO DE DATOS
S3 Estándar
Amazon Web Service
Azure Data Lake Storage
Microsoft Azure
Cloud Storage
Google Cloud Platform
Object Storage Service
Huawei Cloud
EMR
Amazon Web Service
Azure Databricks
Microsoft Azure
Cloud Dataproc
Google Cloud Platform
Map Reduce Service
Huawei Cloud
Redshift
Amazon Web Service
Azure Synapse Analytics
Microsoft Azure
Big Query
Google Cloud Platform
Data Warehouse Service
Huawei Cloud
AWS Transfer
Amazon Web Service
Azure Data Factory
Microsoft Azure
Fivetran
Google Cloud Platform
Cloud Data Migration
Huawei Cloud

14. Página 14Página 14
Arquitectura Big Data VUCE 2.0 – Cloud Computing
jueves, 19 de diciembre de 2019
• Beneficios
• Elasticidad ya que se puede ampliar y reducir la capacidad de cómputo.
• Almacenamiento a nivel de Petabytes.
• Implementación ágil y sencilla a través de los Proveedores de Servicios
Cloud.
• Capacidad de Interoperabilidad con tecnologías estándar a nivel global.
• Alta Disponibilidad integrada.
• Limitaciones
• Pago por servicios de forma mensual o anual.
• Se requiere una conexión permanente a Internet

15. Página 15Página 15
Arquitectura Big Data VUCE 2.0 – On Premise vs Cloud
jueves, 19 de diciembre de 2019

16. Página 16Página 16
Arquitectura Big Data VUCE 2.0 – On Premise vs Cloud
jueves, 19 de diciembre de 2019
Características del
Cloud Computing:
 Alta disponibilidad
 Escalabilidad
 Elasticidad
 Agilidad
 Recuperación de
desastres
 Alcance global
 Seguridad

17. Página 17Página 17
Big Data y Cloud Computing en el Estado Peruano
jueves, 19 de diciembre de 2019
• Secretaría de Gobierno Digital: Lineamientos para el Uso de Servicios
en la Nube para entidades de la Administración Pública del Estado
Peruano :
https://www.peru.gob.pe/normas/docs/Lineamientos_Nube.PDF
• Implementación de Indicadores en Portal Perú Compras:
https://www.perucompras.gob.pe/observatorio/indicadores-
acuerdos-marco.php
• Estrategia Nacional de Datos Abiertos Gubernamental del Perú:
https://www.peru.gob.pe/estrategia.pdf

18. Página 18Página 18
Identificación de Proyectos BI – Big Data
Proyectos BI
y Big Data
Dashboards
VUCE 1.0
Indicadores
VUCE 2.0
Big Data
VUCE 2.0

19. Página 19Página 19 jueves, 19 de diciembre de 2019
GRACIAS