Este documento presenta una formación sobre datos abiertos. Explica conceptos básicos como qué son los datos abiertos, los beneficios de los datos abiertos para la administración, la economía y la sociedad, y tres iniciativas de datos abiertos en la Región de Murcia. También introduce la plataforma Socrata para publicar y explotar datos abiertos, mostrando los tipos de elementos que se pueden publicar en ella.
2. 2
The ability of third parties to participate is what makes
Open Data truly transformative.
Beth Noveck
Co-Fundadora y Directora de GovLab
3. Introducción
¿Qué son los datos abiertos?
Beneficios de los datos abiertos
La situación actual en la Región de Murcia
Introducción a una Plataforma Open Data: JCyL
Publicación de datos en plataformas Open Data: Ejp. Socrata
Ejercicios de explotación de datos (en Socrata).
Integración con otras herramientas (en Socrata)
Ejercicios de publicación de datos (en OpenDataSoft)
Resumen
3
Contenidos
6. Gobierno Abierto y la Apertura de Datos
6
Introducción
Transparencia Participación Colaboración
Gobierno Abierto
Apertura de datos
7. Marco jurídico
7
Introducción
2003 Directiva 2003/98/CE relativa a la reutilización de la información del
sector público (Unión Europea).
2007 Ley 37/2007 de reutilización de la información del sector público
(España).
2011 Real decreto 1495/2011 que desarrolla la Ley 37/2007 (España).
2013 Directiva 2013/37/UE (modificación) relativa a la reutilización de la
información del sector público (Unión Europea).
2013 Ley 19/2013 de Transparencia, Acceso a la Información Pública y Buen
Gobierno (España).
2014 Ley 12/2014 de Transparencia y Participación Ciudadana de la Región de
Murcia (modificada posteriormente en 2017)
2015 Ley 18/2015 (modificación) de reutilización de la información del sector
público (España).
9. ¿Qué son los datos abiertos?
16/12/2016 9
¿Qué son los datos abiertos?
Datos abiertos son datos
que cualquiera puede
acceder, utilizar
y compartir para cualquier
uso.
Tan simple cómo esto.
Datos
abiertos
Reutilizables
Gratuitos
Fácilmente
accesibles
Re-
distribuible
Para
cualquier
propósito
11. ¿Qué datos públicos pueden ser abiertos?
¿Qué son los datos abiertos?
11
La pregunta no es QUÉ sino CÓMO
Todos los datos públicos son potencialmente susceptibles de ser abiertos, a
excepción de los datos protegidos por los límites de la Ley 19/2013 de
transparencia, acceso a la información pública y buen gobierno:
- seguridad pública
- sanciones de infracciones
- confidencialidad en procedimiento administrativo, si establecido por ley
- tutela judicial efectiva
- derechos menores de edad
- Intimidad y derechos privados legítimos
- secreto profesional y derechos propiedad intelectual
- cualquier caso establecidos por norma con rango de ley
12. Conceptos básicos
• Datos vs. Documentos
• Qué es un dataset?
• Datos abiertos vs. Transparencia
• La importancia de la estandarización
¿Qué son los datos abiertos?
12
15. Conceptos básicos
• ¿Qué es un dataset?
– Un dataset es una representación de datos de manera estructurada.
– La estructura más utilizada en open data es la estructura tabular. Es la
estructura óptima para trabajar en plataformas como Socrata u ODS.
– Idealmente son de estructura plana. Cada columna es una variable y
cada fila es una observación.
¿Qué son los datos abiertos?
15
16. Conceptos básicos
• Datos abiertos vs. Transparencia
– Transparencia
Consiste en la publicación de información por parte
de las Administraciones públicas, generalmente para
la rendición de cuentas a los ciudadanos.
Predomina el relato sobre los datos.
– Datos abiertos
Consiste en la publicación de datos por parte de la
Administración pública para cualquier uso.
Predominan los datos sobre el relato.
¿Qué son los datos abiertos?
16
17. Conceptos básicos
• La importancia de la estandarización
– Se están desarrollando estándares de datos y
metadatos. Ejemplos: Open Data Charter, Open
Government Partnership, FEMP, etc.
– Facilitan la comparación entre Administraciones y
la reutilización de servicios creados
¿Qué son los datos abiertos?
17
18. Conceptos básicos
Hay que tener en cuenta todos los elementos de que
disponemos:
¿Qué son los datos abiertos?
18
Política de datos
abiertos
Servicio de datos
abiertos
Portal de datos
abiertos
Catálogo de
datos abiertos
•Acciones para abrir datos y
promover su reutilización
•Servicio público que abre
datos
•Sitio web que proporciona las
funcionalidades necesarias
por la apertura de datos
•¿Qué datos tenemos
abiertos?
19. ¿Por qué los Datos Abiertos?
Beneficios y oportunidades
19
20. Beneficios y oportunidades
¿Por qué los datos abiertos?
o Crecimiento
económico
o Fomento de la
investigación y de la
innovación
o Colaboración
público-privada
o Calidad democrática y
recuperación de la
confianza
o Transparencia y
rendición de cuentas
o Mejores servicios
(y más eficientes)
Per què?
o Democratizar el
acceso a los datos
o Eficiencia de la
Administración
o Nuevos y mejores
servicios públicos
Para la
Administración
Para la economía Para la sociedad
21. Beneficios y oportunidades
Per què?
¿Por qué los datos abiertos?
Mejora de los negocios
tradicionales: Cafetería
Los datos abiertos pueden
mejorar negocios tradicionales
(como por ejemplo las
cafeterías), no es necesario ser
una empresa techie.
22. Beneficios y oportunidades
Per què?
¿Por qué los datos abiertos?
Innovación económica:
EIXOS.CAT
Los datos abiertos apoyan a la
innovación y el crecimiento
mediante la revelación de
oportunidades para las
empresas grandes y pequeñas
para construir nuevos servicios
o mejorar los existentes.
23. 23
Beneficios y oportunidades
¿Por qué los datos abiertos?
Sector privado:
Eurolert: Fondos y Licitaciones
públicas
Servicio de avisos sobre
licitaciones públicas basados
en datos abiertos de las
distintas administraciones. Es
importante destacar la
importancia de la
estandarización de los datos
en este tipo de aplicaciones.
24. 24
Beneficios y oportunidades
¿Por qué los datos abiertos?
Sector privado:
Bikecitizens
Aplicación para planificar las
mejores rutas en bicicleta. Se
creó en Graz (Austria) y
funciona en diversas ciudades
europeas. Está disponible en
Cartagena y en Murcia.
Info:
https://opendataincubator.e
u/category/bikecitizens/
25. 25
Beneficios y oportunidades
¿Por qué los datos abiertos?
Sector privado:
Moovitapp
Aplicación que incorpora datos
abiertos para mejorar la
información de movilidad en la
ciudad. Funciona en Murcia y
en más de 1500 ciudades
alrededor del mundo. Se creó
en Israel en 2012.
26. Beneficios y oportunidades
Per què?
¿Por qué los datos abiertos?
Investigación:
Iniciativa de publicación de
datos de investigación en UE
Abrir los datos generados en el
campo de la investigación
maximiza el regreso de la
inversión, puesto que se
fomenta el intercambio y la
reutilización de los datos
primarios de manera
generalizada y normalizada.
https://english.eu2016.nl/documents/press-
releases/2016/05/27/all-european-scientific-
articles-to-be-freely-accessible-by-2020
27. Beneficios y oportunidades
27
¿Por qué los datos abiertos?
Per què?
Activismo social:
Open Aid initiative
Iniciativa que recoge y
visualiza los datos de
cooperación internacional de
los gobiernos. Permite mejorar
la toma de decisiones en
cuanto al uso de los recursos.
28. Beneficios y oportunidades
Per què?
¿Por qué los datos abiertos?
Beneficios internos:
Compartición de datos en
SNCF
La plataforma de datos
abiertos puede servir como
fuente única de datos que se
tienen que compartir entre
diferentes departamentos,
evitando la integración de
sistemas de información.
29. Beneficios y oportunidades
29
¿Por qué los datos abiertos?
Per què?
Soporte a la transparencia:
Gobierto
Con datos abiertos se pueden
crear gráficos dinámicos e
interactivos que ayudan a la
ciudadanía a la comprensión
de la información.
30. El valor de los datos abiertos
OPEN DATA no es “abrir datos”,
sino que son respuestas, decisiones, soluciones y
servicios
Per què?
¿Por qué los datos abiertos?
34. 34
• Actualmente:
Portal Open Data de la Región de Murcia:
http://datosabiertos.regiondemurcia.es/
Portal federado, recibe datos de otras administraciones:
Ayuntamientos de Águilas, Lorca, Molina de Segura y San
Pedro del Pinatar; CARM; Fundación Integra; IMIDA y Instituto
de Turismo de la Región de Murcia.
Más de 500 datasets.
Portal Open Data de Lorca:
http://datos.lorca.es/
135 datasets
Muy buena iniciativa
Portal Open Data de la Autoridad Portuaria de Cartagena:
http://datos.apc.es/
5 datasets
Pero ofrece datos en PDF!!
Datos Abiertos en la Región de Murcia
Open Data JCYL
36. Ventajas de utilizar una plataforma Open Data
• Facilidad en la apertura de los datos (y sincronización
de éstos con los sistemas de información internos).
• Aumento de la calidad y la cantidad de datos
disponibles en el portal de datos abiertos
• Mejorar la disponibilidad y la accesibilidad a los datos:
– Proporcionar los datos en múltiples formatos.
– Tal y como exigen los estándares internacionales, no es
suficiente con publicar un Excel, es necesario que la
información sea interoperable (ejemplo, vía APIs).
• Creación de visualizaciones (y texto asociado) que
ayuden a comprender los datos.
• Posibilidad de alinearse con los principales estándares
internacionales.
36
37. Evolución de los portales de datos abiertos
PRIMERA GENERACIÓN SEGUNDA GENERACIÓN
↑ Facilidad de publicación ↓ Requiere preparación de los datos
↓ No interoperabilidad ↑ Interoperabilidad
↓ No reutilización ↑ Reutilización
↓ Pocos servicios ↑ Muchos servicios, no sólo subir datos
37
Catalogación y repositorio de ficheros
Plataforma de servicios
53. Tipos de elementos en la plataforma Socrata
53
Plataforma Socrata
Datasets
Se pueden realizar
filtros y agregaciones.
Se pueden crear
visualizaciones gráficas
Se pueden descargar en
formato CSV, JSON,
XML, RSS, RDF, etc.
Acceso vía API
Mapas
Se pueden realizar
filtros y agregaciones.
Se puede visualizar en
un visor de mapas.
Se puede descargar en
formatos SHP, KML,
KMZ, GeoJSON y CSV.
Acceso vía API
Ficheros adjuntos
Se puede descargar el
fichero en el mismo
formato de subida.
Enlaces
Se accede al
enlace
CSV, TSV, XLS i XLSX
KML, KMZ, JSON i ZIP
(con SHP de ESRI)
Cualquiera
(DOC, PDF, XML, JPG, GIF, etc.)
Enlace a otra web
Tabla de datos donde las
columnas son los campos
de información y cada fila
es una observación
Fichero con información
geoespacial
Ficheros almacenados en
Socrata que no se
interpretan
Enlaces a otros sitios
web
ACCEDERDESCARGAR
54. Tipos de elementos en la plataforma Socrata
54
Plataforma Socrata
Datasets
Se pueden realizar
filtros y agregaciones.
Se pueden crear
visualizaciones gráficas
Se pueden descargar en
formato CSV, JSON,
XML, RSS, RDF, etc.
Acceso vía API
CSV, TSV, XLS i XLSX
Tabla de datos donde las
columnas son los campos
de información y cada fila
es una observación
Gráficos
Mapas
Vistas filtradas de datasets
55. Publicación de datos. Criterios de calidad.
55
Datos no agregados
Mejor publicar los datos en la
mayor granularidad posible.
Datasets agrupados*
Siempre que sea posible, se recomienda
publicar los datos agrupados en el menor
número de datasets.
Datos estructurados*
Los datos deben estar
optimizados para la
reutilización automática.
Datos actualizados
Es importante mantener los datasets actualizados a la
frecuencia indicada. Siempre que sea posible,
automatizar procesos de carga.
Localización y fecha.
Añadir fecha y ubicación (geo) a
un dataset aumenta su potencial
de reutilización.
Estandarización.
Se recomienda tener en
cuenta los estándares
nacionales e internacionales a
la hora de publicar los datos.
Ejemplo: Open Government
Partnership.
56. Publicación de datos. Criterios de calidad.
56
Agenda cultural Murcia
Data Actividad
01/01/2018 Fiesta fin
de año
01/02/2018 Concierto
Agenda cultural Lorca
Data Actividad
01/01/2018 Fiesta fin de
año
15/02/2018 Teatro
Agenda cultural Molina
de Segura
Data Actividad
01/01/2018 Fiesta fin
de año
15/01/2018 Feria
Agenda cultural
Cartagena
Data Actividad
01/01/2018 Fiesta de fin
de año
18/02/2018 Mercado
Agenda cultural
Data Actividad Provincia
01/01/2018 Fiesta fin de
año
León
01/01/2018 Fiesta fin de
año
Soria
01/01/2018 Fiesta fin de
año
Palencia
01/01/2018 Fiesta fin de
año
Burgos
15/01/2018 Feria Palencia
15/02/2018 Teatro Soria
Agrupación de datasets
57. Publicación de datos. Criterios de calidad.
57
Estructurar datasets
Inversiones en infraestructura
Proyecto Importe 2017 Importe 2018
Mejora
accesibilidad
5.000,00 5.234,00
Remodelación
edificios
3.434,00 4.000,00
Creación carril
bici
1.000,00 500,00
Inversiones en infraestructura
Proyecto Año Importe
Mejora
accesibilidad
2017 5.000,00
Remodelación
edificios
2017 3.434,00
Creación carril
bici
2017 1.000,00
Mejora
accesibilidad
2018 5.234,00
Remodelación
edificios
2018 4.000,00
Creación carril
bici
2018 500,00
58. Publicación de datos. Metadatos.
58
• La importancia de los metadatos
– Los metadatos ayudan a localizar el dataset
– Los metadatos ayudan a comprender el contenido
del dataset y, por lo tanto, favorecen su
reutilización
– Campos elementales: nombre, descripción,
etiquetas, responsable y frecuencia de
actualización
– Pueden haber campos específicos
59. Roles y permisos en Socrata
• La gestión de usuarios se hace en base a dos conceptos:
– Roles Aplican a nivel de portal (predominante)
– Permisos Aplican a nivel de dataset
Las configuraciones más habituales son:
(a) Administradores (portal) Puede ver, editar y borrar
todo. Independiente de los permisos de dataset.
(b) Editor (portal) + Propietario (dataset) Puede editar i
borrar solo los datasets propios.
(c) Visitante (portal) + Contribuidor (dataset) Puede añadir
datos al los propios datasets, pero no eliminarlos.
REF: https://support.socrata.com/hc/en-us/articles/202950278-Understanding-user-roles
59
Publicación de datos
60. Automatización de la carga de datos
60
Publicación de datos
• DataSync es una herramienta de Socrata que permite cargar datos via API. Se basa
en ficheros CSV.
• Talend, Pentaho, FME son herramientas de ETL que permiten realizar
transformaciones en los datos y programar ejecuciones de tareas.
64. Ejercicio 1
Plataforma Socrata
64
• Consultar un dataset, filtrar datos y
descargarlos
1. “Jugar” con un dataset (datos de calidad del aire)
a) Acceder al Portal de Análisis de Datos Abiertos de la Junta de Castilla y León:
https://analisis.datosabiertos.jcyl.es/
b) Consultar el dataset de Calidad del Aire (datos históricos diarios)
https://analisis.datosabiertos.jcyl.es/Medio-Ambiente/Calidad-del-aire-datos-hist-ricos-
diarios/5h37-s76n/
c) Filtrar datos: seleccionar DIA > 01/01/2018 (nos quedamos con unos 10K registros, de
los más de 400K que tiene todo el dataset).
d) (NO es obligatorio) pero te sugieren crear una cuenta (de Socrata) para, entre otras
cosas, poder grabar vuestros filtros, visualizaciones, etc.
e) Descargar los datos filtrados (por ejemplo, para verlos en Excel).
65. • Filtrar, agrupar y resumir
Ejercicio 2
Plataforma Socrata
65
1. Acceder al dataset de Calidad del Aire (datos históricos diarios)
2. Calcular la media histórica de NO y NO2 por provincia
a) Seleccionar Filtrar > Clasificar y resumir > Resúmenes y desglose
b) Agrupar por Estación
c) Resumir por el campo NO utilizando la función PROMEDIO
d) Resumir por el campo NO2 utilizando la función PROMEDIO
e) Nos quedarán 88 filas (de las 400K iniciales)
66. • Crear un gráfico sobre filtro anterior
Ejercicio 3
Plataforma Socrata
66
1. En el mismo dataset de Calidad del aire, sin guardar los cambios realizados
2. Seleccionar Visualizar > Crear visualización
3. Añadir un filtro para quedarse con sólo los datos del 2018
4. Seleccionar opción Línea temporal (timeline chart) y configurar visualización para mostrar los
datos de CO (mg/m3), con fechas diarias y dimensionado para ver el resultado entero en
pantalla.
67. • Creación de un gráfico tipo histograma
Ejercicio 4
Plataforma Socrata
67
1. Acceder al dataset de Intensidades medias de tráfico y velocidades. Red Regional de
Carreteras: https://analisis.datosabiertos.jcyl.es/Transporte/Intensidades-medias-de-tr-fico-y-
velocidades-Red-R/ged8-dcpq
2. Seleccionar Crear nueva visualización
3. Seleccionar visualización del tipo Histograma
68. • Creación de un mapa de puntos
Ejercicio 5
Plataforma Socrata
68
1. Acceder al dataset de Certificados de eficiencia energética:
https://analisis.datosabiertos.jcyl.es/Energia/Certificados-de-Eficiencia-Energ-tica/mfcm-i324
2. Seleccionar Crear visualización
3. Seleccionar visualización del tipo mapa (modificando el nivel de zoom para la “clusterización”)
4. Aparecen algunos datos un poco lejos de Castilla y León
69. • Creación de un mapa coroplético
Ejercicio 6
Plataforma Socrata
69
1. Seguimos con el dataset de Certificados de eficiencia energética
2. Seleccionar Crear visualización
3. Seleccionar visualización del tipo mapa coroplético (modificando el estilo de agregación de
puntos a “mapa de región”).
70. Explotación de datos en Socrata - DataLens
• Herramienta de
visualización integrada en
la plataforma Socrata
• Permite creación de
visualizaciones múltiples
interrelacionadas y
interactivas
70
Plataforma Socrata
71. Ejercicio 7
• Creación de DataLens
71
Plataforma Socrata
Navegación al portal Open Data JCYL
1. Acceder al dataset de Certificados de eficiencia energética
2. Seleccionar Visualizar y Explorar => Lupa de Datos (DataLens)
3. Observar paneles creados automáticamente
4. Crear paneles (opcionalmente):
a) Crear un mapa de puntos
b) Crear un mapa de regiones
c) Crear un gráfico de evolución histórica
d) Crear histograma
Referencia: DataLens de delitos en la ciudad de Chicago (https://data.cityofchicago.org/Public-
Safety/Crimes-2001-to-present/5cd6-ry5g )
73. Integraciones con otras herramientas
Integración con otras herramientas
73
• Socrata como plataforma de servicios
• API completa que permite ingesta de datos y consultas de
datos y metadatos con filtros y agregaciones.
74. API de Socrata
Integración con otras herramientas
74
• Enlazar los datasets externamente
– Los URIs sirven como identificadores de los
datasets. Socrata utiliza un ID único:
– Otras llamadas a la URI
https://analisis.datosabiertos.jcyl.es/Energia/Certificados-de-Eficiencia-Energ-tica/mfcm-i324
Dominio Categoría Nombre ID
Genérica https://analisis.datosabiertos.jcyl.es/d/mfcm-i324
API https://analisis.datosabiertos.jcyl.es/resource/mfcm-i324.json
AVISO: Se recomienda usar siempre la llamada genérica
75. API de Socrata
Integración con otras herramientas
75
• API REST
– Las API REST (Representational State Transfer) están
en auge desde su aparición en el año 2000, creadas
por Roy Fielding.
– REST ofrece una interfaz para intercambio de datos
entre sistemas de información basada en HTTP.
– Las operaciones más importantes relacionadas con los
datos en cualquier sistema REST y la especificación
HTTP son cuatro: POST (crear), GET (leer y
consultar), PUT (editar) y DELETE (eliminar).
– Los objetos REST se identifican y manipulan mediante
la URI
76. API de Socrata
Integración con otras herramientas
76
• Socrata Discovery API
– API REST para consulta del catálogo
– Solamente operaciones de lectura
– REF: https://socratadiscovery.docs.apiary.io
– Cada llamada devuelve un objeto JSON, con tres
elementos:
• Results – contiene un array con los resultados
• resultSetSize – contiene información sobre tamaño de
resultados. Especialmente últil si hay paginación
• Timings – duración para resolver la petición en el
servidor
77. API de Socrata
Integración con otras herramientas
77
• Socrata Discovery API
– Ejemplos:
Catálogo íntegro http://api.eu.socrata.com/api/catalog/v1?domains=analisis.datosabierto
s.jcyl.es
Catálogo con categoría =
sector público
http://api.eu.socrata.com/api/catalog/v1?categories=Sector%20P%C3%B
Ablico&domains=analisis.datosabiertos.jcyl.es&search_context=analisis.
datosabiertos.jcyl.es
Recuento por categorías http://api.eu.socrata.com/api/catalog/v1/domain_categories?domains=
analisis.datosabiertos.jcyl.es&search_context=analisis.datosabiertos.jcyl.
es
Datasets más actualizados http://api.eu.socrata.com/api/catalog/v1?order=updatedAt&domains=a
nalisis.datosabiertos.jcyl.es&search_context=analisis.datosabiertos.jcyl.e
s
78. API de Socrata
Integración con otras herramientas
78
• Socrata Open Data API (SODA API)
– API REST para interactuar con los datos de un
dataset específico
– Permite lectura y escritura
– Permite filtros y agregaciones complejas
– Soporta múltiples representaciones: CSV, JSON,
XML, RDF, etc.
– REF: https://dev.socrata.com/publishers/getting-
started.html
79. API de Socrata
Integración con otras herramientas
79
• Socrata Open Data API (SODA API)
Descarga Certificados Efic.
Energética en CSV
https://analisis.datosabiertos.jcyl.es/resource/mfcm-i324.csv
Consulta Certificados Efic.
Energética con Calificación = A
https://analisis.datosabiertos.jcyl.es/resource/mfcm-
i324.json?califemisiones=A
Certificados 500m a la redonda de
Plaza Mayor
https://analisis.datosabiertos.jcyl.es/resource/mfcm-
i324.json?$query=SELECT * WHERE
within_circle(posicion,41.651800,-4.727921,500)
80. API de Socrata
Integración con otras herramientas
80
• OData feed
– Implementación de API REST creada por
Microsoft. Actualmente es abierta.
– Permite interactuar con los datos de un dataset
específico
– Permite lectura y escritura
– Permite ciertos filtros y agregaciones
– Soporta múltiples representaciones: JSON o XML
– REF: https://odata.org
81. API de Socrata
Integración con otras herramientas
81
• Ejemplo de OData feed (integración con Excel)
Certificados Eficiencia Energética en OData
https://analisis.datosabiertos.jcyl.es/OData.svc/mfcm-i324
82. Creación de mapas avanzados
82
Integración con otras herramientas
Mapa de tweets con desplazamiento temporal
JuraGIS Park
(con datos del
Cabildo de La Palma,
Islas Canarias)
85. Otra plataforma: Open Data Soft (ODS)
Open Data Soft (ODS)
85
• En esta otra plataforma tenemos un portal de
prueba, podremos ver la parte de administración.
• URL: https://desidedatum-partners.opendatasoft.com/
• Usuario: TallerOpenDataCartagena
• Password: TallerOpenData2018
• Os propongo la creación de datasets (de la fuente
que más os apetezca).
– Ejp. Monumentos de Lorca: http://datos.lorca.es/catalogo/monumentos
• También se pueden crear páginas incrustando
datos y/o visualizaciones, etc.
86. Resumen
Resumen
86
• Los datos abiertos generan beneficios para la propia
administración, para las empresas y para la sociedad en
general.
• Las nuevas plataformas de datos abiertos
proporcionan servicios sobre los datos que facilitan la
reutilización (el objetivo principal del Open Data).
• Para que esto sea posible, es necesario preparar los
datos adecuadamente y mantenerlos actualizados.
• La explotación de los datos se puede realizar tanto en
la propia plataforma como con otras herramientas
utilizando las API.
87. Formación/Taller en datos abiertos
Marc Garriga @mgarrigap
Cartagena – 25 de octubre de 2018
¡Gracias!