1. L’iniziativa SDMX in Istat: da progetti pilota a
Stat2015
SDMX Registry
Andrea Stanco
DIQR/DCIQ/PSS-D
Roma, 29/01/2013
2. Indice
1. Registry Service
2. SDMX Registry
3. SDMX ISTAT Registry
4. Web GUI SdmxIstatRegistry
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
3. Service Registry
Con il termine Service Registry, in ambito SOA, ci si riferisce ad un
sistema che contiene tutte le informazioni necessarie ( come ad esempio
URL e modalita di accesso, etc) al reperimento di tutti i servizi disponibili
in esso registrati.
1
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
4. Architettura Orientata ai Servizi
find / discovery Service publish
Registry
request
Service Service
Client Server
Consumer Provider
response
2
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
5. SDMX Registry
Sistema, basato su SDMX, che memorizza i metadati per
l'interrogazione, e che può essere utilizzato da qualsiasi altra
applicazione in rete, con privilegi di accesso sufficienti per facilitare la
comunicazione, raccolta e diffusione di dati statistici.
Può essere visto come l'indice di un database distribuito o repository di
metadati che si compone di tutti i data e metadata set dei data provider
all'interno di una comunità statistica.
N.B. Il Registry non si occupa di memorizzare dati e/o metadati
referenziali. Questi sono memorizzati DDB dei rispettivi data provider
(accessibili via web service)
3
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
6. Funzioni di un SDMX Registry
• Fornisce informazioni su quali data set / metadata set sono disponibili
e dove sono locati.
• Fornisce informazioni sul modo in cui i dati e metadati sono forniti
(quanto spesso sono aggiornati, come possono essere acceduti, etc).
• Fornisce informazioni circa la struttura dei data/metadata set.
• Permette alle applicazioni di sottoscrivere il servizio di notifica.
4
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
7. Architettura di un SDMX Registry
Data/Metadata Registry Service
Subscription
Registration Discovery Other Services
Notification
Provisioning Metadata Repository
(Provisional Agreement, Data Sources, Contrains, etc)
Structural Metadata Repository
(Data/Metadata Structure Definitions, Code Lists, etc)
5
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
8. ISTAT SDMX Registry
ISTAT SDMX Registry si compone dei seguenti tre componenti:
• Database per registrare i metadati SDMX
• Web Service per rendere accessibili gli artefatti SDMX (Concept
Schemes, Code Lists, Data Structure Definitions, Data
Flows, Category Schemes) in uso all'interno dell’Istituto e condivisi con
altri partner statistici.
• Web GUI per visualizzare e navigare i metadati
6
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
9. Architettura ISTAT SDMX Registry
ISTAT SDMX Registry
Web
MA Database Service
(SQL Server) (.Net C#)
DSD
Web GUI
(ASP.Net)
DSW
7
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
10. Componenti inerenti i metadati
Componenti inerenti i dati
8
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
11. Codelist Una lista predefinita dalla quale i concetti statistici codificati
prendono i loro valori.
Concept Schema: Lista di concetti usati in una data structure definitions
(DSD) o in una metadata structure definitions (MSD).
Category Schema: Una divisione gerarchica di categorie in gruppi basati
su caratteristiche comuni.
Key family (Data Structure Definition): Set di metadati strutturali
associati a un insieme di dati che contiene informazioni su come i
concetti sono associati con le misure, le dimensioni e gli attributi e le
informazioni sulla rappresentazione (confezione) dei dati e dei relativi
metadati descrittivi.
9
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
12. Dataflow: Una struttura che descrive, categorizza e vincola il contenuto
ammissibile di un insieme di dati.
Dataset: Una raccolta di dati trasmessi o diffusi secondo un flusso di dati.
Un Dataflow è una struttura senza dati mentre il Dataset è
l’istanziazione del dataflow ad un tempo fissato.
10
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
13. 11
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
14. 12
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
15. 13
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
16. 14
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
17. 15
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
18. 16
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
19. 17
SDMX Registry, Andrea Stanco – Roma, 29/01/2013
Un catalogo di informazioni costantemente aggiornato circa tutti i servizi in una implementazione SOA
SOA (Service-Oriented Architecture) è un'architettura softwareadatta a supportare l'uso di servizi Web per garantire l'interoperabilità tra diversi sistemi così da consentire l'utilizzo delle singole applicazioni come componenti del processo di business e soddisfare le richieste degli utenti in modo integrato e trasparente.Il Service Provider realizza ed offre un servizio, utilizzando l'operazione di publish. Le caratteristiche del servizio realizzato sono memorizzate all'interno di un registry accessibile pubblicamente. Il Service Provider accetta delle request e risponde con delle primitive di response.Il Service Requestor rappresenta un potenziale utente che richiede un servizio, utilizza la primitiva di find per interagire con il Service Directory ed ottenere il servizio più adatto ai propri obiettivi. Una volta individuato si collega al Service Provider corrispondente (bind) ed inizia a fruire del particolare servizio. Il Service Registry (definito anche Directory o Service Broker) si occupa della gestione del registro dei servizi archiviando le pubblicazione dei servizi da parte del Service provider e permettendo la ricerca di un servizio da parte del Service Consumer sulla base delle caratteristiche con le quali è stato definito e memorizzato. Naturalmente, il Service Registry può seguire politiche di controllo degli accessi sulle interrogazioni in modo da limitare la visibilità sui servizi inseriti.
L’obiettivo di un SDMX Registry è quello di permettere alle organizzazioni di pubblicare dati/metadati statistici in formati conosciuti così che terze parti possano reperirli ed interpretarli correttamente in breve tempo.Il registry contiene solo i metadati e non i dati.Una applicazione che vuole un particolare data set dovrebbe interrogare il registry per ricavarne l’URL e poi richiedere i dati direttamente al web server del data provider.
Il Registro di sistema consentirà inoltre a altri organizzazioni di ottenere le DSD e gli altri metadati stutturali.
Tools sviluppati da EurostatMA Mapping AssistantDSW Data Structure Wizard
Code:Un insieme di lettere, numeri o simboli (indipendenti dal linguaggio) che rappresenta un concetto il cui significato è descritto in un linguaggio naturale.Concetto:Un’ unità di conoscenzacreata da unaunicacombinazione di caratteristiche (ISO/IEC FDIS 11179-1).Dimension: un concettocheidentifica un datostatisticoAttribute: un concettochedescrive un datostatistico(es. UNIT OF MEASURE). PuòessereMandatory o ConditionalMeasure: un concettocherappresentailfenomeno o I fenomeni da misurareCategoria:Termine generico utilzzato per categorizzare qualsiasi oggetto a qualsiasi livello all’interno di una classificazione.
Contengono cosi come previsto dalle specifiche SDMX Content-Oriented GuideLine specifici concetti e terminologie comuni a più settori statisticiAl fine aumentare l’armonizzazione nello scambio di dati statistici. Così da avere un più efficiente scambio di dati condivisi basata sull’esperienza fino ad ora maturata.