Innovazione di processo e infrastrutturale per la gestione degli indicatori delle statistiche economiche e degli aggregati di Contabilità nazionale http://www.istat.it/it/archivio/193422

1. I sistemi informatici
SITIC SIGIS Output-CN
Annamaria D’Urzo
12/12/2016

2. Indice
1. Introduzione
2. Funzionalità
3. Definizione serie
4. Modello logico dei dati
5. Possibili evoluzioni ed informazioni tecniche
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

3. Introduzione
• Creato nel 2009 per mettere a fattore comune il processo di
destagionalizzazione delle indagini congiunturali
• Unico DB contenitore di tutti i dati aggregati delle indagini
congiunturali, sia di quelle che necessitano del processo di
destagionalizzazione sia delle altre, secondo un medesimo formato
• Unico accesso per la produzione dell’output verso I.STAT ed
Eurostat (sia in formato Gesmes che SDMX)
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016
SITIC
Sistema informativo trattamento indicatori
congiunturali
1

4. Funzioni di caricamento dati
SITIC
2
Aggiornamento
periodico dei dati
Aggiornamento
una tantum delle
tabelle di
metadati tramite
upload di file
secondo tracciati
prestabiliti
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016
Cancellazione
dei dati

5. Funzioni di trattamento dati
SITIC
3
Destagionalizzazione
serie
Diffusione dati e
pubblicazione su
I.STAT
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

6. Definizione Serie
SITIC
4
SERVIZIO Rilevazione di riferimento
VARIABILE Variabile oggetto di studio
PRIMA CLASSIFICAZIONE Tipologia classificazione
Livello classificazione
Codice classificazioneSECONDA
CLASSIFICAZIONE
ANNO BASE Anno base di riferimento della
serie
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

7. SITIC Modello logico dei dati
5
AGGIUSTAMENTO
CODICE: NUMBER
DESCRIZIONE: VARCHAR2(170)
AGGREGAZIONI
SERVIZIO: VARCHAR2(6)
VAR_AGGREGATA: VARCHAR2(20)
CLASS_1A: VARCHAR2(8)
COD_LIV_1A: VARCHAR2(2)
CODICE_1A: VARCHAR2(10)
CLASS_2A: VARCHAR2(8)
COD_LIV_2A: VARCHAR2(2)
CODICE_2A: VARCHAR2(10)
ANNO_BASE: NUMBER
PROGRESSIVO: NUMBER
ORDINE_AGGR: NUMBER
VAR_COMPONENTE: VARCHAR2(20)
CLASS_1C: VARCHAR2(8)
COD_LIV_1C: VARCHAR2(2)
CODICE_1C: VARCHAR2(10)
CLASS_2C: VARCHAR2(8)
COD_LIV_2C: VARCHAR2(2)
CODICE_2C: VARCHAR2(10)
FUNZIONE: VARCHAR2(10)
ANNO_INI: NUMBER
MESE_INI: NUMBER
ANNO_FIN: NUMBER
MESE_FIN: NUMBER
ANNI_BASE
ANNO: NUMBER
DESCRIZIONE: VARCHAR2(200)
APPROCCIO
CODICE: VARCHAR2(3)
DESCRIZIONE: VARCHAR2(19)
AUTORIZ
SERVIZIO: VARCHAR2(6)
UTENTE: VARCHAR2(50)
COD_FUNZ: NUMBER
DESCR_FUNZ: VARCHAR2(200)
CATEGORIE_INDICI
CATEGORIA_IND: VARCHAR2(1)
DESCRIZIONE: VARCHAR2(64)
GESMES: VARCHAR2(1)
GESMES_LCI: VARCHAR2(4)
CLASSIFICAZIONI
CODICE: VARCHAR2(10)
DESCRIZIONE: VARCHAR2(200)
CLASSIFICAZIONI_LIVELLI
CLASSE: VARCHAR2(4)
LIVELLO: VARCHAR2(2)
DESCRIZIONE: VARCHAR2(50)
CODICI_DIFFUSIONE
CODICE: NUMBER
DESCRIZIONE: VARCHAR2(100)
DATE_COMUNICATI
SERVIZIO: VARCHAR2(3)
DATA_CS: NUMBER(6)
DATA_COMUNICATO: VARCHAR2(10)
TIPO_IND: VARCHAR2(3)
ANNO: NUMBER
MESE: NUMBER
DESCR_CLASSIFICAZIONI
CLASSE: VARCHAR2(10)
LIVELLO: VARCHAR2(2)
CODICE: VARCHAR2(15)
DESCRIZIONE: VARCHAR2(200)
CODICEISTAT: VARCHAR2(50)
DIFFUSIONE
SERVIZIO: VARCHAR2(3)
VARIABILE: VARCHAR2(20)
CLASS_1: VARCHAR2(8)
COD_LIVELLO_1: VARCHAR2(2)
CODICE_1: VARCHAR2(10)
CLASS_2: VARCHAR2(8)
COD_LIVELLO_2: VARCHAR2(2)
CODICE_2: VARCHAR2(10)
ANNO_BASE: NUMBER
CONFIDENZIALE: VARCHAR2(1)
DIFF_GESMES: NUMBER
DIFF_CONISTAT: NUMBER
NOME_VAR_GES: VARCHAR2(20)
INDICATORE_GES: VARCHAR2(10)
ACTIVITY_GES: VARCHAR2(30)
CON_GRE: VARCHAR2(30)
CON_COR: VARCHAR2(30)
CON_DES: VARCHAR2(30)
ANNO_SER: NUMBER
MESE_SER: NUMBER
NOMEDATASET: VARCHAR2(50)
DIFF_I_STAT: NUMBER
FATTORI_FISSI
SERVIZIO: VARCHAR2(3)
NOME_TS: VARCHAR2(30)
MESE: NUMBER
ANNO: NUMBER
SEASONAL: NUMBER
CALENDAR: NUMBER
FUNZIONI
CODICE: NUMBER
FUNZIONE: VARCHAR2(20)
DESCRIZIONE: VARCHAR2(200)
FUNZIONI_MENU
COD_FUNZ: NUMBER
DESCR_FUNZ: VARCHAR2(200)
GRANT_FUNZ: VARCHAR2(10)
PROGRAMMA: VARCHAR2(50)
COD_FUNZ_PADRE: NUMBER
PROGR: NUMBER
TIPO: CHAR(1)
INDICI
SERVIZIO: VARCHAR2(6)
VARIABILE: VARCHAR2(20)
CATEGORIA_IND: VARCHAR2(1)
TIPO_IND: VARCHAR2(3)
ANNO_BASE: NUMBER
ANNO: NUMBER
MESE: NUMBER
CLASS_1: VARCHAR2(8)
COD_LIV_1: VARCHAR2(2)
CODICE_1: VARCHAR2(10)
CLASS_2: VARCHAR2(8)
COD_LIV_2: VARCHAR2(2)
CODICE_2: VARCHAR2(10)
INDICE: NUMBER
DATA_CS: NUMBER
MEDIE_WDA
SERVIZIO: VARCHAR2(3)
NOME_TS: VARCHAR2(30)
VALORE: NUMBER
DATA_CS: NUMBER
MODELLI
SERVIZIO: VARCHAR2(6)
VARIABILE: VARCHAR2(20)
PROGRESSIVO: NUMBER
CLASS_1: VARCHAR2(8)
COD_LIVELLO_1: VARCHAR2(2)
CODICE_1: VARCHAR2(10)
CLASS_2: VARCHAR2(8)
COD_LIVELLO_2: VARCHAR2(2)
CODICE_2: VARCHAR2(10)
ANNO_BASE: NUMBER
ANNO_INI: NUMBER
MESE_INI: NUMBER
VERSIONE: NUMBER
NOME_TS: VARCHAR2(30)
ANNO_FIN: NUMBER
MESE_FIN: NUMBER
ANNO_SER: NUMBER
MESE_SER: NUMBER
MODELLO: NUMBER
PARAMETRO: VARCHAR2(150)
PDS
NOMEDATASET: VARCHAR2(30)
SERVIZIO: VARCHAR2(6)
NOMEFILE: VARCHAR2(30)
TEMA: VARCHAR2(50)
SOTTOTEMA: VARCHAR2(50)
PERIODICITA: INTEGER
PESI
SERVIZIO: VARCHAR2(6)
VARIABILE: VARCHAR2(20)
CLASS_1: VARCHAR2(8)
COD_LIVELLO_1: VARCHAR2(2)
CODICE_1: VARCHAR2(10)
CLASS_2: VARCHAR2(8)
COD_LIVELLO_2: VARCHAR2(2)
CODICE_2: VARCHAR2(10)
ANNO_BASE: NUMBER
TIPO_PESO: VARCHAR2(4)
ANNO_INI: NUMBER
ORDINE_AGGREG: NUMBER
VALORE: NUMBER
DATA_CS: NUMBER
ANNO_FIN: NUMBER
RIEPILOGO
SERVIZIO: VARCHAR2(6)
VARIABILE: VARCHAR2(20)
CLASS_1: VARCHAR2(8)
COD_LIV_1: VARCHAR2(2)
CODICE_1: VARCHAR2(10)
CLASS_2: VARCHAR2(8)
COD_LIV_2: VARCHAR2(2)
CODICE_2: VARCHAR2(10)
ANNO_BASE: NUMBER
ANNO_INI: NUMBER
MESE_INI: NUMBER
FREQUENZA: NUMBER
ANNO_FIN: NUMBER
MESE_FIN: NUMBER
APPROCCIO: VARCHAR2(4)
AGGIUSTAMENTO: NUMBER
ORDINE_AGGR: NUMBER
RIFERIMENTI_GESMES
SERVIZIO: VARCHAR2(3)
VARIABILE: VARCHAR2(20)
NOME_VAR_GES: VARCHAR2(30)
RIFERIMENTO: VARCHAR2(100)
RECAPITO: VARCHAR2(100)
COMMENTO: VARCHAR2(100)
NOME_IDE5: VARCHAR2(100)
SER_VAR_I_STAT
SERVIZIO: VARCHAR2(3)
VARIABILE: VARCHAR2(20)
CODICE_I_STAT: VARCHAR2(20)
DECIMALI: NUMBER
SERVIZI
SERVIZIO: VARCHAR2(6)
DESCRIZIONE: VARCHAR2(100)
DECIMALI: NUMBER
TIPO_IND_NO_I_STAT: VARCHAR2(20)
SITIC_I_STAT
SERVIZIO: VARCHAR2(3)
VARIABILE: VARCHAR2(20)
CLASS_1: VARCHAR2(8)
COD_LIVELLO_1: VARCHAR2(2)
CODICE_1: VARCHAR2(10)
CLASS_2: VARCHAR2(8)
COD_LIVELLO_2: VARCHAR2(2)
CODICE_2: VARCHAR2(10)
ANNO_BASE: NUMBER
I_STAT_KEY1: VARCHAR2(50)
I_STAT_KEY2: VARCHAR2(50)
I_STAT_FREQ: VARCHAR2(1)
STRUTTURA_PDS
NOMEDATASET: VARCHAR2(30)
SERVIZIO: VARCHAR2(6)
CODICE: VARCHAR2(20)
ORDINECOLONNA: INTEGER
TIPOCODICE: INTEGER
LIVDEFAULT: VARCHAR2(2)
CODDEFAULT: VARCHAR2(10)
TIPI_INDICE
TIPO_IND: VARCHAR2(3)
DESCR_INDICE_ALTRI_SERVIZI: VARCHAR2(12)
DESCR_INDICE_IPI: VARCHAR2(27)
ORDINE: NUMBER
TIPO_MODELLO
CODICE: NUMBER
DESCRIZIONE: VARCHAR2(100)
TIPO_PUBBLICABILITA
CODICE: VARCHAR2(1)
DESCRIZIONE: VARCHAR2(100)
TIPO_VERSIONE
CODICE: NUMBER
VERSIONE: VARCHAR2(50)
UTENTI
SERVIZIO: VARCHAR2(6)
UTENTE: VARCHAR2(50)
PASSWORD: VARCHAR2(50)
PATH_ORA: VARCHAR2(100)
PATH_INP: VARCHAR2(100)
PATH_OUT: VARCHAR2(100)
SERVER_DATI: VARCHAR2(50)
TABIND: VARCHAR2(50)
VARIABILI
CODICE: VARCHAR2(20)
DESCRIZIONE: VARCHAR2(150)
TEMPLATE: NUMBER
VINTAGE
SERVIZIO: VARCHAR2(6)
VARIABILE: VARCHAR2(20)
CATEGORIA_IND: VARCHAR2(1)
TIPO_IND: VARCHAR2(3)
CLASS_1: VARCHAR2(8)
COD_LIV_1: VARCHAR2(2)
CODICE_1: VARCHAR2(10)
CLASS_2: VARCHAR2(8)
COD_LIV_2: VARCHAR2(2)
CODICE_2: VARCHAR2(10)
ANNO_BASE: NUMBER
ANNO: NUMBER
MESE: NUMBER
DATA_CS: NUMBER
INDICE: NUMBER
DIFFUSION
ERIEPILOG
O
INDIC
I
VINTAG
E
MODELL
I
AGGREGAZION
I
PDS
SERI
E
è descritta da
è destagionalizzata secondo
è diffusa secondo
è memorizzata in
è destagionalizzata
aggregando
è storicizzata in
è pubblicata in I.STAT per
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016
PESI

8. SDMX RI
SITIC
Comunicazione con gli altri sistemi
SITIC
6
INDICI_XX
X
INDIC
I
MASTOR
E_CONG
webservices
INDICI_PUBBLI
CI
sorgente ods output
INDICI_YY
Y
INDICI_ZZ
Z
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016
INDICI_FF
F
xml,
csv
gesmes
sdmx

9. Possibili evoluzioni
• Eurostat sta lavorando ad una nuova versione open in java del
programma di destagionalizzazione dovrà esserne valutato
l’inserimento in SITIC
Informazioni tecniche
• L’indirizzo web è http://sitic.istat.it
• Il sistema è costituito da un interfaccia web in php sul server
newjersey e da un db Oracle su EXADATA istanza EXAPES ed il
database MASTORE_CONG è sul Server DBSDMX
• L’autenticazione è effettuata tramite tabelle interne, soltanto per la
comunicazione con I.STAT è richiesta un’utenza di dominio
SITIC
7
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

10. SIGIS
Sistema informativo gestione indicatori strutturali
8
Introduzione
• L’ottima esperienza di SITIC ha spinto perché fosse realizzato un
ambiente analogo per le indagini strutturali
• Punto d’integrazione dei macrodati strutturali ed unico ambiente di
storage
• Unico ambiente per la gestione dei metadati e della loro
transcodifica
• Ambiente unico per la generazione dei diversi output statistici
necessari
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

11. Funzioni
SIGIS
9
Operazioni
caricamento dati e
produzione output
Definizione metadati
Definizione
tracciati di
output
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

12. Funzione di definizione di un aggregato
SIGIS
10
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

13. SIGIS
11
Funzione di definizione di un tracciato
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

14. Definizione Serie
SIGIS
12
ID_AGGREGATO Identificativo numerico
univoco per l’aggregato
INDAGINE Rilevazione di riferimento
MISURA Variabile oggetto di studio
Anno di inizio validità
PRIMA CLASSIFICAZIONE Tipologia classificazione
Codice classificazione
Anno di inizio validità della
codifica
SECONDA CLASSIFICAZIONE
TERZA CLASSIFICAZIONE
QUARTA CLASSIFICAZIONE
QUINTA CLASSIFICAZIONE
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

15. SIGIS Modello logico Database
13
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

16. SIGIS
Comunicazione con gli altri sistemi
SIGIS
14
DATI_2
TRANSCOD_
2 DATI
INDICI_PUBBLI
CI
sorgente ods output
DATI_1
TRANSCOD_1
DATI_3
TRANSCOD_
3
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016
csv per Tau-Argus
csv per I.STAT

17. Possibili evoluzioni
• Comunicazione con I.STAT sia in termini di piano di spoglio sia per
il popolamento diretto
Informazioni tecniche
• L’indirizzo web è http://sigis.istat.it
• Il sistema è costituito da un interfaccia web in php sul server
kentucky e da un db Oracle su EXADATA istanza EXAACQ
• L’autenticazione è realizzata sul server di posta Istat, l’abilitazione
alle funzioni è realizzata applicativamente
SIGIS
Sistema informativo gestione indicatori strutturali
15
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

18. Introduzione
• Il sistema CN_Output è stato realizzato per la memorizzazione dei
dati aggregati validati dalla Contabilità Nazionale secondo il nuovo
regolamento SEC2010 in vista della loro diffusione a livello
Europeo, ad Eurostat via sdmx, ed a livello nazionale su I.STAT
• Il sistema è costituito dalle seguenti componenti:
 cruscotto applicativo
 caricamento dati
 creazione file per l’output
 consultazione dei dati
Output CN
16
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

19. Funzioni dello cruscotto applicativo
Output CN
17
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

20. ETL: Caricamento dati
Output CN
18
Kettle: strumento ETL
standard per ISTAT
S
E
T
T
O
R
I
D
I
P
R
O
D
U
Z
I
O
N
E
PLSQ
L
Kettle
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016
Ogni processo di caricamento, sia in
termini di definizione che in
termini di esecuzione, è tracciato
nel database

21. SDMX RI
SITIC
19
MASTOR
E_CN
webservices
CN_DATI_PUBBLI
CI
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016
Output CN
Output: creazione file per i sistemi di diffusione
xml,
csv

22. Output CN
20
Microstrategy : consultazione dati
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

23. Database
• E’ stato realizzato un database di tipo multidimensionale seguendo
uno schema a stella, ovvero al centro c'è la tabella dei "fatti" che
contiene gli aggregati e ad essa sono associate tutte le dimensioni
interessate
• Sono stati definiti come processi di caricamento anche i processi che
permettono il calcolo di alcuni aggregati ad hoc ottenibili come
somma o prodotto di altri aggregati o con precise formule come la
variazione o il concatenato
• La diffusione dei dati è stata realizzata tramite due funzioni
PLSQL ad hoc, una per ogni destinatario di dati. Le funzioni
producono i diversi output leggendo gli aggregati da diffondere da
tabelle di metadati.
Output CN
21
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

24. Possibili evoluzioni
• Inserimento nel database di altri flussi e produzione di altre tavole
per l’output
Informazioni tecniche
• Il cruscotto cosi come il sistema di consultazione dati è possibile
soltanto per gli utenti interni alla direzione di contabilità
• Il cruscotto è in php sul server dccnweb e da un db Oracle su
EXADATA istanza EXAGEM
• L’infrastruttura SDMX-RI è installata su avana2012 ed il database
MASTORE_CN è sul Server DBSDMX
Output-CN
22
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016

25. Conclusioni
Grazie a chi ha lavorato per la parte ICT
Sabrina Brunetti
Alessio Cardacino
Mariano Crea
Gianluca D’Amato
Annunziata Fiore
Rosaria Occulto
Camilla Papa
Marco Ricci
Alessandra Tabusi
I sistemi informatici SITIC, SIGIS, Output-CN, Annamaria D’Urzo – Roma,
12/12/2016