Micro Focus Data Express 4.0 - Conformità, produttività e protezione dati
1. Conformità, produttività e protezione dati
negli ambienti di Test
Seminario tecnico - 12 marzo 2014 Milano
Micro Focus Data Express 4.0
Stefano Capra
3. Dimensionamento
appropriato dello
storage.
Rappresentazione
accurata dello
scenario reale
Replica di
errori insorti
in Produzione
Coerenza dati
anche per distinte
piattaforme e db
Ambienti di Test – scenario e requisiti
Diversificazione della
casistiche per le varie
esigenze dei progetti
Adempimento regolamentazioni sulla Sicurezza dei Dati:
• Circolare della Banca d’Italia
• Direttiva Europea e Legge sulla Privacy
• Standard Interni di Scurezza e Protezione del Business
4. Uso dei dati di produzione per i test
• I dati sono voluminosi e contengono
informazioni sensibili.
Creazione dei dati di test
• Soluzione onerosa, soggetta ad
errori, e spesso basata su processi
manuali.
• I dati non sono comprensibili e
quindi poco usufruibili dagli utenti
finiali.
• I dati spesso non sono disponibili
quando il test lo richiede.
• Scarsa qualità dei dati di test che
può causare difficoltà nel ciclo di
QA.
Ambienti di Test – gli approcci più diffusi
Il 71% delle organizzazioni IT
utilizza dati di produzione per
eseguire i propri test.
Research Report on 240 UK, French and German
organizations, May 2008
5. Le ammende possono essere molto rilevanti, ma il costo complessivo è di
gran lunga superiore e include gravi conseguenze e costi quali:
• Danno d’immagine
• Ripristino dei sistemi a seguito di danni provocati da attività fraudolenta
• Perdita di clienti e di quote di mercato
• Minori ricavi da clienti nuovi ed esistenti
• Costo di gestione dell’emergenza
La Nationwide Building Society (UK) è stata multata di £ 980.000 dopo che il computer portatile di
un dipendente è stato rubato da casa sua. 11 milioni di dati personali e aziendali sono stati
esposti al rischio di "reati finanziari". 14 Febbraio 2007
Qual è il costo reale di una "violazione dei dati"?
Il costo medio di una violazione dei dati è pari a 202 dollari
per record. Calcolato da Ponemon Institute Survey
I dati delle carte di credito della metà di tutti i sudcoreani sono stati rubati e venduti a società di
marketing. Un consulente della Korea Credit Bureau che gestisce sistemi di pagamento, aveva
trasferito sul suo laptop, successivamente rubato, i nomi, i numeri di previdenza sociale e di carta
di credito di 20 milioni di sudcoreani . 20 Gennaio 2014
6. Dispone di un
catalogo proprietario
centralizzato per la
gestione dei
metadati del cliente
Soluzione
combinata per
Data Masking e
Data Subsetting
basata sulla
Classificazione
dei metadati.
Gestione di diversi
ambienti source e target
(produzione, pre-
produzione, collaudo,
unit test, sviluppo)
Processo
automatizzato di
Data Masking e
Data Subsetting
configurabile,
ripetibile e
scalabile.
Supporto di
z/OS DB2,
VSAM,
Sequential,
GDG, IMS e
ADABAS.
Su Dipartimentale,
supporto via
OBDC di Oracle,
SQL Server, DB2,
Sybase, Informix,
Teradata, AS400...
Micro Focus Data Express™
8. Classificazione dei metadati e
definizione delle regole di
mascheramento e subsetting.
2
Database Relazionali
Database Gerarchici
Archivi non strutturati
Data Model
Regole di
Data Masking
Data Subsetting
Data Express
Knowledge
Base
Inventario dei
metadati con
analisi dei cataloghi,
DDL, copybooks...
1
Generazione dei dati
mascherati e ridotti
nell’ambiente target
3
Il processo di implementazione della soluzione
DE
Engine
Dati mascherati
Dati ridotti
9. Data Express Builder Module
Inventario e catalogazione degli archivi in base a:
• Applicazione di appartenenza
• Piattaforma e db type
• Caratteristiche fisiche del dato
• Altre info (numero e lunghezza record)
Classificazione dei Campi
• Ciascun campo può essere associato ad un’entità (Classe) che ne
identifica il significato. Le Classi accomunano i campi che getiscono
le stesse informazione, indipendentemente dalle loro caratteristiche
fisiche .
Ciclo di Vita dei Metadati
• Un processo automatico mantiene il catalogo costantemente
allineato ai cambiamenti periodici delle strutture fisiche dei database.
10. Data Express Fields Content Analysis
La funzione fornisce informazioni
statistiche sul contenuto di ogni
campo, mirando a:
• Rendere automatico e più sicuro il
processo di classificazione dei
metadati;
• Fornire informazioni utilizzabili per
la verifica della qualità dei dati.
11. Data Express Finger Print
• Data Express è in grado descrivere il contenuto dei campi
sotto forma di una particolare rappresentazione statistica
chiamata Finger Print.
• La classificazione automatica dei metadati del cliente
avviene attraverso la comparazione delle Finger Print rispetto
ad un prototipo iniziale.
12. Il processo di mascheramento dati:
• E’ parametrico, automatico, ripetibile e irreversibile.
• Preserva il significato originale dell’informazione.
• Garantisce l’integrità tra gli archivi e l’univocità delle chiavi.
• Ricalcola eventuali codici di controllo (codice fiscale).
La soluzione gestisce nativamente il mascheramentto di:
• Nomi, cognomi, ragioni sociali, indirizzi, numeri di telefono,
email, codici fiscali, partite IVA, codici alfanumerici univoci, etc.
Exit routines facilmente personalizzabili:
• vengono forniti modelli di exit routines in Cobol e C adattabili a
ulteriori esigenze
Data Masking Module
13. Data Subsetting Module
• Il processo di stralcio dei dati rispetta il modello relazionale
fisico e/o logico.
• Le regole di subsetting possono essere importate
direttamente da catalogo oppure definite attraverso il
modulo client.
• La simulazione dell’estrazione dati stima:
– il tempo e la cpu necessari per l’estrazione reale.
– la dimensione degli archivi di output.
– la % di riduzione tra ambienti source e target
• Un unico processo può generare dati ridotti e mascherati.
A
B
15. • Conformità alle normative
il Data Masking garantisce il rispetto della legge
sulla Privacy e di normative internazionali,
Nazionali e interne.
• Riduzione del time-to-market
80 - 90% di risparmio nell’elapsed time per la
generazione degli ambienti di test.
• Data Storage ridotti fino al 90%
il processo automatico della soluzione minimizza le risorse coinvolte,
riduce i costi relativi allo storage e ai MIPS/CPU.
• Riduzione dei rischi e incremento della qualità dei dati di Test
la soluzione produce ambienti di test coerenti e completi, assicurando
test più rigorosi e riducendo i rischi di inattività.
I benefici operativi e di business
17. Data Express
zOS Engine
z/OS
Client
Data Express
PC
Data Express
Engine Distributed
2. Database Analysis
3. Reduction & Masking
rules definition
1. Database Inventory
4. Send & Execute test
environment creation job
Windows/Linux/Sun/Aix
1. Database Inventory
DB
Prod
DB Test
DB
Prod
DB Test
ODBC / OCI
DE Architecture for z/OS + ODBC ext.
for Distributed
18. Windows/Linux/Sun/Aix
Data Express - GUI
PC
Data Express - Engine
2. Database Analysis
3. Reduction & Masking
rules definition
1. Database Inventory
4. Send & Execute test
environment creation job
DB
Prod
DB Test
ODBC / OCI
Data Express for Distributed Systems
19. DEMO IN PODCAST SU:
http://www.microfocus.it/risorse/#webinarsenterprise
Data Express
Notes de l'éditeur
Micro Focus Data Express creates a knowledge base of application data that clarifies how data is used and managed. Data structures description are first extracted from multiple types of databases and files and so analyzed and stored in the Knowledge Base. Note that in the knowledge base will be stored just metadata, that means only data structure description and not also physical data. Customer rules are then applied to enable the creation of test data which can then be masked for data protection, reduced by sub setting and then made available to the Test Management Process.An other important DE feature is the Life Cycle. The knowledge base contains a static picture of the production data structures that can change over the time. The Life Cycle compares the data structures of the production environment with the Knowledge Base and eventually updates the knowledge base with the new files or columns. Thanks to this feature we have not to repeat the step 1, 2 and 3 each time the production data structures have benn changed.