Axional Analytics
Une manière facile pour
analyser vôtres données
via IWA
Vicente Salvador – DEISTER
vsalvador@deister.es
http://www.deister.net
Quel est l'IWA?
Informix Warehouse Accelerator (IWA)
est un système de traitement de
données optimisées qui agit comme une
«boîte noire» ou un plus et permet
l'analyse des informations et
l'intégration des processus
opérationnels des entreprises à conduire
des stratégies gagnantes. Accélère
consultations avec des temps de
réponse sans précédent.
Caractéristiques principales:
 Performance: temps de réponse sans
précédent qui permettent l'analyse des
informations qui sont normalement pas
possible compte tenu des temps de
réponse élevés
 Intégration: Connectez-vous à
Informix dans un entièrement intégré,
ce qui lui permet d'être utilisé par
toutes les applications sans
changements
 Autogérés: Les requêtes sont toujours
exécutées dans le plus efficace
 Transparent: L'application se connecte
à Informix et n'ont pas besoin de savoir
quelque chose au sujet de l'IWA
 Gestion simplifiée: un supplément qui
ne nécessite pas de tâches
administratives pour l'entretien
Comment fonctionne l'IWA?
TCP/IP
Data Loader
Requêtes SQL
Informix Warehouse Accelerator
Compressed
DB partition
Query
Processor
Base de données
Informix SQL
(via DRDA)
Query Router Resultats
Informix:
 Route les requêtes
 Pas besoin de changer SQL ou les
applications
 Vous pouvez toujours exécuter le
SQL dans le moteur IDS
Informix Warehouse
Accelerator:
 Connecte à Informix
transparentement
 Analyses compresses et charges
 Il traite les requêtes SQL et
renvoie les résultats au Informix
D'autres technologies clés
Common
Values
Rare
values
Numberof
Occurrences
Partitionnement pour
fréquence
A1D1G1
A2D2G2
A4D4G4
A3D3G3
SIMD
… … … …
11111 0 1111 0
01001 0 1110 0
=
=
&
Évaluation des prédicats comprimés
64-bit
processor
RAM in
TB
 Si une instruction SQL peut être
accéléré, IDS transforme SQL et
les envoie à l'IWA
 Chaque processeur exécute son
segment de mémoire, effectue
des opérations et renvoie les
données au coordinateur
 Le coordonnateur reçoit les
données et exécute les
opérations et la gestion de
fusion: opérations OPNQRY.
 Le serveur IWA renvoie le
résultat à le serveur Informix.
 Résultats IDS SQL envoyées à
l'application cliente comme un
jeu de résultats (resultset).
Comment ça marche?
L'ensemble des données occupe 850 Go, à
785 millions d'enregistrements, occupant 185
Go de RAM dans IWA
Processus de rapport avec des requêtes SQL
complexes
– no IWA: 6 H 46 min / IWA: 4 min 40 sec
Exécution de 746 opérations SQL qui
considèrent toutes les combinaisons entre les
dimensions et les tables de faits
– no IWA: les 14 premières opérations ont eu
24h / IWA: 12 h 25 m
Exemple d'un utilisateur réel
La grande image dans l'analyse
des données
Axional analytics scope
Data Integration
ETL / Anonymization
Sources:
OLTP DB, files,
FTP Internet, etc
Data Warehouse
OLAP Cubes & BI Tools:
Query & Reporting,
OLAP Analytics, Dashboards,
Mashups

Axional Analytics:
Simplicity, Flexibility, Full Featured
Informix WarehouseAxional Analytics Server
Web Browser -
Android
FlexibilitySimplicity The right mix of simplicity and flexibility
Information Management Portfolio
(Information Server, MDM, Streams, etc)
Warehouse Accelerators
Informix Integrated SystemTrue Universal Client Custom Solution
8 © 2013 IBM Corporation
Fully integrated with Informix IWA
Scripting Language for ETL and business
process execution.
Dash Board generator
Menús and access control system
Reporting system
Web Dataentry Forms
OLAP Cubes generator
GeoData Ready
Mobile Client Ready
Axional Main components
IWA Queues controlling
IWA Statistics
IWA automatic enable/disable
Scripting for refreshing / load / reload
datamarts
Axional: Fully IWA Integrated
Simple: Based on XSQL scripting language, allows
definition for complex ETL processes.
Powerful: 350 pre-built functions and connectors to
multiple databases, services (FTP, SMB,...) and file
formats, for complex control flow, data flow and logging.
Very fast: 1 million rows, extracted, anomized and
loaded in less than 1 minute.
– Data validation. Includes cross validation between several
columns.
– Encoding free-form values (e.g., map texts to codes).
– Deriving a new calculated value.
– Anonymyzing for data privacy: whirlpool, md5, ...
– Transposing columns/rows.
– Aggregation functions.
Axional: Scripting process & ETL
Axional: Dash Board generator
●
Global user & roles based data filtering and
menú access: Reporting, OLAP Cubes, Data
Entry, etc...
Axional: Menús & Access control
Axional: Reporting system
Axional: Web Dataentry
Axional: OLAP Cubes (i)
Axional: OLAP (graphs & charts)
Axional: OLAP (Maps)
Uses Spatial Datablade for geo-regions definition
Uses Google Maps for Map rendering
Allows use of advanced geo-functions for searching
data
Geodata Ready
Data comparission based on geographical areas
Heat Maps and zoom-in data analysis
Geodata Advanced Processing
●
All Axional characteristics can be used on
Native Android App
Mobile Client Ready
Real data live demo!!!!!!!!!!!!!!!
Axional: Live Demo
Questions?
Vicente Salvador
vsalvador@deister.es
+34 688 92 19 19
Merci pour votre attention

Ugif 09 2013 friug 201309 axional web studio

  • 1.
    Axional Analytics Une manièrefacile pour analyser vôtres données via IWA Vicente Salvador – DEISTER vsalvador@deister.es http://www.deister.net
  • 2.
    Quel est l'IWA? InformixWarehouse Accelerator (IWA) est un système de traitement de données optimisées qui agit comme une «boîte noire» ou un plus et permet l'analyse des informations et l'intégration des processus opérationnels des entreprises à conduire des stratégies gagnantes. Accélère consultations avec des temps de réponse sans précédent. Caractéristiques principales:  Performance: temps de réponse sans précédent qui permettent l'analyse des informations qui sont normalement pas possible compte tenu des temps de réponse élevés  Intégration: Connectez-vous à Informix dans un entièrement intégré, ce qui lui permet d'être utilisé par toutes les applications sans changements  Autogérés: Les requêtes sont toujours exécutées dans le plus efficace  Transparent: L'application se connecte à Informix et n'ont pas besoin de savoir quelque chose au sujet de l'IWA  Gestion simplifiée: un supplément qui ne nécessite pas de tâches administratives pour l'entretien
  • 3.
    Comment fonctionne l'IWA? TCP/IP DataLoader Requêtes SQL Informix Warehouse Accelerator Compressed DB partition Query Processor Base de données Informix SQL (via DRDA) Query Router Resultats Informix:  Route les requêtes  Pas besoin de changer SQL ou les applications  Vous pouvez toujours exécuter le SQL dans le moteur IDS Informix Warehouse Accelerator:  Connecte à Informix transparentement  Analyses compresses et charges  Il traite les requêtes SQL et renvoie les résultats au Informix
  • 4.
    D'autres technologies clés Common Values Rare values Numberof Occurrences Partitionnementpour fréquence A1D1G1 A2D2G2 A4D4G4 A3D3G3 SIMD … … … … 11111 0 1111 0 01001 0 1110 0 = = & Évaluation des prédicats comprimés 64-bit processor RAM in TB
  • 5.
     Si uneinstruction SQL peut être accéléré, IDS transforme SQL et les envoie à l'IWA  Chaque processeur exécute son segment de mémoire, effectue des opérations et renvoie les données au coordinateur  Le coordonnateur reçoit les données et exécute les opérations et la gestion de fusion: opérations OPNQRY.  Le serveur IWA renvoie le résultat à le serveur Informix.  Résultats IDS SQL envoyées à l'application cliente comme un jeu de résultats (resultset). Comment ça marche?
  • 6.
    L'ensemble des donnéesoccupe 850 Go, à 785 millions d'enregistrements, occupant 185 Go de RAM dans IWA Processus de rapport avec des requêtes SQL complexes – no IWA: 6 H 46 min / IWA: 4 min 40 sec Exécution de 746 opérations SQL qui considèrent toutes les combinaisons entre les dimensions et les tables de faits – no IWA: les 14 premières opérations ont eu 24h / IWA: 12 h 25 m Exemple d'un utilisateur réel
  • 7.
    La grande imagedans l'analyse des données Axional analytics scope Data Integration ETL / Anonymization Sources: OLTP DB, files, FTP Internet, etc Data Warehouse OLAP Cubes & BI Tools: Query & Reporting, OLAP Analytics, Dashboards, Mashups
  • 8.
     Axional Analytics: Simplicity, Flexibility,Full Featured Informix WarehouseAxional Analytics Server Web Browser - Android FlexibilitySimplicity The right mix of simplicity and flexibility Information Management Portfolio (Information Server, MDM, Streams, etc) Warehouse Accelerators Informix Integrated SystemTrue Universal Client Custom Solution 8 © 2013 IBM Corporation
  • 9.
    Fully integrated withInformix IWA Scripting Language for ETL and business process execution. Dash Board generator Menús and access control system Reporting system Web Dataentry Forms OLAP Cubes generator GeoData Ready Mobile Client Ready Axional Main components
  • 10.
    IWA Queues controlling IWAStatistics IWA automatic enable/disable Scripting for refreshing / load / reload datamarts Axional: Fully IWA Integrated
  • 11.
    Simple: Based onXSQL scripting language, allows definition for complex ETL processes. Powerful: 350 pre-built functions and connectors to multiple databases, services (FTP, SMB,...) and file formats, for complex control flow, data flow and logging. Very fast: 1 million rows, extracted, anomized and loaded in less than 1 minute. – Data validation. Includes cross validation between several columns. – Encoding free-form values (e.g., map texts to codes). – Deriving a new calculated value. – Anonymyzing for data privacy: whirlpool, md5, ... – Transposing columns/rows. – Aggregation functions. Axional: Scripting process & ETL
  • 12.
  • 13.
    ● Global user &roles based data filtering and menú access: Reporting, OLAP Cubes, Data Entry, etc... Axional: Menús & Access control
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.
    Uses Spatial Databladefor geo-regions definition Uses Google Maps for Map rendering Allows use of advanced geo-functions for searching data Geodata Ready
  • 20.
    Data comparission basedon geographical areas Heat Maps and zoom-in data analysis Geodata Advanced Processing
  • 21.
    ● All Axional characteristicscan be used on Native Android App Mobile Client Ready
  • 22.
    Real data livedemo!!!!!!!!!!!!!!! Axional: Live Demo
  • 23.