Stockage et Cloud [#CloudAccelerate 13/06/2014 @ IBM CC Paris]
1. Nouvelles solutions
de Stockage Hautes Performances
Pour optimiser vos offres et vos coûts
Pierre-Jean BOCHARD
Chef produit solutions de stockage
06 88 21 98 76
pjard@fr.ibm.com
2. Agenda
IBM Software Defined Storage
IBM SmartCloud Virtual Storage Center
Classe de stockage Extrêmes Performances
Evolution des infras Cloud vers le SDx
3. La nouvelle infrastructure Cloud doit être de type Software Defined
Environment
Ce que veut le Business :
• Définition des besoins business.
• Identification des opportunités et des
pré requis pour ces nouveaux
services.
• Mise en oeuvre et tests rapides
des nouveaux services.
Ce que SDE propose :
• Des règles business (définies dans des
“Patterns of Expertise”) permettent de
définir la meilleure infrastructure pour
faire tourner le workload.
• Orchestration Automatisée des
workloads
• Optimisations des workloads grâce à des
outils analytiques.
Optimisationencontinu
Priority
Policy
Service
Priority
Policy
Service
Solution Definition
4. Que sont les Software Defined Environments (SDE)?
Avec le SDE, l’infrastructure est totalement
programmable pour déployer rapidement des
workloads en optimisant les ressources IT et en
pouvant répondre instantanément aux
changements des demandes métier.
Application AwareApplication Aware
ComputeCompute StorageStorage NetworkNetwork
AnalyticsPatternsDefinition
Resource SmartResource Smart
Software
Defined
Environments
Les ressources des infrastructures IT sont virtualisées et
mises sous une couche d’abstraction par du logiciel.
Ce sont les Applications qui définissent les pré requis
d’infrastructure et de configuration.
L’infrastructure IT permet d’élargir les environnements
pour aller au delà du data center (fédération de Datacenters)
5. SDS
Software Defined Storage
Actions
1.Virtualisation des serveurs
2.Virtualisation du stockage
3.Virtualisation du réseau
4.Gestion intégrée des ressources physiques et virtualisées.
Actions
1.Virtualisation des serveurs
2.Virtualisation du stockage
3.Virtualisation du réseau
4.Gestion intégrée des ressources physiques et virtualisées.
La première étape vers SDE: Vitualiser, optimiser et automatiser
SDC
Software Defined Compute
SDN
Software Defined Network
6. Software Defined Storage (SDS) est un des composants de SDE
• SDE repose sur deux niveaux :
– Workload definition and Orchestration
– Software Defined Infrastructure (SDI)
• SDE repose sur des ressources physiques
virtualisées (SDI) qui peuvent être configurées
pour correspondre au SLA d’un catalogue de
services.
2
Workloads
Traditional
Middleware Based
Cloud Based
Services
Software
Defined
Compute
Software
Defined
Network
Software
Defined
Storage
Heterogeneous
Compute Resources
Virtualized Network
Virtual Storage
Layer
Resource Abstraction
Software Defined Infrastructure
Workload Definition
Workload Orchestration
Workload Definition and Orchestration
Software Defined Environment
• SDS créé des liens intelligents entre les workloads
et le stockage en :
– Proposant des fonctionnalités (classes de service, par ex.),
aux workloads pour permettre le provisioning du stockage
(par OpenStack, , etc) avec les caractéristiques les plus adaptées
à ceux-ci.
– Proposant des outils pour mieux adapter le stockage aux
workloads (exemple Applied Analytics)
– Déplacant des fonctions stockage au plus près des workloads
(exemple : réplication).
– Augmentant la banalisation du matériel qui devient de la
commodité (principe de base de la virtualisation)
7. Software Defined Storage chez IBM : les solutions (1/2)
IBM SDS Control Plane
Policy
Automation
Analytics and
Optimization
Integration and
API Services
Backup and
Copy
Management
Storage
Virtualization
Storage Cloud
IBM SDS Data Plane
Scalable storage Capacity
Virtual StorageVirtual Storage
Open Common Control Plane to Manage Storage Services for the Workloads
Storage
Systems
Storage
Systems
ISIS
VMWare VASA
integration
SCSA
Cloud service
portal
OpenStack
APIs
Cinder, Swift
TPC, FCM, TSM
Enterprise Storage
management
VSC
Virtual Storage
Center
Workload Optimized and
Transaction Integrity
Agility and
Rapid Scale
8. IBM SmartCloud Virtual Storage Center
• Pour faire entrer le stockage dans le monde du Cloud Computing
• Simple à acheter et à déployer
• Pricing Pay-as-you-go
SAN
Snapshot
Data ProtectionStorage Virtualization
Infrastructure
Resource Management
IBM SmartCloud Virtual Storage Center (VSC)
Storage Optimization,
Provisioning and
Transformation
9. Advanced Analytics et fonctionnalités Cloud dans VSC
Advanced Analytics• Automated Storage Tiering:
– Migration automatique des volumes entre
classes de service / pools de stockage selon des règles
définies par l’administrateur.
– Programmation d’analyses récurrentes
• Dynamic Storage Pool Utilization
– Vue en temps réel de l’utilisation des pools de stockage
(performance, taux d’occupation)
• Storage Volume Transformation
– Possibilité de transformer un volume existant en un nouveau type
(thin provisioning, compressé, etc). Ceci est rendu possible par la couche
de virtualisation du stockage intégrée dans SCVSC.
• Service Classes / Storage Pools
– Gestion des classes de service et des storage pools avec possibilité de
créer, modifier, et supprimer les ressources depuis l’interface graphique.
• Self-Service Provisioning
– Provisioning du stockage selon une classe de service, soit par
l’administrateur du stockage, soit par délégation à un autre
administrateur (VMware) soit via un framework (OpenStack) ou un
portail Self Service comme IBM SCSA
10. Thin Provisioning
Storage Analytics
Engine
Non-disruptive data
migration
Integration with
Server Hypervisor's
Application Integration
with FlashCopy
Manager
Real-time
Compression
(Option)
EasyTier
Advanced
Mirroring and
Copy Services
Common
Management
Cloud
Ready
Les fonctions avancées de SCVSC
12. Le portail IBM SCSA (SmartCloud Storage Access)
• Self-Service : Un demandeur (DBA, administrateur
serveur, etc) initialise une requête d’obtention de stockage
selon ses besoins.
• Comptabilité des consommations: par utilisateur,
département, etc.
• Réactivité : La mise à disposition du stockage
(provisioning) est très rapide car automatisée.
• Elasticité : Les volumétries sont allouées et libérées
selon les besoins (périodes d’expiration)
13. Le portail IBM SCSA (SmartCloud Storage Access)
• Self-Service : Un demandeur (DBA, administrateur
serveur, etc) initialise une requête d’obtention de stockage
selon ses besoins.
• Comptabilité des consommations: par utilisateur,
département, etc.
• Réactivité : La mise à disposition du stockage
(provisioning) est très rapide car automatisée.
• Elasticité : Les volumétries sont allouées et libérées
selon les besoins (périodes d’expiration)
14. Demandeur (DBA par ex.)
Portail en self service
Mise à disposition du stockage en
mode NAS (CIFS,NFS) ou SAN (FCP)
Refacturation
éventuelle
Interface avec
les
baies de stockage
NAS ou SAN
Moteur de
Provisionning
automatisé
Catalogue
de
Services
(classes de stockage)
Serveur d’authentification
LDAP ou AD
Intégration de SCVSC et du portail Self-Service SCSA
NAS: baies IBM V7000U – SONAS
SAN: Baies IBM V7000 – XIV – FlashSystem
Baies non IBM via virtualisation SVC
17. IBM FlashSystem, delivers DB2 Extreme Perfs & reduce Hosting Costs
Normalized $
/ IOPS
2,500 Disks
+ 128 SSDs
5,000
Disks
11x Less
IBM
FlashSystem
Space
IBM
FlashSystem
2,500 Disks
+ 128 SSDs
5,000
Disks
80x Less
Energy
IBM
FlashSystem
2,500 Disks
+ 128 SSDs
5,000
disks
26x Less
IBM FlashSystem
Proof of Performances & Energy Efficiency:
Performance Results
• 1.3 Million IOPS with 200 microseconds
latency
• 43K+ Customer Transactions per second
• 13K Update Transactions per second
Configuration Details
• Ten 10c DB2 PureScale cluster members
• Two 8c Cluster Caching Facility (CF)
• Four IBM FlashSystem 820, 20 TB each in 4U
• IBM Power 780+, 4.42GHz , 4 nodes 128 cores, 2 TB
memory
IBM FlashSystem 840
18. FlashSytem boosts CPU usage on your servers
MicroLatency
deliver a microsecond response time to accelerate critical
applications to achieve competitive advantages
• Faster decision making
• Increase revenue
• Accelerate cost savings
• Eliminate wait time
• Scale performance with
capacity
I/O Time Network Time CPU Time
I/O
Time
Network Time CPU Time Time Recovered for more
Compute in servers
Disk-Based
FlashSystem
The IBM FlashSystem MicroLatency advantage
5 milliseconds
0,2 milliseconds
19. Data center optimized to deliver
extreme performance,
flexible capacity
and total system protection Accelerate applications with
enterprise-class,
Software Defined Storage with
Full Stack of Data management
IBM FlashSystem 840 IBM FlashSystem V840
IBM FlashSystem addresses the two primary segmentations of the flash market as defined by IDC:
Absolute Performance - There is a need for extreme raw performance of throughput, IO, and latency.
In this use case, performance is paramount, therefore anything negatively impacting performance
should not be included in the storage array data path such as virtualization, data efficiency, or features.
Enterprise - Acceleration of applications is important and will provide consistent latency faster than
traditional spinning disk, but enterprise feature sets such as snapshots, clones, site replication, and data efficie
must be included to ensure data protection
Comprehensive IBM flash offerings strategy
21. FlashSystem 840 - Components
Redundant components (no SPOF)
Concurrent Maintenance (Hot Swap)
2U
Flash modules (x12)Batteries
(2x)
Power
Alim (x2)
FC, FCoE, IB or iSCSI Interfaces (x4)
GbE Interfaces (x2)
Ventilateurs (x4)
22. FlashSystem 840 - Resilient architecture
Two high-speed non-blocking crossbar busses
support wire speed data transmission from
host interface modules to flash modules.
All FPGA components in the data path provides
lowest possible latency (Minimum 135us
Read, 90us Write).
Both data busses connect all components for
redundancy and performance.
A separate management bus connects all
components – isolated from the data busses.
Redundant battery and power supply modules
support all three busses and connected
components.
System designed from ground up for high
performance, high availability and
serviceability, and concurrent code load
(CCL).
2D Raid protection (chips & modules)
23. Protecting business’s most valuable asset
FlashSystem 840 - Encryption
Industry standard XTS-AES-256 required by most leading compliance regulations such as HIPAA
(health) and FIPS
Decoding the acronym:
– XTS is a mode of encryption, using two AES keys
– AES is the underlying encryption algorithm
– 256 is the length, in bits, of the AES encryption keys
Data-at-rest design
Local key management
Affect on performance
– Parallel pipeline architecture at full data rate, should not affect throughput of
large blocks
– Encrypting the tweak adds latency which will somewhat affect small block
(likely a few percent)
– All performance measurements published at GA and later include the affect of
encryption, even if it is not enabled – we encrypt with a default key
Data Integrity
– we have parity checks on encryption/decryption
– we have an on-going, periodic decryption check being performed of all
encryption operations to quickly detect any failure of the encryption circuits
25. What if you could deliver better ERP performance with…
• no changes to the software
• no re-coding
• no expensive and risky migrations
• without code optimization
• 100% reuse of your current equipment
• No costly labor to tune (DBA, Storage expert)
• Typical installations taking less than a few hours.
26. 66 percent
reduction in SAP ERP
application response times
97 percent
cut in potential footprint
requirement
95 percent
decrease in power
consumption
Solution Components
• SAP ERP
• IBM FlashSystem
• IBM SAN Volume Controller
• Oracle database
• VMware
Cegeka
Enabling lightning-fast performance to lead enterprises to the cloud
Business challenge: To broaden its cloud-services client base, Cegeka
targeted enterprises with demanding SLA requirements. Could it meet data
performance and scalability needs without costs spiraling out of control?
The solution: Cegeka gained the capacity to support enterprise clients in the
cloud, helping to meet corporate growth objectives, while continuing to
attract and retain business from existing customers.
“IBM FlashSystem Enterprise Solution accelerates some SAP ERP
processing jobs by up to 90 percent.”
- Luc Greefs, Director of Cloud Services, Cegeka
27. DB Parallel Reads IO:
Improvement ratio: X 10!
Average IO Wait time:
from 10,5ms to 1,1ms
DB Sequential Reads IO:
Drastic reduction!
Average IO wait time:
from 3,3ms to 0,45ms
Global IO WAIT TIME
Extreme reduction
464% improvement
v
v
Analysis of Oracle performances traces (AWR) on SAP/Oracle: w. &w/o. Flash
28. Get a complimentary Oracle
performance analysis from
IBM!
IBM has an extensive team of field
engineers and Oracle DBAs that
provide free analysis of your
Oracle system performance.
→ Contact Pierre-Jean BOCHARD:
pjard@fr.ibm.com, 06 88 21 98 76
How can I tell if my Oracle database has latency problems?