2. SOMMAIRE
Introduction générale.
Définition des Data Centers et Historique.
Modèles des Data Centers.
Data Center benefits and classification.
Data Center components.
Data Center topology.
Disponibilité et électricité.
Supervision et sécurité des lieux.
Conclusion générale.
2
3. DÉFINITION DU DATA CENTER
Un Datacenter est un site hébergeant l’ensemble des systèmes
nécessaires au fonctionnement des applications informatiques.
On y retrouve toutes les infrastructures logicielles et matérielles
utilisées dans le domaine IT et non-IT. Concernant l’IT, il s’agit
des serveurs, des baies de stockage, et des équipements
réseaux permettant les échanges internes et externes. Le non-IT
comprend les équipements gérant le pilotage, la production, et la
distribution de l’énergie et du refroidissement. Le terme Data
Center désigne un site informatique de taille très variable : d’une
salle de quelques mètres carrés à plus de 10 000 m². Un
Datacenter est toujours constitué de trois composants
élémentaires :
3
4. L’infrastructure, c’est-à-dire l’espace et les équipements
nécessaires au support des opérations du Datacenter. Cela
comprend les transformateurs électriques, les alimentations sans
interruption (UPS), les générateurs, les armoires de climatisation
(CRAC), les systèmes de distribution électrique, etc. Dans
certains Datacenter, cette infrastructure consomme deux fois plus
d’espace que l’espace destiné à héberger les équipements
informatiques.
Les équipements informatiques comprenant les racks, les
serveurs, le stockage, le câblage ainsi que les outils de gestion
des systèmes et des équipements réseaux.
Les opérations, c’est-à-dire le personnel d’exploitation qui pilote,
entretient et répare les systèmes IT et non-IT lorsque cela est
nécessaire.
4
5. HISTORIQUE
Nous retrouvons l’existence même des Data Centers à l’origine
de l’informatique. En effet dès le premier ordinateur (ENIAC en
1945) de part sa taille et son poids (environ 30 tonnes) une pièce
a dûe être aménagée pour le contenir (180m² environ). L’ancêtre
du Datacenter actuel était né.
5
6. A partir de 1960 l’informatique arriva a ces débuts d’usage civil
nous verrons apparaitre les premiers Datacenters nés du besoin
de centraliser certaines fonctions du domaine civil. L’exemple
type de ces premiers hébergements fut le système de
réservations pour American Airlines « Sabre » .
A partir de 1970 l’informatique voit accroitre son utilisation dans le
domaine des banques et des assurances. Mais un nouveau
besoin voit le jour, celui de parer à tout désastre naturel. La notion
de Disaster Recovery Plan (DRP) fait son chemin.
6
7. De 1980 au milieu des années 1990, le PC fait son apparition et
les Datacenters tendent à stagner voir disparaitre pour laisser la
place à des salles plus petites et moins coûteuses en entretien,
par contre les équipements pour les télécommunications auront
tendance à y prendre place.
A partir du milieu des années 1990, certains de ces PC, seront
améliorés et modifiés pour devenir des serveurs. Ils
commenceront à prendre place dans ces anciennes salles à côté
des Frameworks. Ce n’est qu’a ce moment que le mot
DATACENTER prendra la signification que nous lui connaissons
aujourd’hui.
7
8. Le Datacenter d’aujourd’hui: L’explosion du nombre de
Datacenters se fit au moment de la bulle internet. Elle est née du
besoin des sociétés ayant besoin d’avoir une forte présence sur
internet et une disponibilité 24h/24h, tout en garantissant une
haute disponibilité et un DRP. On estime que depuis début 2000
les nombre de Data Center c’est multiplié par 6 (Google détient
15 Datacenters aux USA et 17 ailleurs dans le monde).
De nous jours, l’arrivée de nouvelles technologies dites de
dématérialisation telles que la virtualisation ou le Cloud ont
encore fait rentré le Data Center dans une nouvelle ère.
8
9. MODÈLES ET CARACTÉRISTIQUES DES
DATACENTERS
Les Data Centers sont généralement classés en 4 catégories, ces
catégories répondent au nom de Tier 1, 2, 3 et 4. Pour classer un
Datacenter dans une catégorie, 2 normes sont aujourd’hui
utilisées, la norme TIA 942 (Telecommunications Infrastructure
Standard for Data Centers) et la norme EN 50600. Chacune de
ces normes établissant des contraintes bien précises pour
attribuer la catégorie au Datacenter:
On peut classer les Data Centers selon cette catégorie aussi:
Data Center Classique.
Data Center Cloud.
Data Center Modulaire.
9
10. DATACENTER MODULAIRE
S’il est déjà difficile de fixer aujourd’hui une surface suffisamment
grande pour héberger les équipements informatiques, qu’en sera-
t-il dans quinze ans ? Pour répondre à cette question, le
datacenter doit devenir plus modulaire afin d’adapter sa capacité
à la demande. Pour gagner en modularité, un datacenter est
aujourd’hui construit en quatre tranches de 500 m² plutôt qu’un
unique faux plancher de 2000 m². Le déploiement de ces
tranches pouvant être répliqué, ceci facilite l’évolution du
datacenter. Dans ce cas, les équipements nonIT sont conçus pour
évoluer selon l’infrastructure informatique. Lorsqu’un module
atteint une capacité donnée, un deuxième module autonome est
prévu dans le même périmètre et ainsi de suite. Cette nouvelle
approche dite « verticale » permet d’aligner l’augmentation du
besoin avec la capacité du datacenter et donc d’optimiser son
efficacité.
10
12. UN NOUVEAU TYPE DE DATACENTER :
LE CONTAINER
Le Datacenter en container est la matérialisation concrète des
réflexions sur l’urbanisation et la modularité des datacenters. Il
propose une alternative viable au datacenter traditionnel. Au point
qu’il existe déjà des sites uniquement constitués de containers.
Le container demande uniquement d’être raccordé aux différentes
sources d’approvisionnement (électricité, télécoms, etc.).
À l’intérieur on retrouve tous les éléments d’un datacenter
classique : racks accueillant les serveurs, serveurs, baies de
stockage, pré-câblage, unités de distribution électrique
modulables selon le niveau de disponibilité souhaité et la densité
(kW par m²) et la gestion du froid avec les équipements de
refroidissement. La conception interne est basée sur des rangées
d’armoires qui hébergent tous les serveurs au format rack
positionnées en allées froides et allées chaudes.
12
14. LES ACTEURS PRINCIPAUX
Amazon: Amazon filtre avec soin les informations données sur
ses services Cloud surtout son Elastic Compute Cloud "EC2". Le
ténor du Web se refuse de détailler l'infrastructure utilisée et les
serveurs nécessaires au bon fonctionnement de ses
services AWS (Amazon Web Services) mais on a le compte :
7100 racks de serveurs et 454 400 serveurs!
Equinix: est une entreprise de centres de données. Elle est
présente dans 13 pays, avec plus de 96 datacenters.
Google: 37 datacenters dans le monde dont 13 officiels
appartenant à 100% à Google. Le reste étant des datacenters
loués, secrets ou en construction. Rien que Gmail représente
potentiellement 6,375 Exa octets (soit 6 375 000 000 Go)!!!
Microsoft: plus de 100 datacenters, 200 services cloud et 1
milliard de clients.
14
15. WHAT IS A DATA CENTER
Data centers provide a range on information
technology services
These services include:
Email
Data storage and management
Web hosting
Application Hosting
Hosting
15
16. WHAT IS A DATA CENTER
Data centers are designed to
house information systems and
related components such as:
Servers
Routers
Storage
Uninterruptable power
supplies (UPS)
Cooling Units
Power Distribution Unit (PDU)
Data centers have unique and
typically large power
requirements
They are often raised floor
designs to accommodate the
large amount of cables
required.
16
17. DATA CENTER BENEFITS
17
Economies of Scale
Purchasing savings
based on large
purchases
Dedicated IT staff
Shared resources
Security
Physical
Limited access to
servers
Surveillance
Virtual
Firewalls
Anti-virus
Password Protection
18. Tier
Leve
l
Data center classification
1 • Single non-redundant distribution path serving the IT equipment
• Non-redundant capacity components
• Basic site infrastructure guaranteeing 99.671% availability
2 • Fulfills all Tier 1 requirements
• Redundant site infrastructure capacity components guaranteeing
99.741% availability
3 • Fulfills all Tier 1 and Tier 2 requirements
• Multiple independent distribution paths serving the IT equipment
• All it equipment must be dual-powered and fully compatible with the
topology of a site’s architecture
• Concurrently maintainable site infrastructure guaranteeing 99.982%
availability
4 • Fulfills all Tier 1, Tier 2, and Tier 3 requirements
• All cooling equipment is independently dual-powered, including
chillers and heating, ventilation and air-conditioning (HVAC) systems
• Fault tolerant site infrastructure with electrical power storage and
distribution facilities guaranteeing 99.995% availability
18
21. DATA CENTER & CLOUD
Data Centers
Require specialized equipment and knowledge
Owner maintains complete control over hardware and
software
Highly customized
Component of a cloud
Cloud computing offers computing as a utility service
Self service, Pay per use
Platform independent
Often represents outsourcing as a Risk Transference Strategy
Composed of many data centers
21
22. DATA CENTER & CLOUD
In simple terms:
“Think of it as taking a taxi vs. buying a car to make a
trip between Tunis and Hammamet. If you only make
the trip once a week, it is cheaper to take a taxi or bus.
If you make the trip every day, then you are better off
buying a car. The difference is the duty cycle. If you
are running infrastructure with a duty cycle of 100%, it
may make sense to run in-house.”
22
23. DATA CENTER COMPONENTS:
LOCATION
Important considerations
Frequency of conditions likely to result in disaster situations.
Distance from energy source.
Reliability of energy source.
Climate
Choosing a location with a cool, mild climate, provides the possibility of a
data center that does not require air conditioning units.
23
24. DATA CENTERS
Microsoft Tour
http://www.globalfoundationservices.com/infrastructure/videos.html
Purdue Data Centers
Research Computing Cluster Steele
http://www.rcac.purdue.edu/userinfo/resources/steele/userguide.cfm
Currently housed in a HP Pod container http://www.flickr.com/photos/vax-o-
matic/sets/72157624103673857/
ITAP Data Centers Service Catalog http://www.itap.purdue.edu/service/catalog/alpha/
Cisco Richardson Interactive data center tour
http://www.cisco.com/web/about/ciscoitatwork/data_center/flash/dc_experienc
e/rdc_tour.html
24
25. DATA CENTER COMPONENTS:
COOLING
Servers create heat
Historically servers have been susceptible to heat damage
According to James Hamilton of Amazon the average exhaust from servers is
115 degrees Fahrenheit =46 °C.
Approximately half of the power consumed in the data center is
used in cooling
Cooling Options
Computer Room Air Conditioning (CRAC)
Liquid Cooling
Air Side Economizers
25
26. DATA CENTER COMPONENTS: UPS
Uninterruptable Power Supply (UPS)
Conditions power
Provides power to avoid outages during power failure lasting seconds or
minutes
Provides time to shutdown, failover, or initiate backup power for longer
outages
Traditional data center UPS
The pictured UPS will provide 80
minutes of power. Typical is about 15 minutes.
Double conversion
These are often comprised of
multitudes of batteries.
Batteries are better for longer outages,
many short outages will reduce the life of a
battery based UPS
26
27. DATA CENTER COMPONENTS:
UPS (CONTINUED)
Alternatives to battery based UPS
Flywheel
Rotary
Ultracapacitor
The non-battery options
are useful for situations with
Numerous short outages
Ultracapacitors require
little maintenance and are
advantageous in unmanned,
remote sites.
27
28. POWER DISTRIBUTION UNIT (PDU)
Transforms the voltage to
standard voltage for distribution
480V to 120V or 220V or 277V
Distributed via power outlets
Provides power monitoring and
additional power conditioning
Types of PDU
Panel
Room
Rack
28
29. DATA CENTER COMPONENTS:
BACKUP POWER
Grid-based additional power service provider
Batteries
Diesel generators
Backup power has traditionally been a requirement for maintaining
uptime for tiered facilities. Some larger organizations are able to
compensate for outages by rerouting traffic to working nodes.
29
32. EXAMPLE OF A DISTRIBUTED DATA CENTER
TOPOLOGY WITH MULTIPLE ENTRANCE
ROOMS.
32
33. QUALIFICATION DU DATACENTER
Taux de disponibilité Nombre d’heures d’indisponibilité
Tier 1: 99.671% 28 hours
Tier 2: 99.741% 22 hours
Tier 3: 99.982% 1.5 hours
Tier 4: 99.995% 26 minutes
Sur ce tableau nous pouvons voir ce que représente le taux de disponibilité
garanti des
équipements en fonction du type de Datacenter. A la suite nous présenterons
les composantes qui permettent d’atteindre de tels scores.
33
34. LA SITUATION GÉOGRAPHIQUE DU SITE
Car un type d’emplacement, répondant à certains critères diminue le risque
d’incidents non maîtrisables
SITE TIER 1 TIER 2 TIER 3 TIER 4
Proximité avec zone
inondable ou
déclarée comme
telle
SC
Hors zone à
risque
Pas de présence
d'innondation sur les 100
dernières années et hors
d'une zone à 91m en ayant
subi sur les 50 dernieres
années
Hors d'une zone à 91m
ayant subi innondation sur
les 100 dernieres années
Proximité de la côte SC SC Distance > 91m Distance > 800m
Proximité avec les
principales artères
de circulation
SC SC Distance > 91m Distance > 800m
Proximité aeroport SC SC Distance > 1600m Distance > 8km
Proximité Grandes
villes
SC SC Distance < 48km Distance < 16km
34
35. LE BÂTIMENT LUI MÊME
SITE TIER 1 TIER 2 TIER 3 TIER 4
Type de batiment SC SC Type II-1hr, III-1hr ou V-1hr Type I ou II-FR
Murs porteurs
extérieurs
Selon
batiment
Selon batiment 1H minimum 4h minimum
Murs porteurs
intérieurs
Selon
batiment
Selon batiment 1H minimum 2h minimum
cadre de structure
Selon
batiment
Selon batiment 1H minimum 2h minimum
murs internes hors
salle data
Selon
batiment
Selon batiment 1H minimum 1H minimum
murs internes salle
data
Selon
batiment
Selon batiment 1H minimum 2h minimum
Normes de blindage
portes et fenetres
SC SC niveau 3 niveau 3
Poids au m² 730 kg/m² 850 kg/m² 1200 kg /m² 1200 kg/m²
Respect norme
NFPA-75
SC Oui Oui Oui
Il s’agit principalement de normes correspondant à la sécurité incendie et
maitrise du poid supporté par la dalle par m². Il ne faut pas oublier que
certains racks sont préparés pour supporter des poids allant jusqu’à 1000 kg
!!! (bâtiment civil d’habitation c’est 450kg/m²- Industriel 1.2 t/m²)
35
36. L’ÉLECTRICITÉ: UN DES PRINCIPAUX
POINTS CRITIQUES POUR LA HAUTE
DISPONIBILITÉSITE TIER 1 TIER 2 TIER 3 TIER 4
Nombre sources électriques 1 1 2 (actif/passif) 2(actif/actif)
Points d'entree bâtiment 1 1 2 2 par source
Possibilité maintenance poste
transfo
non non oui oui
Points de rupture possibles
1 ou
plusieurs
1 ou plusieurs aucun aucun
Système de bascule electrique
Système
ATS
Système ATS Système ATS Système ATS
Sources éléctriques aux
équipements
1 1 2 2
Autonomie groupe electrogène
8h main
non requis
si 8mn sur
onduleur
24H 72h 96h
Installation Onduleurs (UPS) N
N+1 (N
actif/passif)
N+1 (N actif/passif)
2N (actifs en load-
balancing %charge)
Arrivée depuis onduleurs Oui Oui
Oui (dispatch par
phases)
Oui, minimum 2 sources
différentes et différentes
phases
Prises de terre internes SC SC Oui Oui 36
37. EXEMPLE D’ARCHITECTURE
ÉLECTRIQUE TIERS 3
Remarque: Les Datacenters sont très énergivores, on utilise la mesure du PUE (Indicateur
d'efficacité énergétique) pour mesurer l'efficacité énergétique. Un PUE de 2,0 signifie que pour
chaque watt d'alimentation du système informatique, un watt supplémentaire est consommé pour
refroidir et distribuer de l'électricité aux équipements. Un PUE proche de 1,0 signifie que la quasi-
totalité de l'énergie est utilisée pour les systèmes. exemple :1.35 de mesure standard et 1.12 chez
google. (1.9 début années 2000)
37
38. MAINTENIR UNE TEMPÉRATURE ENTRE 21°C
ET 25°C ET UNE HUMIDITÉ ENTRE 40% ET 55%
SITE TIER 1 TIER 2 TIER 3 TIER 4
Terminaux internes
et compresseurs
externes(Air/eau
glacé)
Pas de
redondance
1 unité par zone
critique
Multi-Redondances par
zone critique en prenant
compte l'alimentation
éléctrique down
Multi-Redondances par
zone critique en prenant
compte l'alimentation
éléctrique en down
Système
d'alimentation
Simple Simple Multiple Multiple
Système de
contrôle de
l'humidité
Oui Oui Oui Oui
Pompes à eau
Pas de
redondance
1 unité par zone
critique
Multi-Redondances par
zone critique en prenant
compte l'alimentation
éléctrique down
Multi-Redondances par
zone critique en prenant
compte l'alimentation
éléctrique en down
Tours de
refroidissement
Pas de
redondance
1 unité par zone
critique
Multi-Redondances par
zone critique en prenant
compte l'alimentation
éléctrique down
Multi-Redondances par
zone critique en prenant
compte l'alimentation
éléctrique en down
Condensseurs Simple Simple Double Double
38
39. AMÉNAGEMENT POUR OPTIMISER LES
RESSOURCES
Câbles courant fort niveau couloirs froids
Câbles courant faible nivau couloirs chauds
Systèmes de refroidissement par bouclier thermique sur les armoires
39
40. L’univers du Datacenter évolue; conserver une approche de refroidissement à
l’ancienne est source de gaspillage et de copieuses factures d’électricité. Les
nouvelles approches permettent d’obtenir de meilleurs résultats tout en limitant
les investissements et les coûts de maintenance.
Les nouvelles techniques de refroidissement (l'eau ou l’immersion des
composants dans des liquides non conducteurs)
CLIMATISATION CLASSIQUE FRONTALE OU PAR LE BAS
(CRAC = COMPUTER ROOM AIR CONDITIONNING)
40
41. CŒUR DE RÉSEAU ET INFRASTRUCTURE TÉLÉCOM
SITE TIER 1 TIER 2 TIER 3 TIER 4
Accès FSI Simple
Multiple 20m
d'ecart
Multiple 20m d'ecart Multiple 20m d'ecart
Accès Télécom Simple
Multiple 20m
d'ecart
Multiple 20m d'ecart Multiple 20m d'ecart
Alimentation
équipements
Simple Double Double (minimum Double (minimum)
Duplication
équipements
Non Non Oui Oui
D’autre par le Datacenter est garant de la sécurité des accès réseau et
télécom, il est à sa charge de piloter et gérer les firewalls pour les accès
communs (Fo, Bande passante garantie, accès publics).
41
42. EXEMPLE DE CŒUR DE RÉSEAU D’UN DATACENTER
Access Layer:
ce sont des Switch hautes
performances, avec peu de latence. Les
serveurs sont simplement ou
doublement attachés. Avec les doubles
attachés, il faut un VLAN/Trunk entre les
2 liens pour supporter la même IP
Datacenter Agrégation :
Agrégation des Uplinks de la couche
d’accès vers la couche cœur. C’est un
point critique pour le contrôle et les
services d’applications. Les
équipements de sécurité et services
d’application (Load-balancing, SSL,
Firewalls, IDS) fournissent les services
L4-L7 et sont déployés en modules dans
la couche d’agrégation.
Datacenter Core:
Comporte la couche d’accès vers les
connexions externes (routage,
séparations clients). C’est la porte
d’entrée réseau au Datacenter.
42
43. LA SÉCURITÉ PHYSIQUE
SITE TIER 1 TIER 2 TIER 3 TIER 4
Surveillance video
externe
SC SC Oui Oui
Video sur contrôle
accès
SC Oui Oui Oui
Video salle Racks SC SC Oui Oui
enregistrement SC SC Oui Oui
enregistrement SC SC Oui Oui
Bureau de Sécurité SC Oui Oui Oui
Staff Sécurité par
garde
SC
2 minimum
(1/2000m²)
3 minimum (1/2000m²) 3 minimum (1/2000m²)
Extinction
automatique par
Gaz
Non Non Oui (fm200 ou le Novec) Oui (fm200 ou le Novec)
Type de contrôle
d'accès
Industriel Access Card Biometrique / carte acces Biometrique / carte acces
43
44. SUPERVISION DES ÉQUIPEMENTS : LE NOC
Un centre de supervision, ( NOC) est
nécessaire dans les Datacenters. Il
peut être assez important abritant plus
de 20 postes de travail , et est souvent
situé dans une salle sécurisée et
séparée . Il faut souvent une porte
d'accès direct à l'espace de la salle
informatique pour répondre aux
besoins opérationnels. C’est depuis cet
espace que seront supervisés les
équipements informatiques ou services
dans les cas de Saas, Iaas ou Paas ou
bien encore les systèmes de survie du
datacenter (état électrique, état
onduleurs, température des baies, taux
d’humidité, température générale).
Il ne faut pas confondre le NOC et le PC de sécurité, qui lui est dédié aux alarmes
physiques telles que la détection incendie, d’intrusion et du contrôle d’accès
44
45. QUAND DOIT-ON PASSER AU DATACENTER ?
Aujourd’hui encore, une des questions qui se pose c’est quand transférer sa
salle et son infrastructure informatique vers un Datacenter et si le besoin est là.
Pour répondre à cette question, nous devons nous demander plusieurs choses:
-De qu’elle degré de disponibilité de mes équipements ai je besoin ?
- De quels services ai-je besoin ?
- Combien me coûte mon infrastructure actuelle par an?
- De qu’elles compétences ai-je besoin et à quel degré ?
- De qu’elle évolutivité ai-je besoin ?
- Combien d’espace prend mon infrastructure ?
- Dois je accéder quotidiennement à mon système ?
Une fois ces question répondues, il s’agira d’effectuer un calcul de type ROI
pour connaitre l’aspect économique et d’une analyse fonctionnelle pour
connaitre les besoins d’accès et disponibilité
45
46. QUELQUES NORMES ET CERTIFICATIONS DE DATAC
TIA-942 Normes de construction et ambiance
Définit le Tiers du Datacenter.
ISO 27001 Normes de sécurité
- Gestion des risques
- Sécurité physique des locaux
- Gestion des audits de sécurité
ISO 14000 Normes d’environnement
-Gestion du bruit
- Recyclage/Gestion de l’eau eau
- Gestion es énergies
- Gestion des produits incendie
ISO 50001
-Normes de gestion de l’énergie
- Déploiement d’ équipements de basse consommation
PCI-DSS
-Gestion des accès utilisateur
aux données bancaires/cartes
bancaires
46
48. CONCLUSION ECOLOGIQUE!
La réduction des besoins en ressources des logiciels qui
s’exécutent au sein du datacenter permet notamment un effet «
boule de neige ». En réduisant les besoins de la couche logicielle,
on réduit les besoins en équipements informatiques, et donc des
systèmes d’alimentation et de refroidissement. La consommation
électrique du datacenter baisse alors mécaniquement dans sa
globalité. Il ne faut cependant pas tomber dans la course au PUE
que se livrent de plus en plus d’acteurs des datacenters. Chaque
datacenter possède un ADN propre qui ne permet pas de le
comparer avec celui d’une autre entreprise. Le meilleur indicateur
de comparaison d’un datacenter reste lui-même dans un état
antérieur.
48
Notes de l'éditeur
Recommended reading before this class: http://en.wikipedia.org/wiki/Data_center
Microsoft tour is 10 minutes 17 seconds
-Provides a nice introduction to Cloud
-Evolution of datacenters
-Efficiency concepts
-Security
Highly recommend taking students on a tour of Purdue data center as we have a wide variety available.
ITAP Jon Miller jmmiller@purdue.edu gives a good tour of Freehafer Datacenter.(Legacy in transition to virtualized systems)
May also wish to contact RCAC john-campbell@purdue.edu
On the Steele site click on over view.There is also a picture of Steele at the top of the page. What does Steele do? How is it configured? There is a staggering amount of information here.
Link after ITaP Data Center
Follow the link
-Click on “ Explore the Richardson Data Center”
This is interactive example of a modern Tier 4 data center. It will allow you to view various elements of a data center in depth or at an overview level.
Photo source:
http://www.eqsl.cc/Graphics/PowerRoom.jpg
Really good example of a “traditional data center” http://www.eqsl.cc/qslcard/DataCenter.cfm