Introduction aux techniques de déduplication

p
Marc Cheli
S i S l S i li tSenior Sales Specialist
Backup, Recovery and Archiving
30 A 09
1© Copyright 2009 EMC Corporation. All rights reserved.
30-Apr-09
Page 1
www.TelechargerCours.com
Introduction aux techniques de
Déduplication

Le Vocabulaire associéLe Vocabulaire associé
DéduplicationDéduplication
Page 2

Pourquoi tant d’intérêts pour la Déduplication?q p p
La sauvegarde et la restauration reste un problème pour la plus part desLa sauvegarde et la restauration reste un problème pour la plus part des
entreprise du fait de la croissance (information, servers, applications,
réseau)
Les entreprises protègent plus de données. Les volumes augmentent
(desktop, mobile, bureau déportés).
Les données sont conservées sur de plus longues période pour des
raisons de « gouvernance » interne ou de « compliance » externe.
Les bandes magnétiques ne sont pas idéales pour les tâches de
sauvegarde et de restauration, et l’industrie se tourne vers le B2D.
C’est la sauvegarde sur disque qui permet
C est la sauvegarde sur disque qui permet
cette technologie !
Page 3

Comment ça marcheCo e t ça a c e
Déd li ti Gl b l
 Morcèle l’information en
Atome
 Envoi et stocke
chaque atome une
 Recipient
d’atomes
Déduplication Globale
seule fois
O
H HO
H H
O H
O
H H
O
H H
O
H H
…réduction des données
journalières jusqu’a 600 fois
O
H H
Page 4

Comment ça marcheCo e t ça a c e
Déd li ti Gl b l
 Trouve et envoie les
atomes non-commun
 Morcèlisation d’un autre
élément  Recipient
d’atomes
Déduplication Globale
…réduction des données
journalières jusqu’a 600 fois
Le facteur de Commonalité…
maximize la réduction
Page 5

Techniques de Data Déduplicationec ques de ata édup cat o
Page 6

Méthode de “Hashing”
l Fi l V i bllongueur Fixe vs longueur Variable
Original: Je vais au bureau = 5 Objets
Méthode Fixe :
Original: Je vais au bureau. = 5 Objets
<> <> <><><><>
= 6 Nouveaux Objets
<> <>
Changement: Je Rentre au bureau.
<><><><>
Méthode Variable :
O i i l J i b 4 Obj tOriginal: Je vais au bureau. = 4 Objets
= 1 Nouvel Objet
<>
Changement: Je Rentre au bureau.
Page 7

Pourquoi tant d’intérêts pour la
D t D D li ti ?Data De-Duplication?
Petit exemple….
1 MB
Incrément journalier env.0
F ll i (3 i 12) 12MBFull semaine (3 mois = 12) 12MB
Full Monthly 9MB
Full annuel (5 ans) 5MB
Total 26 MB
Compression 1:2 13 MB
Si le fichier est envoyé à 10 personnes…..
sa sauvegarde génère 130 MB d’occupation sur bandesa sauvegarde génère 130 MB d occupation sur bande
Page 8

Autres sources de redondance:
M difi ti d fi hiModifications de fichier
Chaque fichier = 1MB
RAW Data
Total Capacity Backed Up
O 3 M thOver 3 Months
Typical Backup 3MB/2 = 1.5MB 26 Fulls = 39MB
1.00MBDe-Duplicated
Backup
1.25MB 26 Fulls = 1.25MB
p
30 fois MOINS de capacité génèrée sur cet exemple
30 fois MOINS de capacité génèrée sur cet exemple
Page 9

L’effet de la dé-duplication
Où l’appliquer ?
A la source
Où l appliquer ?
A la source
—Déduplication avant que la donnée soit transportée sur le réseau
A la cible
—Après que la donnée soit transportée sur le réseau vers sa cible
ESX
Bku
SANSAN
Page 10

Quand l’appliquer?
In Band
pp q
In-Band
—Au vol, dans le chemin de la donnée
Out-of-Band
—Post-traitement, de manière planifiée
ESX
Bku
SANSAN
Page 11

Spectre de la réduction de capacitéSpect e de a éduct o de capac té
Capacité native 2 TB de donnés
A l iblA la cible
Facteur
de
réduction
2x
10-30x
réduction
De-duplication à la cible (DL 3D) 200–66 GB
Compression 1 TB
Avamar Déduplication globale à la Source
10 30x De duplication à la cible (DL 3D) 200 66 GB
p g
50 150x Mix de fichiers et de base de données 40 15 GB
Facteur
de
réduction
50-150x
300x Fichiers Windows ou UNIX file data (cas réels) 7 GB
Mix de fichiers et de base de données 40–15 GB
500-600x Fichiers Windows or UNIX file data (Meilleur exemple, cas réels) 4 GB
Page 12

EMC Avamar
En route vers le “Tape-less”
Page 13

EMC Avamar AperçuEMC Avamar Aperçu
Révolutionne les processus de sauvegarde avec
Réduit de manière radicale la taille de la sauvegarde à la source avant le transfert
Révolutionne les processus de sauvegarde avec
la déduplication en blocs variables à la source
sur le réseau
– Réduit considérablement le besoin de bande passante
– Divise jusque par dix le temps de sauvegardej q p p g
Deduplifie & gère globalement
– A travers les sites et les serveurs
E Ré é
A travers les sites et les serveurs
pour une efficacité maximum
Réduit la dépendance aux bandes
En Résumé
Réalise des économies
– Stocke plus de « full backup » sur disque
Sauvegardes sûres et rapides
Vi l i f t t h i t i t ll
– Sur le stockage, sur le réseau, sur le
transport (off site)
Réduit la complexité et les risques
– Garanti que l’information est sous contrôle
– Via les infrastructures physiques et virtuelles Adresse les problèmes de
sauvegarde et de restauration là où
ils sont
– VMware, Sites déportés, NAS, redondance
VMware, Sites déportés, NAS, redondance
d’information, etc….
Page 14

EMC – Avamar – une présence globalep g
Depuis 1999 aux US
Depuis 2007 en Europe
Page 15

Avamar, Comment ça marche? Exemplea a , Co e t ça a c e e p e
 Copie modifiée Copie non-modifiée
Site principal
 Fichier original
Agence 1 Site secondaire
 Copie modifiée Copie non-modifiée Fichier original
Company_Overview.ppt
B
C
D
D
A
A
A B
C D
B
DD
D
C
A
B
B
A
C D
A
C
Seuls les
atomes uniques
sont envoyés
EB
C
D
Le fichier est déjà
sauvegardé, seul un
identifiant unique est stocké
(Pointeur de 20 octet)
Un nouvel atome est
identifié et sauvegardé
A B C D E
Serveur Avamar
Page 16

Avamar, Comment ça marche? En détaila a , Co e t ça a c e déta
Les 0 et les 1 ????
Page 17

Avamar Comment ça marche? RésuméAvamar, Comment ça marche? Résumé
Déduplication à la source / Globale
 L’agent du client  Morcèles les fichiers  Seuls les atomesg
parcourt les données à
la recherche des
changements
en segments de
longueur variable
(atomes)
unique sont
stockés
Questionne le cache
local pour identifier et
Comprime et applique un code à
local pour identifier et
ignorer les fichiers
statiques
chaque atome
Interroge le cache local et le
serveur Avamar pour déterminer
Avamar Data
Store ou le
Serveur Avamar
serveur Avamar pour déterminer
si l’objet est unique
Page 18

Avamar topologie et flux de donnéesAvamar topologie et flux de données
A hit t Cli t / S & G ti C t li é
Clients Data Store GestionRéseau
Architecture Client / Serveur & Gestion Centralisée
Clients Data Store GestionRéseau
Storage Nodes Enterprise
Manager (http)
Bases de données
Restauration Manager (http)
Atomes
Uniques
Restauration
LAN / WAN
Sécurisé
Serveurs
IP
Wide Area Network
Switch
Desktop / Laptop
Utility & Spare
Nodes
Avamar
Administrator
Wide Area Network
Sauvegarde
Page 19

Avamar – Architecture InnovanteAvamar Architecture Innovante
Avamar Data StoreRAIN US Patent No 6 826 711
RAID (1) protection contre les pannes
Avamar Data Store
Parité distribuée
Verified
checkpoint
RAIN – US Patent No. 6,826,711
( ) p p
de disques
RAIN (Redundant Array of Independent
Parité distribuée
Nodes) protection contre les pannes de
serveur
– Chaque serveur possède ces disques et saChaque serveur possède ces disques et sa
puissance de calcul
– Architecture en “GRID” pour l’extension et
pour la performancep p
– Permet de la tolérance de panne grâce au
basculement d’un serveur
Réplication
Single node
Réplication
– Utilise la même technologie de déduplication
Vérification d’intégrité journalier
Vérification d intégrité journalier
Page 20

Exemples de déploiementExemples de déploiement
Flexibilité de déploiement
Avamar
Multi-node
Flexibilité de déploiement
ROBO
Agents directs sur le DS
Agents directs sur le DS local
Qui réplique sur le DS principal
Agents directs sur le AVE
Qui réplique sur le DS principal
Multi node
Data Store
Avamar
Single-node
Data Store Local
S t
A VE
OS
Client/Agent
Légende
System
Secure ClientSecure Client
SSL Server Paths Secure AES
Replication Paths
Enterprise
ManagerManager
Secure VPN
Site principal
(Main Data Store)
Site Secondaire
(DR System)
Page 21

Fonctionnalités et Bénéfices
• Réduit drastiquement l’utilisation du réseau
o ct o a tés et é é ces
• Réduit drastiquement l utilisation du réseau
• Encryptions à 256-bit AES. Stockage et
transporttransport
• Full tout les jours!
Datacenter Remote
• Réplication Logique, programmée et
asynchrone "many to one or one to many "
Datacenter Remote
Office
/
• Détection des collisions de code éventuelles
Avamar
Server
LAN / WAN
Sécurisé
• Vérification d’intégrité
• Gestion Centralisée
Avamar
Server
• Gestion Centralisée
• Rétentions définissable par l’administrateur
Off-site Data
• Supprime le besoin d’externalisation des
bandes
Page 22

Creation d’un “job”C eat o d u job
Page 23

Restaurationestau at o
Page 24

Matrice d’Agents Avamarat ce d ge ts a a
Systèmes d’exploitation supportésSystèmes d exploitation supportés
Microsoft Windows Server 2008 (with System State Recovery)
Microsoft Windows Server 2003 Standard and EnterpriseMicrosoft Windows Server 2003 Standard and Enterprise
Microsoft Windows Client XP, XP Professional, Vista
R d H t E t i Li (RHEL) 3 0 4 0 5 0 R d H t Li 9 0Red Hat Enterprise Linux (RHEL) 3.0, 4.0, 5.0 Red Hat Linux 9.0
SUSE Linux Enterprise Server 8.2, 9, 10
SCO UNIX 0 d 0SCO UNIX v5.0.5 and v5.0.7
Free BSD 6.2
HP-UX 11.0, 11iV1, 11iV2, 11iV3
IBM AIX 5.2, 5.3, 6.1
= ESX client OS-certified using
RHEL 4 client (support within
virtual machines depends on
Solaris 8, 9, 10, 10x86
Mac OS X 10.4x, 10.5x
virtual machines depends on
VMware support of client
operating system)
NetWare 6.5
Novell Storage Services (NSS) OES 2
Page 25

Module d’Applications supportées par Avamarodu e d pp cat o s suppo tées pa a a
I f t t Vi t llInfrastructure Virtuelles
VMware ESX Server versions 3.0.x, 3.5, 3i
Microsoft Hyper-V – guest OS support (Windows 2008)
Modules d’Applications
Microsoft Exchange 2000, 2003, 2007
Microsoft SQL Server 7.0, 2000, 2005
SharePoint 2007
Lotus Notes/Domino (v6, 7 and 8.01)
Oracle 9i, 10g, 10gR2
IBM DB2 8.2.x, 9.5
NDMP (EMC Celerra) DART 5.5, 5.6
NDMP (NetApp) Data ONTAP 6.5, 7.0.4, 7.0.5, 7.0.6, 7.1x. 7.2
Page 26

VMware - Backupp
Page 27

Les challenges associés à la sauvegarde des
environement virtuels
L i t li ti h d ti t l d é d b
environement virtuels
La virtualisation change drastiquement les données de base…
NEW PARADIGM
Environment Virtuel: Bonne utilisation des
OLD PARADIGM
Environment physique: utilisation faible des
Serveur Serveur Serveur
ressources, peu de bande passante pour la
sauvegarde
ressources, plein des ressources pour la
sauvegarde
Serveur A Serveur B Serveur C
Virtuel A Virtuel B Virtuel C
100%
80%
onon
100%
80%
tiontion
Serveur A Serveur B Serveur C
40%
60%
CPUUtilizatioCPUUtilizatio
40%
60%
CPUUtilizatCPUUtilizat
0%
20%
0%
20%
ressources physiques partagées
Utilisation des ressources 20% Utilisation des ressources 80%
Page 28

VMware Backup Avec AvamarVMware Backup Avec Avamar
Pl d’ ti ’i t ll t li ti
VMware Guest Backup
Plus d’option que n’importe quelle autre application
p
– Déduplification dans chaque VM
VMware Consolidated Backup
Déduplification dans le VCB proxy server– Déduplification dans le VCB proxy server
VMware Service Console Backup
– Déduplification dans la Console ESX
VMware Backup with Snaps/Clones
– Déduplification en dehors de ESX de production
Page 29

Résultats Avamar pour Vmware VM BackupRésultats Avamar pour Vmware VM Backup
A Th ‘Kill A ’ f VM
• Jusqu’à 95% de réduction du trafic
Avamar – The ‘Killer App’ for VMware
Jusqu à 95% de réduction du trafic
• Jusqu’à 90% de réduction de temps de
sauvegardeg
• Jusqu’à 95% de réduction d’utilisation des
disques
• Jusqu’à 95% de réduction de la carte réseau
• Jusqu’à 85% de réduction du CPUJusqu à 85% de réduction du CPU
• Jusqu’à 50% de réduction de la mémoire
Toutes les sauvegardes stockées sous
la forme de “full” sont disponible pour
é
une restauration immédiate
Page 30

Comparison de l’utilisation des ressourcesComparison de l utilisation des ressources
Sauvegarde traditionelle Avamar
Utilisation du CPU
g
Utilisation du Réseau
Utilisation des disques
Page 31

EMC Avamar Virtual Edition for Vmware (AVE)C a a tua d t o o a e ( )
Avamar Server Software livré sous la forme d’une Virtual Appliance
La première “appliance” virtuelle de
l’industrie pour la sauvegarde et pour le
Avamar VM
l’industrie pour la sauvegarde et pour le
“disaster recovery”
Operating System
Prendre bénéfice de l’existant
– Utilisation du (SAN, NAS, or DAS) Avamar VM
Operating System
Application
Operating System
La réplication entre deux “appliance”
élimine le besoin d’externaliser des
bandes Hardware
ESX Server
bandes
DiskNICMemoryCPU
Page 32

ROBO - Backupp
Page 33

Sauvegarde traditionnelle des environements
déportésdéportés
Backup
Ch ll Backup
Server
• La Taille de “l’incremental” est trop
importante
Challenges
importante
– Blockage au niveau du WAN
– Prix du WAN
– Processus peu fiable
– Decentralisation des opérations
WAN
Decentralisation des opérations
– Pas de personel IT dans les agences
Web
Files / Email
applications
File Servers
Page 34

Sauvegarde et restauration déportée en
tili t l déd li ti à lutilisant la déduplication à la source
Ad t Si li itéAdvantages – Simplicité
• La déduplification à la source permet la
sauvegarde et la restauration à travers lesauvegarde et la restauration à travers le
WAN et ce de manière:
– Automatisé
– Encrypté
– Centralisé
WAN
Centralisé
– Flexible
– ROI très rapide
Web
Files / Email
applications
File Servers
Page 35

NAS NDMP - Backupp
Page 36

NAS Sauvegarde – avant et après AvamarNAS Sauvegarde avant et après Avamar
Monday Tuesday Wednesday Thursday Friday Saturday Sunday Monday Tuesday Wednesday Thursday Friday Saturday Sunday
8:00 AM
9:00 AM
10:00 AM
11:00 AM
12:00 PM
1:00 PM
2:00 PM
8:00 AM
9:00 AM
10:00 AM
11:00 AM
12:00 PM
1:00 PM
2:00 PM
Le challenge #1 de la sauvegarde
du NAS c’est la fenêtre de
sauvegarde
Avant Avamar
3:00 PM
4:00 PM
5:00 PM
6:00 PM
7:00 PM
8:00 PM
9:00 PM
10:00 PM
11:00 PM
12:00 AM
1:00 AM
2:00 AM
3:00 AM
4:00 AM
Weekend
Full NDMP
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
Weekend
Full NDMP
Backup
3:00 PM
4:00 PM
5:00 PM
6:00 PM
7:00 PM
8:00 PM
9:00 PM
10:00 PM
11:00 PM
12:00 AM
1:00 AM
2:00 AM
3:00 AM
4:00 AM
Weekend
Full NDMP
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
NDMP
Incremental
Backup
Weekend
Full NDMP
Backup
sauvegarde
Les “Fulls” sont souvent incomplets 5:00 AM
6:00 AM
7:00 AM
5:00 AM
6:00 AM
7:00 AM
Les Fulls sont souvent incomplets.
Le NDMP “full” journalier avec
8:00 AM
9:00 AM
10:00 AM
11:00 AM
12:00 PM
1:00 PM
2:00 PM
3:00 PM
8:00 AM
9:00 AM
10:00 AM
11:00 AM
12:00 PM
1:00 PM
2:00 PM
3:00 PM
j
Avamar est 10x plus rapide que la
méthode traditionnelle.
Après Avamar
4:00 PM
5:00 PM
6:00 PM
7:00 PM
8:00 PM
9:00 PM
10:00 PM
11:00 PM
12:00 AM
1:00 AM
2:00 AM
3:00 AM
4:00 AM
5:00 AM
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
4:00 PM
5:00 PM
6:00 PM
7:00 PM
8:00 PM
9:00 PM
10:00 PM
11:00 PM
12:00 AM
1:00 AM
2:00 AM
3:00 AM
4:00 AM
5:00 AM
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Avamar
NDMP
Full
Backup
Les sauvegardes sont
immédiatement disponible pour des
restaurations extrêmement rapides
6:00 AM
7:00 AM
6:00 AM
7:00 AM
restaurations extrêmement rapides
Page 37

Avamar NAS / NDMP Backup AcceleratorAvamar NAS / NDMP Backup Accelerator
Comment ça marche?
– L’Accélérateur Avamar utilise NDMP pour communiquer avec le NAS
L’A élé t A é l l d é difié I l t d– L’Accélérateur Avamar ne réclame que les données modifiées
– L’Accélérateur Avamar réalise la déduplication des données modifiées
Seuls les nouveaux segments sont envoyés au Data Store
In selected
cases, mount-
points may be
used as anSeuls, les nouveaux segments sont envoyés au Data Store
Avamar
Les sauvegardes sont immédiatement disponible pour les
used as an
option to meet
specific or
uniqueg p p
activités de restaurations
– Cela évite les opérations de restauration du « full » puis des incréments
journaliers
unique
customer
requirements
journaliers
Disponible pour les plateformes NAS EMC et NetApp
LAN LAN/WAN EMC
Avamar
Data Store
NAS Device
(EMC or NetApp)
Avamar
NDMP
Accelerator
Page 38

Résumé
Page 39

Avamar Résout les défis associés à la
sauvegardesauvegarde
• Virtual Server Backup
Déduplication à la source – Efficacité Maximale & Réduction du Stockage
– Déduplication dans la machine virtuelle
– Minimise l’impact sur les ressources physiques
File system / NAS backupFile system / NAS backup
– MS Office – Taux de commonalité important
– Plus de contrainte de bande passante
Pl j i d “ i” “f ll b k ”!– Plus jamais de “vrai” “full backup”!
Fast, efficient Remote Office Backup
– Déduplication globale à la sourceDéduplication globale à la source
– Utilisation du réseau minimale
– Gestion centralisé
T l I f t tTapeless Infrastructure
– Les donnés sont répliquées off site
40© Copyright 2009 EMC Corporation. All rights reserved. 40
Sauvegarde “full” jusqu’a 10 fois plus rapide , restauration trés simple
Page 40

Introduction aux techniques de déduplication

Contenu connexe

Tendances

En vedette

Dernier

Introduction aux techniques de déduplication