Accéder à une nouvelle dimension du stockage grâce à Ceph et son connecteur pour Zimbra (Beezim) De nos jours, la retention des mails poses des soucis de volumétrie à toutes les entreprise désirant bénéficier d’une solution serveur. Nous allons voir comment Ceph, solution de stockage objet open source, répond aux différentes problématiques (volumétries, sauvegarde restauration au sein de Zimbra) grâce à notre connecteur.

1. Contains proprietary and confidential information
owned by Synacor, Inc. © / 2015 Synacor, Inc.
Zimbra et Ceph
1
Comment “Scaler” le
stockage avec Zimbra
Images Ceph : CC-BY :ross@inktank.com
#zffr2016 @zimbra @beezimfr

2. 4/02/2016
2
• Enjeux du stockage messagerie
• Introduction à Ceph
• Présentation du connecteur
Zimbra-Ceph
• Démonstration

3. Enjeux du stockage messagerie
3
4/02/2016

4. Volumétrie en constante augmentation
• Augmentation des quotas et de l’espace utilisé
1. Effet Gmail
2. Moins de client lourd (Passage de POP à IMAP)
• Augmentation de la taille des pièces jointes
• Intelligence et mémoire de l’entreprise encore présente
dans la messagerie
• Mutualisation des messageries
1. Evolution des problématiques :
a. Temps de backup
b. Augmentation du stockage
2. Conservation des besoins Professionnels
a. Restauration d’une arborescence à un instant donné
b. Restauration de compte supprimé
4

5. Volumétrie en constante augmentation
• Il faut maitriser les coûts associés au stockage
• Le stockage de la messagerie ne diminue pas
• La messagerie est un outil central dans l’entreprise
1. Données critiques
2. Souhait de temps de reprise d’activité très courts, sans perte, avec
consistance des données
5

6. Introduction à Ceph
6
4/02/2016

7. 7
How Much Store Things All Human
History?!
écriture
papier
ordinateurs
stockage distribué
cloud computing
gaaaaaaaaahhhh!!!!!!
sculpture

8. 8

9. 9
OPEN SOURCEOPEN SOURCE
COMMUNITY-FOCUSEDCOMMUNITY-FOCUSED
SCALABLESCALABLE
NO SINGLE POINT OF FAILURENO SINGLE POINT OF FAILURE
SOFTWARE BASEDSOFTWARE BASED
SELF-MANAGINGSELF-MANAGING
philosophy design

10. 10
8 years & 20,000 commits later…

11. 11
DISKDISK
FSFS
DISKDISK DISKDISK
OSDOSD
DISKDISK DISKDISK
OSDOSD OSDOSD OSDOSD OSDOSD
FSFS FSFS FSFSFSFS
btrfs
xfs
ext4
MMMMMM

12. Monitors:
• Contient l’état et la liste des
membres du cluster
• Consensus pour la prise de
décision distribuée
• Petit nombre
• Ne fournissent pas les
données aux clients
12
MM
OSDs:
• 1 à 10000 dans un cluster
• Un par disque
• Fournissent les objets
• Répliquent et réparent les
données intelligement

13. 13
RADOS
Noeuds de stockages fiables, autonomes, distribués avec réparation automatique.
RADOS
Noeuds de stockages fiables, autonomes, distribués avec réparation automatique.
Accès API
LIBRADOS
Librairie permettant
l’accès direct
à RADOS.
Support pour C, C++
Java, Python,
Ruby et PHP
Accès API
LIBRADOS
Librairie permettant
l’accès direct
à RADOS.
Support pour C, C++
Java, Python,
Ruby et PHP
Accès Block
RBD
Périphérique block
complètement
distribué, intégré au
kernel Linux, driver
QEMU/KVM
Accès Block
RBD
Périphérique block
complètement
distribué, intégré au
kernel Linux, driver
QEMU/KVM
Système de
fichier
CEPH FS
Système de fichier
compatible POSIX,
intégré au kernel Linux
Système de
fichier
CEPH FS
Système de fichier
compatible POSIX,
intégré au kernel Linux
Accès Objet
RADOSGW
Interface REST
compatible avec S3 et
Swift
Accès Objet
RADOSGW
Interface REST
compatible avec S3 et
Swift
APPAPP APPAPP HOST/VMHOST/VM CLIENTCLIENT

14. Zimbra et Ceph
14
4/02/2016

15. Besoins pour un stockage de
messagerie
Stratégiques
• Fiabilité
• Scalabilité
• Sécurité
• Pérénité
• Support
• Backup fonctionnel (par boite)
Techniques
• Stripping
• Déduplication
• Transactions
• Performances
15

16. Pourquoi Ceph Rados ?
• Ceph est Opensource
• Ceph est une solution RedHat
• Ceph permet de faire des snapshots
• Ceph permet de créer des IO sur mesure
• Ceph permet d'accéder directement aux nœuds de
stockage sans passer par une gateway web
• Ceph permet de répartir les données sur plusieurs
datacenters
• Ceph optimise le stockage avec Erasure Coding (calcul de
parité)
• Ceph est simple
16

17. Où sont les données dans Zimbra ?
Zimbra : 4 éléments pour le stockage des données des
utilisateurs
• Les métadonnées, enregistrées dans MariaDB (≈ 4%)
• L'indexation dans Lucene (≈ 9%)
• Les emails et fichiers (blobs) (100%)
• Les backups (≈ 230%) pour 15 jours
17

18. Fonctionnalités
• Stockage réduit
1. Pas de RAID
2. Utilisation de Erasure Coding (RAID 5 software)
• PRA simplifiée
1. Espace disque nécessaire pour un PRA inter-site divisé par 3
18

19. Fonctionnalités du connecteur
• Sauvegarde compte par compte
1. Temps de sauvegarde divisé par 25
2. Supplément d’espace nécessaire pour les backups : Environ 25%
de l’espace total
a. Uniquement les fichiers supprimés
19
0
5
10
15
20
25
30
Sauvegarde
Standard
Sauvegarde Ceph
Temps

20. Exemple de stockage
20
Data
Raid 1
PRA
Raid 1
BackupBackup
Classique
Avec Ceph
Raid 5
Data EC
E
C

21. Diminution de l’espace disque
nécessaire
21
0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
PRA Backup
Standard
Ceph

22. Fonctionnalités du connecteur
• Déduplication des données
1. Entre les comptes
2. Entre les stores
3. Entre différentes architectures Zimbra
22

23. Fonctionnalités du connecteur
• Restauration compte par compte
1. Mise à disposition des données instantanée
a. Restauration en utilisant le snapshot Rados en lecture seule
2. Restauration complète d’une boite possible (copie intégrale)
23
0
10
20
30
40
Restauration
Standard
Restauration Ceph
Temps de restauration

24. Fonctionnalités du connecteur
• Augmentation de l’espace disque par ajout d‘OSD sur Ceph
• Tiering
1. Intégration au système de tiering Ceph
24

25. Autres Avantages
• Diminution de la taille des VM
• Augmentation du nombre de comptes par Store
• Mises à jour par “rolling upgrade” facilités
• Prêt pour Zimbra 9
25

26. Comment migrer ?
Depuis Zimbra :
• Installer un serveur supplémentaire dans l’architecture
• Configurer le serveur avec le connecteur Ceph
• Migrer les boites email
1. Très simplement, compte par compte par déplacement de boite
2. Coupure de service par boite très court
Depuis une autre solution de messagerie :
• Pas de différence à une migration vers Zimbra
26

27. Démo
27

28. 4/02/2016 28
09 72 33 25 68
contact@beezim.fr
@beezimfr
www.beezim.fr

29. ©2015 Zimbra, Inc. All rights reserved. Zimbra and its
symbol are registered trademarks of Zimbra, Inc. Other
company and product names mentioned are property of
their respective owners. The contents of this publication
are subject to change without notification, are the property
of Zimbra, and cannot be reproduced without Zimbra’s
written permission. The contents of this publication are
not a commitment by Zimbra to provide the features and
benefits described.
Zimbra
3000 Internet Blvd., Suite 200
Frisco, TX 75034 USA
Main: +1 972-407-0688
Main US toll-free: 877-492-9484
Sales: +1 972-407-0688
www.zimbra.com
29