Calcul Québec - Florent Parent

1. Campus DMZ
Florent.Parent@{calculquebec.ca | dti.ulaval.ca}
Chef de division, DTI, Université Laval
Responsable du bureau d’architecture, Calcul Québec
Networking National Team lead, Compute Canada
Colloque RISQ 2016

2. Objectifs
• En quoi cette présentation peut vous intéresser?
• Calcul Canada: Infrastructures de calcul et de stockage
• 60+ PB de stockage pour les données de recherche
• Infrastructures importantes pour les chercheurs de votre campus
• Questions qui vous semble familières?
• “J’utilise scp, rsync et c’est trop lent”
• “Je déplace mes données sur un disque USB”
• ”Comment puis-je améliorer le taux de transfert de données de mon
laboratoire vers la plateforme nationale?”

3. Agenda
• Calcul Canada
• Regroupement et consolidation
• Réseau national de recherche et d’éducation
• Transfert de données
• Contraintes, considérations
• Science DMZ
• Calcul Canada
• Campus et laboratoire de recherche

5. Regroupement et consolidation
Actuel
•27 sites
•50 systèmes
2018
•5-10 sites
Importance accrue du réseau entre les
laboratoires de recherche et centres de calcul

6. Investissements technologique
https://www.computecanada.ca/la-plateforme-canadienne-de-cip-pour-
la-recherche/

7. Réseau National de
Recherche et d’Éducation

8. Transfert de données rapide vers la
plateforme nationale?
Calcul Canada Campus
NREN/Canarie

9. “Gestion des attentes”
0
20
40
60
80
100
120
140
160
1 Gbps 10 Gbps 100 Gbps
Temps (min) pour transférer 1 To de données
(cas idéal)
• Stockage
• Disque dur rapide (7200rpm)
• 100 – 125 Mo/s = 1 Gbps
• USB-2: 480 Mbps
• Grosseur et quantité de fichiers
• Serveur
• Génération CPU, PCI, et OS
• Réseau
• Vitesse et latence
• Partage du réseau et TCP: perte de
paquets-> contrôle de congestion
• Pare-feu, filtrage, IPS
2h 15mins
14 mins
1.4 mins
Considérations:
http://fasterdata.es.net/

10. TCP: impact de la latence
Source: http://fasterdata.es.net/network-tuning/tcp-issues-explained/packet-loss/
Intra-campus
Intra-NREN
National
Un réseau conçu pour le transfert de données de recherche
à haut débit est requis

11. The Science DMZ* in 1 Slide
Consists of three key components, all required:
• “Friction free” network path
– Highly capable network devices (wire-speed, deep queues)
– Virtual circuit connectivity option
– Security policy and enforcement specific to science workflows
– Located at or near site perimeter if possible
• Dedicated, high-performance Data Transfer Nodes (DTNs)
– Hardware,operating system, libraries all optimized for transfer
– Includes optimized data transfer tools such as Globus Online and GridFTP
• Performance measurement/test node
– perfSONAR
• Engagement with end users
Details at http://fasterdata.es.net/science-dmz/
* Science DMZ is a trademark of The Energy Sciences Network (ESnet)
© 2013 Wikipedia
1 – ESnet Science Engagement (engage@es.net) - 6/18/16
© 2015, The Regents of the University of California, through
Lawrence Berkeley National Laboratory and is licensed under CC BY-
NC-ND 4.0

12. ScienceDMZ @Calcul Canada
Model architecture: Some variation expected between sites

13. Transfert de données rapide vers la
plateforme nationale?
Campus(es)

14. RISQ
• Réseau de recherche et
d’éducation au Québec
• Gère la dorsale et la boucle
local vers le campus
• Propriétaire du réseau de
fibre optique
• Dorsale IP/MPLS

15. Université Laval
• Propriétaire d’un réseau de fibre
(MAN)
• Interconnecte les centres de
recherche et hôpitaux

16. Campus DMZ
• “Science DMZ” distribuée
• Lien direct avec RISQ
• Routage et accès IP contrôlés
• IPv6
LAN/MAN
Preuve de concept en cours
entre l’Université Laval et
le RISQ

17. Sommaire
• Transfert rapide de données sur un réseau étendu est indispensable,
mais reste un défi
• Collaboration entre chercheurs, experts TI du campus, NREN et Calcul
Canada est essentielle pour la mise en place d’une solution
• Chercheurs: prévoyez infrastructure réseau locale dans vos demandes
d’infrastructure
• Ne pas ré-inventer la roue: les solutions existent.

18. https://www.computecanada.ca/featured-
fr/demonstration-dun-transfert-de-megadonnees-parmi-
les-plus-rapides-au-canada-a-la-sc16/
Simon Guilbault (UL)
Jocelyn Picard (UL)
Jean-Sébastien Landry (UL)
Quan Nguyen (McGill)
Richard Corbeil et l’équipe du RISQ!
Thomas Tam et Richard Klinger (CANARIE)
Jason Chong, Joseph Chen (UofT)
Doug Carson (GTAnet)
Doug Paterson (ORION)

19. DTN 100G à SuperComputing 16

20. Interconnexions internationales à SC16