The Linux Kernel Implementation of Pipes and FIFOsDivye Kapoor
A walkthrough of the code structure used in the linux kernel to implement pipes and FIFOs.
This was presented to a Senior level class at the Indian Institute of Technology, Roorkee.
Boosting I/O Performance with KVM io_uringShapeBlue
Storage performance is becoming much more important. KVM io_uring attempts to bring the I/O performance of a virtual machine on almost the same level of bare metal. Apache CloudStack has support for io_uring since version 4.16. Wido will show the difference in performance io_uring brings to the table.
Wido den Hollander is the CTO of CLouDinfra, an infrastructure company offering total Webhosting solutions. CLDIN provides datacenter, IP and virtualization services for the companies within TWS. Wido den Hollander is a PMC member of the Apache CloudStack Project and a Ceph expert. He started with CloudStack 9 years ago. What attracted his attention is the simplicity of CloudStack and the fact that it is an open-source solution. During the years Wido became a contributor, a PMC member and he was a VP of the project for a year. He is one of our most active members, who puts a lot of efforts to keep the project active and transform it into a turnkey solution for cloud builders.
-----------------------------------------
The CloudStack European User Group 2022 took place on 7th April. The day saw a virtual get together for the European CloudStack Community, hosting 265 attendees from 25 countries. The event hosted 10 sessions with from leading CloudStack experts, users and skilful engineers from the open-source world, which included: technical talks, user stories, new features and integrations presentations and more.
------------------------------------------
About CloudStack: https://cloudstack.apache.org/
Formation complète ici:
http://www.alphorm.com/tutoriel/formation-en-ligne-red-hat-rh124
Redhat est le premier distributeur de du système d’exploitation GNU/Linux.
Red Hat Enterprise Linux est la solution Linux la plus utilisée dans les entreprises et les constructeurs et éditeurs majeurs recommandent Red Hat pour leurs produits.
Nous allons durant cette première formation du cursus Red HatCertified System Administration RHCSA, vous donner toutes les clés pour apprendre, comprendre et administrer un système RHEL 7.
Vous allez découvrir comment :Installer RHEL 7, Gérer le démarrage et les services, Partitionner et créer des systèmes de fichiers sur vos disques, Utiliser avec efficacité le Shell Bash, Installer des logiciels et gérer des dépôts logiciels, Administrer les applications, Gérer les utilisateurs et les groupes, Maîtriser l’exploitation des journaux, Connecter votre système aux réseaux TCP/IP, Déployer des machines virtuelles avec KVM et Libvirt.
Comme à son habitude, Ludovic partagera avec vous toutes les astuces et bonnes pratiques avec plein de travaux pratiques.
Virtual File System in Linux Kernel
Note: When you view the the slide deck via web browser, the screenshots may be blurred. You can download and view them offline (Screenshots are clear).
This presentation provides an overview of the Dell PowerEdge R730xd server performance results with Red Hat Ceph Storage. It covers the advantages of using Red Hat Ceph Storage on Dell servers with their proven hardware components that provide high scalability, enhanced ROI cost benefits, and support of unstructured data.
Moving to PCI Express based SSD with NVM ExpressOdinot Stanislas
Une très bonne présentation qui introduit la technologie NVM Express qui sera à coup sure l'interface du futur (proche) des "disques" SSD. Adieu SAS et SATA, bienvenu au PCI Express dans les serveurs (et postes clients)
Got hundreds of millions of documents to search? DataImportHandler blowing up while indexing? Random thread errors thrown by Solr Cellduring document extraction? Query performance collapsing? Then you've searching at Big Data scale. This talk will focus on the underlying principles of Big Data, and how to apply them to Solr. This talk isn't a deep dive into SolrCloud, though we'll talk about it. It also isn't meant to be a talk on traditional scaling of Solr.
The Linux Kernel Implementation of Pipes and FIFOsDivye Kapoor
A walkthrough of the code structure used in the linux kernel to implement pipes and FIFOs.
This was presented to a Senior level class at the Indian Institute of Technology, Roorkee.
Boosting I/O Performance with KVM io_uringShapeBlue
Storage performance is becoming much more important. KVM io_uring attempts to bring the I/O performance of a virtual machine on almost the same level of bare metal. Apache CloudStack has support for io_uring since version 4.16. Wido will show the difference in performance io_uring brings to the table.
Wido den Hollander is the CTO of CLouDinfra, an infrastructure company offering total Webhosting solutions. CLDIN provides datacenter, IP and virtualization services for the companies within TWS. Wido den Hollander is a PMC member of the Apache CloudStack Project and a Ceph expert. He started with CloudStack 9 years ago. What attracted his attention is the simplicity of CloudStack and the fact that it is an open-source solution. During the years Wido became a contributor, a PMC member and he was a VP of the project for a year. He is one of our most active members, who puts a lot of efforts to keep the project active and transform it into a turnkey solution for cloud builders.
-----------------------------------------
The CloudStack European User Group 2022 took place on 7th April. The day saw a virtual get together for the European CloudStack Community, hosting 265 attendees from 25 countries. The event hosted 10 sessions with from leading CloudStack experts, users and skilful engineers from the open-source world, which included: technical talks, user stories, new features and integrations presentations and more.
------------------------------------------
About CloudStack: https://cloudstack.apache.org/
Formation complète ici:
http://www.alphorm.com/tutoriel/formation-en-ligne-red-hat-rh124
Redhat est le premier distributeur de du système d’exploitation GNU/Linux.
Red Hat Enterprise Linux est la solution Linux la plus utilisée dans les entreprises et les constructeurs et éditeurs majeurs recommandent Red Hat pour leurs produits.
Nous allons durant cette première formation du cursus Red HatCertified System Administration RHCSA, vous donner toutes les clés pour apprendre, comprendre et administrer un système RHEL 7.
Vous allez découvrir comment :Installer RHEL 7, Gérer le démarrage et les services, Partitionner et créer des systèmes de fichiers sur vos disques, Utiliser avec efficacité le Shell Bash, Installer des logiciels et gérer des dépôts logiciels, Administrer les applications, Gérer les utilisateurs et les groupes, Maîtriser l’exploitation des journaux, Connecter votre système aux réseaux TCP/IP, Déployer des machines virtuelles avec KVM et Libvirt.
Comme à son habitude, Ludovic partagera avec vous toutes les astuces et bonnes pratiques avec plein de travaux pratiques.
Virtual File System in Linux Kernel
Note: When you view the the slide deck via web browser, the screenshots may be blurred. You can download and view them offline (Screenshots are clear).
This presentation provides an overview of the Dell PowerEdge R730xd server performance results with Red Hat Ceph Storage. It covers the advantages of using Red Hat Ceph Storage on Dell servers with their proven hardware components that provide high scalability, enhanced ROI cost benefits, and support of unstructured data.
Moving to PCI Express based SSD with NVM ExpressOdinot Stanislas
Une très bonne présentation qui introduit la technologie NVM Express qui sera à coup sure l'interface du futur (proche) des "disques" SSD. Adieu SAS et SATA, bienvenu au PCI Express dans les serveurs (et postes clients)
Got hundreds of millions of documents to search? DataImportHandler blowing up while indexing? Random thread errors thrown by Solr Cellduring document extraction? Query performance collapsing? Then you've searching at Big Data scale. This talk will focus on the underlying principles of Big Data, and how to apply them to Solr. This talk isn't a deep dive into SolrCloud, though we'll talk about it. It also isn't meant to be a talk on traditional scaling of Solr.
Spark, ou comment traiter des données à la vitesse de l'éclairAlexis Seigneurin
Spark fait partie de la nouvelle génération de frameworks de manipulation de données basés sur Hadoop. L’outil utilise agressivement la mémoire pour offrir des temps de traitement jusqu’à 100 fois plus rapides qu'Hadoop. Dans cette session, nous découvrirons les principes de traitement de données (notamment MapReduce) et les options mises à disposition pour monter un cluster (Zookeper, Mesos…). Nous ferons un point sur les différents modules proposés par le framework, et notamment sur Spark Streaming pour le traitement de données en flux continu.
Présentation jouée chez Ippon le 11 décembre 2014.
Apache Storm vs. Spark Streaming - two stream processing platforms comparedGuido Schmutz
Storm as well as Spark Streaming are Open-Source Frameworks supporting distributed stream processing. Storm has been developed by Twitter and is a free and open source distributed real-time computation system that can be used with any programming language. It is written primarily in Clojure and supports Java by default. Spark is fast and general engine for large-scale data processing and has been designed to provide a more efficient alternative to Hadoop MapReduce. Spark Streaming brings Spark's language-integrated API to stream processing, letting you write streaming applications the same way you write batch jobs. It supports both Java and Scala. This presentation shows how you can implement stream processing solutions with the two frameworks, discusses how they compare and highlights the differences and similarities.
How to Make Awesome SlideShares: Tips & TricksSlideShare
Turbocharge your online presence with SlideShare. We provide the best tips and tricks for succeeding on SlideShare. Get ideas for what to upload, tips for designing your deck and more.
Stockage Exchange, Mythe et Réalité : Quelle solution de stockage pour Exchange 2010 en fonction de votre existant, vos exigences de niveau de services et vos moyens.
Rapport administration systèmes et supervision réseaux tp3 diabang master1 trCheikh Tidiane DIABANG
Administration systèmes et supervision réseaux (TP 3) : Le RAID
Tache 1: créer un disque RAID 5 logiciel
Tache 2: Transformer un disque en RAID 1 logiciel sans
perte de données
4. Le RAID?
●
signifie "Redundant Array of Inexpensive Drives".
● inventé au début des années 80
● moins coûteux
● plus performant
5. Les niveaux de RAID
● RAID 0 (striping)
● RAID 1 (miroir)
● RAID 10
● RAID 4
● RAID 5
● RAID 6
● RAID Z et autres....
6. Le RAID 0
● Pas vraiment RAID : pas de redondance
Les plus:
● amélioration de la capacité
● Amélioration des performances
Les moins:
● Sécurité dégradée!
abcd
a
b
c
d
7. Le RAID 1
● Miroir, ou copie complète
Les plus:
● amélioration de la sécurité
Les moins:
● Au détriment de la capacité
abcd
abcd
abcd
8. Le RAID 10
● aussi RAID 0+1 ou RAID 1+0
Les plus:
● performant et capacitif comme RAID-0
● aussi sûr que RAID-1
Les moins:
● aussi coûteux que RAID-1 aussi...
abcd
ab
cd
ab
cd
9. Le RAID 4
●
Un disque de parité pour N disques
●
Souvent improprement appelé RAID 3 dans le passé (Ciprico, Maxstar...)
●
Souvent non assumé (DatadirectNetworks...)
Les plus:
● performance des N disques en lecture
● performance des N disques en écriture séquentielle
Les moins:
● performance d'un seul disque en écriture aléatoire
abcd
a
b
c
d
(a+b+c+d)/4
10. Le RAID 5
● un bloc de parité pour N blocs
● parité répartie sur tous les N+1 disques
Les plus:
● séparation possible des E/S sur disques en lecture
Les moins:
● Performances en écriture très basse si blocs
trop grands (lecture/modification/écriture) abcd
a
b
c
d
(a+b+c+d)/4
11. Le RAID 6
● deux blocs de parité pour N blocs
● parité répartie sur tous les N+2 disques
Les plus:
● sécurité encore meilleure statistiquement que RAID-10
● surcoût raisonnable
Les moins:
● performances limitées en écriture
( lecture/modification/écriture fréquent ) abcd
a
b
c
d
chksum1
chksum2
12. Digression : Le cycle lecture/modification/écriture
On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
13. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Digression : Le cycle lecture/modification/écriture
14. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Digression : Le cycle lecture/modification/écriture
15. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Digression : Le cycle lecture/modification/écriture
16. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Digression : Le cycle lecture/modification/écriture
17. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Digression : Le cycle lecture/modification/écriture
18. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Temps 3 : puis le bloc de parité
Digression : Le cycle lecture/modification/écriture
19. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Temps 3 : puis le bloc de parité
Temps 4 : on modifie un des blocs (mais pas tous)
Digression : Le cycle lecture/modification/écriture
20. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Temps 3 : puis le bloc de parité.
Temps 4 : on modifie un des blocs (mais pas tous)...
Temps 5 : on doit relire les autres blocs de la bande...
Digression : Le cycle lecture/modification/écriture
21. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Temps 3 : puis le bloc de parité.
Temps 4 : on modifie un des blocs (mais pas tous)...
Temps 5 : on doit relire les autres blocs de la bande...
Digression : Le cycle lecture/modification/écriture
22. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Temps 3 : puis le bloc de parité.
Temps 4 : on modifie un des blocs (mais pas tous)...
Temps 5 : on doit relire les autres blocs de la bande...
Digression : Le cycle lecture/modification/écriture
23. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Temps 3 : puis le bloc de parité.
Temps 4 : on modifie un des blocs (mais pas tous)...
Temps 5 : on doit relire les autres blocs de la bande...
Digression : Le cycle lecture/modification/écriture
24. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Temps 3 : puis le bloc de parité.
Temps 4 : on modifie un des blocs (mais pas tous)...
Temps 5 : on doit relire les autres blocs de la bande...
Temps 6 : pour pouvoir récrire la nouvelle parité !
Digression : Le cycle lecture/modification/écriture
25. On répartit les données sur en blocs de taille égale (par ex. 64 Ko), et on
ajoute un bloc (ou deux) de parité de même taille, puis on stocke un bloc par
disque. Exemple avec 6 disques et une parité (RAID-5) :
Temps 1 : pas de données.
Temps 2 : on écrit les données...
Temps 3 : puis le bloc de parité.
Temps 4 : on modifie un des blocs (mais pas tous)...
Temps 5 : on doit relire les autres blocs de la bande...
Temps 6 : pour pouvoir récrire la nouvelle parité !
Résultat : pour modifier quelques Ko, on peut devoir relire plusieurs Mo et récrire
plusieurs dizaines de Ko (jusqu’à trois blocs).
Digression : Le cycle lecture/modification/écriture
26. Le RAID Z et autres
● peut cumuler le fonctionnement des différents RAID
Les plus:
● parité calculée uniquement sur l'espace utilisé
● pas d'effet lecture/modification/écriture
● reconstruction plus rapide
● bénéfices additionnels selon les solutions : clichés,
mise en grappe, etc.
Les moins:
● presque entièrement logiciel (contention de ressources)
● enveloppe de performances souvent restreinte
27. Le risque de panne
●soit x la probabilité qu'un disque tombe en panne sur la période considérée;
● soit P(raid) la probabilité de panne de la grappe;
● soit N le nombre de disques :
P0 = Nx
P1 = x²
P10 = x² . N/2
P4 = x² . ( N 1)
P5 = x² . ( N 1)
P6 = x³ . ( N 2)
28. Quel mode utiliser?
● RAID-0 : performance séquentielle pure
● débit : N . t
● latence : Ta / N
● RAID-10 : performance en écriture garantie
● débit en écriture : N/2 . t
● débit en lecture : N . t
● Latence : Ta / ( N/2 )
Soit N le nombre de disques, t le débit et Ta le temps d’accès d’un disque :
29. Quel mode utiliser?
● RAID-4 : performance d'écriture séquentielle et sécurité
● débit : (N – 1) . t
● Latence : ( N . Ta ) / (N 1)
● RAID-5 : performance en E/S et sécurité
● débit en écriture : N/2 . t
● débit en lecture : (N 1) . t
● Latence : Ta / ( N 1 )
Soit N le nombre de disques, t le débit et Ta le temps d’accès d’un disque :
●RAID-6 : performance en lecture et forte sécurité
● débit en écriture : N/3 . t
● débit en lecture : (N 2) . t
● Latence : Ta / ( N 2 )
30. RAID et taille des disques
● plus les disques sont gros,
plus la durée de reconstruction est longue
● en 1988, un disque de 40 Mo se remplissait en 2 à 3 minutes
● en 1998, un disque de 9 Go se remplissait en 15 à 20 minutes
● en 2008, un disque de 1 To se remplissait en 3 à 4 heures
● en 2010, un disque de 2 To se remplissait en 5 à 6 heures
● En 2013, un disque de 4 To se remplit en 12 à 14 heures
31. RAID et taille des disques
● plus les disques sont gros,
plus la durée de reconstruction est longue
● Pour éviter de rester longtemps en mode
dégradé, on utilise les modes à double parité
(RAID 6).
32. RAID et taille des disques
● Le taux d’erreur non recouvrable n’évolue plus :
plus les disques sont gros plus le risque est
grand
● Le RAID 5 est OBSOLÈTE.
● N’utilisez JAMAIS le RAID 5 avec des disques
plus gros que 400 Go.
33. Taille de « bande »
● une taille de bande optimale par rapport à
l'application permet de maximiser la
performance
● pour de petites entrées/sorties, on utilisera une
bande large pour accéder aux disques
successivement.
● pour de grosses entrées/sorties, on utilisera
une bande étroite pour accéder aux disques
simultanément.
34. Calcul de la parité
● Le calcul de la parité est intensif en terme de
ressources.
● le processeur en charge de ce calcul peut être dédié
● c'est le RAID matériel
● ou ce peut être le processeur central
● c'est le RAID logiciel
35. RAID matériel et RAID matériel
● tous les RAID matériels ne sont pas égaux
● certains sont très peu performants car sous-
dimensionnés (processeur, mémoire)
● certains utilisent une ressource interne
(mémoire) pouvant entraîner une contention
36. RAID matériel et RAID logiciel
● le RAID logiciel est généralement plus
performant lors des tests de vitesse disque
38. RAID matériel et RAID logiciel
● il entre en concurrence pour les ressources systèmes avec
les autres tâches de façon difficile à prévoir
● sur un système déjà chargé, la panne d'un disque en RAID logiciel
peut entraîner une chute catastrophique des performances
● la performance du RAID matériel est stable quelle que soit l'activité
du système par ailleurs
40. RAID matériel et RAID logiciel
● pour des stations de travail ou des systèmes
n'exécutant qu'une seule tâche principale, ou
sous une charge modérée, le RAID logiciel est
très satisfaisant.
● pour des systèmes serveurs avec de
nombreux utilisateurs et travaillant parfois
sous une charge très élevée, le RAID logiciel
est inadapté.
42. RAID matériel et RAID logiciel
● Devinette
● dans quel cas peut-on utiliser du RAID logiciel
sur un système de haute performances ?
43. RAID matériel et RAID logiciel
● Devinette
● dans quel cas peut-on utiliser du RAID logiciel
sur un système de haute performances ?
● lorsque c'est un système dédié dont la seule
tâche est de traiter les entrées/sorties
(Isilon, NetApp, etc).
44. Le RAID
● C’est fini!
● Des questions ?
info@intellique.com
● Tél: 01 78 94 84 00
Version 1.4 14/11/2013