Slides de présentation de la thèse du doctorat

1
Développement de nouvelles variantes
d’algorithmes d’extraction des
caractéristiques basées sur PCA/LDA
pour la détection des intrusions dans
un réseau TCP/IP.
Présentée par :
M. Elkhadir Zyad
07/07/2018
Université Ibn Tofail de Kenitra
Faculté des sciences
Laboratoire des Systèmes
de télécommunications et ingénierie de la décision
Directeurs de thèse :
Pr. Benattou Mohammed
Pr. Chougdali Khalid
Soutenance de thèse de Doctorat en
Informatique
1

2
• Généralités sur les Système de détection d’intrusions (IDS).
• Problématique.
• Architecture de l’IDS proposé.
• Nouvelles variantes de l’analyse en composante principales (PCA)
• Nouvelles variantes de l’analyse discriminante linéaire (LDA)
• Conclusion et perspectives
• Publications
Plan de la présentation

3
• Une intrusion (ou attaque ) est une action malveillante qui touche l’intégrité, la
confidentialité, ou à la disponibilité d’une ressource (une machine, un réseau,…).
 Exemples :
- L’attaque de déni de service (DoS).
- L’attaque de déni de service distribuée (DDoS).
- L’attaque de l’homme du milieu.
- …..
• L’outil qui détecte automatiquement l’intrusion est appelée Système de détection
d’intrusion (IDS).
• Il existe 2 types d’IDS
- Le HIDS (Host Based IDS) détecte des attaques ciblant une machine en se
basant sur des logs système.
- Le NIDS (Network Based IDS) détecte les intrusions en analysant les trames
qui circulent dans un réseau.
Système de détection d’intrusions (IDS) > Généralités
Généralités & Problématique IDS proposé Contributions Conclusion & Perspectives

4
• Pour évaluer un IDS on utilise
- Taux de Faux Positifs (FPR)
FP: le nombre des connexions normales mal classées
TN: le nombre des connexions normales bien classées
- Taux de Détection (DR)
TP: le nombre des intrusions correctement classées
FN: le nombre des intrusions mal classées.
• 2 techniques utilisées par les IDS.
- L’approche par scenarios.
- L’approche comportementale.
Système de détection d’intrusions (IDS) > Généralités

5
• Avantages : le processus de détection est rapide, faible FPR.
• Faiblesses : - Difficulté de mise a jour de la base des signatures.
- Incapacité de détecter de nouvelles intrusions.
Signatures
d’intrusion
Trafic réseau
connexions normales
connexions malicieuses
Pattern
matching
intrusion
IDS > Approche par scenarios

6
- Phase d’apprentissage qui vise la création d’un modèle de référence
représentant le comportement normal du trafic réseau surveillé.
- Phase de détection qui identifie la nature d’un nouveau trafic en
la comparant au modèle.
IDS > Approche comportementale
• Principe : Cette approche se base sur 2 phases
• Avantage : Détection d’attaques fraichement conçues.
Modèles statistiques, algorithmes
génétiques, graphes de contrôle, …

7
Limites
La dépendance
sur les
connaissances
des experts
humains.
L’étroite
dépendance de
l’environnement
cible.
La difficulté liée
à l’évaluation
Les limites de
performance.
• Un IDS est conçu pour
un environnement
spécifique
• Manque d’une base
commune d’évaluation,
d’un format standard
pour présenter les
traces d’audit.
• Très grand temps
d’apprentissage.
• Taux élevé des faux
positifs
• Détérioration au
niveau de taux de
détection
• L’expert spécifie les
informations a
auditer.
• Il établit le profil
du comportement
normal.
• …..
IDS > Approche comportementale

8
• Les limites de performances se rapportent au trafic d’apprentissage
utilisée.
 les données du trafic sont difficiles à analyser en raison de leur
grande taille.
 L’information inutile existante dans le trafic détériore la tache de
l’IDS.
Défi: La réduction de la taille du trafic réseau
tout en gardant l’information permettant
- La minimisation du taux de faux positifs
- La maximisation du taux de détection
- Une consommation minimale du temps
d’apprentissage
Problématique

9
IDS proposé > Extraction de caractéristiques
Méthodes linéaires
Analyse en composantes principales (PCA)
Analyse discriminante linéaire (LDA)
Analyse en composantes indépendantes
(ICA)
Méthodes non
linéaires
Factorisation en matrices non négatives
(NMF)
Analyse de corrélation canonique
Analyse multidimensionnelle (MDS)
Méthodes basées sur les noyaux tel que
kernel PCA, kernel LDA,…,etc.
Méthodes basées sur l’apprentissage de
variétés

10
Architecture détaillée de l’IDS

11
• Les Système de détection d’intrusions (IDS).
• Problématique de la thèse.

12
PCA > formulation mathématique
• Objectif : Obtention d’un espace de dimension réduite engendré par
les composantes principales (PC)
• Les étapes suivies pour obtenir les (PC) sont :
Généralités & Problématique IDS proposé Contributions basées sur PCA Conclusion & Perspectives

13
PCA > formulation mathématique
Généralités & Problématique IDS proposé Contributions Conclusion & PerspectivesGénéralités & Problématique IDS proposé Contributions basées sur PCA Conclusion & Perspectives
5. Les composantes principales (PC) sont les vecteurs propres correspondants au plus
grandes valeurs propres, elles dépendent de la précision :
La projection d’un nouveau vecteur dans l’espace construit par les composantes
principales est obtenue par :

14
PCA > faiblesses
• PCA ne prend pas en compte la non-linéarité des données
• La formulation de PCA découle d’une minimisation
exprimée en norme L2.
• PCA utilise la moyenne arithmétique
Composantes principales
non optimales.
la norme L2 et la moyenne arithmétique sont
sensibles aux données aberrantes (outliers).

15
Kernel PCA (KPCA)
• Proposée par Schôlkopf et al. (1997), Kernel PCA traite le problème de non
linéarité.
• la méthode transforme les vecteurs de données vers un espace F ou les
données sont linéairement séparable.
• La réduction de dimension se fait au niveau de l’espace F.

16
KPCA > formulation
k(x,y) est une
fonction noyau
• Etapes suivies pour obtenir les (PC) :

17
KPCA basé sur des nouveaux noyaux > motivation
Il se peut que les connexions réseau
aient une structure non gaussienne et
non polynomiale ???

18
KPCA basé sur des nouveaux noyaux > noyaux proposés

19
KPCA basé sur des nouveaux noyaux > Résultats expérimentaux
• KDDcup99
- 1000 connexions normales
- 100 connexions de type DOS
- 50 connexions de type U2R
- 100 connexions de type R2L
- 100 connexions de type Probe
Phase d’apprentissage Phase de test
- 100 connexions normales
- 100 connexions de type DOS
- 50 connexions de type U2R
- 100 connexions de type R2L
- 100 connexions de type Probe
« A partir de kddcup.data_10_percent » A partir du fichier "corrected"
• NSL-KDD
Le même protocole de test utilisé avec KDDcup99
« A partir de KDD_train_+.txt » « A partir de KDD_train_+.txt »

20
Utilisation du classifieur KNN
 Evaluation de KPCA
• Le choix du bon paramètre pour chaque fonction kernel.
#PC=3 k=3 #PC=3 k=1

21
 Evaluation de KPCA
• La comparaison des performances de différentes fonctions a noyau.

22
Comparaison entre PCA et KPCA
Expériences
sur KDDcup99
Expériences
sur NSL-KDD

23
Comparaison entre PCA et KPCA

24
Utilisation du classifieur arbre de décision
• La comparaison des performances de différentes fonctions a noyau

25
• La comparaison de KPCA et PCA sous différentes dimensions
Expériences
sur KDDcup99
Expériences
sur NSL-KDD

26
• La comparaison des détection d’attaque individuelles

27
KPCA basé sur des nouveaux noyaux > conclusion
- KPCA basé sur le noyau à puissance avec
le classifieur KNN dépasse PCA et les
autres noyaux classiques.
- KPCA basé sur le noyau sphérique avec
l’arbre de décision dépasse PCA et les
autres noyaux classiques.
Perspectifs : Utiliser d’autres classifieurs
=> SVM
=> Les réseaux bayesiens
=> ………….

28
PCA Lp basé sur le gradient conjugué > motivation
• La formulation de PCA découle d’une minimisation exprimée
en norme L2.
=> Les composantes principales W sont obtenues en
tel que =
ou en maximisant selon N.Kwak
(2014)
La norme L2 accentue l’effet
des données aberrantes
(outliers)

29
PCA Lp basé sur le gradient conjugué > motivation
• N.Kwak (2014) a proposé de maximiser.
• Il s’est basé sur le gradient simple pour maximiser cette
fonction.
- Pourquoi ne pas exploiter cette variante
pour optimiser le taux de détection de
l’IDS ??
- Existe t-il d’autres techniques plus
robustes permettant la maximisation de
cette fonction ??

30
PCA Lp basé sur le gradient conjugué > PCA Lp (SG)
• Algorithme obtenant une seule composante principale (n’=1)
Méthode du Gradient simple
(steepest gradient)

31
PCA Lp basé sur le gradient conjugué > gradient vs. gradient conjugué
• Limites du gradient simple  Ses directions de recherche sont
perpendiculaires entre eux.
 La méthode zigzague pour arriver
au maximum.
 Maximisation longue de la fonction
• Avantages du gradient conjugué
 Chaque étape de maximisation
dépend de la précédente.
 Directions de recherche conjuguées
 Maximisation rapide de la fonction.
Courbes de contour d’une fonction

32
PCA Lp basé sur le gradient conjugué > algorithme (n’=1)
2 paramètres critiques créent la différence
par rapport au gradient simple.
 Le premier est β (proposé par Fletcher)
 Le second s’appelle le vecteur de
recherche d(t)

33
PCA Lp basé sur le gradient conjugué > algorithme (n’>1)
• Algorithme similaire a celui proposé par Kwak (2014)

34
PCA Lp basé sur le gradient conjugué > Résultats expérimentaux
 PCA Lp vs. PCA

35
 PCA Lp vs. PCA

36
 PCA vs. PCA Lp (SG)

37
 PCA Lp (SG Lp) vs. PCA Lp basé sur le gradient conjugué (CG Lp)

38
PCA Lp basé sur le gradient conjugué > conclusion
- PCA L1 (p=1) dépasse le PCA classique en terme
de taux de détection.
- PCA L1 (p=1) produit moins de faux positifs.
- PCA L1 basé sur le gradient conjugué est plus
rapide que celui proposé par Kwak (2014) basé
le gradient simple.
Perspectifs : Utiliser d’autres techniques de maximisation
=> Méthode de quasi-Newton
=> ……

39
QR optimal mean PCA (QR-OMPCA) > motivation
• En plus de la norme L2, est centrée en utilisant la
moyenne arithmétique
La moyenne arithmétique ne représente pas la tendance
centrale en présence des valeurs aberrantes

40
QR optimal mean PCA (QR-OMPCA) > motivation
• F. Nie (2014) propose de chercher une moyenne plus optimale en
=>
• La méthode appelée optimal mean PCA (OMPCA) intègre une
décomposition nommée SVD (Singular Value decomposition).
 La décomposition SVD consomme beaucoup de
temps.
 Pourquoi ne pas opter pour d’autres
décomposition tel que la décomposition QR??

41
QR optimal mean PCA (QR-OMPCA) > l’algorithme OMPCA
En utilisant SVD

42
QR optimal mean PCA (QR-OMPCA) > l’algorithme QR-OMPCA
<<
Complexité

43
QR optimal mean PCA (QR-OMPCA) > Résultats expérimentaux
 QR-OMPCA vs PCA et R1-PCA

44
QR optimal mean PCA (QR-OMPCA) > Résultats expérimentaux
 QR-OMPCA vs SVD-OMPCA (OMPCA)

45
QR optimal mean PCA (QR-OMPCA) > conclusion
- QR-OMPCA dépasse le PCA classique en terme
de taux de détection.
- QR-OMPCA produit moins de faux positifs.
- QR-OMPCA basé sur la décomposition QR est
plus rapide que celle proposé par F. Nie (2014)
basé la décomposition SVD.
Perspectifs : Utiliser d’autres décompositions matricielles
 La décomposition LU
 La décomposition de Cholesky
 ………………..

46

47
L’analyse discriminante linéaire (LDA)
• LDA réduit la dimension des données en obtenant une séparation
linéaire entre un ensemble de classes.
• Objectif : Trouver une matrice de projection W caracterisée par
La minimisation de dispersion intra-classe.
La maximisation de la dispersion inter-classe.
Généralités & Problématique IDS proposé Contributions basées sur LDA Conclusion & Perspectives

48
L’analyse discriminante linéaire (LDA) : formulation mathématique
• Pour obtenir W, LDA se base sur :

49
L’analyse discriminante linéaire (LDA) : formulation mathématique
• Les traces des matrices s’expriment sous forme de :
• La matrice de projection W est obtenue en :

50
L’analyse discriminante linéaire (LDA) : faiblesses
• Le problème de singularité de la matrice
=> impossibilité de résoudre
• LDA échoue lorsqu’il y a chevauchement entre classes
• LDA utilise les moyennes arithmétiques sensibles aux
données aberrantes.

51
Median NN-LDA > motivation
• Pour résoudre le problème du chevauchement des classes
=> Identifier des frontières locales en utilisant la structure globale des
classe
=> Exploiter la médiane pour définir la structure globale et locale de
chaque classe.

52
Median NN-LDA > formulation

53
Median NN-LDA > formulation
Afin de traiter le problème de singularité, nous proposons d’appliquer (PCA) comme
étape de réduction de dimension intermédiaire.

54
Median NN-LDA > Résultats expérimentaux
 Identification de la distribution locale et globale en cherchant

55
 Comparaison de Median NN-LDA avec LDA, Median LDA et Null space LDA.

56
 Comparaison de Median NN-LDA avec Direct LDA et Pseudo LDA.

57
Median NN-LDA > conclusion
- Median NN-LDA cherche des frontières locales
entre les classes chevauchées.
- L’approche dépasse plusieurs variantes de LDA
en terme de taux de détection.
- Median NN-LDA produit des taux de faux
positifs minimaux.

58
geomean LDA > motivation
• LDA utilise les moyennes arithmétiques dans sa formulation.
et
• Exemple : Soit un tableau de valeurs
 la tendance centrale vaut
 La moyenne arithmétique vaut
La moyenne arithmétique ne représente pas la tendance
centrale en présence des valeurs aberrantes

59
geomean LDA > motivation
• La moyenne géométrique d’un ensemble de M nombres positifs
est :
• dans le cas de l’exemple (plus proche de la tendance
centrale 3.2 )
• La moyenne géométrique d’une matrice non négative Z :
est donnée par :

60
geomean LDA > formulation
• Appliquer PCA sur X et obtenir la matrice à l’aide de :
Tel que contient les composantes principales de X.
• Opérer sur | | au lieu de X.
• Obtenir des nouvelles matrices de dispersion :

61
geomean LDA > formulation
• Considérer le nouveau critère de Fisher donné par :
• Obtenir W’ en résolvant l’équation :

62
geomean LDA > Résultats expérimentaux
 Illustration du comportement de DR et FPR en augmentant la taille des données
.

63
geomean LDA > Résultats expérimentaux
 Evaluation de DR et FPR des variantes de LDA en modifiant le K (K-NN)

64
geomean LDA > conclusion
- geomean LDA emploi des moyennes
géométriques au lieu des moyennes classiques
pour lutter contre les données aberrantes.
- La nouvelle variante de LDA dépasse plusieurs
variantes de LDA en terme de taux de
détection.
- geomean LDA produit des taux de faux positifs
minimaux.

65
R1-PCA+median LDA > motivation
• La combinaison de la norme R1 de R1-PCA et de la médiane
de median LDA offre :
 Davantage de résistance face aux données aberrantes.
 Plus de variance intra et inter classes.
 Une solution face a la singularité des matrices rencontrée
par median LDA.

66
R1-PCA > algorithme
Trouver une base
orthonormée
Tel que
• R1-PCA essaye de minimiser l’entité ||X- X|| tel que

67
Median LDA > formulation

68
R1-PCA+median LDA > formulation
Tel que

69
R1-PCA+median LDA > Résultats expérimentaux
 Comparaison de l’approche avec Null space LDA, PCA+median LDA et PCA+LDA

70

71
- PCA et LDA souffrent de quelques
problèmes tel que :
 La nature non linéaire.
 L’utilisation de la norme L2.
 L’emploi de la moyenne
arithmétique.
- L’IDS manipule un grand trafic
réseau qui dégrade sa
performance.
 On propose L’utilisation de PCA
et LDA pour améliorer les
performances d’un IDS.
 Utilisation de nouveaux
noyaux avec kernel PCA.
 Proposition d’une variante de
PCA calculant la moyenne
optimale en utilisant QR.
 Proposition d’un PCA Lp basé
sur le gradient conjugué.
 La proposition d’un LDA basé sur
la moyenne géométrique.
 Proposition d’une variante
combinant la norme R1 et la
médiane.
 Proposition de Median NN-LDA
résolvant la non linéarité.
Contexte Limites
Nouvelles variantes de PCA Nouvelles variantes de LDA

72
- Introduction de la théorie des sous-ensembles flous (fuzzy logic)
dans les contributions.
- Application des méthodes développées dans ce mémoire dans
un système de détection d’intrusions opérationnel.
- Utilisation des bases de données récentes tel que UNSW-NB
(2015) et ISCX (2012).
- ….
Perspectives

Slides de présentation de la thèse du doctorat

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Slides de présentation de la thèse du doctorat

Similaire à Slides de présentation de la thèse du doctorat (20)

Dernier

Dernier (9)

Slides de présentation de la thèse du doctorat