SlideShare une entreprise Scribd logo
1  sur  22
FAKHARI Ayyoub
2018-2019
2
Introduction
Plan
Séparation des Sources Aveugle
Independent Component Analysis ICA
L’Algorithme INFOMAX
Test sur Matlab
Conclusion
IntroductionI La séparation des sources aveugle avec la méthode de l’ICA a reçu beaucoup d'attention
en raison de ses applications potentielles sur le traitement du signal:
Systèmes d'amélioration de la parole
Télécommunication
Ingénierie biomédicale
Séparation des Sources AveugleII
“
5
La séparation des sources aveugle
La séparation des sources aveugle (blind source separation « BSS » en anglais) a été
proposée pour séparer ou estimer les formes d'onde de sources de signaux inconnues
sur la base de mesures provenant d'un réseau de capteurs.
Un système à plusieurs entrées et sorties multiples appelé réseau de séparation
qui peut être utilisé pour extraire chacune des sources de signal d'origine.
Un problème difficile en raison de sa nature aveugle. C'est-à-dire que ni les
sources de signal d'origine ni les canaux de transmission des sources aux
capteurs ne sont connus à priori.
“
6
Hypothèses de déclaration du système
Système de séparation des signaux aveugles
𝑆1
𝑆2
𝑆 𝑛
.
.
.
.
𝑋1
𝑋2
𝑋 𝑛
.
.
.
.
𝑢1
𝑢2
𝑢 𝑛
.
.
.
.
𝒈 𝒖
𝒚 𝟏, 𝒚 𝟐, … , 𝒚 𝒏
Unknown
Matrix A
Unmixing
Matrix W
𝑿 = 𝑨 × 𝑺
𝒀 = 𝑮(𝒖)
7
Il existe deux
approches
principales
pour le BSS
Les algorithmes
basés sur les statistiques
les algorithmes
basés sur les réseaux de neurones
ICA
Independent Component Analysis ICAIII
9
Independent Component Analysis ICA
Le but de l’ICA est de trouver le composant indépendant qui ne donne que des observations de
capteurs qui sont des mélanges linéaires inconnus des signaux indépendantes non observables,
alors que dans le problème du BSS, l'objectif est de séparer les signaux de sources multiples.
 Estimer la matrice de démixage W en utilisant uniquement les signaux
de capteur x.
 Rend les sorties aussi indépendantes que possible. Où u devient les
estimations des sources récupérées et y sont les signaux récupérés.
10
Principaux algorithmes de l’ICA
Les algorithmes les plus connus permettant de résoudre le problème d'ACI :
Maximisation de Contraste (CoM)
JADE
Fast-ICA
INFOMAX
L’Algorithme INFOMAXIV
12
Principe de l'algorithme INFOMAX
 INFOMAX c’est un algorithme d’optimisation de l’information pour séparer les
sources(BSS).
 L’application de la méthode INFOMAX consiste a maximiser l’entropie et minimiser
l’information mutuelle entre les composants au niveau de la sortie .
L'entropie conjointe aux sorties d'un réseau neuronal est :
)𝑯 𝒚 𝟏, 𝒚 𝟐, … , 𝒚 𝒏 = 𝑯 𝒚 𝟏 + 𝑯 𝒚 𝟐 + ⋯ + 𝑯 𝒚 𝒏 − 𝑰 𝒚 𝟏, 𝒚 𝟐, … , 𝒚 𝒏 (𝟏
• 𝑯 𝒚𝒊 sont les entropies marginales des
sorties
• 𝑰 𝒚 𝟏, 𝒚 𝟐, … , 𝒚 𝒏 est leur information
mutuelle.
13
Chaque entropie marginale peut être écrite comme suit :
)𝐻 𝑦𝑖 = −𝐸[log 𝑝 𝑦𝑖 ] (2
La cartographie non linéaire entre la densité de sortie 𝒑 𝒚𝒊 et la densité d’estimation source
𝒑 𝒖𝒊 peut être décrite par la valeur absolue de la dérivée par rapport à 𝒖𝒊
𝑝 𝑦𝑖 =
)𝑝(𝑢𝑖
|
𝜕𝑦𝑖
𝜕𝑢𝑖
|
(3)
14
En prenant la dérivée de l'entropie conjointe (eq.1) et la réécriture, nous obtenons.
)𝜕𝐻(𝑦
𝜕𝑊
=
𝜕
𝜕𝑊
−𝐼 𝑦 −
𝜕
𝜕𝑊
𝑖=1
𝑛
𝐸 𝑙𝑜𝑔
𝑝 𝑢𝑖
𝜕𝑦𝑖
𝜕𝑢𝑖
4
Cette équation montre une relation entre la maximisation de l'entropie conjointe et
la minimisation des informations mutuelles entre les composants au niveau des
sorties. Une minimisation directe de l'information mutuelle est obtenue lorsque
𝑝 𝑢𝑖 = | 𝜕𝑦𝑖/𝜕𝑢𝑖| est satisfait.
15
On peut trouver le maximum de l'entropie H (y) en dérivant H (y) par rapport à W et en
multipliant le gradient d'entropie par WTW :
∆𝑾 𝜶
)𝝏𝑯(𝒚
𝝏𝑾
𝑾 𝑻
𝑾 = 𝑰 +
𝝏𝒑 𝒖𝒊
𝛛𝒖𝒊
𝒑 𝒖𝒊
𝒖𝒊
𝑻
𝑾 𝟓
Où je désigne la matrice d'identité. La non-linéarité est définie par :
𝝋 𝒖𝒊 = −
𝝏𝒑 𝒖𝒊
𝛛𝒖𝒊
𝒑 𝒖𝒊
𝟔
∆𝑾 𝜶 𝑰 − 𝝋 𝒖 𝒖 𝑻
𝑾 𝟕
On Substitution (6) en (5) et on obtient :
Cette équation est l'algorithme Infomax original.
Test sur MatlabV
17
18
19
20
ConclusionVI
JADE
Maximisation
de Contraste
(CoM)
Fast-ICA
MTS2A-2
2018-2019

Contenu connexe

Similaire à L'algorithme INFOMAX de l’ICA pour la séparation des sources aveugles

Advance research on next generation networks and services.en.fr
Advance research on next generation networks and services.en.frAdvance research on next generation networks and services.en.fr
Advance research on next generation networks and services.en.frLAWALI Rabiou
 
Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)Soumia Elyakote HERMA
 
td_devoirs_2013.pdf
td_devoirs_2013.pdftd_devoirs_2013.pdf
td_devoirs_2013.pdfMeryemH2
 

Similaire à L'algorithme INFOMAX de l’ICA pour la séparation des sources aveugles (6)

Advance research on next generation networks and services.en.fr
Advance research on next generation networks and services.en.frAdvance research on next generation networks and services.en.fr
Advance research on next generation networks and services.en.fr
 
Rc ia-benmammar
Rc ia-benmammarRc ia-benmammar
Rc ia-benmammar
 
Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)Exposé réseaux des neurones (NN) - (RN)
Exposé réseaux des neurones (NN) - (RN)
 
td_devoirs_2013.pdf
td_devoirs_2013.pdftd_devoirs_2013.pdf
td_devoirs_2013.pdf
 
Processeur
ProcesseurProcesseur
Processeur
 
Mise en oeuvre des framework de machines et deep learning v1
Mise en oeuvre des framework de machines et deep learning v1 Mise en oeuvre des framework de machines et deep learning v1
Mise en oeuvre des framework de machines et deep learning v1
 

L'algorithme INFOMAX de l’ICA pour la séparation des sources aveugles

  • 2. 2 Introduction Plan Séparation des Sources Aveugle Independent Component Analysis ICA L’Algorithme INFOMAX Test sur Matlab Conclusion
  • 3. IntroductionI La séparation des sources aveugle avec la méthode de l’ICA a reçu beaucoup d'attention en raison de ses applications potentielles sur le traitement du signal: Systèmes d'amélioration de la parole Télécommunication Ingénierie biomédicale
  • 5. “ 5 La séparation des sources aveugle La séparation des sources aveugle (blind source separation « BSS » en anglais) a été proposée pour séparer ou estimer les formes d'onde de sources de signaux inconnues sur la base de mesures provenant d'un réseau de capteurs. Un système à plusieurs entrées et sorties multiples appelé réseau de séparation qui peut être utilisé pour extraire chacune des sources de signal d'origine. Un problème difficile en raison de sa nature aveugle. C'est-à-dire que ni les sources de signal d'origine ni les canaux de transmission des sources aux capteurs ne sont connus à priori.
  • 6. “ 6 Hypothèses de déclaration du système Système de séparation des signaux aveugles 𝑆1 𝑆2 𝑆 𝑛 . . . . 𝑋1 𝑋2 𝑋 𝑛 . . . . 𝑢1 𝑢2 𝑢 𝑛 . . . . 𝒈 𝒖 𝒚 𝟏, 𝒚 𝟐, … , 𝒚 𝒏 Unknown Matrix A Unmixing Matrix W 𝑿 = 𝑨 × 𝑺 𝒀 = 𝑮(𝒖)
  • 7. 7 Il existe deux approches principales pour le BSS Les algorithmes basés sur les statistiques les algorithmes basés sur les réseaux de neurones ICA
  • 9. 9 Independent Component Analysis ICA Le but de l’ICA est de trouver le composant indépendant qui ne donne que des observations de capteurs qui sont des mélanges linéaires inconnus des signaux indépendantes non observables, alors que dans le problème du BSS, l'objectif est de séparer les signaux de sources multiples.  Estimer la matrice de démixage W en utilisant uniquement les signaux de capteur x.  Rend les sorties aussi indépendantes que possible. Où u devient les estimations des sources récupérées et y sont les signaux récupérés.
  • 10. 10 Principaux algorithmes de l’ICA Les algorithmes les plus connus permettant de résoudre le problème d'ACI : Maximisation de Contraste (CoM) JADE Fast-ICA INFOMAX
  • 12. 12 Principe de l'algorithme INFOMAX  INFOMAX c’est un algorithme d’optimisation de l’information pour séparer les sources(BSS).  L’application de la méthode INFOMAX consiste a maximiser l’entropie et minimiser l’information mutuelle entre les composants au niveau de la sortie . L'entropie conjointe aux sorties d'un réseau neuronal est : )𝑯 𝒚 𝟏, 𝒚 𝟐, … , 𝒚 𝒏 = 𝑯 𝒚 𝟏 + 𝑯 𝒚 𝟐 + ⋯ + 𝑯 𝒚 𝒏 − 𝑰 𝒚 𝟏, 𝒚 𝟐, … , 𝒚 𝒏 (𝟏 • 𝑯 𝒚𝒊 sont les entropies marginales des sorties • 𝑰 𝒚 𝟏, 𝒚 𝟐, … , 𝒚 𝒏 est leur information mutuelle.
  • 13. 13 Chaque entropie marginale peut être écrite comme suit : )𝐻 𝑦𝑖 = −𝐸[log 𝑝 𝑦𝑖 ] (2 La cartographie non linéaire entre la densité de sortie 𝒑 𝒚𝒊 et la densité d’estimation source 𝒑 𝒖𝒊 peut être décrite par la valeur absolue de la dérivée par rapport à 𝒖𝒊 𝑝 𝑦𝑖 = )𝑝(𝑢𝑖 | 𝜕𝑦𝑖 𝜕𝑢𝑖 | (3)
  • 14. 14 En prenant la dérivée de l'entropie conjointe (eq.1) et la réécriture, nous obtenons. )𝜕𝐻(𝑦 𝜕𝑊 = 𝜕 𝜕𝑊 −𝐼 𝑦 − 𝜕 𝜕𝑊 𝑖=1 𝑛 𝐸 𝑙𝑜𝑔 𝑝 𝑢𝑖 𝜕𝑦𝑖 𝜕𝑢𝑖 4 Cette équation montre une relation entre la maximisation de l'entropie conjointe et la minimisation des informations mutuelles entre les composants au niveau des sorties. Une minimisation directe de l'information mutuelle est obtenue lorsque 𝑝 𝑢𝑖 = | 𝜕𝑦𝑖/𝜕𝑢𝑖| est satisfait.
  • 15. 15 On peut trouver le maximum de l'entropie H (y) en dérivant H (y) par rapport à W et en multipliant le gradient d'entropie par WTW : ∆𝑾 𝜶 )𝝏𝑯(𝒚 𝝏𝑾 𝑾 𝑻 𝑾 = 𝑰 + 𝝏𝒑 𝒖𝒊 𝛛𝒖𝒊 𝒑 𝒖𝒊 𝒖𝒊 𝑻 𝑾 𝟓 Où je désigne la matrice d'identité. La non-linéarité est définie par : 𝝋 𝒖𝒊 = − 𝝏𝒑 𝒖𝒊 𝛛𝒖𝒊 𝒑 𝒖𝒊 𝟔 ∆𝑾 𝜶 𝑰 − 𝝋 𝒖 𝒖 𝑻 𝑾 𝟕 On Substitution (6) en (5) et on obtient : Cette équation est l'algorithme Infomax original.
  • 17. 17
  • 18. 18
  • 19. 19
  • 20. 20