Présentation tests de performance pour la voiture de demain (projet CoherenSE)

2. Tests de performance pour
la voiture de demain
Mohamed Oumri - Marc Hage Chahine

3. Qui sommes-nous?
Presentation title3
Marc Hage Chahine
Passionné tests logiciels
7 ans d’expérience
Mohamed Oumri
Ingénieur R&D
8 ans d’expérience

4. 4
Sommaire
1 Introduction aux tests de performances
2 Projet CoherenSE
3 Mise en place des tests de performance sur CoherenSE
5 La suite - perspectives
6 Questions
4 Simulations numériques

5. 1.
Introduction aux tests de performances

6. Futur du test: Sondage (103 participants)
Presentation title6

7. ISO – 25 010
Presentation title7
Qualité logicielle
ISO – 25 010
Tests
fonctionnels
•Exactitude
•Complétude
•Aptitude à
l’usage
Tests de
performance
•Temps de
réponse
•Utilisation de
ressource
•Capacité
Tests de
compatibilité
•Coexistence
•Interopérabilité
Tests
d’utilisabilité
•Intelligibilité
•Apprentissage
•Opérabilité
•Protection
contre les
erreurs
•Ergonomie
•Accessibilité
Tests de fiabilité
•Maturité
•Disponibilité
•Robustesse
•Récupérabilité
Tests de
sécurité
•Confidentialité
•Intégrité
•Rejet (non-
rejet)
•Responsabilité
•Authenticité
Tests de
maintenabilité
•Modularité
•Réutilisabilité
•Analysibilité
•Modifiabilité
•Testabilité
Tests de
portabilité
•Adaptabilité
•Installabilité
•Remplaçabilité

8. Les tests de performance
Presentation title8
Tests de
performance
Temps de
réponse
Utilisation
de
ressource
Capacité

9. Les tests de performance: Temps de réponse
Presentation title9
Combien de temps
pour que l’action
demandée soit
exécutée ?
Problématiques
de sécurité:
ABS, direction
assistée…
Dépendant de
l’architecture
Temps
acceptable?

10. Les tests de performance: utilisation de ressource
Presentation title10
De quoi ai-je besoin
pour faire
fonctionner le
logiciel?
Système
embarqué:
ressources
limitées
Efficience de
l’utilisation des
ressources
Comparaison
avec réseau
CAN

11. Les tests de performance: Capacité
Presentation title11
Combien d’actions
simultanées?
Voiture:
nombreuses
applications
simultanées
Nombre de
nœuds de calcul
Priorisation des
actions

12. 2.
Le projet CoherenSE

13. CoherenSE : Description du projet

14. CoherenSE : Description du projet
CoherenSE est une couche logicielle et un ensemble d'outils pour les véhicules intelligents. Il
se situe entre le système d'exploitation et la couches d'application. Il vise à intégrer les
principes de l‘Architecture Orientée Services (ou SOA) au monde embarqué.
Co-développé avec Jaguar Land Rover.

15. CoherenSE : Description du projet
CoherenSE® : Architecture (topologie)
• Nœud : Unité de traitement informatique du matériel (exemple : calculateur).
• Partition : Environnement d’exécution.
• Services : La plus petite fonctionnalité du système.

16. CoherenSE : Description du projet
CoherenSE® : Paramètres dynamiques
Exemple : Echange de messages entre deux services
 Taille d’un Message
 Trafic (fréquence)
 Délai de réponse
 Tailles de file d'attente
 Type communication
 Mode de communication

17. 3.
Mise en place des tests de
performance sur CoherenSE

18. 18
Performances :
• Temps de réponse
• CPU utilisé
• Mémoire utilisé
• Bande passante utilisée
Description de la topologie
Paramètres dynamiques
Tests de performances :

19. Objectifs
Recueillir des informations pour dimensionner un
système, intégrant des composantes CoherenSE.
Vérifier l'évolution et la réponse du système
CoherenSE sous différentes configurations
topologiques et paramètres dynamiques
Identifier toutes limites et les conditions de
défaillance
Tests de performances : Objectifs

20. Points de
blocage
Mécanismes
distribués (SOA)
Problème Big-Data
Diversité des
configurations
Différents OS
5 nœuds x 40 partitions
=> 10 millions configurations
Tests de performances : Points de blocage

21. Tests de performance : Modélisation
Modéliser les paramètres d'entrée de toute configuration par un tenseur d'entrée et la sortie
(performance) par un tenseur de sortie.
Deep
Learning
Tenseur d’entrée Tenseur de sortie
Exemple de réseau neuronal artificiel

22. Tests de performance : Modélisation
Chaque communication linkm, m = 1, … , lN est représentée par :
 Numéro de la communication : l1, l2, … , lN.
 Type de la communication : intra/inter-partition, inter-node.
 Propriétés des communications : Modes de communication, Taille de message/data,
Trafic (message ou data), taille de fil d’attente …

23. Tests de performance : Modélisation
S6 : service qui calcul la distance véhicule/obstacle (capteur)
S2 : service qui affiche la distance sur le tableau de bord
 Type de la communication linktype : inter-node
 Propriétés des communications :
• Modes de communication = message ou data
• Taille/Trafic (message ou data)
• Taille de fil d’attente …
Communication S2/S6 :
Assistance pour se garer ou freinage d’urgence

24. Tests de performance : Modélisation
Une configuration d'entrée de CoherenSE
est modélisée avec un tenseur
tridimensionnel :
 Dimension 1 (axe i) : les numéros
de communication l1, l2, … , lN.
 Dimension 2 (axe j) : les types de
communications.
 Dimension 3 (axe k) : les
propriétés des communications.

25. Collection des performances de différentes configurations.
Classification des performances obtenues dans une base de données
Prédiction de la performance par le processus Deep Learning
Tests de performance : Mise en place
25

26. 4.
Simulations numériques

27. Tests de performance : Simulations numériques
27
Données de simulation numérique :
• 10 communications
• Variation des paramètres dynamiques :
• Taille d’un Message : de 100 [bits] de 200 [bits]
• Trafic : de 500 [msg/s] à 10000 [msg/s].
• 20000 configurations (80% entrainement, 10% test/validation)

28. Tests de performance : Simulations numériques
28
RTD traffic, 𝑀𝑠𝑔𝑠𝑖𝑧𝑒 =
𝑥1 linkm,type 𝑀𝑠𝑔𝑠𝑖𝑧𝑒
traffic + 𝑥2(linkm,type)
+ 𝑥3 linkm,type
Le modèle mathématique utilisé pour générer le jeu de
données (modèle exact)
Précision de convergence : 97 %

29. Tests de performance : Simulations numériques
29
RTD traffic, 𝑀𝑠𝑔𝑠𝑖𝑧𝑒 =
𝑥1 linkm,type 𝑀𝑠𝑔𝑠𝑖𝑧𝑒
traffic + 𝑥2(linkm,type)
+ 𝑥3 linkm,type + 𝜀
Le modèle mathématique utilisé pour générer le jeu de
données (modèle bruité)
Précision de convergence : 89%

30. 5.
La suite - perspectives

31. Tests de performance : La suite
Presentation title31
Tests de performance
CoherenSE
Temps de réponse
Utilisation de
ressource
Capacité
Simulé et utilisé Modélisé, simulation à implémenter

32. Tests de performance : La suite
32
• Implémentation de cette nouvelle architecture du réseau de neurone capable de prédire à la fois :
 Temps de réponse/ Transition
 Consommation CPU
 Consommation de mémoire
 Bande passante (capacité)

33. 6.
Questions?