Les tests d'intrusion sont, depuis longtemps, une méthode éprouvée qui simule une attaque contre les systèmes informatiques des entreprises afin de détecter les vulnérabilités exploitables avant tout le monde. Mais le prix en vaut-il la peine?

1. Quel budget pour les tests d'intrusion
face aux nouvelles cyber menaces ?
Nicolas Renard
Mai 2019

2. 2
• Test d’intrusion – Définition et pourquoi il
est important
• Le coût réel d’un pentest
• Test d’intrusion ‘Nouvelle génération’
• Nouveaux challenges – ce que le 21ème
siècle vous réserve
Agenda

3. 3
• Siège social – Suède
• Bureaux commerciaux –
BeNeLux, Allemagne, Pays
scandinaves, RU&I/France,
USA
• Partenaires MSSP et
revendeurs à travers le
monde
• Plus de 130 employés
• + 11M€ CA en 2018, soit
37% de croissance
Qui est Outpost24 ?

4. Un test d’intrusion, couramment appelé
pentest, est une cyber-attaque simulée et
autorisée sur un système informatique,
réalisée afin d’évaluer le niveau de sécurité du
système. Le test est effectué pour identifier les
faiblesses (également appelées vulnérabilités),
y compris la possibilité pour des tiers non
autorisés d'accéder aux fonctionnalités et aux
données du système, ainsi que les forces,
permettant ainsi de réaliser une évaluation
complète des risques. - Source Wikipedia
Il vous aide à comprendre la surface d’attaque
de vos application et réseaux
Test d’intrusion : qu’est-ce que c’est et pourquoi c’est
important ?
4

5. Oui. Les bénéfices que vous pouvez en tirer sont très précieux
• Trouver les « backdoors » – ou ce que vos outils automatisés
manquent
• Hiérarchiser les risques
• Améliorer la détection et les alertes (Top 10 de l'OWASP 2017 A10)
• Valider vos contrôles
• Se conformer aux réglementations locales, nationales et
internationales
Il complète les zones non couvertes par vos tests automatisés
Doit-on faire des tests d’intrusion ?
5

6. A quelle fréquence vos applications changent-elles ?
Est-ce une application critique ?
Est-il question de tester ponctuellement la conformité ou bien cela fait-il
partie de tests à réaliser régulièrement dans le cadre d’un cycle de
développement DevSecOps ?
De nombreux clients effectuent un test d’intrusion une ou deux fois par an
ou tous les trimestres, à la demande du secteur d’activité ou par un tiers.
A quelle fréquence faire un test d’intrusion ? 6
Enquête : Combien de test d’intrusion par application, effectuez-vous annuellement ?

7. Le coût réel d’un test d'intrusion…
7

8. Ce que vous pensez payer
8
Un test d’intrusion total de 10 jours à un « tarif journalier » convenu
(750 € à 1 000 € et plus)
Test d’intrusion (10 jours / 7 500 €)
€€

9. Mais vous avez oublié les coûts de préparation
9
Le coût journalier de votre personnel interne (500 €)
Choix du prestataire,
négociation du contrat (5 jours /
2 500 €)
Appel d’offres (2 jours / 1
000 €)
Planning, date de démarrage
(2 jours / 1 000 €)
Un test d’intrusion de 10 jours va réellement
coûter entre 15 et 20 jours une fois le test
effectué
Test d’intrusion + préparation (10 + 9 = 19 jours / 12 000 €)
+ 4 500 €
€€€€
+ 9 jours

10. Et vos dépenses « après test »
10
Un test de 10 jours est plus proche des 8 jours : vous avez eu des
retards, des incidents à gérer ainsi que la remise du rapport.
Maintenant, vous avez un long chemin à parcourir avant de trouver une
solution.
Examen du rapport
(3 jours / 1 500 €)
Ajout dans le suivi des
correctifs (2 jours / 1
000 €)
Ajustements
(1 – 2 jours / 500 €)
Remédiation
(10+ jours / 5 000 €)
Préparation + Test d’intrusion (19 – 2 = 17 jours / mais le
coût est toujours de 12 000 €)
€€€€€€ Ajoutez 16 autres jours et 8 000 € =
potentiellement 20 000 €

11. Appel d’offres
Trouver un prestataire
Choix de la portée du test
Négociation du contrat
Analyser le test
Ajout au suivi des problèmes
Remédiation
Le coût réel d’un test d’intrusion
11
€€
€€€€
€€€€€€
Prix d’achat
Coûts cachés

12. Pire encore…..
Il n’offre que peu de valeur
12

13. 13
Vous devez être prêt pour les testeurs
• En cas de retard vous perdrez des jours de test
La production est affectée
• Les entreprises se plaignent. Vous devez recommencer.
Vous perdez ½ jour et changez la portée du test
Le testeur doit rédiger un rapport et vous présenter les
résultats
• Cela prend 1,5 / 2 jours pour délivrer
Vos 10 j deviennent : 5 j de test, quelques jours d’attente, 1j
pour rédiger un rapport et une réunion de clôture
• Votre testeur a probablement utilisé des outils automatisés
à 50%+
Vous n’obtenez pas ce
pourquoi vous payez

14. 14
Vous ne pouvez pas savoir si les corrections sont efficaces
• Peut-être que votre scanner automatisé peut aider un
peu
Mais le DAST ne remplace pas vraiment les tests manuels
• Ils ne s’adaptent pas à votre logique métier
• Ils ne trouveront pas ce plugin vulnérable qui donne un
accès administrateur à votre application
• Ils pourraient exécuter une attaque « Buffer overflow »
ou SQLi - endommageant votre application (vous pouvez
blacklister ces pages de l'application mais cela affaiblira
sa capacité à détecter les risques)
• Ils généreront peut-être des faux positifs, ce qui pourrait
vraiment rallonger les temps de correction.
Cela vous laisse songeur

15. Vous considérez le « test » comme un nombre de « jours ouvrés ».
C’est une mauvaise approche du budget. Vous passez à côté de tous
les autres coûts - avant et après le test.
Votre test est probablement automatisé à 50% avec une analyse des
résultats, une journée pour les rapports et une journée pour la
restitution
Vous ne pouvez pas travailler sur la correction avant la fin du test
(suivant les délais) et vous devez attendre que le rapport vous ait été
remis
Vous devrez probablement jongler avec des faux positifs, des
résultats subjectifs et n’aurez aucun moyen réel d’interroger ou de
clarifier les problèmes
Vous ne pouvez pas facilement vérifier que vos équipes de
développement ont résolu les problèmes signalés
Cela vous coûte cher pour une valeur discutable
15
Et pourtant vous le faites encore

16. La définition de la folie, c’est faire
la même chose à répétition
et s'attendre à ce que les résultats
soient différents
16
Albert Einstein

17. Test d’intrusion nouvelle génération
17

18. 18

19. A. Ils voulaient un contrat unique, négocié au début d'une période de 12
mois pour couvrir tous les tests
B. Ils voulaient annuler les tests si nécessaire - à la demande.
C. Ils voulaient payer un prix fixe pour l’ensemble des tests
D. Ils voulaient que ce soit flexible. S'ils ont besoin de plus, ils paient plus
Que disent nos clients, vos homologues, sur la procédure ?
19

20. A. Ils ne voulaient pas avoir à définir le périmètre pour chaque
application au préalable.
B. Ils voulaient un test flexible, approfondi, atteignant l’objectif qu’ils se
sont fixé.
C. Ils ne voulaient pas s’inquiéter du nombre de « jours »
D. Ils souhaitaient que les résultats soient présentés dans une seule
interface utilisateur, avec une option d'intégration dans leurs outils CI /
CD
Que disent nos clients, vos homologues, sur la prestation
20

21. A. Ils ne voulaient pas de faux positifs. Tout ce qui est présenté dans
l’interface graphique doit nécessiter une correction.
B. Ils ne voulaient pas attendre la fin du test et la restitution pour
commencer la correction
C. Ils voulaient pouvoir poser des questions ou demander des
éclaircissements au-delà de la durée du test
D. Ils voulaient vérifier que leurs efforts de remédiation avaient été
fructueux, au-delà de la durée du test
E. Ils voulaient remplir la case à cocher « conformité » avec un rapport de
test d'intrusion
Que nous disent nos clients, vos homologues, sur la
remédiation ? 21

22. 22
Nous avons écouté. Nous avons construit. Nos clients sont
venus
Nous avons délivré :
• Contrats annuels
• Groupe de tests à la demande
• Zéro faux positif
• Découvertes postées directement sur l'interface
utilisateur pouvant être corrigées pendant les tests
• Accès direct aux analystes
• Possibilité de demander la vérification des activités de
remédiation
Les clients économisent du temps et de l’argent tout en
étant en mesure de demander des tests adaptés à leurs
procédures SDLC et à leurs délais
Si vous le construisez, ils
viendront

23. Economisez votre temps et vos €€€
Maintenant !
23

24. Les test d’intrusions traditionnels coûtent plus que vous
ne le pensez
24
Ancien : coût caché pour chaque test
Nouveau : coût fixé d’avance
Ancien : vous testez quand vous pouvez,
en interrompant le cycle de
développement
Nouveau : Test sur demande, inclus dans
le cycle de développement
Ancien : vous corrigez les failles bien
après que les tests soient terminés
Nouveau : vous corrigez au fur et à
mesure que les tests se déroulent
Ancien vs Nouveau
€€

25. • Une poignée de main pour un prix fixe (pas de
coût caché)
• A la demande et flexible
• Accès instantané, pas de retard, vous obtenez
l'épisode dès qu'il est disponible
• Excellente expérience de streaming (sans mise
en mémoire tampon)
• Excellent service client et facilité de contact
avec des représentants compétents
• Lecture et pause flexibles et satisfaction
garantie
Adoptez le modèle Netflix
25
• Contrat unique, une signature, durée de 12
mois
• Groupe de test « à la demande »
• Résultats en libre service disponibles tant que
les tests sont toujours en cours (VIA UI)
• Pas de faux positifs
• Accès aux analystes, pour des questions et
des éclaircissements
• Remédiation des découvertes « à la
demande »

26. Outpost24 offre la combinaison unique
d’un pentest manuel avec une surveillance
24/7. Sa capacité à couvrir les
vulnérabilités connues est un réel
avantage par rapport aux tests d’intrusion
qui doivent être effectués régulièrement
26
Application Manager d’une banque

27. Questions & Réponses
27