Ce diaporama a bien été signalé.
Le téléchargement de votre SlideShare est en cours. ×

HUGFR : Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS en temps-réel par Steven Le Roux de la société OVH

Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité

Consultez-les par la suite

1 sur 56 Publicité

HUGFR : Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS en temps-réel par Steven Le Roux de la société OVH

Télécharger pour lire hors ligne

Presentation d'OVH lors du Hadoop User Group du 6 octobre à Paris.

• Talk #4: Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS en temps-réel par Steven Le Roux de la société OVH.

http://hugfrance.fr/hug_paris_6_oct_cloudera/

Presentation d'OVH lors du Hadoop User Group du 6 octobre à Paris.

• Talk #4: Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS en temps-réel par Steven Le Roux de la société OVH.

http://hugfrance.fr/hug_paris_6_oct_cloudera/

Publicité
Publicité

Plus De Contenu Connexe

Diaporamas pour vous (20)

Les utilisateurs ont également aimé (20)

Publicité

Similaire à HUGFR : Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS en temps-réel par Steven Le Roux de la société OVH (20)

Plus par HUG France (20)

Publicité

Plus récents (20)

HUGFR : Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS en temps-réel par Steven Le Roux de la société OVH

  1. 1. AntiDDoS : Threat Detection Steven Le Roux Infrastructure Engineer
  2. 2. OVH Anti-DDoS
  3. 3. VAC
  4. 4. 9
  5. 5. 3 Tbps 17 Datacenters 32 PoPs
  6. 6. 19
  7. 7. Data Pipeline
  8. 8. Clients Producers Consumers Brokers Topics Partitions Replicas / kafka
  9. 9. / kafka / topic
  10. 10. / kafka / topic / replicas
  11. 11. / kafka / topic / replicas / factor / 3
  12. 12. / kafka / topics
  13. 13. / kafka
  14. 14. / kafka
  15. 15. / kafka / producers
  16. 16. Stream Processing
  17. 17. Topology (DAG) Spouts Bolts Cluster Nimbus Supervisors Workers / storm
  18. 18. / storm / topology
  19. 19. / storm / topology / antiddos
  20. 20. Stream Grouping
  21. 21. / storm Shuffle Grouping Field Grouping Direct Grouping Other Grouping
  22. 22. Attacks Router Grouping Scans IP src Grouping / storm
  23. 23. Attacks ≈ 1s Scoring Filters Burst Scans IP Proto / storm
  24. 24. Indexing Prooving Producing / storm / event
  25. 25. #lifecycle
  26. 26. #dataviz
  27. 27. Nice speech… … so what ?
  28. 28. #issues False positives Strange behaviours from customers e.g. DB sync without connection pool Application centric i.e. UDP protocols
  29. 29. #solutions Add other sources Application Anti-DDoS Game Half Life/Source CS:GO TeamSpeak / Mumble GTA SA:MP … More to come (any special need ?)
  30. 30. #datalake
  31. 31. #hardware Nodes - Hardware CPU 16c/32t RAM 256GB Disks : OS : Raid 1 Data : 10 disks per node 200 MB/s ~ 1,5-2 Gbps
  32. 32. Kafka I/O bound Bench (1node) 1M+ msg/s No compression No ackers 80MB/s Tuning num.io.thread num.network.thread socket.*.buffer.* Storm #config CPU/RAM bound M+ tuples/s No ackers Break SRP Minimal workers Avoid transfer buffer
  33. 33. OpenSOC
  34. 34. Clément Sciascia - @csciasci Magnus Edenhill - @edenhillm https://github.com/edenhill/librdkafka LinkedIn - Apache Kafka Nathan Marz - Apache Storm #Thanks Storm basic training – Mickael G. Noll #more http://fr.slideshare.net/miguno/apache-storm-09-basic-training-verisign Kafka documentation
  35. 35. Steven LE ROUX @StevenLeRoux steven.le-roux@ovh.net Thanks

×