Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
•
5 j'aime•4,721 vues
Kafka et Storm au service de la lutte antiDDoS à OVH Par Steven Le Roux Présentation faite à la Soirée Big Data du FinistJUG le 28/10/2014
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
Similaire à Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG (20)
Plus de Horacio Gonzalez
Plus de Horacio Gonzalez (20)
Dernier
Dernier (20)
Steven Le Roux - Kafka et Storm au service de la lutte antiDDoS à OVH - Soirée Big Data du FinistJUG
- 1. Kafka et Storm au service de la lutte antiDDoS à OVH Steven Le Roux Infrastructure Engineer OVH.com FinistJUG 29 Oct 2014
- 8. VAC
- 9. 10
- 14. 3 Tbps 17 Datacenters 32 PoPs
- 19. 20
- 23. Data Pipeline
- 26. / kafka / topic
- 27. / kafka / topic / replicas
- 28. / kafka / topic / replicas / factor / 3
- 29. / kafka / topics
- 30. / kafka
- 31. / kafka
- 32. / kafka / producers
- 36. / storm / tuple field
- 37. / storm / tuple {field1, field2,…,fieldn}
- 38. / storm / tuple {field1, field2,…,fieldn}Bolt Bolt
- 39. / storm / topology
- 40. / storm / topology / antiddos
- 42. Stream Grouping
- 43. Shuffle Grouping Field Grouping Direct Grouping Other Grouping / storm
- 44. Attacks Router Grouping Scans IP src Grouping / storm
- 46. Indexing Prooving Producing / storm / event
- 47. #lifecycle
- 48. #dataviz
- 49. Nice speech… … so what ?
- 50. False positives Strange behaviours from customers e.g. DB sync without connection pool Application centric i.e. UDP protocols #issues
- 51. Add other sources Application Anti-DDoS Game Half Life/Source CS:GO TeamSpeak / Mumble GTA SA:MP … More to come (any special need ?) #solutions
- 53. #datalake
- 55. Nodes - Hardware CPU 16c/32t RAM 256GB Disks : OS : Raid 1 Data : 10 disks per node 200 MB/s ~ 1,5-2 Gbps #hardware
- 56. Kafka I/O bound Bench (1node) 1M+ msg/s No compression No ackers 80MB/s Tuning num.io.thread num.network.thread socket.*.buffer.* Storm CPU/RAM bound M+ tuples/s No ackers Break SRP Minimal workers Avoid transfer buffer #config
- 57. OpenSOC
- 58. Clément Sciascia - @csciasci Magnus Edenhill - @edenhillm https://github.com/edenhill/librdkafka LinkedIn - Apache Kafka Nathan Marz - Apache Storm #Thanks #moreStorm basic training – Mickael G. Noll http://fr.slideshare.net/miguno/apache-storm-09-basic-training-verisign Kafka documentation