Wojciech Meler, Tomasz Potęga / WP.PL Jak odebrać 1mld e-maili? Prezentacja z konferencji infoShare 2013 Presented at infoShare 2013, Gdańsk 2013

1. Jak odebrać
1 mld e-maili?
Wyzwania w największej poczcie w Polsce.

2. Kwestia skali
01
}}
Liczba przesłanych maili:
2 mld
63 mln
88 tys.
miesiąca
całego dnia
podczas oglądania tego slajdu

3. Spam
02
farmaceutyki, randki, podróbki

4. }
Z całego strumienia przychodzącej
poczty nawet 85% maili mo e być
spamem
Filtr spamu
03
}

5. Wirus
04

6. Botnet
05
} }

7. Rozmiary
06
} }
liczba zara onych
3,2 mln
3,6 mln
4,5 mln
Virut
Zeus
TDL4
10,5 mln
12 mln
30 mln
Conficker
Mariposa
BredoLab

8. DCC
07
Distributed Checksum Clearinghouses

9. Ile i skąd?
08
968
589
1337
1292
377
729
1096
220
812
610
1101
1179
1504
1086
819
500
964
592
1004
CNMXROIDVNRSINTWPKSNPHLBSABFGMGHBJCING
analiza ilościowa w czasie rzeczywistym

10. DKIM
09
Kryptografia w słu bie ochrony poczty

11. 10
DNA
34532
45653
23454
23454
67532
34525
98753
34532
45653
23454
23454
67532
34525
98753
34532
45653
23454
23454
67532
34525
98753
34532456532345423454675323452598753
34532
45653
23454
23454
67532
34525
98753
34532
45653
23454
23454
67532
34525
98753
34532456532345423454675323452598753
34532456532345423454675323452598753
34532
45653
23454
23454
67532
34525
98753
34532
45653
23454
23454
67532
34525
98753
34532
45653
23454
23454
67532
34525
98753
34532
45653
23454
23454
67532
34525
98753
34532
45653
23454
23454
67532
34525
98753
Analiza wzorców i zale ności w strumieniu maili

12. I had seen you private image on the web.
Great pic. Get back soon.
I could send you my private picture.
You will be happy. Waiting to hear back from you.
Looked at your primary photo at facebook.
It was great. Please reply.
I ended up seeing you personal pic on facebook.
Very interesting. Please drop me a line.
11
DNA
34532
45653
23454
23454
67532
34525
98753
I could send you my photo. You would be glad.
Please get back soon.

13. Geografia spamu
12

14. Chiny bez wizy
13

15. Środki transportu
14
?700km/h50km/h

16. mailowymStop wariatom
15
6500km/h700km/h50km/h
ile to będzie punktów karnych?

17. Mo esz oznaczyć spam lub skorzystać z automatu
do czyszczenia skrzynki.
dla u ytkownikówNarzędzia
16
wp-cleaner

18. Gdzie zapisać?
17
}

19. Du o NFS
18
RAID +
replikacja
asynchroniczna
kilkadzesiąt
macierzy
Ponad
1500 punktów
montowania

20. ZOHA
19
Zookeeped Haystacks

21. Apache Zookeeper
20
Apache
konfiguracja klastra
bie ący stan
HA

22. Haystack
21
minimalna ilość metainformacji
błyskawiczny dostep do danych
du e pliki zło one z niewielkich
obiektów (needle in haystack)
Padding
Data Checksum
Footer Magic Number
Data
Size
Flags
Alternate Keyneedle 3
Key
Cookie
Header Magic Number
needle 2
needle 1
superblock

23. Jak zrobiliśmy klaster
Klaster
22

24. Jakie maszyny
23
1U 4 x HDD
2U 12 x HDD
4U 48 x HDD

25. Jaki filesystem
24
ext4
btrfs
xfs

26. Jak zorganizować dyski
Dyski
25
kontroler RAID + 2 kopie w klastrze
kontroler SATA + 3 kopie w klastrze

27. Gdzie OS?
26
software RAID na dyskach twardych
pendrive
network boot

28. ZOHA: 100 serwerów, 1PB raw
ZOHA
27
node-3.r-3.c-1.zoha.srv
node-33.r-3.c-1.zoha.srv
node-2.r-3.c-1.zoha.srv
R3
node-1.r-3.c-1.zoha.srv
DHCP Zookeeper
H
node-3.r-2.c-1.zoha.srv
node-33.r-2.c-1.zoha.srv
node-2.r-2.c-1.zoha.srv
R2
node-1.r-2.c-1.zoha.srv
DHCP Zookeeper
H
node-3.r-1.c-1.zoha.srv
node-33.r-1.c-1.zoha.srv
node-2.r-1.c-1.zoha.srv
R1
node-1.r-1.c-1.zoha.srv
DHCP Zookeeper
H

29. ale mamy te cichego
testera, który załadował 6TB
Akcja wykop
28
-250GB na jednym koncie

30. Zapisane
29
A potem trzeba te 2 mld maili
pokazać u ytkownikom
}

31. Protokoły
30
POP3
IMAP

32. Webmail
31

33. Technologie
32

34. Pytania?
33
Dziękujemy za uwagę