Contenu connexe Plus de Amir Sedighi (16) Big Data and Machine Learning Workshop - Day 3 @ UTACM1. 1
۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن
ﺻﺪﯾﻘﯽ ﺍاﻣﯿﺮ
ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
@amirsedighi :ﺗﻮ4ﺘﺮ
:ﺍاﯾﻤﯿﻞsedighi@gmail.com
ﻫﺎﺭرﺍاﺑﺰﺍا ﻭو ﻫﺎﺩدﮐﺎﺭرﺑﺮ ،ﺩدﺍاﺩدﻩه ﻫﺎﯼیﻥنﺟﺮﯾﺎ ،(ﺩدﺍاﺩدﻩهﻪ ِ)ﻣ ﺑﺰﺭرﮒگﯼیﻫﺎﻩهﺩدﺍاﺩد - ﺳﻮﻡم ﺭرﻭوﺯز
3. 3
ﺁآﻣﻮﺯزﯾﻢﯽﻣ ﺍاﻣﺮﻭوﺯز ﺁآﻧﭽﻪﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(BigData Processing) (ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩدﻩه/ﺩدﺍاﺩدﻥنﺩدﯾﺘﺎ/ﮐﻼﮓ)ﺑﯿ ﺩدﺍاﺩدﻩهﻪ ِﻣ ﭘﺮﺩدﺍاﺯزﺵش ﻣﻔﺎﻫﯿﻢ ﺑﺎ ﺁآﺷﻨﺎﯾﯽ
(Data Streaming) ﺩدﺍاﺩدﻩه ﻫﺎﯼیﻥنﺟﺮﯾﺎ ﭘﺮﺩدﺍاﺯزﺵش ﻣﻔﺎﻫﯿﻢ ﺑﺎ ﺁآﺷﻨﺎﯾﯽ
ﺩدﺍاﺩدﻩه ﻫﺎﯼیﻥنﺟﺮﯾﺎ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﺣﻮﺯزﻩه ﺩدﺭر ﺻﻨﻌﺖ ﻭو ﮐﺎﺭرﻭوﺐﮐﺴ ﻫﺎﯼیﺯزﻧﯿﺎ ﺑﺎ ﺁآﺷﻨﺎﯾﯽ
ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﺵشﭘﺮﺩدﺍاﺯز ﺯزﯾﺮﺳﺎﺧﺖ ﺗﺮﯾﻦﺭرﻣﺸﻬﻮ ﺑﮑﺎﺭرﮔﯿﺮﯼی ﻧﻤﻮﻧﻪ ﯾﮏ
ﺷﯿﻢﯽﻣ ﺁآﺷﻨﺎ ﺣﻮﺯزﻩه ﺍاﯾﻦ ﭘﺮﮐﺎﺭرﺑﺮﺩد ﺑﺎﺯزﻦﻣﺘ ﺍاﺑﺰﺍاﺭرﻫﺎﯼی ﺑﺎ
4. 4
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﭘﺎﯾﻪ ﻣﻔﺎﻫﯿﻢ ﻭو ﺗﺎﺭرﯾﺨﭽﻪ
ﺳﺮﻓﺼﻞ
ﻫﺎﺭرﺍاﺑﺰﺍا ﻭو ﻫﺎﺵشﺭرﻭو
5. 5
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻭوﺍاﻗﻌﯿﺖ ﺗﺎ ﺗﺼﻮﺭرﺍاﺕت ﺍاﺯز
6. 6
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد
ﺩدﺍاﺩدﻩهﻪ ِﻣ
ﺩدﺍاﺩدﻩهﻥنﮐﻼ
ﺩدﯾﺘﺎﮓﺑﯿ
Big-Data
ﻣﻘﺪﻣﻪ
7. 7
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
:ﭘﯿﺶ ﺳﺎﻝل ﭼﻨﺪ ﻫﻤﯿﻦ
ﺩدﯾﺮﻭوﺯز
11. 11
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺩدﯾﺮﻭوﺯز
640KB
1.2MB
12. 12
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎﺭرﻫﻨﺠﺎ ﺮKﺗﻐ
13. 13
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺷﺪ ﺷﺮﻭوﻉع ﮐﺠﺎ ﺍاﺯز ﺩدﺍاﺳﺘﺎﻥن
14. 14
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺷﺪ ﺷﺮﻭوﻉع ﮐﺠﺎ ﺍاﺯز ﺩدﺍاﺳﺘﺎﻥن
15. 15
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺷﺪ ﺷﺮﻭوﻉع ﮐﺠﺎ ﺍاﺯز ﺩدﺍاﺳﺘﺎﻥن
16. 16
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺷﺪ ﺷﺮﻭوﻉع ﮐﺠﺎ ﺍاﺯز ﺩدﺍاﺳﺘﺎﻥن
17. 17
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺷﺪ ﺷﺮﻭوﻉع ﮐﺠﺎ ﺍاﺯز ﺩدﺍاﺳﺘﺎﻥن
18. 18
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺷﺪ ﺷﺮﻭوﻉع ﮐﺠﺎ ﺍاﺯز ﺩدﺍاﺳﺘﺎﻥن
19. 19
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺷﺪ ﺷﺮﻭوﻉع ﮐﺠﺎ ﺍاﺯز ﺩدﺍاﺳﺘﺎﻥن
20. 20
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺩدﺍاﺩدﻩه ﭘﺮﺩدﺍاﺯزﺵش ﻭو ﺗﮑﺜﯿﺮ ،ﺗﻮﻟﯿﺪ ﻫﺎﯼیﺵشﺭرﻭو ﺗﮑﺎﻣﻞ
21. 21
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﮐﺎﺭرﺑﺮﺍاﻥن ﺗﻨﻮﻉع ﻭو ﺗﻌﺪﺍاﺩد ﺭرﺷﺪ ﺍاﺯز ﻧﺎﺷﯽ ﺍاﺛﺮﺍاﺕت
22. 22
Welcome to the Machineﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
23. 23
()ﺧﻮﺩدﻣﺎﻧﯽ ﺗﻌﺮﯾﻒﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺷﻮﻧﺪﯽﻣ ﻣﺴﺌﻠﻪ ﺍاﺯز ﺑﺨﺸﯽ ﻫﺎﻩهﺩدﺍاﺩد
(… SQL-Server ،MySQL ،)ﺍاﮐﺴﻞ ﻣﺘﺪﺍاﻭوﻝل ﻫﺎﯼیﺵشﺭرﻭو ﻧﺎﺗﻮﺍاﻧﯽ
24. 24
ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﺍاﺯز ﮔﺎﺭرﻧﺘﺮ ﺗﻌﺮﯾﻒﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
31. 31
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻣﻘﺪﻡم ﺧﻂ
Data Scientist
Data Engineer
33. 33
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
ﻭوﺏب ﺻﻔﺤﺎﺕت
34. 34
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
!ﭘﺴﻨﺪﯾﺪﻡم
35. 35
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
(ﮐﺎﺭرﺑﺮﺍاﻥن )ﻧﻈﺮ ﻫﺎﺖﮐﺎﻣﻨ
36. 36
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
ﻮﻭوﯾﺪﺋ
37. 37
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
ﻣﺎﻟﯽ ﻫﺎﯼیﺶﺗﺮﺍاﮐﻨ
38. 38
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
ﻫﺎﺖ4ﺗﻮ
39. 39
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
ﺗﺼﻮﯾﺮ
40. 40
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
ﻻﮒگ
41. 41
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
ﻻﮒگ
ﮐﺎﺭرﺑﺮﺍاﻥن ﻫﺎﯼیﮏﮐﻠﯿ
42. 42
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
ﻻﮒگ
ﮐﺎﺭرﺑﺮﺍاﻥن ﻫﺎﯼیﮏﮐﻠﯿ
ﺳﺮﻭوﺭرﺏبﻭو ﻻﮒگ
43. 43
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
ﻻﮒگ
ﮐﺎﺭرﺑﺮﺍاﻥن ﻫﺎﯼیﮏﮐﻠﯿ
ﺳﺮﻭوﺭرﺏبﻭو ﻻﮒگ
ﺍاﭘﻠﯿﮑﯿﺸﻦ ﻻﮒگ
44. 44
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
ﻻﮒگ
ﮐﺎﺭرﺑﺮﺍاﻥن ﻫﺎﯼیﮏﮐﻠﯿ
ﺳﺮﻭوﺭرﺏبﻭو ﻻﮒگ
ﺍاﭘﻠﯿﮑﯿﺸﻦ ﻻﮒگ
ﺳﯿﺴﺘﻢ ﻻﮒگ
45. 45
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎ؟ﻩهﺩدﺍاﺩد ﮐﺪﺍاﻡم
ﻻﮒگ
ﮐﺎﺭرﺑﺮﺍاﻥن ﻫﺎﯼیﮏﮐﻠﯿ
ﺳﺮﻭوﺭرﺏبﻭو ﻻﮒگ
ﺍاﭘﻠﯿﮑﯿﺸﻦ ﻻﮒگ
ﺳﯿﺴﺘﻢ ﻻﮒگ
(ﻫﺎﺰﭼﯿﺖ)ﺍاﯾﻨﺘﺮﻧ ﺯزﻧﺪﮔﯽ ﻻﮒگ
47. 47
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺍاﺻﻠﯽ ﻣﻨﺒﻊ
http://hadoopilluminated.com/hadoop_illuminated
48. 48
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺎﺖﻣﺤﺪﻭوﺩدﯾ
ﭘﺮﺩدﺍاﺯزﺵش ﺑﺮﺍاﯼی (Platform) ﺳﺎﺯزﻩهﻦﺑ ﯾﮏ ﺩدﺳﺘﺮﺱس ﺩدﺭر ﻭو ﺍاﺭرﺯزﺍاﻥن ﺗﺠﻬﯿﺰﺍاﺕت ﺗﻮﺳﻂ ﭼﮕﻮﻧﻪ
ﺑﺒﯿﻨﯿﻢ؟ ﺗﻬﯿﻪ ﺑﺰﺭرﮒگﯼیﻫﺎﻩهﺩدﺍاﺩد
49. 49
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Scalability) ﭘﺬﯾﺮﯼیﺱسﻣﻘﯿﺎ
50. 50
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Scalability) ﭘﺬﯾﺮﯼیﺱسﻣﻘﯿﺎ
51. 51
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Scalability) ﭘﺬﯾﺮﯼیﺱسﻣﻘﯿﺎ
Scale-Up
52. 52
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Scalability) ﭘﺬﯾﺮﯼیﺱسﻣﻘﯿﺎ
Scale-Out
Scale-Up
53. 53
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Scalability) ﭘﺬﯾﺮﯼیﺱسﻣﻘﯿﺎ
54. 54
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Scalability) ﭘﺬﯾﺮﯼیﺱسﻣﻘﯿﺎ
57. 57
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺳﺮﺁآﻏﺎﺯز
1999
2002
58. 58
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺳﺮﺁآﻏﺎﺯز
1999
2002
59. 59
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﭼﮕﻮﻧﻪ؟
Q!ﻭوﺭرﯾﻢ؟ﺎﺑﯿ ﺑﺪﺳﺖ ﺧﻄﯽ ﭘﺬﯾﺮﯼی ﻣﻘﯿﺎﺱس ﻗﯿﻤﺖ ﺍاﺭرﺯزﺍاﻥن ﻣﺎﺷﯿﻦ ﺯزﯾﺎﺩدﯼی ﺗﻌﺪﺍاﺩد ﮐﻤﮏ ﺑﻪ ﭼﮕﻮﻧﻪ
60. 60
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
Q!ﻭوﺭرﯾﻢ؟ﺎﺑﯿ ﺑﺪﺳﺖ ﺧﻄﯽ ﭘﺬﯾﺮﯼی ﻣﻘﯿﺎﺱس ﻗﯿﻤﺖ ﺍاﺭرﺯزﺍاﻥن ﻣﺎﺷﯿﻦ ﺯزﯾﺎﺩدﯼی ﺗﻌﺪﺍاﺩد ﮐﻤﮏ ﺑﻪ ﭼﮕﻮﻧﻪ
A(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
61. 61
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺳﺮﺁآﻏﺎﺯز
1999
2002
2003 ..
62. 62
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺳﺮﺁآﻏﺎﺯز
1999
2002
2006200
63. 63
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﭘﺎﯾﻪ ﻣﻔﺎﻫﯿﻢ ﻭو ﺗﺎﺭرﯾﺨﭽﻪ
ﻫﺎﺭرﺍاﺑﺰﺍا ﻭو ﻫﺎﺵشﺭرﻭو
64. 64
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﭘﺮﺩدﺍاﺯزﺵش ﺗﻮﺍاﻥن ﺍاﻓﺰﺍاﯾﺶ - ﭘﺮﺳﺶ
Qﺍاﯾﺸﺎﻥن ﺍاﺯز .ﺍاﺳﺖ ﮔﺮﻓﺘﻪ ﻗﺮﺍاﺭر ﻋﻠﯽ ﻭو ﺳﺎﺳﺎﻥن ،ﭘﯿﺎﻡم ﺍاﺧﺘﯿﺎﺭر ﺩدﺭر ﻓﺮﺩدﻭوﺳﯽ ﺷﺎﻫﻨﺎﻣﻪ ﺟﻠﺪ ﯾﮏ
.ﺑﺸﻤﺎﺭرﻧﺪ ﺭرﺍا ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ ﺍاﺳﺎﻣﯽ ﻣﻤﮑﻦ ﺭرﻭوﺵش ﺗﺮﯾﻦﻊﺳﺮﯾ ﺑﻪ ﺍاﻧﺪﻪﺧﻮﺍاﺳﺘ
ﮐﻨﯿﺪ؟ﯽﻣ ﭘﯿﺸﻨﻬﺎﺩد ﺭرﻭوﺷﯽ ﭼﻪ
65. 65
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﺎﺳﺎﻥن
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ
66. 66
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﺎﺳﺎﻥن
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ
67. 67
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﺎﺳﺎﻥن
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ
68. 68
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﺎﺳﺎﻥن
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ
69. 69
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﺎﺳﺎﻥن
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ
70. 70
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﺎﺳﺎﻥن
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ
71. 71
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﺎﺳﺎﻥن
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ
ﺭرﻭوﺩدﺍاﺑﻪ
ﺭرﺳﺘﻢ
ﺳﻬﺮﺍاﺏب
ﺭرﻭوﺩدﺍاﺑﻪ
ﺭرﺳﺘﻢ
ﺳﻬﺮﺍاﺏب
ﺭرﻭوﺩدﺍاﺑﻪ
ﺭرﺳﺘﻢ
ﺳﻬﺮﺍاﺏب
72. 72
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﺎﺳﺎﻥن
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ
ﺭرﻭوﺩدﺍاﺑﻪ
ﺭرﺳﺘﻢ
ﺳﻬﺮﺍاﺏب
ﺭرﻭوﺩدﺍاﺑﻪ
ﺭرﺳﺘﻢ
ﺳﻬﺮﺍاﺏب
ﺭرﻭوﺩدﺍاﺑﻪ
ﺭرﺳﺘﻢ
ﺳﻬﺮﺍاﺏب
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
73. 73
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﺎﺳﺎﻥن
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺭرﻭوﺩدﺍاﺑﻪ
ﺭرﺳﺘﻢ
ﺳﻬﺮﺍاﺏب
74. 74
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺭرﻭوﺩدﺍاﺑﻪ
ﺭرﺳﺘﻢ
ﺳﻬﺮﺍاﺏب
ﺳﺎﺳﺎﻥن
75. 75
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺭرﻭوﺩدﺍاﺑﻪ
ﺭرﺳﺘﻢ
ﺳﻬﺮﺍاﺏب
ﺳﺎﺳﺎﻥن
map() shuffle() reduce()splitting()
76. 76
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺳﻬﺮﺍاﺏب ﻭو ﺭرﺳﺘﻢ ،ﺭرﻭوﺩدﺍاﺑﻪ
ﭘﯿﺎﻡم
ﺳﺎﺳﺎﻥن
ﻋﻠﯽ
ﺭرﻭوﺩدﺍاﺑﻪ
ﺭرﺳﺘﻢ
ﺳﻬﺮﺍاﺏب
ﺳﺎﺳﺎﻥن
map() shuffle() reduce()
[k1,v1] by k1 [k1,[v1, v2, v3 …]]
77. 77
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(Map-Reduce) ﮐﺎﻫﺶ ﻧﮕﺎﺷﺖ
78. 78
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺍاﻃﻤﯿﻨﺎﻥن ﺿﺮﯾﺐ ﺍاﻓﺰﺍاﯾﺶ - ﭘﺮﺳﺶ
Qﮐﺎﻣﭙﯿﻮﺗﺮ ﻫﺮ ﺍاﯾﻨﮑﻪ ﺑﻔﺮﺽض .ﺍاﯾﻢﻩهﮐﺮﺩد ﺗﻬﯿﻪ ﻗﯿﻤﺖ ﺍاﺭرﺯزﺍاﻥن ﮐﺎﻣﭙﯿﻮﺗﺮ ۳۶۵ ﺑﺎ ﺧﻮﺷﻪ ﯾﮏ
ﯾﮏ ﺭرﻭوﺯزﺍاﻧﻪ ﻣﺘﻮﺳﻂ ﻃﻮﺭر ﺑﻪ (ﺧﺮﺍاﺑﯽ ﻧﻮﻉع )ﻫﺮ ﺷﻮﺩد ﺧﺮﺍاﺏب ﯾﮑﺒﺎﺭر ﺳﺎﻟﯽ ﺗﻨﻬﺎ ،ﻗﯿﻤﺖﻥنﺍاﺭرﺯزﺍا
ﭘﺮﺩدﺍاﺯزﺵش ﺳﻼﻣﺖ ﻭو ﻫﺎﻩهﺩدﺍاﺩد ﺳﻼﻣﺖ ﭼﮕﻮﻧﻪ ﺷﺮﺍاﯾﻄﯽ ﭼﻨﯿﻦ ﺩدﺭر .ﺩدﺍاﺷﺖ ﺧﻮﺍاﻫﯿﻢ ﺧﺮﺍاﺑﯽ
ﮐﻨﯿﻢ؟ ﺗﻀﻤﯿﻦ ﺭرﺍا (ﻣﺤﺴﺒﺎﺗﯽ ﻋﻤﻠﯿﺎﺕت )ﺗﮑﺮﺍاﺭرﭘﺬﯾﺮﯼی
79. 79
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(DFS) ﺷﺪﻩه ﺗﻮﺯزﯾﻊ ﻓﺎﯾﻞ ﺳﺎﻣﺎﻧﻪ
80. 80
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
(DFS) ﺷﺪﻩه ﺗﻮﺯزﯾﻊ ﻓﺎﯾﻞ ﺳﺎﻣﺎﻧﻪ
81. 81
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺑﺰﺭرﮒگ ﻫﺎﯼیﺰﺳﺎﯾ ﺑﻼﮎک
82. 82
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺷﺪﻩهﻊﺗﻮﺯزﯾﻞﻓﺎﯾ+ ﺷﺪﻩهﻊﺗﻮﺯزﯾ ﭘﺮﺩدﺍاﺯزﺵش = ﻫﺪﻭوﭖپ
Hadoop = HDFS + MapReduce
83. 83
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺭرﻋﯿﺘﯽ /ﺍاﺭرﺑﺎﺏب
84. 84
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺭرﻋﯿﺘﯽ /ﺍاﺭرﺑﺎﺏب
86. 86
ﺩدﯾﮕﺮ ﻫﺎﯼیﺭرﺍاﺑﺰﺍا ﺑﺎ ﺁآﺷﻨﺎﯾﯽﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺑﺎﺯزﻦﻣﺘ ﻗﺪﺭرﺗﻤﻨﺪ ﺍاﺑﺰﺍاﺭر ﭼﻨﺪ ﺑﺎ ﺁآﺷﻨﺎﯾﯽ
87. (Transfer) ﺟﺎﺑﺠﺎﯾﯽ
ﺳﺎﺯزﯼیﻩهﺫذﺧﯿﺮ
(Join) ﺍاﺭرﺗﺒﺎﻁط ﺑﺮﻗﺮﺍاﺭرﯼی
(Index) ﮔﺬﺍاﺭرﯼیﺲﺍاﻧﺪﯾ
(Analytics) ﺗﺤﻠﯿﻞ
(Aggregate) ﺗﺠﻤﯿﻊ
(Visualize) ﺳﺎﺯزﯼیﻪﻧﻤﺎﯾ
87
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻣﺎ ﻫﺎﯼیﯼیﻧﯿﺎﺯزﻣﻨﺪ
Image ref: http://supplychaininsightsglobalsummit.com/steps-4-5-to-regain-manufacturing-prowess/
91. 91
ﮔﺬﺍاﺭرﯼی ﺍاﻧﺪﯾﺲ ﻭو ﺟﺴﺘﺠﻮﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
92. 92
ﺻﻒ ﻣﺪﯾﺮﯾﺖ ﻭو ﺭرﺳﺎﻧﯽ ﭘﯿﺎﻡمﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
96. 96
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺳﺎﺯزﯼی ﭘﯿﺎﺩدﻩه
ﺑﻨﻮﯾﺴﯿﻢ ﮐﺪ
97. 97
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺳﺎﺯزﯼی ﭘﯿﺎﺩدﻩه
.ﮐﻨﯿﺪ ﻣﺮﺗﺐ ﻓﺮﺍاﻭوﺍاﻧﯽ ﺍاﺳﺎﺱس ﺑﺮ ﻭو ﺑﺸﻤﺎﺭرﯾﺪ ﺭرﺍا ﺷﺎﻫﻨﺎﻣﻪ ﻫﺎﯼیﻩهﻭوﺍاﮊژ ﻫﺪﻭوﭖپ ﮐﻤﮏ ﺑﻪ
98. 98
ﻣﻠﺰﻭوﻣﺎﺕت - ﻧﮕﺎﺷﺖ ﮐﺎﻫﺶﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
Prerequisites:
• Windows, Linux or Mac
• Java 1.7
• Apache Maven 3
99. 99
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺪﻭوﭖپ ﺩدﺭرﯾﺎﻓﺖ
ﻫﺎﯼی ﻧﺴﺨﻪ ﯾﺎ ﮐﻨﯿﺪ ﮐﻤﭙﺎﯾﻞ ﻭو ﺑﮕﯿﺮﯾﺪ ﺭرﺍا ﮐﺪ ﺳﻮﺭرﺱس ﻣﯿﺘﻮﺍاﻧﯿﺪ .ﮐﻨﯿﺪ ﻧﺼﺐ ﺭرﺍا ﻫﺪﻭوﭖپ ﺑﺎﯾﺪ ﺍاﺑﺘﺪﺍا
.ﮐﻨﯿﺪ ﻧﺼﺐ ﻭو ﺩدﺍاﻧﻠﻮﺩد ﺭرﺍا ﺑﺎﯾﻨﺮﯼی
100. 100
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺪﻭوﭖپ ﺩدﺭرﯾﺎﻓﺖ
ﻫﺎﯼی ﻧﺴﺨﻪ ﯾﺎ ﮐﻨﯿﺪ ﮐﻤﭙﺎﯾﻞ ﻭو ﺑﮕﯿﺮﯾﺪ ﺭرﺍا ﮐﺪ ﺳﻮﺭرﺱس ﻣﯿﺘﻮﺍاﻧﯿﺪ .ﮐﻨﯿﺪ ﻧﺼﺐ ﺭرﺍا ﻫﺪﻭوﭖپ ﺑﺎﯾﺪ ﺍاﺑﺘﺪﺍا
.ﮐﻨﯿﺪ ﻧﺼﺐ ﻭو ﺩدﺍاﻧﻠﻮﺩد ﺭرﺍا ﺑﺎﯾﻨﺮﯼی
101. 101
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﻫﺪﻭوﭖپ ﮐﺪ ﮐﻤﭙﺎﯾﻞ
ﮐﺪ ﮐﻤﭙﺎﯾﻞ ﻭو ﺩدﺭرﯾﺎﻓﺖ
102. 102
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺑﺎﯾﻨﺮﯼی ﻧﺼﺐ
(OS X) ﺑﺎﯾﻨﺮﯼی ﻫﺎﯼیﻪﻧﺴﺨ ﻧﺼﺐ
brew install hadoop
103. 103
ﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
ﺳﺎﺯزﯼی ﭘﯿﺎﺩدﻩه
:ﺷﻮﺩد ﻓﺮﻣﺖ ﺍاﺳﺘﻔﺎﺩدﻩه ﺑﺮﺍاﯼی ﺑﺎﯾﺪ ﺩدﯾﮕﺮ ﺩدﯾﺴﮏ ﻫﺮ ﻣﺜﻞ HDFS
bin/hdfs namenode -format
:ﮐﻨﯿﺪ ﺍاﺳﺘﻔﺎﺩدﻩه ﺯزﯾﺮ ﺩدﺳﺘﻮﺭر ﺍاﺯز HDFS ﮐﺮﺩدﻥن ﺭرﻭوﺷﻦ ﺑﺮﺍاﯼی
sbin/start-dfs.sh
:ﺑﺴﺎﺯزﯾﺪ ﻓﻮﻟﺪﺭر POSIX ﻓﺎﯾﻞ ﺳﺎﻣﺎﻧﻪ ﻫﺮ ﻣﺜﻞ ﻣﯿﺘﻮﺍاﻧﯿﺪ
bin/hdfs dfs -mkdir /acm
:ﮐﻨﯿﺪ ﺍاﺳﺘﻔﺎﺩدﻩه ﺩدﺳﺘﻮﺭر ﺍاﯾﻦ ﺍاﺯز YARN ﮐﺮﺩدﻥن ﺭرﻭوﺷﻦ ﺑﺮﺍاﯼی
sbin/start-yarn.sh
:ﮐﻨﯿﺪ ﺍاﺳﺘﻔﺎﺩدﻩه ﺯزﯾﺮ ﺩدﺳﺘﻮﺭر ﺍاﺯز HDFS ﺩدﺭر ﻓﺎﯾﻞ ﺩدﺍاﺩدﻥن ﻗﺮﺍاﺭر ﺑﺮﺍاﯼی
bin/hdfs dfs -put yourFile.dat /acm
104. 104
ﭘﺮﻭوﮊژﻩه ﺍاﻭوﻟﯿﻪ ﺳﺎﺧﺘﺎﺭر ﺳﺎﺧﺖﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
Create the Maven project:
mvn archetype:generate
-DarchetypeGroupId=org.apache.maven.archetypes
-DgroupId=ir.ac.ut.acm.wordcount
-DartifactId=wordcount
-DinteractiveMode=false
105. 105
ﭘﺮﻭوﮊژﻩه ﺍاﻭوﻟﯿﻪ ﺳﺎﺧﺘﺎﺭر ﺳﺎﺧﺖﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
Create the project:
mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=ir.ac.ut.acm.wordcount -DartifactId=wordcount -DinteractiveMode=false
106. 106
…ﻫﺎﯽﻭوﺍاﺑﺴﺘﮕﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
<dependency>
<groupid>org.apache.hadoop</groupid>
<artifactid>hadoop-client</artifactid>
<version>2.7.2</version>
</dependency>
Add the Hadoop Client the project POM:
107. 107
…ﻫﺎﯽﻭوﺍاﺑﺴﺘﮕﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
Add the following plugins to the POM:
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
<configuration>
<archive>
<manifest>
<addClasspath>true</addClasspath>
<mainClass>ir.ac.ut.acm.wordcount.WordCount</mainClass>
</manifest>
</archive>
</configuration>
</plugin>
108. 108
…ﻫﺎﯽﻭوﺍاﺑﺴﺘﮕﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
Add the following plugins to the POM:
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>1.7</source>
<target>1.7</target>
</configuration>
</plugin>
109. 109
ﺟﺎﻭوﺍاﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
Create WordCount.java
package ir.ac.ut.acm.wordcount;
import java.io.IOException;
import java.util.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
public class WordCount {
public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
while (tokenizer.hasMoreTokens()) {
word.set(tokenizer.nextToken());
context.write(word, one);
}
}
}
110. 110
ﺟﺎﻭوﺍاﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
context.write(key, new IntWritable(sum));
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = new Job(conf, "wordcount");
job.setJarByClass(WordCount.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.waitForCompletion(true);
}
}
Complete WordCount.java
111. 111
…ﺍاﺟﺮﺍا ﻭو ﺍاﺟﺮﺍاﯾﯽ ﺑﺴﺘﻪ ﺳﺎﺧﺖ ﻭو ﮐﻤﭙﺎﯾﻞﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
mvn clean install
112. 112
…ﺍاﺟﺮﺍا ﻭو ﺍاﺟﺮﺍاﯾﯽ ﺑﺴﺘﻪ ﺳﺎﺧﺖ ﻭو ﮐﻤﭙﺎﯾﻞﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
hadoop jar target/wordcount-1.0-SNAPSHOT.jar input.txt wcount
113. 113
!ﺍاﺳﺖ ﺷﺪﻩه ﻣﺮﺗﺐ ﻧﺘﯿﺠﻪﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
114. 114
ﻣﺮﺟﻊﺍاﻥنﺮﺗﻬ ﺩدﺍاﻧﺸﮕﺎﻩه ACM - ۱۳۹۵ ﺗﺎﺑﺴﺘﺎﻥن - ﻣﺎﺷﯿﻦﯼیﯾﺎﺩدﮔﯿﺮ ﻭو ﺑﺰﺭرﮒگ ﻫﺎﯼیﻩهﺩدﺍاﺩد ﻫﺎﯼیﺩدﮐﺎﺭرﺑﺮ ﺑﺮ ﮔﺬﺭرﯼی
http://www.infogovsolutions.com/defensible-disposition-of-structured-data-2/
http://pamneely.com/6-ways-search-will-change/
http://www.forbes.com/sites/gilpress/2013/05/28/a-very-short-history-of-data-science
http://www.slideshare.net/accavdar/big-data-tech-stack
http://wallup.net/preview/?wallpaper=glaciers-landscape-snow-water-drops-water-nature-iceberg-underwater
http://wikipediea
http://hadoopilluminated.com/hadoop_illuminated
http://wiki.apache.org/hadoop/
http://tuttlem.github.io/2014/01/30/create-a-mapreduce-job-using-java-and-maven.html
https://getblueshift.com/setting-up-hadoop-2-4-and-pig-0-12-on-osx-locally/
ﺳﺎﺯزﯼی ﭘﯿﺎﺩدﻩه ﮐﺪ