در دنیای اینترنت شاهد متولد شدن کودکی باهوش به نام وب ۳ می باشیم که می توان آنرا به یک شبه انسان تشبیه کرد. اما این کودک به خودی خود باهوش نیست. این هوش را از تحلیل و جمع آوری داده ها کسب می کند و هرچه که این داده ها بیشتر، بهتر و سریعتر جمع آوری و تحلیل شود به هوش بیشتری دست خواهیم یافت. در این ارائه سعی می شود به معرفی و آزمایش روش های جمع آوری و تحلیل داده های کلان که به هوشمندی و گذار به سمت وب ۳ می انجامد پرداخته شود.

1. ‫رنجبر‬ ‫مبین‬
‫وب‬ ‫سمت‬ ‫به‬ ‫گذار‬ ‫راهنمای‬3‫داده‬ ‫کالن‬ ‫منظر‬ ‫از‬

2. ‫مقدمه‬‫مقدمه‬
‫در‬‫دنیای‬‫اینترنت‬‫شايد‬‫نتَلد‬‫شدن‬‫کَدکی‬‫بايَش‬ٌ‫ب‬‫نام‬‫ٍب‬۳‫نی‬
‫باشیو‬ٌ‫ک‬‫نی‬‫تَان‬‫آنرا‬ٌ‫ب‬‫یک‬ٌ‫شب‬‫انسان‬ٌ‫تشبی‬‫کرد‬.‫انا‬‫این‬‫کَدک‬ٌ‫ب‬
‫خَدی‬‫خَد‬‫بايَش‬‫نیست‬.‫این‬‫يَش‬‫را‬‫از‬‫تحلیل‬ٍ‫جهع‬‫آٍری‬‫دادى‬
‫يا‬‫کسب‬‫نی‬‫کند‬ٌٍ‫يرچ‬ٌ‫ک‬‫این‬‫دادى‬‫يا‬،‫بیشتر‬‫بًتر‬ٍ‫سریعتر‬‫جهع‬
‫آٍری‬ٍ‫تحلیل‬‫شَد‬ٌ‫ب‬‫يَش‬‫بیشتری‬‫دست‬‫خَايیو‬‫یافت‬.

3. ‫اٍلین‬‫نسل‬‫ٍب‬‫یعنی‬‫ٍب‬۱‫از‬‫صفحات‬‫ثابت‬ٍ‫غیرپَیایی‬‫تشکیل‬‫نی‬‫شد‬
ٌ‫ک‬‫اطالعات‬‫بررٍی‬‫یک‬‫آدرس‬‫ذخیرى‬ٍ‫يیچ‬‫تعانلی‬‫با‬‫کاربر‬‫نهکن‬‫نبَد‬.
‫قابلیت‬‫اساسی‬ٌ‫ک‬‫ٍب‬۲‫بر‬‫آن‬‫استَار‬‫بَدى‬ٍ،‫است‬‫در‬‫انتشار‬‫اطالعات‬
ٌ‫نًفت‬‫است‬.‫یعنی‬‫کاربران‬‫این‬‫تَانایی‬‫را‬‫دارند‬‫تا‬‫بتَانند‬‫در‬‫سریع‬‫ترین‬
‫زنان‬‫نهکن‬‫نحتَای‬‫خَد‬‫را‬‫تَلید‬‫کنند‬ٍ‫با‬‫دیگران‬ٌ‫ب‬‫اشتراک‬‫بگذارند‬.
‫يهانند‬‫چیزی‬ٌ‫ک‬‫نا‬‫انرٍزى‬ٌ‫ب‬‫آن‬ٌ‫شبک‬‫يای‬‫اجتهاعی‬‫نی‬‫گَییو‬.
3 ‫وب‬3 ‫وب‬

4. ‫ٍب‬۳‫یا‬‫ٍب‬‫نعنایی‬ٌ‫ک‬‫یک‬‫نفًَم‬‫دادى‬‫نحَر‬‫است‬ٌ‫ک‬‫تهرکز‬‫آن‬‫بررٍی‬
‫کاربر‬‫نی‬‫باشد‬.ٌ‫ب‬‫این‬‫نعنی‬ٌ‫ک‬‫کاربران‬‫دادى‬‫يا‬‫را‬‫تَلید‬‫نی‬‫کنند‬ٍ‫ٍب‬
‫نیازيای‬‫کاربر‬‫را‬‫براساس‬‫آن‬‫برآٍردى‬‫نی‬‫کند‬.ٌ‫ب‬‫طَل‬‫نثال‬‫اگر‬‫در‬‫حال‬
‫استفادى‬‫از‬‫سرٍیس‬‫ایهیلی‬‫باشید‬ٍ‫ایهیل‬‫يای‬‫دریافتی‬‫شها‬‫در‬‫نَرد‬
"‫خرید‬‫اسباب‬‫بازی‬"‫باشد‬،‫تبلیغاتی‬ٌ‫ک‬‫بررٍی‬ٌ‫صفح‬‫دریافت‬‫نی‬‫کنید‬
‫قطعا‬ٌ‫ب‬‫اسباب‬‫بازی‬‫نرتبط‬‫خَايد‬‫بَد‬.
3 ‫وب‬3 ‫وب‬

5. 3 ‫وب‬3 ‫وب‬

6. Web 3.0 = Big Data

7. ‫افتد؟‬ ‫می‬ ‫اینترنت‬ ‫در‬ ‫اتفاقی‬ ‫چه‬ ‫ثانیه‬ ‫هر‬ ‫در‬

8. ‫برای‬‫گذار‬‫وب‬ ‫سمت‬ ‫به‬۳‫آن‬ ‫کار‬ ‫اساس‬ ‫که‬
‫می‬ ‫را‬ ‫مفاهیمی‬ ‫چه‬ ‫است‬ ‫داده‬ ‫از‬ ‫حجم‬ ‫این‬
‫بدانیم؟‬ ‫بایست‬

9. ‫مفهىم‬Polyglot Persistence‫مفهىم‬Polyglot Persistence
‫ير‬‫ابزاری‬‫را‬‫بًر‬‫کاری‬‫ساختند‬!

10. ?

11. ‫شىد‬ ‫می‬ ‫وارد‬ ‫هدوپ‬!

12. ‫چیست؟‬ ‫هدوپ‬‫چیست؟‬ ‫هدوپ‬
ٌ‫ب‬‫طَر‬ٌ‫خالص‬،‫يدٍپ‬‫یک‬‫فریو‬‫ٍرک‬‫یا‬ٌ‫نجهَع‬‫ای‬‫از‬‫نرم‬‫افزاريا‬ٍ
ٌ‫کتابخان‬‫يایی‬‫است‬ٌ‫ک‬‫ساز‬ٍ‫کار‬‫پردازش‬‫حجو‬‫عظیهی‬‫از‬‫دادى‬‫يای‬‫تَزیع‬
‫شدى‬‫را‬‫فرايو‬‫نیکند‬.‫در‬‫ٍاقع‬‫يدٍپ‬‫را‬‫نی‬‫تَان‬ٌ‫ب‬‫یک‬‫سیستو‬‫عانل‬
ٌ‫تشبی‬‫کرد‬ٌ‫ک‬‫طراحی‬‫شدى‬‫تا‬‫بتَاند‬‫حجو‬‫زیادی‬‫از‬‫دادى‬‫يا‬‫را‬‫بر‬‫رٍی‬
‫ناشین‬‫يای‬‫نختلف‬‫پردازش‬ٍ‫ندیریت‬‫کند‬.

13. ‫هدوپ‬ ‫معماری‬‫هدوپ‬ ‫معماری‬

14. ‫یا‬ ‫يدٍپ‬ ‫شدى‬ ‫تَزیع‬ ‫سیستو‬ ‫فایل‬HDFS
HDFS‫فرادادى‬‫کند‬ ‫نی‬ ‫ذخیرى‬ ٌ‫جداگان‬ ‫صَرت‬ ٌ‫ب‬ ‫را‬ ‫يا‬ ٌ‫برنان‬ ‫يای‬ ‫دادى‬ ٍ.‫يهانند‬
‫نثل‬ ‫دیگر‬ ‫يای‬ ‫فایل‬ ‫سیستو‬PVFS،LustreٍGFS،HDFS‫رٍی‬ ‫بر‬ ‫را‬ ‫فرادادى‬
‫اختصاصی‬ ‫سرٍر‬ ‫یک‬ٌ‫ب‬‫نام‬NameNode‫کند‬ ‫نی‬ ‫ذخیرى‬.‫نیز‬ ‫يا‬ ٌ‫برنان‬ ‫يای‬ ‫دادى‬
‫نام‬ ٌ‫ب‬ ‫دیگر‬ ‫يای‬ ‫سرٍر‬ ‫رٍی‬ ‫بر‬DataNodes‫شَند‬ ‫نی‬ ‫ذخیرى‬.‫سرٍری‬ ‫این‬ ‫تهانی‬
‫بر‬ ‫نبتنی‬ ‫يای‬ ‫پرٍتکل‬ ‫طریق‬ ‫از‬ ‫يو‬ ‫با‬TCP‫يستند‬ ‫ارتباط‬ ‫در‬ ‫يو‬ ‫با‬

15. ‫یا‬ ‫يدٍپ‬ ‫شدى‬ ‫تَزیع‬ ‫سیستو‬ ‫فایل‬HDFS

16. ‫بند‬ ‫زنان‬YARN

17. ‫نَیسی‬ ٌ‫برنان‬ ‫ندل‬MapReduce
MapReduce‫یک‬‫ندل‬ٌ‫برنان‬‫نَیسی‬‫یرای‬‫تحلیل‬‫دادى‬‫يای‬‫کالن‬ٌ‫ب‬‫صَرت‬
‫تَزیع‬‫شدى‬‫بر‬‫رٍی‬‫ناشین‬‫يای‬ٌ‫شبک‬ٌ‫ب‬‫صَرت‬‫نَازی‬‫نی‬‫باشد‬.‫این‬‫ندل‬‫تَسط‬
‫گَگل‬‫در‬‫سال‬2004ٌ‫ارائ‬‫شد‬.
‫این‬‫ندل‬‫از‬ٍ‫د‬‫تابع‬‫اصلی‬MapٍReduce‫تشکیل‬‫شدى‬‫است‬.

18. ‫نثال‬ ‫یک‬ ‫با‬ ‫تر‬ ‫دقیق‬ ‫نگاى‬

19. ‫نیست‬ ‫افزار‬ ‫نرم‬ ‫یک‬ ‫فقط‬ ‫يدٍپ‬...

20. ‫ایران‬ ‫هدوپ‬ ‫مرجع‬
www.hadoop.ir
‫فرافکر‬ ‫پردازان‬ ‫ایده‬ ‫افزار‬ ‫نرم‬ ‫مهندسی‬ ‫شرکت‬
‫بیشتر‬ ‫اطالعات‬

21. ‫شما‬ ‫تىجه‬ ‫از‬ ‫سپاس‬ ‫با‬