‫چالش‬ ‫و‬ ‫کاربردها‬ ،‫داده‬ ‫کالن‬‫آن‬ ‫های‬
2‫خادمی‬ ‫مریم‬ ،1‫وامرزانی‬ ‫عزیزی‬ ‫حامد‬
1
‫نرم‬ ‫ارشد‬ ‫کارشناسی‬ ‫دانشجوی‬،‫افزار‬‫جنوب‬ ‫تهران‬ ‫واحد‬ ‫آزاد‬ ‫دانشگاه‬،st_h_azizi@azad.ac.ir
2
‫کاربردی‬ ‫ریاضی‬ ‫گروه‬ ‫استادیار‬،‫جنوب‬ ‫تهران‬ ‫واحد‬ ‫آزاد‬ ‫دانشگاه‬،khademi@azad.ac.ir
‫مکاتبات‬ ‫مسئول‬:‫وامرزانی‬ ‫عزیزی‬ ‫حامد‬
‫چکیده‬
‫مجازی‬ ‫فضای‬ ‫در‬ ‫اطالعات‬ ‫انتقال‬ ‫حجم‬ ‫روزافزون‬ ‫گسترش‬ ‫و‬ ‫افزایش‬ ‫به‬ ‫توجه‬ ‫با‬‫ذخیره‬ ‫و‬ ‫ورود‬ ،‫داده‬ ‫کالن‬ ‫مسأله‬ ،‫الکترونیکی‬ ‫تجارت‬ ‫و‬ ‫بانکداری‬ ‫حوزه‬ ‫در‬ ‫خصوص‬ ‫به‬ ‫اینترنت‬‫حجم‬ ‫سازی‬
‫داده‬ ‫اطالعاتی‬ ‫اقالم‬ ‫از‬ ‫زیادی‬‫پیش‬ ،‫آن‬ ‫مدیریت‬ ‫و‬ ‫ها‬‫پس‬ ‫و‬ ‫پردازش‬‫د‬ ‫متخصصین‬ ‫و‬ ‫محققان‬ ‫از‬ ‫بسیاری‬ ‫توجه‬ ‫و‬ ‫شده‬ ‫برخوردار‬ ‫زیادی‬ ‫بسیار‬ ‫اهمیت‬ ‫از‬ ‫اطالعات‬ ‫امنیت‬ ‫و‬ ‫دقت‬ ،‫سرعت‬ ،‫پردازش‬‫ر‬
‫موقعیت‬ ،‫داده‬ ‫کالن‬ ‫معرفی‬ ‫از‬ ‫پس‬ ‫مقاله‬ ‫این‬ ‫در‬ .‫است‬ ‫کرده‬ ‫معطوف‬ ‫خود‬ ‫به‬ ‫را‬ ‫اطالعات‬ ‫فناوری‬ ‫حوزه‬‫روش‬ ،‫فناوری‬ ‫در‬ ‫آن‬ ‫وکاربردهای‬ ‫ها‬‫چالش‬ ‫و‬ ‫ها‬‫بررسی‬ ‫مورد‬ ،‫را‬ ‫حوزه‬ ‫این‬ ‫در‬ ‫مطرح‬ ‫های‬
.‫داد‬ ‫خواهیم‬ ‫قرار‬
: ‫واژه‬ ‫کلید‬( ‫داده‬ ‫کالن‬big data‫شبکه‬ ،‫هادوپ‬ ،)‫ذخیره‬ ،‫اجتماعی‬ ‫های‬،‫سازی‬‫اطالعات‬ ‫امنیت‬
1-‫مقدمه‬
‫با‬‫گسترش‬‫روزافزون‬‫استفاده‬‫خدمات‬ ‫از‬‫فناوری‬،‫اطالعات‬‫و‬‫هم‬‫چنین‬‫فراگیر‬‫شدن‬‫ابزارهای‬،‫دیجیتالی‬‫داده‬ ‫از‬ ‫زیادی‬ ‫حجم‬ ‫تولید‬ ‫باعث‬ ‫مجازی‬ ‫فضای‬ ‫در‬ ‫خود‬ ‫حضور‬ ‫واسطه‬ ‫به‬ ‫فرد‬ ‫هر‬‫ها‬
‫می‬‫داده‬ ‫این‬ .‫شود‬‫می‬ ‫ها‬‫دسته‬ ‫دو‬ ‫در‬ ‫تواند‬‫قسمت‬ ‫یک‬ ،‫بگیرد‬ ‫قرار‬ ‫کلی‬ ‫بندی‬‫ماشین‬ ‫توسط‬ ‫که‬ ‫است‬ ‫اطالعاتی‬ ‫بعدی‬ ‫قسمت‬ ‫و‬ ‫کرده‬ ‫تولید‬ ‫را‬ ‫آن‬ ‫انسان‬ ‫که‬ ‫است‬ ‫اطالعاتی‬( ‫مختلف‬ ‫های‬‫همانند‬
‫مسیریاب‬‫دوربین‬ ،‫ها‬.‫است‬ ‫تولید‬ ‫حال‬ ‫در‬ )... ‫و‬ ‫مختلف‬ ‫حسگرهای‬ ،‫بسته‬ ‫مدار‬ ‫ها‬
‫داده‬ ‫کالن‬«‫به‬‫حجم‬1
‫داده‬ ‫از‬ ‫عظیمی‬‫ها‬‫اطالق‬‫آن‬ ‫پردازش‬ ‫که‬ ‫که‬ ‫شود‬ ‫می‬‫به‬ ‫ها‬‫داد‬ ‫پایگاه‬ ‫وسیله‬‫ه‬‫است‬ ‫انجام‬ ‫غیرقابل‬ ‫آن‬ ‫ابزارهای‬ ‫و‬ ‫سنتی‬ ‫های‬».‫اگزابایت‬ ‫چندین‬ ‫از‬ ‫بیش‬ ‫داده‬ ‫از‬ ‫حجم‬ ‫این‬2
(11
11‫داده‬ ‫از‬ ‫مختلفی‬ ‫انواع‬ ‫شامل‬ ‫و‬ ‫بوده‬ )‫چندرسانه‬ ‫های‬‫می‬ ... ‫و‬ ‫متن‬ ،‫ای‬.‫است‬ ‫افزایش‬ ‫حال‬ ‫در‬ ‫آن‬ ‫حجم‬ ‫تصوری‬ ‫غیرقابل‬ ‫شکل‬ ‫به‬ ‫که‬ ‫شود‬
‫را‬ ‫داده‬ ‫کالن‬ ‫از‬ ‫جنبه‬ ‫یک‬ ‫تنها‬ ‫اطالعات‬ ‫عظیم‬ ‫حجم‬‫می‬ ‫نشان‬‫گوناگونی‬ ،‫دهد‬3
‫ذخیره‬ ‫اطالعات‬،‫شده‬ ‫سازی‬‫سرعت‬4
،‫سیستم‬ ‫به‬ ‫جدید‬ ‫اطالعات‬ ‫ورود‬‫مقادیر‬5
،‫اطالعات‬‫و‬‫پیچیدگی‬6
‫آن‬‫ها‬
‫ویژگی‬ ‫از‬ ‫همگی‬‫می‬ ‫نمایان‬ ‫را‬ ‫داده‬ ‫کالن‬ ‫مفهوم‬ ‫که‬ ‫بوده‬ ‫فناوری‬ ‫از‬ ‫حوزه‬ ‫این‬ ‫های‬‫چالش‬ .‫سازد‬ً‫ا‬‫صرف‬ ‫حوزه‬ ‫این‬ ‫های‬‫نمی‬ ‫آن‬ ‫مدیریت‬ ‫و‬ ‫سازی‬ ‫ذخیره‬ ‫به‬ ‫منوط‬‫شود‬‫پردازش‬ ‫و‬ ‫تحلیل‬ ‫مبحث‬ ‫بلکه‬ ،
‫به‬ ‫و‬ ‫داده‬ ‫کالن‬‫مهم‬ ‫از‬ ‫ارزشمند‬ ‫دانش‬ ‫آوردن‬ ‫دست‬.‫است‬ ‫آن‬ ‫مسائل‬ ‫ترین‬
‫سال‬ ‫تا‬2113‫میالدی‬5( ‫اگزابایت‬11
11‫می‬ ‫تولید‬ ‫انسان‬ ‫توسط‬ ‫روز‬ ‫دو‬ ‫در‬ ‫تنها‬ ‫داده‬ ‫از‬ ‫حجم‬ ‫این‬ ‫امروزه‬ ‫اما‬ ‫بود‬ ‫تولیدشده‬ ‫انسان‬ ‫توسط‬ ‫اطالعات‬ )‫بایت‬‫شود‬.‫ش‬‫رکت‬IBM‫خو‬ ‫گزارش‬ ‫در‬‫د‬
‫روز‬ ‫هر‬ ‫کرد‬ ‫اعالم‬5/2‫داده‬ ‫به‬ ‫اطالعات‬ ‫اگزابایت‬‫می‬ ‫افزوده‬ ‫دنیا‬ ‫های‬‫که‬ ‫شود‬01‫است‬ ‫تولیدشده‬ ‫گذشته‬ ‫سال‬ ‫دو‬ ‫در‬ ‫فقط‬ ‫داریم‬ ‫دست‬ ‫در‬ ‫حاضر‬ ‫حال‬ ‫در‬ ‫که‬ ‫اطالعاتی‬ ‫مقدار‬ ‫درصد‬(Singh
2012).
‫شبکه‬ ‫از‬ ‫یکی‬ ‫مثال‬ ‫برای‬‫از‬ ‫بیش‬ ‫روزانه‬ ‫که‬ ‫دارد‬ ‫کاربر‬ ‫میلیارد‬ ‫یک‬ ‫از‬ ‫بیش‬ ‫دنیا‬ ‫در‬ ‫محبوب‬ ‫اجتماعی‬ ‫های‬311‫میلیون‬‫تصویر‬‫می‬ ‫اشتراک‬ ‫به‬ ‫یکدیگر‬ ‫با‬ ‫اجتماعی‬ ‫شبکه‬ ‫این‬ ‫در‬ ‫را‬‫تا‬ ،‫گذارند‬
‫از‬ ‫بیش‬ ‫تصاویر‬ ‫این‬ ‫تعداد‬ ‫کنون‬241‫به‬ ‫و‬ ‫است‬ ‫شده‬ ‫گزارش‬ ‫میلیارد‬‫روزانه‬ ‫میانگین‬ ‫طور‬511‫ترابا‬‫می‬ ‫افزوده‬ ‫اجتماعی‬ ‫شبکه‬ ‫این‬ ‫اطالعات‬ ‫حجم‬ ‫به‬ ‫یت‬.‫شود‬(Tam 2012)
1
volumes
2
exabytes
3
variety
4
velocity
5
value
6
complexity

‫کالن‬ ‫امروزه‬‫توا‬ ‫داده‬ ‫از‬ ‫عظیم‬ ‫از‬ ‫حجم‬ ‫این‬ ‫تحلیل‬ ‫کمک‬ ‫به‬ ‫بشر‬ ‫و‬ ‫رسیده‬ ‫اثبات‬ ‫به‬ ... ‫و‬ ‫پزشکی‬ ،‫امنیت‬ ،‫صنعت‬ ‫و‬ ‫بازار‬ ،‫فناوری‬ ‫در‬ ‫آن‬ ‫کاربردهای‬ ‫و‬ ‫داده‬‫مدیریت‬ ‫در‬ ‫کارآمدی‬ ‫دانش‬ ‫به‬ ‫نسته‬
.‫کند‬ ‫پیدا‬ ‫دست‬ ‫خود‬ ‫کار‬ ‫و‬ ‫کسب‬ ‫مؤثرتر‬ ‫و‬ ‫بهتر‬
‫شرکت‬ ‫تمامی‬ ‫برای‬ ‫همواره‬ ‫اطالعات‬ ‫آنالیز‬ ‫و‬ ‫مدیریت‬‫حی‬ ‫هر‬ ‫در‬ ‫ها‬‫بر‬ ‫خاصی‬ ‫اهمیت‬ ‫از‬ ‫کاری‬ ‫طه‬‫آن‬ .‫است‬ ‫خوردار‬‫راه‬ ‫دارند‬ ‫تالش‬ ‫همواره‬ ‫ها‬‫کار‬‫به‬ ‫جهت‬ ‫در‬ ‫عملی‬ ‫های‬‫از‬ ‫اطالعات‬ ‫آوردن‬ ‫دست‬
.‫دهند‬ ‫انجام‬ ‫خود‬ ‫خدمات‬ ‫یا‬ ‫و‬ ‫محصوالت‬ ،‫مشتریان‬
‫زما‬ ‫طول‬ ‫در‬ ‫اما‬ ‫نیست‬ ‫سختی‬ ‫کار‬ ‫اطالعات‬ ‫این‬ ‫تحلیل‬ ،‫دارد‬ ‫خاص‬ ‫محصول‬ ‫یک‬ ‫و‬ ‫مشتری‬ ‫محدودی‬ ‫تعداد‬ ‫شرکت‬ ‫یک‬ ‫که‬ ‫زمانی‬... ‫و‬ ‫مشتری‬ ‫سلیقه‬ ،‫بازار‬ ‫فروش‬ ‫از‬ ‫زیادی‬ ‫اطالعات‬ ً‫ا‬‫مسلم‬ ‫ن‬
‫داده‬ ‫از‬ ‫ابتدایی‬ ‫حجم‬ ‫آن‬ ‫با‬ ‫دیگر‬ ‫و‬ ‫شد‬ ‫خواهد‬ ‫تولید‬.‫نیستیم‬ ‫مواجه‬ ‫ها‬
‫به‬ ‫مدیران‬ ،‫رقابتی‬ ‫بازار‬ ‫در‬‫کاربران‬ ‫یا‬ ‫و‬ ‫مشتری‬ ‫سالیق‬ ‫و‬ ‫عالیق‬ ‫با‬ ‫دارند‬ ‫نیاز‬ ‫متداوم‬ ‫طور‬‫سیاست‬ ‫و‬ ‫شوند‬ ‫آشنا‬ ‫شان‬‫حتی‬ .‫کنند‬ ‫طراحی‬ ‫را‬ ‫جدید‬ ‫های‬‫مح‬ ‫کار‬ ‫بازار‬ ‫مسائل‬ ‫به‬ ‫داده‬ ‫کالن‬ ‫کاربرد‬‫دود‬
‫نمی‬‫شبکه‬ ‫اطالعات‬ ‫تحلیل‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫امروزه‬ ‫بلکه‬ ‫شود‬‫می‬ ‫اجتماعی‬ ‫های‬‫پیش‬ ‫پایین‬ ‫بسیار‬ ‫خطای‬ ‫درصد‬ ‫با‬ ‫را‬ ‫کشور‬ ‫یک‬ ‫انتخابات‬ ‫توانند‬‫نموده‬ ‫بینی‬(Mahmood, Iqbal et al. 2013)
‫دهند‬ ‫سو‬ ‫و‬ ‫سمت‬ ‫وی‬ ‫محبوبیت‬ ‫باالرفتن‬ ‫و‬ ‫مردم‬ ‫افکار‬ ‫جهت‬ ‫در‬ ‫را‬ ‫انتخاباتی‬ ‫نامزدهای‬ ‫تبلیغات‬ ‫یا‬ ‫و‬(Bensrhir 2013).
‫در‬ ‫اطالعات‬ ‫از‬ ‫بخشی‬ ،‫است‬ ‫باال‬ ‫بسیار‬ ‫اطالعات‬ ‫پیچیدگی‬ ‫و‬ ‫حجم‬‫پایگاه‬‫ذخیره‬ ‫سنتی‬ ‫داده‬ ‫های‬‫سرویس‬ ‫مجموعه‬ ، ‫اسناد‬ ‫شکل‬ ‫به‬ ‫دیگر‬ ‫برخی‬ ،‫شده‬ ‫سازی‬‫داده‬ ‫کاربر‬ ‫یا‬ ‫مشتری‬ ‫به‬ ‫که‬ ‫هایی‬
.‫است‬ ‫نگرفته‬ ‫صورت‬ ‫آن‬ ‫روی‬ ‫بندی‬ ‫طبقه‬ ‫هیچ‬ ‫که‬ ‫مرتبط‬ ‫ویدئوهای‬ ‫و‬ ‫تصاویر‬ ‫حتی‬ ،‫شده‬
‫کالن‬ ‫ابتدا‬ ‫مقاله‬ ‫این‬ ‫در‬‫چالش‬ ‫و‬ ‫کاربردها‬ ،‫داده‬‫آن‬ ‫های‬‫قسم‬ ‫در‬ ‫و‬ ‫نموده‬ ‫معرفی‬ ‫را‬،‫بعدی‬ ‫ت‬‫نگه‬ ‫قدرتمند‬ ‫ابزارهای‬ ‫از‬ ‫یکی‬‫می‬ ‫معرفی‬ ‫حوزه‬ ‫این‬ ‫در‬ ‫اطالعات‬ ‫پردازش‬ ‫و‬ ‫داری‬‫گردد‬‫پایان‬ ‫در‬ ‫و‬
.‫شد‬ ‫خواهد‬ ‫بیان‬ ‫دارند‬ ‫داده‬ ‫کالن‬ ‫زمینه‬ ‫در‬ ‫مناسبی‬ ‫پژوهشی‬ ‫فرصت‬ ‫آینده‬ ‫در‬ ‫که‬ ‫موضوعاتی‬
2-‫داده‬ ‫کالن‬7
‫برای‬ ‫فارسی‬ ‫معادلی‬ ‫بخواهیم‬ ‫اگر‬“Big Data”‫می‬ ‫بگیریم‬ ‫نظر‬ ‫در‬‫به‬ ‫توان‬"‫داده‬ ‫کالن‬"،"‫داده‬ ‫بزرگ‬"‫یا‬"‫داده‬ ‫حجیم‬"‫کالن‬ .‫ندارند‬ ‫یکدیگر‬ ‫با‬ ‫اختالفی‬ ‫هیچ‬ ‫مفهوم‬ ‫در‬ ‫که‬ ‫نمود‬ ‫اشاره‬
‫داده‬ ‫از‬ ‫عظیمی‬ ‫مجموعه‬ ‫معنی‬ ‫به‬ ‫داده‬‫می‬ ‫ها‬‫آن‬ ‫پردازش‬ ‫که‬ ‫باشد‬‫به‬ ‫ها‬‫داده‬ ‫پایگاه‬ ‫وسیله‬‫است‬ ‫انجام‬ ‫غیرقابل‬ ‫آن‬ ‫ابزارهای‬ ‫و‬ ‫سنتی‬ ‫های‬(Kaisler, Armour et al. 2013).
‫بیش‬ ‫در‬‫مقاالت‬ ‫و‬ ‫منابع‬ ‫تر‬(Gartner 2014,Sagiroglu and Sinanc 2013,Singh 2012,B.Gerhardt 2012)‫اند‬ ‫نموده‬ ‫بیان‬ ‫اصلی‬ ‫ویژگی‬ ‫سه‬ ‫داده‬ ‫کالن‬ ‫برای‬1-‫حجم‬1
2-‫گوناگونی‬0
3-‫سرعت‬11
‫آن‬ ‫به‬ ً‫ا‬‫اصطالح‬ ‫که‬3Vs‫می‬ ‫نیز‬‫دیگر‬ ‫منابعی‬ ‫در‬ ‫البته‬ .‫گویند‬(Sagiroglu and,et al. 2013Katal, Wazid,Kaisler, Armour et al. 2013
Sinanc 2013)‫ِیژگی‬‫و‬ ‫به‬ ‫نیز‬ ‫را‬ ‫داده‬ ‫پیچیدگی‬ ‫و‬ ‫داده‬ ‫مقدار‬ ‫شده‬ ‫گفته‬ ‫اصلی‬ ‫ویژگی‬ ‫سه‬ ‫بر‬ ‫عالوه‬‫اضافه‬ ‫آن‬ ‫های‬‫کرده‬‫اما‬ .‫اند‬‫یک‬ ‫یا‬ ‫اطالعاتی‬ ‫جریان‬ ‫محیط‬ ‫یک‬ ‫که‬ ‫صورتی‬ ‫در‬ ‫است‬ ‫واضح‬
‫می‬ ‫گفته‬ ‫داده‬ ‫کالن‬ ‫مجموعه‬ ‫آن‬ ‫به‬ ‫کند‬ ‫احراز‬ ‫را‬ ‫شده‬ ‫برده‬ ‫نام‬ ‫مورد‬ ‫سه‬ ‫هر‬ ‫بتواند‬ ‫شبکه‬.‫شود‬
‫نام‬ ‫داده‬ ‫کالن‬ ‫را‬ ‫آن‬ ‫که‬ ‫اطالعاتی‬ ‫مجموعه‬ ‫یک‬ ‫تمایز‬ ‫وجه‬ ‫تشخیص‬ ‫البته‬‫می‬ ‫گذاری‬‫آ‬ ‫شرایط‬ ً‫ا‬‫ظاهر‬ ‫که‬ ‫حجیم‬ ‫اطالعاتی‬ ‫سیستم‬ ‫یک‬ ‫و‬ ‫کنیم‬‫سامانه‬ ‫یک‬ ‫مثال‬ ‫برای‬ .‫است‬ ‫مهم‬ ‫بسیار‬ ‫دارد‬ ‫را‬ ‫ن‬
‫داده‬‫می‬ ‫ذخیره‬ ‫خود‬ ‫در‬ ‫را‬ ‫ایران‬ ‫مردم‬ ‫اطالعات‬ ‫تمامی‬ ‫که‬ ‫ای‬‫نمی‬ )... ‫و‬ ‫ملی‬ ‫شماره‬ ،‫خانوادگی‬ ‫نام‬ ،‫(نام‬ ‫کند‬‫توان‬‫د‬‫به‬ ‫داده‬ ‫کالن‬‫دل‬ ‫در‬ ‫را‬ ‫اطالعات‬ ‫از‬ ‫باالیی‬ ‫حجم‬ ً‫ا‬‫ظاهر‬ ‫که‬ ‫صورتی‬ ‫در‬ ‫آید‬ ‫شمار‬
.‫دارد‬ ‫خود‬
7
Big data
8
Volume
9
Variety
10
Velocity
‫شکل‬1-‫سه‬‫ویژگی‬‫اصلی‬‫کالن‬‫داده‬

2-1-‫داده‬ ‫حجم‬
‫مهم‬ ‫شاید‬‫شرکت‬ ‫امروزه‬ ،‫برشمرد‬ ‫داده‬ ‫عظیم‬ ‫حجم‬ ‫بتوان‬ ‫را‬ ‫داده‬ ‫کالن‬ ‫ویژگی‬ ‫ترین‬‫شبکه‬ ً‫ا‬‫خصوص‬ ‫اطالعات‬ ‫فناوری‬ ‫عرصه‬ ‫در‬ ‫نام‬ ‫صاحب‬ ‫های‬‫می‬ ‫تنهایی‬ ‫به‬ ‫اجتماعی‬ ‫های‬‫روزانه‬ ‫توانند‬511
‫وید‬ ‫اشتراک‬ ‫سرویس‬ ‫مثال‬ ‫عنوان‬ ‫به‬ ،‫کنند‬ ‫تولید‬ ‫جدید‬ ‫اطالعات‬ ‫ترابایت‬‫ئو‬‫از‬ ‫بیش‬ ‫دقیقه‬ ‫هر‬ ‫در‬ ‫گوگل‬ ‫ی‬111‫و‬ ‫ساعت‬‫یدئو‬‫را‬ ‫خود‬ ‫کاربران‬ ‫توسط‬ ‫شده‬ ‫بارگذاری‬‫مدیریت‬ ‫و‬ ‫دریافت‬
‫می‬.‫کند‬(Tam 2012 , smith 2014)
2-2-‫داده‬ ‫گوناگونی‬
‫حسگر‬ ‫به‬ ‫مربوط‬ ‫اطالعات‬‫تلفن‬ ،‫مختلف‬ ‫های‬‫شبکه‬ ‫در‬ ‫ارتباطات‬ ،‫هوشمند‬ ‫های‬‫ساختار‬ ‫بدون‬ ‫و‬ ‫ساختاری‬ ‫صورت‬ ‫به‬ ‫که‬ ‫اطالعاتی‬ ‫گوناگونی‬ ،‫اجتماعی‬ ‫های‬‫می‬ ‫ذخیره‬‫ا‬ ‫پیچیده‬ ‫بسیار‬ ‫شوند‬،‫ست‬
‫داده‬ ‫پایگاه‬ ‫در‬ ‫اطالعات‬ ‫این‬ ‫تمام‬ ‫زیرا‬‫رابطه‬ ‫های‬‫داده‬ ‫این‬ ‫بر‬ ‫عالوه‬ ،‫است‬ ‫نشده‬ ‫ذخیره‬ ‫سنتی‬ ‫ای‬‫نیمه‬ ،‫خام‬ ‫ها‬‫ساختاری‬11
‫و‬ ،‫مانند‬ ‫است‬ ‫ساختار‬ ‫بدون‬ ً‫ال‬‫کام‬ ‫یا‬‫ایمیل‬،‫دریافتی‬ ‫و‬ ‫ارسالی‬ ‫های‬
‫شبکه‬ ‫اطالعات‬‫نمونه‬ ‫از‬ ‫همگی‬ ... ‫و‬ ‫اجتماعی‬ ‫های‬‫ا‬ ‫های‬‫هیچ‬ ‫زیرا‬ ‫است‬ ‫ساختار‬ ‫بدون‬ ‫طالعات‬‫قالب‬‫شده‬ ‫تعیین‬ ‫پیش‬ ‫از‬‫ندارند‬ ‫اطالعات‬ ‫ورود‬ ‫برای‬ ‫ای‬(Zikopoulos 2012, Katal,
Wazid et al. 2013).
2-3-‫داده‬ ‫سرعت‬
‫داده‬ ‫که‬ ‫است‬ ‫معنی‬ ‫به‬ ‫داده‬ ‫سرعت‬‫می‬ ‫منتقل‬ ‫و‬ ‫تولید‬ ‫سرعتی‬ ‫چه‬ ‫با‬ ‫مختلف‬ ‫اطالعاتی‬ ‫منابع‬ ‫طریق‬ ‫از‬ ‫ها‬‫داده‬ ‫مثال‬ ‫برای‬ ،‫شوند‬‫حسگرهای‬ ‫یک‬ ‫توسط‬ ‫که‬ ‫هایی‬RFID12
‫مجموعه‬ ‫یک‬ ‫در‬
‫می‬ ‫تولید‬‫ذخیره‬ ‫بر‬ ‫عالوه‬ ‫که‬ ‫بوده‬ ‫باال‬ ‫بسیار‬ ‫شود‬‫سیستم‬ ‫است‬ ‫واضح‬ ،‫بگیرند‬ ‫قرار‬ ‫نیز‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫مورد‬ ‫اطالعات‬ ‫باید‬ ،‫لحظه‬ ‫در‬ ‫اطالعات‬ ‫این‬ ‫سازی‬‫ذخیره‬ ‫سنتی‬ ‫های‬‫و‬ ‫سازی‬‫تحلیل‬
‫نمی‬ ‫سادگی‬ ‫به‬ ‫اطالعات‬‫نمای‬ ‫و‬ ‫بررسی‬ ‫مورد‬ ‫لحظه‬ ‫در‬ ‫را‬ ‫اطالعات‬ ‫از‬ ‫جریان‬ ‫این‬ ‫توانند‬‫دهند‬ ‫قرار‬ ‫ش‬(Zikopoulos 2012, Katal, Wazid et al. 2013).
3-‫داده‬ ‫کالن‬ ‫کاربرد‬ ‫و‬ ‫اهمیت‬
‫سال‬ ‫تا‬ ‫نمود‬ ‫اعالم‬ ‫آمریکا‬ ‫دولت‬2112‫زمینه‬ ‫روی‬ ‫بر‬ ،‫فعالیت‬ ‫و‬ ‫انرژی‬ ،‫دفاعی‬ ‫و‬ ‫نظامی‬ ،‫مجازی‬ ‫فضای‬ ‫امنیت‬ ،‫سالمت‬ ‫حوزه‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫کاربردی‬ ‫های‬‫از‬ ‫بیش‬ ‫مرتبط‬ ‫تحقیقاتی‬ ‫های‬211
‫نموده‬ ‫هزینه‬ ‫دالر‬ ‫میلیون‬(Kaisler, Armour et al. 2013)‫تصمیم‬ ‫بهبود‬ ‫جهت‬ ‫در‬ ‫را‬ ‫آن‬ ‫نتایج‬ ‫و‬‫سیاست‬ ‫و‬ ‫گیری‬‫زمینه‬ ‫در‬ ‫گذاری‬‫به‬ ‫شده‬ ‫برده‬ ‫نام‬ ‫های‬‫هدف‬ ‫واقع‬ ‫در‬ .‫است‬ ‫گرفته‬ ‫کار‬
‫سرمایه‬ ‫اصلی‬‫سازمان‬ ‫و‬ ‫گذاران‬‫آن‬ ‫کاربردهای‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫زمینه‬ ‫در‬ ‫ها‬‫تصمیم‬‫بیش‬ ‫حجم‬ ‫تحلیل‬ ‫طریق‬ ‫از‬ ‫صحیح‬ ‫و‬ ‫دقیق‬ ‫گیری‬‫داده‬ ‫تر‬.‫است‬ ‫ها‬
‫روش‬‫الگوریتم‬ ‫به‬ ‫نسبت‬ ‫را‬ ‫خود‬ ‫قدرت‬ ‫زمانی‬ ‫داده‬ ‫کالن‬ ‫تحلیل‬ ‫تجزیه‬ ‫های‬‫داده‬ ‫های‬‫سیستم‬ ‫یا‬ ‫و‬ ‫کاوی‬‫پرس‬ ‫های‬‫پایگاه‬ ‫در‬ ‫پیشرفته‬ ‫وجو‬‫داده‬‫رابطه‬ ‫های‬‫می‬ ‫نمایان‬ ‫سنتی‬ ‫ای‬‫مج‬ ‫که‬ ‫سازد‬‫موعه‬‫ای‬
‫داده‬ ‫از‬‫نیم‬ ،‫ساختاری‬ ‫های‬‫اقت‬ ،‫کار‬ ‫و‬ ‫کسب‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫کاربردهای‬ ‫از‬ ‫مورد‬ ‫چند‬ ‫با‬ ‫ادامه‬ ‫در‬ .‫شود‬ ‫سیستم‬ ‫وارد‬ ‫اطالعاتی‬ ‫مختلف‬ ‫منابع‬ ‫از‬ ‫ساختار‬ ‫بدون‬ ‫و‬ ‫ساختاری‬ ‫ه‬‫بیش‬ .. ‫و‬ ‫صاد‬‫آشنا‬ ‫تر‬
‫می‬.‫شویم‬
3-1-‫اطالعات‬ ‫فناوری‬
‫مهم‬ ‫از‬‫موقعیت‬ ‫ترین‬‫می‬ ‫اطالعات‬ ‫فناوری‬ ‫عرصه‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫کاربردی‬ ‫های‬‫تجزیه‬ ‫به‬ ‫توان‬‫وقایع‬ ‫تحلیل‬ ‫و‬13
‫شبکه‬‫کاربردها‬ ‫دیگر‬ ‫از‬ .‫نمود‬ ‫اشاره‬ ‫شبکه‬ ‫به‬ ‫نفوذ‬ ‫کشف‬ ‫یا‬ ‫و‬ ‫خطا‬ ‫کشف‬ ‫جهت‬ ‫در‬
‫دست‬ ،‫شبکه‬ ‫در‬ ‫نوشتن‬ ‫عملکرد‬ ‫بردن‬ ‫باال‬‫کلید‬ ‫سریع‬ ‫یابی‬-‫داده‬ ‫به‬ ‫مقدار‬‫قابل‬ ‫شماتیک‬ ،‫ها‬‫داده‬ ‫انعطاف‬‫است‬ ‫اطالعات‬ ‫فناوری‬ ‫عرصه‬ ‫در‬ ‫ای‬(Katal, Wazid et al. 2013, Soumendra
Mohanty 2013).
3-2-‫کسب‬ ‫و‬ ‫اقتصاد‬‫وکار‬
‫ارزش‬ ‫با‬ ‫شاید‬‫تراکنش‬ ‫و‬ ‫مشتریان‬ ‫اطالعات‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫با‬ ‫که‬ ‫جایی‬ ‫در‬ ،‫باشد‬ ‫کار‬ ‫و‬ ‫کسب‬ ‫حوزه‬ ‫در‬ ‫اقتصادی‬ ‫نظر‬ ‫از‬ ‫داده‬ ‫کالن‬ ‫تحلیل‬ ‫کاربرد‬ ‫ترین‬‫آن‬ ‫خرید‬ ‫های‬‫با‬ ‫و‬ ‫هستیم‬ ‫مواجه‬ ‫ها‬
‫داده‬ ‫مناسب‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬‫های‬‫می‬ ‫مشتریان‬‫سیاست‬ ‫توان‬.‫برد‬ ‫کار‬ ‫به‬ ‫را‬ ‫دقیق‬ ‫بازاریابی‬ ‫و‬ ‫فروش‬ ‫افزایش‬ ‫جهت‬ ‫مناسب‬ ‫راهکارهای‬ ‫و‬ ‫ها‬
‫می‬ ‫مثال‬ ‫برای‬‫بیش‬ ‫فروش‬ ‫جهت‬ ‫در‬ ‫محصول‬ ‫صحیح‬ ‫قیمت‬ ‫تنظیم‬ ،‫مشتریان‬ ‫خرید‬ ‫سبد‬ ‫به‬ ‫مربوط‬ ‫اطالعات‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫با‬ ‫توان‬‫توجه‬ ‫با‬ ‫فروشگاه‬ ‫در‬ ‫محصوالت‬ ‫قرارگیری‬ ‫محل‬ ‫طراحی‬ ،‫تر‬
‫اطال‬ ‫به‬‫راه‬ ‫کشف‬ ،‫خریداران‬ ‫حرکت‬ ‫آماری‬ ‫عات‬‫عرضه‬ ‫زنجیره‬ ‫مدیریت‬ ،‫فروشگاه‬ ‫از‬ ‫مجدد‬ ‫خرید‬ ‫در‬ ‫مشتری‬ ‫ترغیب‬ ‫کارهای‬14
‫تقسیم‬ ،‫مشتریان‬ ‫بندی‬15
‫به‬ ‫مناسب‬ ‫زمان‬ ‫در‬ ‫کاال‬ ‫دقیق‬ ‫پیشنهاد‬ ،
‫نمود‬ ‫اشاره‬ ... ‫و‬ ‫مشتری‬(Marjanovic, Ariyachandra et al. 2014).
‫زمینه‬ ‫در‬‫فعالیت‬ ‫و‬ ‫اقتصاد‬‫می‬ ‫نیز‬ ‫بانکی‬ ‫های‬‫داده‬ ‫آنالیز‬ ‫با‬ ‫توان‬‫پیش‬ ‫را‬ ‫طرح‬ ‫یک‬ ‫با‬ ‫مرتبط‬ ‫ریسک‬ ‫میزان‬ ‫ها‬‫کارت‬ ‫از‬ ‫استفاده‬ ‫سوء‬ ‫بانکی‬ ‫زمینه‬ ‫در‬ ‫یا‬ ‫و‬ ‫نمود‬ ‫بینی‬‫مش‬ ‫اعتباری‬ ‫های‬‫شکل‬ ‫به‬ ‫تریان‬
‫شک‬ ‫الگوی‬ ‫تشخیص‬‫کاله‬ ،‫تقلب‬ ‫یا‬ ‫و‬ ‫نفوذ‬ ‫کشف‬ .‫برد‬ ‫نام‬ ‫اعتباری‬ ‫کارت‬ ‫از‬ ‫استفاده‬ ‫در‬ ‫برانگیز‬‫بردا‬‫پول‬ ‫یا‬ ‫و‬ ‫ری‬‫تراکنش‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫شویی‬‫مشتریان‬ ‫مالی‬ ‫های‬‫منابع‬ ‫دیگر‬ ‫با‬
‫است‬ ‫شده‬ ‫کاربردی‬ ‫بسیار‬ ‫امروزه‬ ،‫نیز‬ ‫اطالعاتی‬(Soumendra Mohanty 2013).
11
Semistructured
12
Radio-Frequency IDentification
13
Log
14
Supply-chain
15
Consumer segmentations

3-3-‫سالمت‬ ‫و‬ ‫زندگی‬
‫می‬ ‫سالمت‬ ‫و‬ ‫بیمه‬ ‫زمینه‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫تحلیل‬ ‫کاربردهای‬ ‫از‬‫کیفیت‬ ‫بردن‬ ‫باال‬ ‫به‬ ‫توان‬‫نگه‬‫نگه‬ ‫برنامه‬ ‫بهبود‬ ‫و‬ ‫بیماران‬ ‫از‬ ‫داری‬.‫نمود‬ ‫اشاره‬ ‫آنان‬ ‫داری‬‫پیش‬ ‫و‬ ‫بیماران‬ ‫با‬ ‫رفتار‬ ‫نوع‬ ‫تعیین‬‫گویی‬
‫م‬ ‫میزان‬‫ؤ‬‫جراحی‬ ‫اعمال‬ ‫فقیت‬،‫تعیین‬‫میزان‬‫مؤفقیت‬‫روش‬‫های‬‫درمانی‬‫در‬‫برخورد‬‫با‬‫بیماری‬‫های‬،‫سخت‬‫تشخیص‬‫بیماری‬‫ها‬‫براساس‬‫انواع‬‫اطالعات‬(‫تصاویر‬،‫پزشکی‬‫مشخصات‬‫بیمار‬
‫احتمالی‬)‫برد‬ ‫نام‬ ... ‫و‬ ‫افراد‬ ‫در‬ ‫امراض‬ ‫ایجادکننده‬ ‫مختلف‬ ‫الگوهای‬ ‫بررسی‬ ‫و‬ ‫بیماران‬ ‫بهبودی‬ ‫روند‬ ‫بر‬ ‫داروها‬ ‫تأثیر‬ ،(Sagiroglu and Sinanc 2013, Liu and Park 2014).
3-4-‫اجتم‬ ‫شبکه‬‫اعی‬
‫کاربردی‬ ‫از‬ ‫یکی‬‫زمینه‬ ‫ترین‬‫شبکه‬ ‫در‬ ‫آن‬ ‫تحلیل‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫های‬‫می‬ ‫نمایان‬ ‫اجتماعی‬ ‫های‬‫بهینه‬ ‫و‬ ‫محصول‬ ‫یک‬ ‫مورد‬ ‫در‬ ‫افراد‬ ‫نظرات‬ ‫بررسی‬ .‫شود‬،‫باالتر‬ ‫فروش‬ ‫به‬ ‫رسیدن‬ ‫جهت‬ ‫در‬ ‫آن‬ ‫سازی‬
‫بهینه‬‫عالقه‬ ‫لیست‬ ‫به‬ ‫توجه‬ ‫با‬ ‫جستجو‬ ‫موتورهای‬ ‫در‬ ‫پیشنهادی‬ ‫کاالی‬ ‫سازی‬‫مندی‬‫پیش‬ ،‫وی‬ ‫اجتماعی‬ ‫شبکه‬ ‫در‬ ‫فرد‬ ‫های‬‫کاربران‬ ‫نظرات‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫انتخابات‬ ‫برنده‬ ‫بینی‬
(Mahmood, Iqbal et al. 2013)‫مهم‬ ‫از‬.‫است‬ ‫اجتماعی‬ ‫شبکه‬ ‫در‬ ‫داده‬ ‫کالن‬ ‫کاربردهای‬ ‫ترین‬
4-‫روش‬ ‫و‬ ‫ابزارها‬‫موجود‬ ‫های‬
4-1-No SQL
‫اگر‬ ‫گذشته‬ ‫در‬‫سازمان‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫با‬ ‫ها‬‫داده‬ ‫پایگاه‬ ‫روی‬ ‫بر‬ ‫ها‬‫رابطه‬‫ای‬16
‫می‬ ‫مواجه‬ ‫خود‬‫منظور‬ ‫به‬ ،‫گشتند‬‫نگه‬‫تحلیل‬ ‫و‬ ‫داری‬‫رایانه‬ ‫َر‬‫ب‬‫ا‬ ‫یک‬ ‫از‬ ‫بودند‬ ‫مجبور‬ ‫اطالعات‬17
‫داده‬ ‫انباره‬ ‫یا‬ ‫و‬‫ای‬
‫داده‬ ‫پایگاه‬ ‫ضعف‬ .‫کند‬ ‫استفاده‬‫رابطه‬ ‫های‬‫نگه‬ ‫در‬ ‫ای‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫و‬ ‫داری‬‫نیمه‬ ‫های‬‫جدیدی‬ ‫فناوری‬ ‫کردن‬ ‫مطرح‬ ‫با‬ ‫دانشمندان‬ ‫و‬ ‫گشت‬ ‫نمایان‬ ‫ساختار‬ ‫بدون‬ ‫و‬ ‫ساختاری‬
‫نام‬ ‫به‬NoSQL11
‫پایگاه‬ ‫از‬ ‫جدیدی‬ ‫نسل‬ ‫ساخت‬ ‫به‬ ‫اقدام‬‫داده‬ ‫های‬‫می‬ ‫که‬ ‫ای‬‫نگه‬ ‫را‬ ‫اطالعات‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫تواند‬‫کند‬ ‫پردازش‬ ‫و‬ ‫داری‬،.‫نمودند‬
4-2-Apache Hadoop
‫قوی‬ ‫از‬ ‫یکی‬ ‫هادوپ‬‫پایگاه‬ ‫ترین‬‫داده‬‫متن‬ ‫های‬‫جنبش‬ ‫در‬ ‫باز‬NoSQL‫ذخیره‬ ‫منظور‬ ‫به‬ ‫آپاچی‬ ‫بنیاد‬ ‫توسط‬ ‫که‬ ‫است‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫پردازش‬ ‫و‬ ‫سازی‬‫غیررابطه‬ ‫های‬‫مدل‬ ‫یک‬ ‫طریق‬ ‫از‬ ‫ای‬
‫توزیع‬‫مقیاس‬ ‫با‬ ‫شده‬‫پذیری‬10
‫شرکت‬ .‫است‬ ‫شده‬ ‫ساخته‬ ،‫باال‬‫آن‬ ‫بودن‬ ‫باز‬ ‫متن‬ ‫ماهیت‬ ‫به‬ ‫توجه‬ ‫با‬ ‫زیادی‬ ‫های‬‫مدل‬ ‫توزیع‬ ‫و‬ ‫ساخت‬ ‫به‬ ‫اقدام‬‫نموده‬ ‫هادوپ‬ ‫کاربردی‬ ‫های‬‫مشهورترین‬ ‫از‬ ‫که‬ ‫اند‬
‫آن‬‫می‬ ‫ها‬‫به‬ ‫توان‬Hortonworks‫و‬Cloudera.‫نمود‬ ‫اشاره‬‫ذخیره‬ ‫سیستم‬ ‫از‬ ‫الهام‬ ‫با‬ ‫هادوپ‬‫سازی‬BigTable‫فایل‬ ‫سیستم‬ ،GFS21
‫نگاشت‬ ‫تکنیک‬ ‫و‬-‫کاهش‬21
‫پیش‬ ‫که‬‫توسط‬ ‫تر‬
،‫بود‬ ‫شده‬ ‫کاربردی‬ ‫و‬ ‫طراحی‬ ‫گوگل‬ ‫شرکت‬‫داده‬ ‫پایگاه‬ ‫با‬ ‫جایگزینی‬ ‫هادوپ‬ ‫توزیع‬ ‫از‬ ‫هدف‬ ‫واقع‬ ‫در‬ .‫شد‬ ‫ساخته‬‫انباره‬ ‫یا‬ ‫و‬ ‫سنتی‬ ‫های‬‫داده‬ ‫های‬‫می‬ ‫هادوپ‬ ‫بلکه‬ ‫نیست‬ ‫ای‬‫ا‬ ‫استفاده‬ ‫با‬ ‫تواند‬‫ز‬
‫داده‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫و‬ ‫داری‬ ‫نگه‬ ،‫شده‬ ‫توزیع‬ ‫سیستم‬ ‫فایل‬ ‫مدیریت‬ ‫ابزار‬ ‫مانند‬ ‫خود‬ ‫کاربردی‬ ‫ابزارهای‬‫درخواست‬ ،‫ها‬‫مقیاس‬ ‫با‬ ‫را‬ ‫ها‬‫پذیر‬.‫نماید‬ ‫پردازش‬ ‫و‬ ‫اجرا‬ ‫موازی‬ ‫شکل‬ ‫به‬ ‫باال‬ ‫ی‬
‫شکل‬2-‫ساختار‬‫هادوپ‬ ‫ارتباطی‬
16
RDBMS
17
Main-frame
18
Not Only SQL
19
Scalability
20
Google File System
21
Map-Reduce

HDFS22
:‫توزیع‬ ‫فایل‬ ‫سیستم‬ ‫یک‬‫مقیاس‬ ،‫شده‬‫داده‬ ،‫اطمینان‬ ‫قابلیت‬ ‫افزایش‬ ‫برای‬ ‫فایل‬ ‫سیستم‬ ‫این‬ .‫است‬ ‫شده‬ ‫نوشته‬ ‫جاوا‬ ‫زبان‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫که‬ ‫بوده‬ ‫اطمینان‬ ‫قابل‬ ‫و‬ ‫پذیر‬‫در‬ ‫را‬ ‫ها‬
‫میزبان‬‫می‬ ‫تکثیر‬ ‫مختلف‬ ‫های‬‫قابلیت‬ ‫به‬ ‫دلیل‬ ‫همین‬ ‫به‬ ‫و‬ ‫کند‬RAID‫میزبان‬ ‫روی‬.‫ندارد‬ ‫احتیاجی‬ ‫ها‬
HBase:‫غیررابطه‬ ،‫شده‬ ‫توزیع‬ ‫داده‬ ‫پایگاه‬‫ای‬‫می‬ ‫ایجاد‬ ‫هادوپ‬ ‫برای‬ ‫را‬ ‫تصادفی‬ ‫نوشتن‬ ‫و‬ ‫خواندن‬ ‫دسترسی‬ ‫که‬ ‫است‬ ‫باز‬ ‫متن‬ ‫و‬.‫کند‬
‫نگاشت‬ ‫چارچوب‬-:‫کاهش‬‫نرم‬ ‫چارچوب‬‫توزیع‬ ‫محاسبات‬ ‫اجرای‬ ‫جهت‬ ‫افزاری‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫مجموعه‬ ‫روی‬ ‫شده‬‫ذخیره‬ ‫های‬‫خوشه‬ ‫روی‬ ‫شده‬‫های‬23
‫شبکه‬‫سال‬ ‫در‬ ‫که‬ ‫است‬ ‫ای‬2114
.‫شد‬ ‫معرفی‬ ‫و‬ ‫ساخته‬ ‫گوگل‬ ‫توسط‬ ‫میالدی‬
‫در‬‫کوچک‬ ‫مجموعه‬ ‫سری‬ ‫یک‬ ‫به‬ ‫ورودی‬ ‫اطالعات‬ ،‫نگاشت‬ ‫مرحله‬‫دسته‬ ‫تر‬‫می‬ ‫تقسیم‬ ‫شده‬ ‫بندی‬‫(کلید‬ ‫زوج‬ ‫از‬ ‫شده‬ ‫مرتب‬ ‫لیست‬ ‫یک‬ ‫نگاشت‬ ‫مرحله‬ ‫خروجی‬ ‫و‬ ‫شود‬-‫مقدار‬24
.‫بود‬ ‫خواهد‬ )
‫مرتب‬ ‫اطالعات‬ ‫دارد‬ ‫نام‬ ‫کاهش‬ ‫گام‬ ‫که‬ ‫بعد‬ ‫درمرحله‬‫دسته‬ ‫در‬ ،‫شده‬‫می‬ ‫تولید‬ ‫نهایی‬ ‫خرجی‬ ‫و‬ ‫شده‬ ‫ادغام‬ ‫کوچکتر‬ ‫های‬‫شود‬(Bakshi 2012).
‫می‬ ‫موازی‬ ‫اجرای‬ ‫برای‬ ‫چارچوب‬ ‫این‬ ‫از‬ ‫استفاده‬ ‫مزایای‬ ‫از‬:‫نمود‬ ‫اشاره‬ ‫زیر‬ ‫موارد‬ ‫به‬ ‫توان‬
o‫مقیاس‬‫باال‬ ‫پذیری‬
o‫محاسباتی‬ ‫بار‬ ‫پخش‬25
‫به‬‫گره‬ ‫روی‬ ‫بر‬ ‫متعادل‬ ‫صورت‬‫ها‬
o‫بهینه‬‫شبکه‬ ‫و‬ ‫دیسک‬ ‫بین‬ ‫اطالعات‬ ‫انتقال‬ ‫سازی‬
o‫تداخل‬ ‫بدون‬ ‫موازی‬ ‫اجرای‬
o‫باال‬ ‫خطای‬ ‫مقاومت‬
Hive:‫داده‬ ‫از‬ ‫عظیمی‬ ‫مجموعه‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫امکان‬‫به‬ ‫شبیه‬ ‫زبانی‬ ‫ارائه‬ ‫با‬ ‫را‬ ‫دارد‬ ‫قرار‬ ‫هادوپ‬ ‫با‬ ‫سازگار‬ ‫سیستم‬ ‫فایل‬ ‫روی‬ ‫بر‬ ‫که‬ ‫ها‬SQL‫می‬ ‫کاربران‬ ‫اختیار‬ ‫در‬.‫گذارد‬
Pig:‫سال‬ ‫در‬2116‫نگاشت‬ ‫عملیات‬ ‫اجرای‬ ‫و‬ ‫ایجاد‬ ‫جهت‬ ‫ساده‬ ‫روشی‬ ،‫یاهو‬ ‫تحقیقاتی‬ ‫مراکز‬ ‫توسط‬-‫ا‬ ‫عظیمی‬ ‫مجموعه‬ ‫روی‬ ‫کاهش‬‫داده‬ ‫ز‬‫که‬ ‫شد‬ ‫ساخته‬ ‫ها‬Pig.‫گرفت‬ ‫نام‬
Mahout:‫دسته‬ ‫جهت‬ ‫ابزاری‬‫طبقه‬ ‫و‬ ‫بندی‬‫داده‬ ‫بندی‬‫الگوریتم‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ها‬.‫است‬ ‫ماشین‬ ‫یادگیری‬ ‫های‬
Oozie:‫مختصات‬ ‫سرویس‬.‫دارد‬ ‫عهده‬ ‫بر‬ ‫را‬ ‫داده‬ ‫پردازش‬ ‫مختلف‬ ‫عملیات‬ ‫مدیریت‬ ‫که‬ ‫است‬ ‫کار‬ ‫گردش‬ ‫و‬ ‫دهی‬
5-‫در‬ ‫اطالعات‬ ‫تحلیل‬ ‫حوزه‬ ‫مسائل‬‫داده‬ ‫کالن‬
5-1-‫روش‬ ‫کاربرد‬ ‫عدم‬‫داده‬ ‫کالن‬ ‫در‬ ‫اطالعات‬ ‫تحلیل‬ ‫سنتی‬ ‫های‬
‫داده‬ ‫سنتی‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ‫علم‬ ‫در‬‫(داده‬ ‫ها‬‫داده‬ ،)‫کاوی‬‫انباره‬ ‫در‬ ‫معمول‬ ‫طور‬ ‫به‬ ‫اولیه‬ ‫های‬‫داده‬ ‫های‬‫داده‬ ‫انباره‬ ‫هر‬ ‫و‬ ‫گرفته‬ ‫قرار‬ ‫ای‬‫می‬ ‫نیز‬ ‫ای‬‫برای‬ ‫شده‬ ‫تعریف‬ ‫پیش‬ ‫از‬ ‫قالب‬ ‫یک‬ ‫از‬ ‫بایست‬
‫مدیریت‬ ‫و‬ ‫نگهداری‬‫داده‬‫می‬ ‫استفاده‬ ‫خود‬ ‫های‬‫داده‬ ‫انباره‬ ‫از‬ ‫استفاده‬ ‫نماید‬ ‫اجرایی‬ ‫اطالعات‬ ‫روی‬ ‫بر‬ ‫را‬ ‫خود‬ ‫تحلیل‬ ‫و‬ ‫تجزیه‬ ،‫کاربرد‬ ‫و‬ ‫نیاز‬ ‫براساس‬ ‫بتواند‬ ‫تا‬ ‫کرد‬‫معایب‬ ‫اطالعات‬ ‫تحلیل‬ ‫در‬ ‫ای‬‫ی‬
‫تصمیم‬ ‫در‬ ‫فناوری‬ ‫امروز‬ ‫کاربردهای‬ ‫به‬ ‫توجه‬ ‫با‬ ‫را‬‫داده‬ ‫است‬ ‫این‬ ‫اول‬ ‫مشکل‬ .‫دارد‬ ‫گیری‬‫نبو‬ ‫روز‬ ‫به‬ ‫آن‬ ‫های‬‫می‬ ‫زیادی‬ ‫زمان‬ ‫مدت‬ ‫آن‬ ‫تولید‬ ‫عمر‬ ‫از‬ ‫و‬ ‫ده‬‫کاربرد‬ ‫از‬ ‫بعضی‬ ‫در‬ ‫و‬ ‫گذرد‬‫تحلیل‬ ‫های‬
‫داده‬ ‫به‬ ‫نیاز‬ ‫داده‬ ‫کالن‬‫انباره‬ ‫در‬ ‫اطالعات‬ ‫مدیریت‬ ‫به‬ ‫مربوط‬ ‫دوم‬ ‫مشکل‬ .‫داریم‬ ‫برخط‬ ‫و‬ ‫جدید‬ ‫های‬‫داده‬‫می‬ ‫کنترل‬ ‫و‬ ‫مدیریت‬ ‫تیم‬ ‫یک‬ ‫توسط‬ ‫و‬ ‫بوده‬ ‫متمرکز‬ ‫شکل‬ ‫به‬ ‫که‬ ‫است‬ ‫ای‬‫ام‬ ‫شود‬‫در‬ ‫ا‬
‫حج‬ ‫با‬ ‫داده‬ ‫کالن‬‫داده‬ ‫از‬ ‫عظیمی‬ ‫م‬‫مو‬ ‫اجرای‬ ‫قابلیت‬ ‫باید‬ ‫داده‬ ‫از‬ ‫حجم‬ ‫این‬ ‫روی‬ ‫تحلیلی‬ ‫و‬ ‫پردازشی‬ ‫عمل‬ ‫هر‬ ‫که‬ ‫داریم‬ ‫برخورد‬ ‫دارد‬ ‫قرار‬ ‫شده‬ ‫توزیع‬ ‫و‬ ‫غیرمتمرکز‬ ‫شکل‬ ‫به‬ ‫که‬ ‫ها‬‫روی‬ ‫بر‬ ‫ازی‬
‫خوشه‬ ‫زیادی‬ ‫تعداد‬.‫باشد‬ ‫داشته‬ ‫را‬ ‫شبکه‬ ‫در‬ ‫ها‬
5-2-‫چالش‬‫داده‬ ‫تحلیل‬ ‫های‬
‫چالش‬ ‫همواره‬ ‫حوزه‬ ‫این‬ ‫در‬‫به‬ ‫زیادی‬ ‫های‬‫ویژگی‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫ماهیت‬ ‫دلیل‬‫چالش‬ ‫از‬ .‫هست‬ ‫و‬ ‫بوده‬ ‫مطرح‬ ‫آن‬ ‫های‬‫می‬ ‫آن‬ ‫روز‬ ‫های‬‫نیمه‬ ‫اطالعات‬ ‫تحلیل‬ ‫به‬ ‫توان‬‫اشاره‬ ‫ساختار‬ ‫بدون‬ ‫و‬ ‫ساختاری‬
‫روش‬ ‫از‬ ‫یکی‬ .‫نمود‬‫داده‬ ‫در‬ ‫اطالعات‬ ‫تحلیل‬ ‫های‬‫فراداده‬ ‫از‬ ‫استفاده‬ ‫متنی‬ ‫ساختار‬ ‫بدون‬ ‫های‬26
‫پیامی‬ ‫اجتماعی‬ ‫شبکه‬ ‫در‬ ‫فردی‬ ‫مثال‬ ‫برای‬ ‫است‬‫می‬ ‫شکل‬ ‫این‬ ‫به‬‫نویسد‬"‫پوشش‬ ‫وضعیت‬ ‫از‬ ‫من‬
‫سرویس‬ ‫است‬ ‫بهتر‬ ،‫دارد‬ ‫را‬ ‫شبکه‬ ‫پوشش‬ ‫بهترین‬ ‫بود‬ ‫شده‬ ‫گفته‬ ‫تبلیغات‬ ‫در‬ ‫که‬ ‫صورتی‬ ‫در‬ ‫نیستم‬ ‫راضی‬ ‫خود‬ ‫همراه‬ ‫تلفن‬ ‫شبکه‬!‫کنم‬ ‫عوض‬ ‫را‬ ‫خود‬ ‫دهنده‬"‫مشتری‬ ‫قصد‬ ‫از‬ ‫شدن‬ ‫آگاه‬ ‫برای‬
‫شبکه‬‫فراداده‬ ‫خود‬ ‫استنتاج‬ ‫موتور‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫اجتماعی‬ ‫های‬‫ه‬‫مانند‬ ‫کلیدی‬ ‫ای‬"‫سرویس‬‫دهنده‬"،"‫نیستم‬ ‫راضی‬"،"‫رضایت‬"،"‫قصد‬"‫نشانه‬ ‫را‬‫می‬ ‫لحظه‬ ‫در‬ ‫و‬ ‫کرده‬ ‫گذاری‬‫داده‬ ‫توانند‬‫را‬ ‫ها‬
‫ف‬ ‫مدیریت‬ ‫مبحث‬ ‫همواره‬ ‫و‬ ‫است‬ ‫نیز‬ ‫ویدئو‬ ‫و‬ ‫صداها‬ ،‫تصاویر‬ ‫از‬ ‫عظیمی‬ ‫حجم‬ ‫شامل‬ ‫و‬ ‫نبوده‬ ‫متن‬ ‫به‬ ‫محدود‬ ‫داده‬ ‫کالن‬ ‫که‬ ‫است‬ ‫مشخص‬ .‫کنند‬ ‫تحلیل‬‫راداده‬‫ی‬ ‫عنوان‬ ‫به‬ ‫ها‬‫روش‬ ‫از‬ ‫کی‬‫های‬
‫بیش‬ ‫پژوهش‬ ‫به‬ ‫نیاز‬ ‫که‬ ‫است‬ ‫جذاب‬ ‫موضوعی‬ ‫داده‬ ‫کالن‬ ‫در‬ ‫اطالعات‬ ‫تحلیل‬.‫دارد‬ ‫تری‬
22
Hadoop Distributed File System
23
Cluster
24
(Key,Value)
25
Load Balancing
26
Metadata

‫مقاله‬ ‫این‬ ‫در‬(Kaisler, Espinosa et al. 2014)16‫طبقه‬‫پاک‬ ‫مباحث‬ ‫از‬ ‫و‬ ‫شده‬ ‫آورده‬ ‫داده‬ ‫کالن‬ ‫در‬ ‫اطالعات‬ ‫تحلیل‬ ‫مختلف‬ ‫انواع‬ ‫از‬ ‫بندی‬‫آماده‬ ‫و‬ ‫سازی‬‫داده‬ ‫سازی‬‫غنی‬ ،‫ها‬‫سازی‬27
‫داده‬‫نامتعادل‬ ‫جمعیت‬ ،‫خام‬ ‫های‬21
‫چالش‬ ‫عنوان‬ ‫به‬‫داده‬ ‫تحلیل‬ ‫های‬‫می‬ ‫نام‬ ‫ها‬.‫برد‬
5-3-‫چالش‬‫شخصی‬ ‫حریم‬ ‫و‬ ‫امنیت‬ ‫های‬
‫چالش‬ ‫از‬‫شبکه‬ ‫در‬ ً‫ا‬‫خصوص‬ ‫داده‬ ‫کالن‬ ‫در‬ ‫خصوصی‬ ‫حریم‬ ‫های‬‫فرد‬ ‫برای‬ ‫که‬ ‫شود‬ ‫منجر‬ ‫دانشی‬ ‫کشف‬ ‫به‬ ‫است‬ ‫ممکن‬ ‫تحلیل‬ ‫از‬ ‫پس‬ ‫که‬ ‫است‬ ‫افراد‬ ‫حساس‬ ‫اطالعات‬ ،‫اجتماعی‬ ‫های‬
.‫باشد‬ ‫داشته‬ ‫اطالع‬ ‫آن‬ ‫از‬ ‫دیگری‬ ‫شخص‬ ‫هر‬ ‫یا‬ ‫و‬ ‫اطالعات‬ ‫دارنده‬ ‫ندارد‬ ‫تمایل‬ ‫و‬ ‫بوده‬ ‫خصوصی‬
‫ا‬‫افراد‬ ‫خصوصی‬ ‫حریم‬ ‫اطالعات‬ ‫از‬ ‫دولت‬ ‫یا‬ ‫و‬ ‫قانون‬ ‫مجری‬ ‫ستفاده‬
‫شبکه‬ ،‫جستجو‬ ‫موتورهای‬ ‫مؤثر‬ ‫تبلیغات‬ ‫در‬ ‫افراد‬ ‫شخصی‬ ‫اطالعات‬ ‫از‬ ‫استفاده‬... ‫و‬ ‫الکترونیکی‬ ‫پست‬ ،‫اجتماعی‬ ‫های‬
5-4-‫چالش‬‫پردازشی‬ ‫و‬ ‫فنی‬ ‫های‬
‫راه‬ ‫و‬ ‫ابری‬ ‫رایانش‬ ‫مفهوم‬ ‫کنار‬ ‫در‬‫مقیاس‬ ‫رفتن‬ ‫باال‬ ‫در‬ ‫آن‬ ‫کارهای‬‫الگوریتم‬ ‫از‬ ‫بعضی‬ ،‫شبکه‬ ‫در‬ ‫پذیری‬‫فناوری‬ ‫و‬ ‫ها‬‫داده‬ ‫تحلیل‬ ‫های‬‫داده‬ ‫نشان‬ ‫خود‬ ‫از‬ ‫را‬ ‫مناسبی‬ ‫عملکرد‬ ‫پایین‬ ‫مقیاس‬ ‫در‬ ‫ها‬‫اند‬
‫مقاله‬ ‫این‬ ‫در‬ ‫اما‬(Armour et al. 2013Kaisler,)‫می‬ ‫گفته‬‫الگوریتم‬ ‫از‬ ‫بعضی‬ ‫شود‬‫فناوری‬ ‫و‬ ‫ها‬‫مقیاس‬ ‫است‬ ‫آمده‬ ‫ادامه‬ ‫در‬ ‫که‬ ‫حاضر‬ ‫حال‬ ‫های‬‫زتابایت‬ ‫حجم‬ ‫اندازه‬ ‫به‬ ‫پذیری‬20
‫نداشته‬ ‫را‬
.‫باشند‬
‫تکنیک‬‫ماشین‬ ‫یادگیری‬ ‫های‬
‫متنی‬ ‫اطالعات‬ ‫تحلیل‬-‫ویدئویی‬-‫ساختار‬ ‫بدون‬ ‫صوتی‬
‫داده‬ ‫تصویرسازی‬‫ها‬31
‫ابری‬ ‫رایانش‬
‫داده‬‫کاوی‬
‫الگوریتم‬‫مش‬ ‫و‬ ‫گراف‬ ‫های‬
‫داده‬ ‫شدن‬ ‫اضافه‬‫الگوریتم‬ ‫به‬ ‫ساختاری‬ ‫های‬‫موجود‬ ‫های‬
6-‫نتیجه‬‫آینده‬ ‫کارهای‬ ‫و‬ ‫گیری‬
‫ویژگی‬ ‫و‬ ‫داده‬ ‫کالن‬ ‫معرفی‬ ‫از‬ ‫پس‬ ‫مقاله‬ ‫این‬ ‫در‬‫چالش‬ ‫و‬ ‫کاربردها‬ ،‫آن‬ ‫های‬‫قوی‬ ‫عنوان‬ ‫به‬ ‫هادوپ‬ ‫ساختار‬ ‫و‬ ‫گرفت‬ ‫قرار‬ ‫بررسی‬ ‫مورد‬ ‫آن‬ ‫های‬‫ابزار‬ ‫ترین‬ ‫مطرح‬ ‫و‬ ‫ترین‬‫کالن‬ ‫تحلیل‬ ‫و‬ ‫مدیریت‬
‫تصمیم‬ ‫به‬ ‫کمک‬ .‫گشت‬ ‫تبیین‬ ‫داده‬‫می‬ ‫را‬ ‫تجاری‬ ‫هوش‬ ‫رفتن‬ ‫باال‬ ‫و‬ ‫صحیح‬ ‫و‬ ‫دقیق‬ ‫گیری‬‫مهم‬ ‫از‬ ‫توان‬‫شرکت‬ ‫که‬ ‫نمود‬ ‫عنوان‬ ‫داده‬ ‫کالن‬ ‫دستاوردهای‬ ‫ترین‬‫سازمان‬ ‫و‬ ‫ها‬‫سالی‬ ‫چند‬ ‫بزرگ‬ ‫های‬
‫توانسته‬ ‫آن‬ ‫کمک‬ ‫به‬ ‫است‬‫عرصه‬ ‫اند‬.‫کنند‬ ‫تعریف‬ ‫مدیریت‬ ‫و‬ ‫فناوری‬ ‫در‬ ‫جدید‬ ‫ای‬
‫مباح‬‫می‬ ‫آینده‬ ‫در‬ ‫که‬ ‫است‬ ‫کاربردهایی‬ ‫از‬ ‫مورد‬ ‫چند‬ ‫فقط‬ ‫زیر‬ ‫ث‬‫بیش‬ ‫تواند‬‫به‬ ‫و‬ ‫گیرد‬ ‫صورت‬ ‫پژوهش‬ ‫آن‬ ‫روی‬ ‫بر‬ ‫تر‬.‫است‬ ‫مطرح‬ ‫آن‬ ‫در‬ ‫متعددی‬ ‫مسائل‬ ‫همواره‬ ،‫عرصه‬ ‫این‬ ‫بودن‬ ‫نوظهور‬ ‫دلیل‬
‫می‬ ‫فعالیت‬ ‫ابری‬ ‫رایانش‬ ‫زمینه‬ ‫در‬ ‫که‬ ‫افرادی‬‫می‬ ‫کنند‬‫عنوان‬ ‫به‬ ‫داده‬ ‫کالن‬ ‫همانند‬ ‫مسائلی‬ ‫روی‬ ‫بر‬ ‫توانند‬‫سرویس‬31
‫سرویس‬ ‫عنوان‬ ‫به‬ ‫تحلیل‬ ‫سکوی‬ ‫یا‬ ‫و‬32
‫پژوهش‬ ‫ابری‬ ‫رایانش‬ ‫بستر‬ ‫در‬
‫مدل‬ ‫ارائه‬ ،‫نمایند‬‫راه‬ ‫برای‬ ‫متنوع‬ ‫تجاری‬ ‫های‬‫کسب‬ ‫یک‬ ‫اندازی‬‫و‬‫سازمان‬ ‫دیگر‬ ‫به‬ ‫داده‬ ‫تحلیل‬ ‫سرویس‬ ‫ارائه‬ ‫خواستار‬ ‫که‬ ،‫کار‬‫نرم‬ ‫کوچک‬ ‫شرکت‬ ‫یک‬ ً‫ال‬‫مث‬ .‫است‬ ‫ها‬‫دارای‬ ‫که‬ ‫افزاری‬
‫داده‬ ‫متخصصین‬‫می‬ ‫است‬ ‫کاوی‬‫تواند‬‫داده‬ ،‫اعتمادسازی‬ ‫فرآیند‬ ‫یک‬ ‫طی‬ ‫با‬ ‫سپس‬ ،‫کرده‬ ‫استفاده‬ ‫سرویس‬ ‫عنوان‬ ‫به‬ ‫زیرساخت‬ ‫از‬‫سازمان‬ ‫های‬‫استفاده‬ ‫با‬ ‫و‬ ‫گرفته‬ ‫اختیار‬ ‫در‬ ‫را‬ ‫مختلف‬ ‫های‬
‫روش‬ ‫از‬.‫دهد‬ ‫قرار‬ ‫مدیران‬ ‫اختیار‬ ‫در‬ ‫سرویس‬ ‫عنوان‬ ‫به‬ ‫را‬ ‫نتایج‬ ‫سپس‬ ‫و‬ ‫کند‬ ‫سازمان‬ ‫نیاز‬ ‫مورد‬ ‫دانش‬ ‫استخراج‬ ‫به‬ ‫شروع‬ ‫اطالعات‬ ‫تحلیل‬ ‫های‬
‫در‬‫نگاشت‬ ‫چارچوب‬-‫می‬ ‫اجرا‬ ‫ابری‬ ‫درمحیط‬ ‫الگوریتم‬ ‫یک‬ ‫که‬ ‫زمانی‬ ‫کاهش‬‫گره‬ ‫بین‬ ‫را‬ ‫کار‬ ‫دارد‬ ‫وظیفه‬ ‫نگاشت‬ ‫تابع‬ ‫شود‬‫بخش‬ ‫به‬ ‫کار‬ ‫تقسیم‬ .‫کند‬ ‫تقسیم‬ ‫کارگر‬ ‫های‬‫مسا‬ ‫های‬‫همیشه‬ ‫وی‬
‫بیش‬ ‫تقسیمات‬ ‫تعداد‬ ‫چه‬ ‫هر‬ ،‫باشد‬ ‫قواعد‬ ‫استخراج‬ ‫هدف‬ ‫اگر‬ ‫مثال‬ ‫عنوان‬ ‫به‬ .‫نیست‬ ‫راحت‬ ‫و‬ ‫آسان‬‫قا‬ ‫استخراج‬ ‫شود‬ ‫تر‬‫مشکل‬ ‫عده‬‫نگاشت‬ ‫از‬ ‫مناسبی‬ ‫تعداد‬ ‫تعیین‬ ‫بنابراین‬ .‫بود‬ ‫خواهد‬ ‫تر‬‫ها‬
‫گره‬ ‫تعداد‬ ‫یا‬‫زمینه‬ ‫از‬ ‫یکی‬ ‫ها‬‫می‬ ‫تحقیقاتی‬ ‫های‬.‫باشد‬ ‫تواند‬
‫نگاشت‬ ‫همانند‬ ‫موازی‬ ‫چارچوب‬ ‫یک‬ ‫اساس‬ ‫بر‬ ‫دارد‬ ‫نیاز‬ ‫ابری‬ ‫محیط‬ ‫یک‬ ‫در‬ ‫موازی‬ ‫اجرای‬ ‫برای‬ ‫اطالعات‬ ‫پردازش‬ ‫و‬ ‫تحلیل‬ ‫الگوریتم‬ ‫هر‬-‫بسیار‬ ،‫شود‬ ‫نوشته‬ ‫کاهش‬‫الگوریتم‬ ‫از‬ ‫ی‬‫های‬
‫داده‬‫می‬ ‫مبحث‬ ‫این‬ ‫و‬ ‫نشده‬ ‫نوشته‬ ‫آن‬ ‫موازی‬ ‫اجرای‬ ‫مدل‬ ‫حال‬ ‫به‬ ‫تا‬ ‫که‬ ‫دارد‬ ‫وجود‬ ‫کاوی‬.‫باشد‬ ‫حوزه‬ ‫این‬ ‫در‬ ‫مناسب‬ ‫پژوهشی‬ ‫زمینه‬ ‫تواند‬
27
Enrichment
28
Population Imbalance
29
Zettabytes ( 1021
bytes)
30
Visualization
31
Big Data as a Service (BDaas)
32
Analytical platform as a service (APaas)

‫مقیاس‬‫برنامه‬ ‫سطح‬ ‫در‬ ‫چه‬ ‫پذیری‬‫ابر‬ ‫بستر‬ ‫در‬ ‫کاربران‬ ‫به‬ ‫سرویس‬ ‫ارائه‬ ‫در‬ ‫اساسی‬ ‫مسائل‬ ‫از‬ ‫یکی‬ ‫داده‬ ‫پایگاه‬ ‫سطح‬ ‫در‬ ‫چه‬ ‫و‬ ‫کاربردی‬‫پایگاه‬ ‫پذیری‬ ‫مقیاس‬ ‫افزایش‬ ‫بنابراین‬ .‫است‬‫داده‬‫های‬
NoSQL‫پژوهش‬ ‫از‬ ‫هادوپ‬ ‫خصوصا‬ ‫و‬.‫دارد‬ ‫بسیار‬ ‫کار‬ ‫جای‬ ‫که‬ ‫است‬ ‫هایی‬
‫همان‬‫شد‬ ‫گفته‬ ‫طورکه‬Mahout‫دسته‬ ‫ابزارهای‬ ‫از‬ ‫یکی‬‫خوشه‬ ‫و‬ ‫بندی‬‫الگوریتم‬ ‫مجموعه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ابزار‬ ‫این‬ .‫است‬ ‫هادوپ‬ ‫در‬ ‫اطالعات‬ ‫بندی‬‫نگاشت‬ ‫مدل‬ ‫در‬ ‫که‬ ‫هایی‬-‫کاهش‬
‫پیاده‬‫می‬ ‫شده‬ ‫سازی‬‫دسته‬ ‫تواند‬‫خوشه‬ ‫و‬ ‫بندی‬‫داده‬ ‫روی‬ ‫بر‬ ‫را‬ ‫بندی‬‫می‬ ‫آتی‬ ‫کارهای‬ ‫عنوان‬ ‫به‬ ،‫دهد‬ ‫انجام‬ ‫ها‬‫الگوریتم‬ ‫توان‬‫نگاشت‬ ‫مدل‬ ‫تحت‬ ‫کتابخانه‬ ‫این‬ ‫به‬ ‫را‬ ‫جدیدی‬ ‫های‬-‫کاهش‬‫اضافه‬
.‫نمود‬
‫منابع‬‫استفاده‬ ‫مورد‬:
B.Gerhardt, K. G. a. R. K. (2012). "Unlocking Value in the Fragmented World of Big Data Analytics." Cisco Internet
Business
Solutions Group.
Bakshi, K. (2012). Considerations for big data: Architecture and approach. Aerospace Conference, 2012 IEEE.
Bensrhir, A. (2013). Big data for geo-political analysis: Application on Barack Obama's remarks and speeches. Computer
Systems and Applications (AICCSA), 2013 ACS International Conference on.
Gartner. (2014). "big data definition." from https://www.gartner.com/it-glossary/big-data./
Kaisler, S., F. Armour and A. Espinosa (2013). Introduction to Big Data: Scalable Representation and Analytics for Data
Science Minitrack. System Sciences (HICSS), 2013 46th Hawaii International Conference on.
Kaisler, S .H., J. A. Espinosa, F. Armour and W. H. Money (2014). Advanced Analytics -- Issues and Challenges in a Global
Environment. System Sciences (HICSS), 2014 47th Hawaii International Conference on.
Katal, A., M. Wazid and R. H. Goudar (2013). Big data: Issues, challenges, tools and Good practices. Contemporary
Computing (IC3), 2013 Sixth International Conference on.
Liu, W. and E. K. Park (2014). Big Data as an e-Health Service. Computing, Networking and Communications (ICNC), 2014
International Conference on.
Mahmood, T., T. Iqbal, F. Amin, W. Lohanna and A. Mustafa (2013). Mining Twitter big data to predict 2013 Pakistan
election winner. Multi Topic Conference (INMIC), 2013 16th International.
Marjanovic, O., T. Ariyachandra and B. Dinter (2014). Introduction to Business Analytics, Business Intelligence, and Big Data
Minitrack. System Sciences (HICSS), 2014 47th Hawaii International Conference on.
Sagiroglu, S. and D. Sinanc (2013). Big data: A review. Collaboration Technologies and Systems (CTS), 2013 International
Conference on.
Singh, S. (2012). Big Data analytics. Communication, Information & Computing Technology (ICCICT), 2012 International
Conference on.
smith, c. (2014). "amazing youtube statistics." from http://expandedramblings.com/index.php/youtube-statistics/#.U2c-
79ySzJV.
Soumendra Mohanty, M. J., Harsha Srivatsa (2013). Big Data Imperatives: Enterprise ‘Big Data’ Warehouse, ‘BI’
Implementations and Analytics.
Tam, D. (2012 ). "Facebook processes more than 500 TB of data daily." from http://www.cnet.com/news/facebook-
processes-more-than-500-tb-of-data-daily./
Zikopoulos, P. (2012). Understanding big data : analytics for enterprise class Hadoop and streaming data. New York,
McGraw-Hill.