Contenu connexe Similaire à داده های عظیم چگونه دنیا را تغییر خواهند داد (20) داده های عظیم چگونه دنیا را تغییر خواهند داد 1. دنی چگونه عظیم های دادها
داد؟ خواهند تغییر را
خندان فرزاد
fkhandan@Simiagaran.net
09123077032
www.Simiagaran.net
3. پردازش نمونه یک-Twitter
500میلیونتوییتروز در
◦از بیش8هستند جغرافیایی مختصات دارای میلیون
ترکی را بیرونی مراجع و داخلی های داده بتوان بایست میکرد ب.
صورت به را متنی های داده بتوان بایست می«عمیق»پردازش
نمود.
http://mapd.csail.mit.edu
6. مقدمه
«است تغییر حال در چیز همه»دو نیافتنی تغییر اصل اینماست ران.
اصل مشخصه عنوان به دیجیتال ارتباطات و سایبری فضایعصر ی
م شناخته ،است معروف اطالعات عصر یا و دانش عصر به که ،حاضری
شود.
ج بر عمیقی تأثیرات عرضه این در تکنولوژی پیشرفتهایانسانی وامع
گذارد می.
با مواجهه برای را ما تکنولوژیک تغییرات شناخت«آین شوکده»
کند می آماده.
7. عظیم های داده(Big Data)
تمدن دوران کل اندازه به بشر ،روز دو هر در
سال تا بشری2003کند می تولید اطالعات.
«اریکاشمیتمدیرعامل ،گوگل»
از بیش سال دو هر ،یعنی این1/8زتابایت
تولید اطالعات
شود می!
یعنی ،کاربران توسط شده تولید های داده
،فوری پیامهای ،فیلم ،عکستوییتهاوپستهادر
و دارند باالی بسیار حجم مجازی های شبکه
نیستند یافته ساخت ًالزوم.
8. عظیم های داده
سرعت با ،باال حجم در که ،شده تولید اطالعات انبوه میان از الزم بینش آوردن دست بهبا و باال
هستند تولید حال در باال فراوانی و تنوعورایاست بوده میسر ًالقب که است چیزی آن.
10. آینده روندهای
گارتنر گزارش اساس بر(2016)سال تا ،2020هشتاد از بیش
عظیم های داده اساس بر آنها فرآیندهای و کارها و کسب درصد
شوند می بازطراحی.
تا2017از بیش ،30%دهنده سرویس طریق از کارها و کسب
دنیا سراسر از شده آوری جمع عظیم های داده به میانی های
داشت خواهند دسترسی.
تا2017از بیش ،20%مشتریا رفتار های تحلیل های سرویسن
از استفاده با را محصوالت ردیابی امکانIoTنمود خواهند فراهم.
11. اشیاء اینترنت
تغییرپارادیم:بی ارتباط نه و اشیاء بین ارتباطها انسان ن
◦ایدهمطرح:هرشیءفیزیکیب اتصال با بود خواهد قادره
اینترنتیابهکمکسایرابزارهایارتباطیبا ،سایراشیاتعامل
باشد داشته.
اینترنتاشیاءبهایناست معناکهبسیاریازوسایل
به اتصال با ما استفاده مورد روزمرهاینترنت،وظایفو
و هم با را خود اطالعاتیابه ها انسان بااشتراکبگذارند.
◦فروشگاهیکهدیگربههیچشدن تمام نگران وجه
محصوالتشنیستچون ،سیستمکنترلانب هوشمندهر در ار
از لحظهموجودیو است مطلع محصوالت تمامحتیکار
را سفارشنیزانجام خودمیدهد.
◦روشن توانید مییااتو بودن خاموشیااجاقگازتانب راه
وسیلهتلفنهوشمندتانمحل ازکارچککنید.
12. جهانی تحولی
فقط28٪دارند خود های داده از استراتژیک مندی بهره توانایی جهان های شرکت از
نسبت به گذشته سال پنج طی عظیم های داده نفوذ سرعت،رش سرعت برابر هفتفاوا د
بوداست ه.
13. محسوس دستاوردهای
دار عظیم های داده بکارگیری از زیادی بسیار رضایت ها سازمانند
(Accenture, 2015:)
◦اند رسانده سرانجام به را عظیم های داده پروژه یک حداقل که هایی سازماناز
اند شده زده بهت آمده بدست نتایج.
◦اند کرده استفاده بیشتر عظیم های داده مزایای از بزرگ های سازمان.
◦اس سازمان سطح در گسترده یادگیری نیازمند عظیم های داده از استفادهت.
◦(حاضر حال در)است سازمان از خارج منابع از استفاده نیازمند عظیم های داده.
◦فناوری عظیم های داده«کننده ویران»ه به را موجود فرضهای پیش ،استم
زند می.دارد تغییر ایجاد برای باالیی ظرفیت عظیم های داده.
16. کند؟ می آوری جمع را ها داده این چیزی چه
Web Browsers Search Engines
Microsoft’s
Internet Explorer
Mozilla’s FireFox
Google’s Chrome
Apple’s Safari
Google’s
Microsoft’s
Yahoo’s
IAC Search’s
AOL Explorer
(Non-profit foundation,
used to be Netscape)
17. کند؟ می آوری جمع را ها داده این چیزی چه
Smartphones & Apps Tablet Computers & Apps
Apple’s iPhone
(Apple O/S)
Samsung, HTC.
Nokia, Motorola
(Android O/S)
RIM Corp’s Blackberry
(BlackBerry O/S)
Apple’s iPad
Samsung’s Galaxy
Amazon’s Kindle Fire
18. کند؟ می آوری جمع را ها داده این چیزی چه
Games Boxes and GPS Systems Internet Service Providers
19. کند؟ می آوری جمع را ها داده این چیزی چه
HDTV’s and Blu-Ray Players with
built-in Internet connectivity
Movie Rental Sites
20. کند؟ می آوری جمع را ها داده این چیزی چه
HOSPITALS & OTHER MEDICAL
SYSTEMS
BANKING & PHONE SYSTEMS
Can you hear me now?
(Heh heh heh!)
Pharmacies
Laboratories
Imaging Centers
Emergency Medical Services (EMS)
Hospital Information Systems
Doc-in-a-Box
Electronic Medical Records
Blood Banks
Birth & Death Records
21. کند؟ می آوری جمع را ها داده این چیزی چه
A REAL PAIN IN THE APPS!
WHAT ARE THEY
COLLECTING?
Restaurant reservations (Open Table)
Weather in L.A. in 3 days (Weather+)
Side effects of medications (MedWatcher)
3-star hotels in New Orleans (Priceline)
Which PC should I buy and where
(PriceCheck)
23. کند؟ می آوری جمع را ها داده این کسی چه
CONSUMER PRODUCTS
COMPANIES BIG BOX STORES
24. کند؟ می آوری جمع چیزی چه کسی چه
CREDIT CARD COMPANIES
WHAT DATA ARE THEY GETTING?
Restaurant check
Grocery Bill
Airline ticket
Hotel Bill
34. عظیم های داده های فناوری
داده سازی ذخیره و پردازش کالسترهای
◦ابری رایانش
◦خصوصی ابر
شده توزیع سازی ذخیره و پردازش
◦HDFS
◦Hadoop Map-Reduce
◦Spark
جدید اطالعاتی های بانک
◦NoSQL
◦NewSQL
◦Graph DB
◦Column Based DB
◦In Memory DB
◦Granual Optimization
35. عظیم های داده های فناوری
پردازش سرعت و کارایی حفظ عین در داده امنیت
◦CryptDB
ها داده کردن تمیز و بازبینی
◦Wrangler
تجمیعها داده–جدید های نگرش
ها داده تحلیل های سامانه
◦الگوریتمسریع های
◦ها داده سازی فشرده
◦ماشینی یادگیری ابزارهای
◦سازها خالصه
36. چیست؟ هادوپ
است جاوا بر مبتنی باز متن نویسی برنامه چارچوب یک هادوپکه
توزی پردازشی محیط یک در را ها داده از بزرگی حجم پردازش امکانع
کند می فراهم شده.
اندازی راه پردازشی گره هزاران با هایی سامانه توان می ،هادوپ با
نمایند پردازش را داده ترابایت هزاران که کرد.
مبتن هایی روند ایجاد امکان ،سازی ذخیره امکان بر عالوه هادوپی
برMapReduceسازد می فراهم ها داده پردازش برای را.
آن سازنده دختر عروسک نام از ،هادوپ نام(فیل یک)است آمده.
39. MapReduce
MapReduce is a framework for processing parallelizable
problems across huge datasets using a large number of
computers (nodes), collectively referred to as a cluster
or a grid.
45. عظ های داده بر مبتنی های استارتاپیم
◦ Business Focus: Taxi & Passenger Delivery
◦ Uber predicts where do you want to go!
◦ Uber offers the best match for staff through
analytics.
◦ Dynamic pricing using Big Data analytics.
46. عظ های داده بر مبتنی های استارتاپیم
◦ Business Focus: Find the best places to eat,
drink, shop, or visit in any city in the world
◦ Recently came alive using Big Data analytics.
◦ Uses Big Data analytics to offer places to go.
47. عظ های داده بر مبتنی های استارتاپیم
◦ Business Focus: Connect the apps you use,
automate tasks, get more out of your data.
◦ Uses qualitative data and data mining to offer
app integration and Zaps.
48. عظی های داده محصوالت دهنده ارائه های استارتاپم
Startpu Service/Product Funding/Valuation
(Million US$)
Cloudera Big Data Full Stack Bundles &
Professional Services
$1040
Palantir Technologies Analytics applications $950
Domo Cloud-based business
intelligence
$450
MongoDB NoSQL database platform $311
InsideSales.com Cloud-based predictive
analytics
$199
Mu Sigma Data-Science-as-a-Service $195
DataStax Apache Cassandra-based
platform
$190
Dataminr Social media analytics $180
49. استارتاپها برای هایی توصیه
استارتاپه برای عظیم های داده بر مبتنی رقابتی مزیت خلق مسیرا:
◦کنید شناسایی را خود داده مشتری.
◦کنید پیدا است نیازمند مشتری که را ای داده.
◦بخرید یا ،بسازید را داده.
◦کنید تمرکز مناسب کاربری واسط یا داده مصورسازی نحوه روی بر.
◦کنید خودکار را فرآیند کل.
عظیم های داده از استفاده در استارتاپها موفقیت موانع
◦الزم استعدادهای کمبود
◦تمرکز دادن دست از
◦کار و کسب واقعی فرصتهای یافتن در توانایی عدم
◦مناسب سرمایه جذب عدم
51. ابری رایانش و دیتا بیگ
شرکت ،استارتاپها ،متوسط و کوچک های شرکت راه سر بر مشکالتدر های
رشد حال
◦برای توانیم نمی را کافی امکانات زیر ،روند می دست از استعداد با کارکنانفراهم شان
کنیم.
◦شود می زیرساخت از نگهداری صرف شرکت استعدادهای وقت عمده بخش.
◦صرف ما شرکت هزینه و وقت از بسیاری«چسباندن هم به»ه فناوری و قطعاتایی
کنند کار هم با بایست می معمول طور به که شود می!
◦است شلوغ ما تیم سر!
◦وای ای!!!دارد مشترکان و مشتریان تعداد10شود می برابر!کنیم؟ کار چه
◦به ولی ،نداریم گرانقیمت منابع به نیاز خیلی و هستیم تست حال در االنحال هر
است گران خیلی که کنیم آماده زیرساخت برای باید را ها حداقل.
پاسخ:ابری رایانش!!!
52. ابری رایانش
است اطالعات فناوری های سرویس ارائة برای ترارزان و بهتر راهی ابری رایانش.
◦شوندمی تأمین بنگاه از خارج از رایانشی منابع.
◦رایانشی منابع]ًالمعمو[هستند یابیدست قابل اینترنت طریق از.
◦است متغیر منابع از استفاده هزینة.
◦هستند پذیر مقیاس اندک زمان در و پایین هزینه با دسترس در منابع.
ابری رایانش محسنات
◦محورخدمت(Service Driven)
◦خطا پذیریتحمل(Self Healing)
◦ایجنبه چند(Multi-Faceted)
◦سازیمجازی(Virtual)
◦داده مدیریت(Data Management)
◦ناچیز اندازیراه هزینة
◦پذیرمقیاس(Scalable)
◦وسیله از استقالل
◦اعتماد قابلیت و تداوم
53. IBM BlueMix
طراحی بازار یک صورت به که ام بی آی ابری رایانش پلترفرمشده
است.
آسان کاربری رابط
اولیه های سرویس ایجاد و آشنایی و تمرین برای رایگان(Proof
of Concept)
کار و کسب جدی های سرویس اندازی راه برای پایین های هزینه
متنوع بسیار های سرویس
عظیم های داده های سرویس ارائه
65. عظیم های دادهوحملنقل و
نقل و حمل درریلیآینده پارادایم ،«شبکههوشمندتر»است.
از عبارتند توجه مورد بسیار های حوزه:
◦بودن کاربردی چند
◦ها محدودیت با مواجهه
◦درآمد افزایش و هزینه کاهش
◦هوشمندانه گذاری هدف
◦بازار نیازهای با تطبیق قابلیت
66. در عظیم های داده دستاوردهایUnion Pacific Railroad
کننده بینی پیش تحلیل از استفاده(Predictive Analysis)
خط از قطار شدن خارج کاهش برای–75%حوادث کاهش
بار حمل ظرفیت افزایشهای تحلیل باReal Time
◦ناگهانی تعمیرات
◦هواشناسی اطالعات از استفاده
◦هوشمندانه ریزی برنامه
◦حوادث یابی علت و بینی پیش
کربن آلودگی کاهش(میان در گرفتن قرار10دنیا برتر کمپانی)
68. نقل و حمل صنعت در کاربردها
سفر و سیر ریزی برنامه و مکانیابی
مسیر سازی بهینه و ردیابی
پیشگویانه تعمیرات
سوخت مصرف سازی بهینه
عملیات و مسیرها مصورسازی
زیست محیط سازی پاکیزه و آلودگی کاهش
افزوده ارزش خدمات
70. مالی مؤسسات و عظیم های داده
شمالی آمریکای در ای مطالعه اساس بر،
60%تحلی که دارند باور مالی مؤسساتل
به منجر عظیم های داده بر مبتنی های
شد خواهد توجه قابل رقابتی مزیت.90%
داشتن که هستند معتقد مؤسسات اینیک
برن عظیم های داده بر مبتنی موفق طرحده
کرد خواهد تعیین آینده در را ها.
عظی های داده رهیافت از که هایی بانکم
استفا مشتریان های داده تحلیل برایمی ده
بین ،تحلیل عمق به بسته ،کنند4%تا12%
هستن جلوتر رقبا سایر از بازار سهم درد
73. سنجی اعتبار
موفقترین از یکیاستارتاپمال هایی
جهان:Kreditech
◦خرد وام ارائه(سقف تا2500یورو)
◦فرآیند انجاماعتبارسنجید فقط پرداخت ور8
ثانیه
الگوریتمتوسط ،استفاده مورد های
دانشگاه در عظیم های داده علم نخبگان
MITاست شده طراحی.
83. Scheveningen Memorandum (Sep 2013)
Eurostat Task Force Big Data
ESS Task Force on Big Data
Big Data Action Plan and Roadmap
◦ Part of ESS Vision 2020 portfolio
ESSNets / Pilots – 2016-2020
85. Global Working Group on Big Data
for Official Statistics: Task teams
◦ Mobile phone data
◦ Satellite imagery
◦ Social media data
◦ Access / partnerships
◦ Advocacy / communication
◦ Big Data and SDGs
◦ Training / skills / capacity building
◦ Cross-cutting issues