Data Mining (Concepts, Applications, Techniques, Tools, Process, Experiences) - داده کاوی (مفاهیم، کاربردها، تکنیک ها، ابزارها، فرایند و تجربیات داده کاوی در ایران)
•
5 j'aime•471 vues
معرفی مفاهیم، کاربردها، تکنیک ها و روشها، ابزارها، فرایندها و برخی تجربیات داده کاوی در ایران
Recommandé
Recommandé
Contenu connexe
En vedette
En vedette (20)
Similaire à Data Mining (Concepts, Applications, Techniques, Tools, Process, Experiences) - داده کاوی (مفاهیم، کاربردها، تکنیک ها، ابزارها، فرایند و تجربیات داده کاوی در ایران)
Similaire à Data Mining (Concepts, Applications, Techniques, Tools, Process, Experiences) - داده کاوی (مفاهیم، کاربردها، تکنیک ها، ابزارها، فرایند و تجربیات داده کاوی در ایران) (6)
Data Mining (Concepts, Applications, Techniques, Tools, Process, Experiences) - داده کاوی (مفاهیم، کاربردها، تکنیک ها، ابزارها، فرایند و تجربیات داده کاوی در ایران)
- 4. از1990 ايجادپايگاههايهدادچندبعديData WarehouseوOLAP بازيابي‌پويا‌در‌چند‌سطح(با‌امکانDrill Down) OLAPاطالعات‌کاملي‌از‌رخدادهاي‌گذشته‌مي‌دهد،وليتواندينمبگويدچرااتفاق افتادهوياپيشبينيکند. هاههاياوليهکاوشواستخراجدانشازانبارهدادهپيدايشايد(کاويهداد) از2000 ابزارهاي‌پيشرفته‌مانندSPSS/Clementine, SGI, SAS کشفالگوهايجديددرپايگاههاياطالعاتيعموميمهاوسيستهداد بازيابي‌پويا‌با‌نگاه‌پيشرو‌به‌آينده فروش‌يک‌کاال‌در‌ماه‌آينده‌در‌يک‌شعبه‌خاص‌چقدر‌است؟و‌چرا؟ در‌حال‌حاضر هاهدادهکاويبررويکالندادهوجريانداد(کاويپوياهداد) هاياجتماعيهکشفالگوهايجديددرمنابعناهمگونوبوشبک(متن،تصوير،،ويدئو صدا) تحليل‌نظرات‌و‌سليقه‌شخصي‌مشتريان،تحليل‌بازار‌بورس‌و... هاينامتوازنوهاياطالعاتمتناسبباکاربردهايخاص،دادهبازيابيپوياولحظ... 9/27/20164
- 5. 9/27/20165
- 6. “…The non-trivial process of identifying valid, novel (previously unknown), potentially useful, and ultimately understandable (implicit) patterns in data…” Fayyad, Piatetsky-Shapiro, Smyth [1996] data source: databases, texts, web, images, video, etc. 9/27/20166
- 7. Statistics Machine Learning Databases Visualization Data Mining and Knowledge Discovery 9/27/20167
- 8. Data Analysis Tests for statistical correctness of models Are statistical assumptions of models correct? Eg Is the R-Square good? Hypothesis testing Is the relationship significant? Use a t-test to validate significance Tends to rely on sampling Techniques are not optimised for large amounts of data Requires strong statistical skills Data Mining Originally developed to act as expert systems to solve problems Less interested in the mechanics of the technique If it makes sense then let’s use it Does not require assumptions to be made about data Can find patterns in very large amounts of data Requires understanding of data and business problem 9/27/20168
- 11. 9/27/201611
- 12. Increasing potential to support business decisions End User Business Analyst Data Analyst DBA Making Decisions Data Presentation Visualization Techniques Data Mining Information Discovery Data Exploration OLAP, MDA Statistical Analysis, Querying and Reporting Data Warehouses / Data Marts Data Sources Paper, Files, Information Providers, Database Systems, OLTP
- 13. 9/27/201613 Data Warehouse Data cleaning & data integration Filtering Databases Database or data warehouse server Data mining engine Pattern evaluation Graphical user interface Knowledge-base
- 17. 9/27/201617 38 32 20 17 14 13 13 13 12 12 12 11 11 10 9 8 8 8 CRM/Consumer analytics Banking Fraud detection2 finance Direct Marketing Other Investment Credit Scoring Telecom Retail Advertising Biotech Science Insurance Health care E-Commerce http://www.kdnuggets.com/polls/2008/data-mining-applications.htm
- 36. 36
- 39. ب یکدیگر شبیه خوشه هر درون اشیاء بطوریکه اشیاء های گروه نمودن پیداو وده باشند یکدیگر یا غیرمرتبط یا متفاوت مختلف هایخوشه اشیاء. Inter-cluster distances are maximized Intra-cluster distances are minimized
- 40. -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.5 1 1.5 2 2.5 3 x y Iteration 1 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.5 1 1.5 2 2.5 3 x y Iteration 2 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.5 1 1.5 2 2.5 3 x y Iteration 3 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.5 1 1.5 2 2.5 3 x y Iteration 4 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.5 1 1.5 2 2.5 3 x y Iteration 5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.5 1 1.5 2 2.5 3 x y Iteration 6
- 41. p4 p1 p3 p2 p4 p1 p3 p2 p4p1 p2 p3 p4p1 p2 p3 Traditional Hierarchical Clustering Non-traditional Hierarchical Clustering Non-traditional Dendrogram Traditional Dendrogram
- 43. 43 کشفوتوليدالگوهاييکهوقوعيکرخدادرابراساسواقعه ديگر‌پيش‌گويي‌کند TID Items 1 Bread, Coke, Milk 2 Beer, Bread 3 Beer, Coke, Diaper, Milk 4 Beer, Bread, Diaper, Milk 5 Coke, Diaper, Milk Rules Discovered: {Milk} --> {Coke} {Diaper, Milk} --> {Beer} Support تنها‌در0001./درصدازتراکنشهايخريد ،شير‌و‌پيچ‌گوشتي‌با‌هم،داشتندبنابراين درجهپشتيبانيبرايقانونزيرپاييناست: "پيچ‌گوشتي→شير" Confidence درجه‌اطمينان‌قانون"پنير→نان"80% است.در80%تراکنشهاي‌خريد،اگر‌نان وجود‌داشته،باشدپنيرنيزوجوددارد. 9/27/2016
- 47. 47 9/27/2016
- 50. 50 Tid Refund Marital Status Taxable Income Cheat 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes 10 Refund Mar St Tax Inc YESNO NO NO Yes No MarriedSingle, Divorced < 80K > 80K Best when the predictor variables are categorical 9/27/2016
- 51. 51 Tid Refund Marital Status Taxable Income Cheat 1 Yes Single 125K No 2 No Married 100K No 3 No Single 70K No 4 Yes Married 120K No 5 No Divorced 95K Yes 6 No Married 60K No 7 Yes Divorced 220K No 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes 10 Training Set Model Learn Classifier Refund Marital Status Taxable Income Cheat No Single 75K ? Yes Married 50K ? No Married 150K ? Yes Divorced 90K ? No Single 40K ? No Married 80K ? 10 Test Set 9/27/2016
- 52. Support Vectors Small Margin Large Margin 52
- 54. 9/27/201654
- 55. 55
- 57. 57 9/27/2016
- 58. 58 9/27/2016
- 59. 59 9/27/2016
- 60. 60 9/27/2016
- 61. 61 9/27/2016
- 62. 62 9/27/2016
- 63. 63 9/27/2016
- 64. 64 9/27/2016
- 65. 65 9/27/2016
- 66. 66
- 67. مناسب گیرینمونه:هاداده استخراج و انتخابهایداده از بخشمناسب انبوه میان از کاوی داده انجام برایسازمان هایداده(کار و کسب) هاداده اکتشافی تحلیل:انحراف یا احتمالی روابط یافتن برایاز معیارهایغیرمعمولدرهادادهو اهداف به رسیدن وهایایدهتحقیق تعدیلهاداده:الحاق واسطه بهانتخاب ،ف برای متغیرها تبدیل وراهم ساختنشرایطساختهامدل سازیمدل:رسی و بینیپیش که متغیرها بین روابط شناساییهدف به دن نمایدمی تسهیل را ما مطلوب. ارزیابیهامدل:انج برای مدل کیفیت واقعی هایداده از استفاده باام شودمی ارزیابی کاویداده. 9/27/201667
- 68. مساله درک(Business understanding) داده فهم(Data understanding) داده سازیآماده(Data preparation) سازیمدل(Modeling) ارزیابی(Evaluation) توسعه(Deployment) 9/27/201668
- 71. Data Understanding Collect Initial Data Initial Data Collection Report Describe Data Data Description Report Explore Data Data Exploration Report Verify Data Quality Data Quality Report Business Understanding Determine Business Objectives Background Business Objectives Business Success Criteria Situation Assessment Inventory of Resources Requirements, Assumptions, and Constraints Risks and Contingencies Terminology Costs and Benefits Determine Determine Data Mining Goal Data Mining Goals Data Mining Success Criteria Produce Project Plan Project Plan Initial Asessment of Tools and Techniques 9/27/201671
- 72. 9/27/201672 Data Preparation Data Set Data Set Description Select Data Rationale for Inclusion / Exclusion Clean Data Data Cleaning Report Construct Data Derived Attributes Generated Records Integrate Data Merged Data Format Data Reformatted Data Modeling Select Modeling Technique Modeling Technique Modeling Assumptions Generate Test Design Test Design Build Model Parameter Settings Models Model Description Assess Model Model Assessment Revised Parameter Settings
- 73. Evaluation Evaluate Results Assessment of Data Mining Results w.r.t. Business Success Criteria Approved Models Review Process Review of Process Determine Next Steps List of Possible Actions Decision Plan Deployment Deployment Plan Plan Monitoring and Maintenance Monitoring and Maintenance Plan Produce Final Report Final Report Final Presentation Review Project Experience Documentation Deployment 9/27/201673
- 74. .کسب یا کاربرد دامنه با آشنایی و شناسایی 1کار و(حوزه انتخابهای سازمان مهم) .سازمان در کاویداده مفید کاربردهای یا بکارگیری اهداف تشخیص 2 (کار و کسب)نظر مورد .هاویژگی و داده منابع شناسایی 3(عوامل یا متغیرها ،فیلدها)مربوطبه هدف .بردارینمونه 4داده محدود حجم(محدود زمانی بازه)سازمان هایداده میان از .هاداده سازیآماده و پردازشپیش 5(داده کدینگ و تبدیل و سازیپاک،ها و هدف بر تاثیرگذار و مهم هایویژگی انتخاب)... .موجود مختلف هایالگوریتم میان از روش بهترین انتخاب 6(توس یاعه فعلی کاربرد و هاداده به مختص جدید الگوریتم یک)تنظیم و شده انتخاب روش پارامترهای
- 75. .الگوهای استخراج یا مدل ساخت و کاوی داده اصلی فرایند انجام 7 هاداده میان مخفی .هایروش برای شده مشخص معیارهای توسط خودکار ارزیابی 8 مدل کیفیت تعیین برای کاویداده/شده کشف دانش(برگشتبه مرحله5یا6بسته‌به‌کیفیت‌نتایج) .نتایج پردازشپس و واقعی هایداده روی بر فرایند اجرای 9(تفسیر ارزش با و مفید دانش یا الگوها انتخاب و شناسایی و نتایج) .الگو از استفاده 01/کار و کسب در آمده بدست دانش(واقعی دنیای)یا گیریتصمیممدیران(حکمت به دانش تبدیل)
- 76. 76 9/27/2016
- 79. 79 معیارهای انتخاب‌حوزه کنندههرمعیارنفاکتورهایتعیی پذیریدسترسی خبره شخص بودن موجود(آشنا)سیستم با(business expert) هاداده به دسترسی(سازمان درون) داده امنیت سطح نظر از دسترسی(خصوصی حریم و حراست نظر از) اهمیت‌حوزه توسط استفاده میزانمدیران(ذینفعان اهمیت درجه) و رجوع ارباب توسط استفاده میزانکاربران(بهتر خدمات یا ذیفعان تعداد) بودن بردارهزینه یا درآمدزایی میزان(هدففرایندهای اغلبDMکردن کم است سازمان درآمدزایی افزایش یا هاهزینه) موجود هایچالش تعداد(نیاز مورد هایتحلیل)سیستم در هایگیریتصمیم و سازمان برای کاوی داده احتمالی نتایج بودن مفیدبعدی (استراتژیک اهمیت دیدگاه از مدیران نیاز مورد تحلیلی گزارشات) کیفیت‌داده داده حجم(فیلد و رکورد ،جدول تعداد) سابقهداده داده(رفتار تحلیل برای گذشته سالهای هایداده از استفاده) بودن دقیق و واقعی(فیلدها خودکار شدن پر و ّیمک هایداده) هاداده بودن تمیز(کمیا داده خطای بودنnoiseیا خالی داده وmissing)
- 80. 80 9/27/2016