Recommandé
Contenu connexe
Similaire à Data Mining With SQL Server
Similaire à Data Mining With SQL Server (20)
Dernier
Dernier (20)
Data Mining With SQL Server
- 1. Data Mining With SQL Server Nguyen To Hoan Phuc Pham Huu Khanh
- 2. 2 Objectives • Understand What is Data Mining • Learn the Data Mining Process • How to work with Data Mining
- 3. 3 Agenda • Data vs. Information • What is Data Mining? • Technical Platform • Data Mining Process Overview • Key Concepts and Terminology • DEMO: Data Mining Process in Detail Using DMX
- 5. 5
- 6. 6
- 7. 7
- 8. 8 What is Data Mining?
- 9. 9 Data Mining • Technologies for analysis of data and discovery of (very) hidden patterns • Uses a combination of statistics, probability analysis and database technologies • Fairly young (<20 years old) but clever algorithms developed through database research
- 10. 10 What does Data Mining Do? Explores Your Data Finds Patterns - Trends Performs Predictions
- 11. 11 Data Mining Tasks • Classification • Phân loại, xếp hạng • Regression • Hồi quy • Segmentation • Phân khúc • Association • Liên kết • Sequence Analysis • Phân tích chuỗi, dãy
- 13. 13 Data acquisition and integration from multiple sources Data transformation and synthesis Knowledge and pattern detection through Data Mining Data enrichment with logic rules and hierarchical views Data presentation and distribution Data publishing for mass recipients Integrate Analyze Report SQL Server We Need More Than Just Database Engine
- 14. 14 DM – Part of Microsoft SQL Server
- 15. 15 Server Mining Architecture Analysis Services Server Mining Model Data Mining Algorithm Data Source Excel/Visio/SSRS/Your App OLE DB/ADOMD/XMLA Deploy BIDS Excel Visio SSMS App Data
- 16. 16 Data Mining Process Overview
- 17. 17 Mining Model Mining ModelMining Model Mining Process DM EngineDM Engine Training data Data to be predictedMining Model With predictions
- 18. 18 Steps for Building a DM Model 1. Model Creation • Define columns for cases: visually (BIDS), using DMX, or from PMML 2. Model Training • Feed lots of data from a real database, or from a system log Congratulations! We now have a model 3. Model Testing • Test on sample data to check predictions. • Testing data must be different from training • If we get nonsense, adjust the algorithm, its parameters, model design, or even data 4. Model Use (Exploration and Prediction) • Use the model on new data to predict outcomes
- 19. 19 Many Approaches • Work the way you like: • Database experts and SQL veterans: • Write queries in DMX (similar to T-SQL) • Everyone else: • Use Business Intelligence Development Studio (BIDS) – rich GUI included with SSAS • Hosted in Visual Studio (included!) • You don’t have to program – click-click instead • Use Excel 2007 with Data Mining Add-Ins • The “Data Mining” tab has everything you need • “Table Analysis” tab is easier but simplified
- 20. 20 Key Concepts and Terminology
- 21. 21 Mining Structure • Describes data to be mined • Columns from a data source and their: • Data Type • Content Type • Contains Mining Models • Often we build several different models in one structure • Holds training data, known as Cases (if required) • Holds testing data, known as Holdout (in SQL 2008)
- 23. 23 Data Mining Model • Container of patterns discovered by a Data Mining Algorithm amongst the training Cases • A table containing patterns • Expressed by visualisers • Specifies usage of columns already defined in the Mining Structure
- 24. 24 Cases: The Things We Study • Case – set of columns (attributes) you want to analyse • Age, Gender, Region, Annual Spending • Case Key – unique ID of a case
- 25. 25 DEMO Data Mining Process in Detail Using DMX
- 26. 26 Data Mining Extensions DMX • “T-SQL” for Data Mining • Easy! Like scripting for IT Pros • Two types of statements: • Data Definition • CREATE, ALTER, EXPORT, IMPORT, DROP • Data Manipulation • INSERT INTO, SELECT, DELETE
- 27. 27 DMX – Just Like T-SQL CREATE MINING MODEL CreditRisk (CustID LONG KEY, Gender TEXT DISCRETE, Income LONG CONTINUOUS, Profession TEXT DISCRETE, Risk TEXT DISCRETE PREDICT) USING Microsoft_Decision_Trees INSERT INTO CreditRisk (CustId, Gender, Income, Profession, Risk) Select CustomerID, Gender, Income, Profession,Risk From Customers Select NewCustomers.CustomerID, CreditRisk.Risk, PredictProbability(CreditRisk.Risk) FROM CreditRisk PREDICTION JOIN NewCustomers ON CreditRisk.Gender=NewCustomer.Gender AND CreditRisk.Income=NewCustomer.Income AND CreditRisk.Profession=NewCustomer.Profession
- 28. 28 Demo’s Steps 1 • Create Mining Structure 2 • Create Mining Model 3 • Process Mining Model 4 • Test Model 5 • Execute Prediction
- 29. 29
- 30. 30
Notes de l'éditeur
- Vấnđề lưutrữ, kinh phí, quảnlý, bảoquảnPhátsinhngàycàngnhiềuKhó khănchoviệc “hiểu” Nhucầudoanhnghiệp: rúttríchđượcthông tin từ dữ liệu, hỗ trợ raquyếtđịnh, tăngtínhcạnhtranhtrênthị trường.
- Nhucầuvề Information: dự đoán, hỗ trợ raquyếtđịnh
- Statistics: thongkeProbability: xacsuatLa mot linhvuc con khatre, duocphattriencach day chua den 20 namnhungcacthuattoanduocphattrienkharo rang
- Giải thuật phân loại (Classification Algorithm) – dự đoán ra một hoặc nhiều giá trị biến rời rạc, dựa trên các thuộc tính khác của tập dữ liệu. Điển hình là giải thuật Cây Quyết Định – Microsoft Decision Trees Algorithm.Giải thuật đệ qui (Regression Algorithm) – dự đoán một hoặc nhiều biến giá trị liên tục, như lợi nhuận và giá trị thua lỗ, dựa trên các thuộc tính dữ liệu khác trong tập dữ liệu. Điển hình là giải thuật chuỗi thời gian – Microsoft Time Series Algorithm.Giải thuật phân đoạn (Segmentation Algorithm) – phân chia dữ liệu thành nhiều nhóm gồm các thành phần có thuộc tính tương tự nhau. Giải thuật điển hình là Microsoft Clustering Algorithm.Giải thuật tương quan (Assocication Algorithm) – tìm sự tương quan giữa các thuộc tính trong củng tập dữ liệu. Ứng dụng phổ biến nhất của giải thuật này là xây dựng các luật tương quan, phân tích giỏ hàng. Giải thuật điển hình loại giải thuật này là Microsoft Assocciation AlgorithmGiải thuật phân tích tuyến tính (Sequence Analysis Allgorithm) – tổng kết các chuỗi hoặc mảng dữ liệu trong tập dữ liệu. Điển hình cho loại giải thuật này là Microsoft Sequence Clustering Algorithm
- SSMS: SQL Server Management StudioCông cụ để tạoracác Mining Model. Cáccông cụ được Microsoft cungcấpgồm có: Business Inteligence Development Studio, Excel, Visio, SQL Server Management Studio. Saukhitạoracác Mining Model, cầnphảitriểnkhailênhệ thống Analysis Services (A.S). Analysis Service là nơivậnhành, quảnlý các Model.Lưu ý rằngcác Model saukhiđượctriểnkhailên A.S chỉ là các Model rỗng. Để có thể đưavàosử dụng, cầnphải qua một quá trìnhgọi là Training Model (hoặc Process Model). Vì thế cầnđếnthànhphầnthứ 3 đó là Data Source. Data source là nơichứadữ liệucầnthiếtchoviệc Training Model và cả quá trình Test Model. Vì thế cầnphải chia lượng Data thành 2 phầnriêngbiệtđể phục vụ cho 2 tác vụ trên.Thànhphầnthứ 4, đó là cácứngdụngkhaitháccác Mining Model đã đượcxâydựng. Cácứngdụng có thể là cácphầnmềmđược Microsoft cungcấpnhư Excel, Visio hoặcứngdụng do ngườidùngxâydựng. Cácứngdụngnàygởidữ liệucủamìnhxuống Analysis Service và nhậnphảnhồi là kết quả của quá trình Data Mining trở lại.
- Approaches: phươngpháptiếpcận
- Concepts:kháiniệmTerminology: thuậtngữ
- Mining Structures (Analysis Services - Data Mining)The mining structure defines the data from which mining models are built: it specifies the source data view, the number and type of columns, and an optional partition into training and testing sets. A single mining structure can support multiple mining models that share the same domain. The following diagram illustrates the relationship of the data mining structure to the data source, and to its constituent data mining models.
- The mining structure in the diagram is based on a data source that contains multiple tables, joined on the CustomerID field. One table contains information about customers, such as the geographical region, age, income and gender, while the related nested table contains multiple rows of additional information about each customer, such as products the customer has purchased. The diagram shows that multiple models can be built on one mining structure, and that the models can use different columns from the structure. Model 1 Uses CustomerID, Income, Age, Region, and filters the data on Region.Model 2 Uses CustomerID, Income, Age, Region and filters the data on Age.Model 3 Uses CustomerID, Age, Gender, and the nested table, with no filter.Because the models use different columns for input, and because two of the models additionally restrict the data that is used in the model by applying a filter, the models might have very different results even though they are based on the same data. Note that the CustomerID column is required in all models because it is the only available column that can be used as the case key.This section explains the basic architecture of data mining structures. For more information about how to create, manage, modify, or view data mining structures, see Managing Data Mining Structures and Models.
- A data mining model gets data from a mining structure and then analyzes that data by using a data mining algorithm. The mining structure and mining model are separate objects. The mining structure stores information that defines the data source. A mining model stores information derived from statistical processing of the data, such as the patterns found as a result of analysis. A mining model is empty until the data provided by the mining structure has been processed and analyzed. After a mining model has been processed, it contains metadata, results, and bindings back to the mining structure.