SlideShare une entreprise Scribd logo
1  sur  19
MicrosoftML
Łukasz Grala
lukasz@tidk.pl | lukasz.grala@cs.put.poznan.pl
Łukasz Grala
• Senior architekt rozwiązań Platformy Danych & Business Intelligence & Zaawansowanej Analityki w TIDK
• Twórca „Data Scientist as as Service”
• Certyfikowany trener Microsoft i wykładowca na wyższych uczelniach
• Autor zaawansowanych szkoleń i warsztatów, oraz licznych publikacji i webcastów
• Od 2010 roku wyróżniany nagrodą Microsoft Data Platform MVP
• Doktorant Politechnika Poznańska – Wydział Informatyki (obszar bazy danych, eksploracja danych, uczenie maszynowe)
• Prelegent na licznych konferencjach w kraju i na świecie
• Posiada liczne certyfikaty (MCT, MCSE, MCSA, MCITP,…)
• Członek zarządu Polskiego Towarzystwa Informatycznego Oddział Wielkopolski
• Członek i lider Polish SQL Server User Group (PLSSUG)
• Pasjonat analizy, przechowywania i przetwarzania danych, miłośnik Jazzu
email lukasz@tidk.pl - lukasz.grala@cs.put.poznan.pl blog: grala.it
MicrosoftML = Scalable R + World Class ML
Microsoft R Server
Enterprise-grade
Scalable/Distributed
Portable
Microsoft ML Toolkit
Fast, Scalable Learners
Battle-tested
State of the art
Key Benefits
Learners
Algorithms Strengths
rxFastLinear Fast, accurate linear learner with auto L1 & L2
rxLogisticRegression Logistic Regression with L1 & L2
rxFastTree
Boosted Decision tree from Bing. Competitive wth
XGBoost. Most accurate learner for most cases
rxFastForest Random Forest
rxNeuralNet GPU accelereted Net# DNNs with Convolutions
rxOneClassSvm Anomaly or unbalanced binary classification
Learners - Scalability
• Streaming (not RAM bound)
• Billions of features
• Multi-proc
• GPU acceleration for DNNs
• Distributed on Hadoop/Spark via Ensambling
Text Analytics Scenarios
Text Classification
• Email or support ticket routing
• Customer call triage
• Detect illegal trading activity
Sentiment Analysis
• Social media monitoring
• Call center support
Sentiment Analysis
• Pre-trained model
• Cognitive Service Parity
• Uses DNN Embedding
• Domain Adaptation
Image Featurization
• Image similarity search:
• Product Catalog search
• Classification
• Plankton Monitoring
• Galaxy Classification
• Retina Pathology detection
• Anomaly Detection
• Defects detection in manufacturing
Image Featurization
Convolutional DNNs with GPU
Pre-trained Models
• ResNet18
• ResNet 50
• ResNet 101
• AlexNet
Algorithms and Transforms in MicrosoftML
Algorithms and Transforms in MicrosoftML
Algorithms and Transforms in MicrosoftML
Algorithms and Transforms in MicrosoftML
Compare features by product
1 Memory bound because product can only process datasets that fit into the available memory.
2 Because the Intel Math Kernel Library (MKL) is included in MRO, the performance of a generic R solution is generally better. MKL replaces the standard R implementations of
Basic Linear Algebra Subroutines (BLAS) and the LAPACK library with multithreaded versions. As a result, calls to those low-level routines tend to execute faster on Microsoft R
than on a conventional installation of R.
Question?
lukasz@tidk.pl lukasz.grala@cs.put.poznan.pl
tidk.pl DSaaS.co facebook.com/TIDKpl grala.it
Centrum Wykładowe Politechniki Poznańskiej
22 kwietnia 2017
http://gabc2017poznan.evenea.pl
Łukasz Grala – Damian Widera – Grzegorz Stolecki – Tobiasz Koprowski– Tomasz Libera – Hubert Kobierzewski
Sławek Stanek – Paweł Potasinski
15 - 17 maja 2017, Wrocław – 6 warsztatów, 61 sesji, 5 ścieżki
Ponad 30 prelegentów, między innymi: Paweł Potasiński – Dariusz Porowski - Łukasz Grala – Damian Widera - Grzegorz Stolecki – Marcin Szeliga – Tobiasz Koprowski – Andrzej Kukuła – Tomasz Kopacz
Brent Ozar Greg Low Chris Web
FBSQLDay http://sqlday.pl @SQLDay
Zaawansowana analityka, analiza danych w chmurze, Big Data Analytics i wizualizacja danych
Tworzenie rozwiązań platformy danych i Business Intelligence
Administracja platformą danych
Wykorzystanie rozwiązań platformy danych i analityki w biznesie

Contenu connexe

Similaire à Microsoft ML - State of The Art Microsoft Machine Learning - Package R

Microsoft SQL Server 2000. Księga eksperta
Microsoft SQL Server 2000. Księga ekspertaMicrosoft SQL Server 2000. Księga eksperta
Microsoft SQL Server 2000. Księga eksperta
Wydawnictwo Helion
 
SQL. Optymalizacja
SQL. OptymalizacjaSQL. Optymalizacja
SQL. Optymalizacja
Wydawnictwo Helion
 
C# 3.0 i .NET 3.5. Technologia LINQ
C# 3.0 i .NET 3.5. Technologia LINQC# 3.0 i .NET 3.5. Technologia LINQ
C# 3.0 i .NET 3.5. Technologia LINQ
Wydawnictwo Helion
 

Similaire à Microsoft ML - State of The Art Microsoft Machine Learning - Package R (20)

Microsoft SQL Server 2000. Księga eksperta
Microsoft SQL Server 2000. Księga ekspertaMicrosoft SQL Server 2000. Księga eksperta
Microsoft SQL Server 2000. Księga eksperta
 
Modelowanie i weryfikacja w programie MATLAB i Simulink
Modelowanie i weryfikacja w programie MATLAB i SimulinkModelowanie i weryfikacja w programie MATLAB i Simulink
Modelowanie i weryfikacja w programie MATLAB i Simulink
 
SQL. Optymalizacja
SQL. OptymalizacjaSQL. Optymalizacja
SQL. Optymalizacja
 
Big Data Analytics
Big Data AnalyticsBig Data Analytics
Big Data Analytics
 
Prezentacja SKISR
Prezentacja SKISRPrezentacja SKISR
Prezentacja SKISR
 
MongoDB 2011
MongoDB 2011MongoDB 2011
MongoDB 2011
 
Analizy danych w chmurze
Analizy danych w chmurzeAnalizy danych w chmurze
Analizy danych w chmurze
 
Oprogramowanie. Sprzęt. Komplet.-prezentacja otwierająca
Oprogramowanie. Sprzęt. Komplet.-prezentacja otwierającaOprogramowanie. Sprzęt. Komplet.-prezentacja otwierająca
Oprogramowanie. Sprzęt. Komplet.-prezentacja otwierająca
 
Macopedia zaprasza do współpracy!
Macopedia zaprasza do współpracy! Macopedia zaprasza do współpracy!
Macopedia zaprasza do współpracy!
 
Scrum i Open Source - Macopedia sp. z o.o.
Scrum i Open Source - Macopedia sp. z o.o.Scrum i Open Source - Macopedia sp. z o.o.
Scrum i Open Source - Macopedia sp. z o.o.
 
Produkcja aplikacji internetowych
Produkcja aplikacji internetowychProdukcja aplikacji internetowych
Produkcja aplikacji internetowych
 
infoShare AI Roadshow 2018 - Michał Ćwiok (Clouds on Mars) - Usługi AI w chmurze
infoShare AI Roadshow 2018 - Michał Ćwiok (Clouds on Mars) - Usługi AI w chmurzeinfoShare AI Roadshow 2018 - Michał Ćwiok (Clouds on Mars) - Usługi AI w chmurze
infoShare AI Roadshow 2018 - Michał Ćwiok (Clouds on Mars) - Usługi AI w chmurze
 
Sql day2015 fts
Sql day2015 ftsSql day2015 fts
Sql day2015 fts
 
Oss w software house
Oss w software houseOss w software house
Oss w software house
 
Jak nie narobić sobie problemów korzystając z EntityFramework
Jak nie narobić sobie problemów korzystając z EntityFrameworkJak nie narobić sobie problemów korzystając z EntityFramework
Jak nie narobić sobie problemów korzystając z EntityFramework
 
Projektowanie i programowanie aplikacji nowej generacji
Projektowanie i programowanie aplikacji nowej generacjiProjektowanie i programowanie aplikacji nowej generacji
Projektowanie i programowanie aplikacji nowej generacji
 
Lotus Notes - Środowisko do pracy grupowej
Lotus Notes - Środowisko do pracy grupowejLotus Notes - Środowisko do pracy grupowej
Lotus Notes - Środowisko do pracy grupowej
 
Elitmind @ Azure User Group #16 Warszawa - Michał Krajewski
Elitmind @  Azure User Group #16 Warszawa - Michał Krajewski Elitmind @  Azure User Group #16 Warszawa - Michał Krajewski
Elitmind @ Azure User Group #16 Warszawa - Michał Krajewski
 
C# 3.0 i .NET 3.5. Technologia LINQ
C# 3.0 i .NET 3.5. Technologia LINQC# 3.0 i .NET 3.5. Technologia LINQ
C# 3.0 i .NET 3.5. Technologia LINQ
 
It od kuchni w nokaut.pl
It od kuchni w nokaut.plIt od kuchni w nokaut.pl
It od kuchni w nokaut.pl
 

Plus de Łukasz Grala

SQL Day 2011 Modelowanie i zasilanie wymiarów hurtowni danych - łukasz grala
SQL Day 2011 Modelowanie i zasilanie wymiarów hurtowni danych  - łukasz gralaSQL Day 2011 Modelowanie i zasilanie wymiarów hurtowni danych  - łukasz grala
SQL Day 2011 Modelowanie i zasilanie wymiarów hurtowni danych - łukasz grala
Łukasz Grala
 
SQL Day 2011 - Modelowanie i zasilanie wymiarów hurtowni danych - łukasz grala
SQL Day 2011 - Modelowanie i zasilanie wymiarów hurtowni danych  - łukasz gralaSQL Day 2011 - Modelowanie i zasilanie wymiarów hurtowni danych  - łukasz grala
SQL Day 2011 - Modelowanie i zasilanie wymiarów hurtowni danych - łukasz grala
Łukasz Grala
 

Plus de Łukasz Grala (19)

Cognitive Toolkit - Deep Learning framework from Microsoft
Cognitive Toolkit - Deep Learning framework from MicrosoftCognitive Toolkit - Deep Learning framework from Microsoft
Cognitive Toolkit - Deep Learning framework from Microsoft
 
DataMass Summit - Machine Learning for Big Data in SQL Server
DataMass Summit - Machine Learning for Big Data  in SQL ServerDataMass Summit - Machine Learning for Big Data  in SQL Server
DataMass Summit - Machine Learning for Big Data in SQL Server
 
WhyR? Analiza sentymentu
WhyR? Analiza sentymentuWhyR? Analiza sentymentu
WhyR? Analiza sentymentu
 
AnalyticsConf2016 - Zaawansowana analityka na platformie Azure HDInsight
AnalyticsConf2016 - Zaawansowana analityka na platformie Azure HDInsightAnalyticsConf2016 - Zaawansowana analityka na platformie Azure HDInsight
AnalyticsConf2016 - Zaawansowana analityka na platformie Azure HDInsight
 
eRum2016 -RevoScaleR - Performance and Scalability R
eRum2016 -RevoScaleR - Performance and Scalability ReRum2016 -RevoScaleR - Performance and Scalability R
eRum2016 -RevoScaleR - Performance and Scalability R
 
AzureDay - Introduction Big Data Analytics.
AzureDay  - Introduction Big Data Analytics.AzureDay  - Introduction Big Data Analytics.
AzureDay - Introduction Big Data Analytics.
 
WyspaIT 2016 - Azure Stream Analytics i Azure Machine Learning w analizie str...
WyspaIT 2016 - Azure Stream Analytics i Azure Machine Learning w analizie str...WyspaIT 2016 - Azure Stream Analytics i Azure Machine Learning w analizie str...
WyspaIT 2016 - Azure Stream Analytics i Azure Machine Learning w analizie str...
 
3 CityNetConf - sql+c#=u-sql
3 CityNetConf - sql+c#=u-sql3 CityNetConf - sql+c#=u-sql
3 CityNetConf - sql+c#=u-sql
 
20160317 - PAZUR - PowerBI & R
20160317  - PAZUR - PowerBI & R20160317  - PAZUR - PowerBI & R
20160317 - PAZUR - PowerBI & R
 
Prescriptive Analytics
Prescriptive AnalyticsPrescriptive Analytics
Prescriptive Analytics
 
DAC4B 2015 - Polybase
DAC4B 2015 - PolybaseDAC4B 2015 - Polybase
DAC4B 2015 - Polybase
 
Expert summit SQL Server 2016
Expert summit   SQL Server 2016Expert summit   SQL Server 2016
Expert summit SQL Server 2016
 
Nowy SQL Server 2012 – DENALI rewolucją w silnikach baz danych - Microsoft te...
Nowy SQL Server 2012 – DENALI rewolucją w silnikach baz danych - Microsoft te...Nowy SQL Server 2012 – DENALI rewolucją w silnikach baz danych - Microsoft te...
Nowy SQL Server 2012 – DENALI rewolucją w silnikach baz danych - Microsoft te...
 
Pre mts Sharepoint 2010 i SQL Server 2012
Pre mts   Sharepoint 2010 i SQL Server 2012Pre mts   Sharepoint 2010 i SQL Server 2012
Pre mts Sharepoint 2010 i SQL Server 2012
 
SQL Day 2011 Modelowanie i zasilanie wymiarów hurtowni danych - łukasz grala
SQL Day 2011 Modelowanie i zasilanie wymiarów hurtowni danych  - łukasz gralaSQL Day 2011 Modelowanie i zasilanie wymiarów hurtowni danych  - łukasz grala
SQL Day 2011 Modelowanie i zasilanie wymiarów hurtowni danych - łukasz grala
 
SQL Day 2011 - Modelowanie i zasilanie wymiarów hurtowni danych - łukasz grala
SQL Day 2011 - Modelowanie i zasilanie wymiarów hurtowni danych  - łukasz gralaSQL Day 2011 - Modelowanie i zasilanie wymiarów hurtowni danych  - łukasz grala
SQL Day 2011 - Modelowanie i zasilanie wymiarów hurtowni danych - łukasz grala
 
"SharePoint 2010 a SQL Server" - Konferencja Time For SharePoint 2011- Łukas...
"SharePoint 2010 a SQL Server" - Konferencja Time For SharePoint 2011-  Łukas..."SharePoint 2010 a SQL Server" - Konferencja Time For SharePoint 2011-  Łukas...
"SharePoint 2010 a SQL Server" - Konferencja Time For SharePoint 2011- Łukas...
 
Reprezentacja hierarchii w SQL Server 2008/2008R2 - 2nd Silesian CodeCamp
Reprezentacja hierarchii w SQL Server 2008/2008R2 - 2nd Silesian CodeCampReprezentacja hierarchii w SQL Server 2008/2008R2 - 2nd Silesian CodeCamp
Reprezentacja hierarchii w SQL Server 2008/2008R2 - 2nd Silesian CodeCamp
 
Łukasz Grala - WSKIZ 2009-04-07 It Academic - SQL Server 2008 - Nowości Adm...
Łukasz Grala - WSKIZ 2009-04-07 It Academic - SQL Server 2008 - Nowości   Adm...Łukasz Grala - WSKIZ 2009-04-07 It Academic - SQL Server 2008 - Nowości   Adm...
Łukasz Grala - WSKIZ 2009-04-07 It Academic - SQL Server 2008 - Nowości Adm...
 

Microsoft ML - State of The Art Microsoft Machine Learning - Package R

  • 1. MicrosoftML Łukasz Grala lukasz@tidk.pl | lukasz.grala@cs.put.poznan.pl
  • 2. Łukasz Grala • Senior architekt rozwiązań Platformy Danych & Business Intelligence & Zaawansowanej Analityki w TIDK • Twórca „Data Scientist as as Service” • Certyfikowany trener Microsoft i wykładowca na wyższych uczelniach • Autor zaawansowanych szkoleń i warsztatów, oraz licznych publikacji i webcastów • Od 2010 roku wyróżniany nagrodą Microsoft Data Platform MVP • Doktorant Politechnika Poznańska – Wydział Informatyki (obszar bazy danych, eksploracja danych, uczenie maszynowe) • Prelegent na licznych konferencjach w kraju i na świecie • Posiada liczne certyfikaty (MCT, MCSE, MCSA, MCITP,…) • Członek zarządu Polskiego Towarzystwa Informatycznego Oddział Wielkopolski • Członek i lider Polish SQL Server User Group (PLSSUG) • Pasjonat analizy, przechowywania i przetwarzania danych, miłośnik Jazzu email lukasz@tidk.pl - lukasz.grala@cs.put.poznan.pl blog: grala.it
  • 3. MicrosoftML = Scalable R + World Class ML Microsoft R Server Enterprise-grade Scalable/Distributed Portable Microsoft ML Toolkit Fast, Scalable Learners Battle-tested State of the art
  • 5. Learners Algorithms Strengths rxFastLinear Fast, accurate linear learner with auto L1 & L2 rxLogisticRegression Logistic Regression with L1 & L2 rxFastTree Boosted Decision tree from Bing. Competitive wth XGBoost. Most accurate learner for most cases rxFastForest Random Forest rxNeuralNet GPU accelereted Net# DNNs with Convolutions rxOneClassSvm Anomaly or unbalanced binary classification
  • 6. Learners - Scalability • Streaming (not RAM bound) • Billions of features • Multi-proc • GPU acceleration for DNNs • Distributed on Hadoop/Spark via Ensambling
  • 7. Text Analytics Scenarios Text Classification • Email or support ticket routing • Customer call triage • Detect illegal trading activity Sentiment Analysis • Social media monitoring • Call center support
  • 8. Sentiment Analysis • Pre-trained model • Cognitive Service Parity • Uses DNN Embedding • Domain Adaptation
  • 9. Image Featurization • Image similarity search: • Product Catalog search • Classification • Plankton Monitoring • Galaxy Classification • Retina Pathology detection • Anomaly Detection • Defects detection in manufacturing
  • 10. Image Featurization Convolutional DNNs with GPU Pre-trained Models • ResNet18 • ResNet 50 • ResNet 101 • AlexNet
  • 11. Algorithms and Transforms in MicrosoftML
  • 12. Algorithms and Transforms in MicrosoftML
  • 13. Algorithms and Transforms in MicrosoftML
  • 14. Algorithms and Transforms in MicrosoftML
  • 15.
  • 16. Compare features by product 1 Memory bound because product can only process datasets that fit into the available memory. 2 Because the Intel Math Kernel Library (MKL) is included in MRO, the performance of a generic R solution is generally better. MKL replaces the standard R implementations of Basic Linear Algebra Subroutines (BLAS) and the LAPACK library with multithreaded versions. As a result, calls to those low-level routines tend to execute faster on Microsoft R than on a conventional installation of R.
  • 18. Centrum Wykładowe Politechniki Poznańskiej 22 kwietnia 2017 http://gabc2017poznan.evenea.pl Łukasz Grala – Damian Widera – Grzegorz Stolecki – Tobiasz Koprowski– Tomasz Libera – Hubert Kobierzewski Sławek Stanek – Paweł Potasinski
  • 19. 15 - 17 maja 2017, Wrocław – 6 warsztatów, 61 sesji, 5 ścieżki Ponad 30 prelegentów, między innymi: Paweł Potasiński – Dariusz Porowski - Łukasz Grala – Damian Widera - Grzegorz Stolecki – Marcin Szeliga – Tobiasz Koprowski – Andrzej Kukuła – Tomasz Kopacz Brent Ozar Greg Low Chris Web FBSQLDay http://sqlday.pl @SQLDay Zaawansowana analityka, analiza danych w chmurze, Big Data Analytics i wizualizacja danych Tworzenie rozwiązań platformy danych i Business Intelligence Administracja platformą danych Wykorzystanie rozwiązań platformy danych i analityki w biznesie