Datamining avanzado de performance monitor con R

1. SOLIDQ SUMMIT MADRID 2017
#SQSummit17
Enrique Catalá | Mentor | ecatala@solidq.com | @enriquecatala
Aplicando R al análisis de rendimiento de un
servidor

2. SOLIDQ SUMMIT MADRID 2017SOLIDQ SUMMIT MADRID 2017
La aplicación no
responde
Rendimiento
aleatorio
Métricas
aparéntemente
bien

3. SOLIDQ SUMMIT MADRID 2017SOLIDQ SUMMIT MADRID 2017
Recopilar datos de uso de HW
• Perfmon
Recopiar datos de uso de software (T-SQL y
app .NET)
• XEvents, profiler, AppInsights,…
Analizar manualmente o con
automatizaciones basadas en la experiencia
• PAL, TSQL-CSI-DW, AppInsights Site, …

4. SOLIDQ SUMMIT MADRID 2017

5. SOLIDQ SUMMIT MADRID 2017SOLIDQ SUMMIT MADRID 2017
Recopilar datos de uso de HW
Recopiar datos de uso de software
(T-SQL y app .NET)
Analizar manualmente o con
automatizaciones basadas en la
experiencia

6. SOLIDQ SUMMIT MADRID 2017SOLIDQ SUMMIT MADRID 2017
Machine
Learning ¿?

7. SOLIDQ SUMMIT MADRID 2017SOLIDQ SUMMIT MADRID 2017

8. SOLIDQ SUMMIT MADRID 2017SOLIDQ SUMMIT MADRID 2017
Que un contador de rendimiento esté fuertemente ligado a
otro
Cambios de
comportamiento
relacionados
Cambios de comportamiento extraños o fuera de lo
esperado
Situaciones
anómalas
Esta es la única información que sabemos a ciencia cierta
(nos llamaron para esto, el cliente sabe cuando la app va mal
o bien)
Tramos concretos
con problemas

9. SOLIDQ SUMMIT MADRID 2017SOLIDQ SUMMIT MADRID 2017
Pistas
Que nos ayuden a
focalizar mas rápido
en el problema a
resolver
Rapidez
No tardar demasiado
en montar la solución
Automa
tización
Poder reutilizar
nuestra magia

10. SOLIDQ SUMMIT MADRID 2017SOLIDQ SUMMIT MADRID 2017
Integración
completa
• SQL Server 2016+
• PowerBI
• Azure
• Interfaz hacia casi
cualquier
lenguaje…
Años de experiencia
algorítmica
• Desde hace
décadas, el
lenguaje de los
investigadores
científicos
Pensado para
análisis estadístico
• Matrices y
vectores se
pueden combinar
estadísticamente
Rendimiento
• Multihilo (MKL)
• Nativo en
SQL2016 EE con
ejecucion a nivel
motor

11. SOLIDQ SUMMIT MADRID 2017SOLIDQ SUMMIT MADRID 2017
Clasificación
• Predicción de
categorias
Regresión
• Predicción de
valores
“futuros”
Detección de
anomalias
• Puntos de
datos
anómalos en
muestras
Ejemplos bien explicados de los algoritmos mas frecuentes:
https://docs.microsoft.com/en-us/azure/machine-learning/machine-learning-algorithm-choice

12. SOLIDQ SUMMIT MADRID 2017SOLIDQ SUMMIT MADRID 2017
Buscamos un algoritmo que prediga un
contador en base al resto
Regresion
tree
Ganador de multiples competiciones
kaggle.com (Multihilo y preciso)
XGBoost
Solo buscamos las características
importantes para predicción, no los valores
Matriz de
importancia

13. SOLIDQ SUMMIT MADRID 2017SOLIDQ SUMMIT MADRID 2017

14. SOLIDQ SUMMIT MADRID 2017SOLIDQ SUMMIT MADRID 2017

15. SOLIDQ SUMMIT MADRID 2017

16. SOLIDQ SUMMIT
MADRID 2017
Gracias!