Pequeña introducción al laboratorio de Weka, para el curso BigData Analytics de la Universidad de los Andes, usando un ejemplo de clasificación de texto.

1. Introducción a Weka
Colección de algoritmos y herramientas de machine
learning para minería de datos.
Christian Fernando Ariza Porras
http://www.christian-ariza.net
cf.ariza975@uniandes.edu.co
@cronosnull

2. Descarga:
http://www.cs.waikato.ac.nz/ml/weka/index.html

3. Interfaz de usuario

4. Explorer

5. Experimenter

6. Knowledge Flow

7. Command Line Interface

8. CLASIFICACIÓN DE TEXTO
Ejemplo práctico

9. Cargar los datos
• Antes de poder entrenar el clasificado necesitamos llevar los
datos a un formato adecuado.
• Utilizamos la pestaña preprocess de la interfaz experimenter.
• Weka admite formatos y fuentes variadas.

10. Importar un directorio
• Cada subdirectorio
corresponde a una
categoría.
• Cada archivo
corresponde a una
instancia.

11. Importar un directorio
• Cada subdirectorio
corresponde a una
categoría.
• Cada archivo
corresponde a una
instancia.

12. Transformar los datos

13. Transformar los datos: Filtros

14. Transformar los datos: Filtros

15. Transformar los datos: Filtros

16. Entrenar y validar un clasificador

17. Entrenar y validar un clasificador

18. Cross Validation
• Técnica para estimar el desempeño de un predictor en un data
set independiente.
Imagen tomada de:
http://chrisjmccormick.wordpress.com/2013/07/31/k-fold-
cross-validation-with-matlab-code/

19. Precision y Recall
• True positive (TP)
• False positive (FP)
• True Negative (TN)
• False Negative (FN)
• Precision: TP/(TP+FP)
• Recall: TP/(TP+FN)

20. Usar el modelo entrenado en una aplicación externa.