Presentación final para optar al titulo profesional de Ingeniero de Ejecución en Informática

1. Análisis de sentido en textos Alumno: Jorge Gálvez Gajardo Profesor Guía: Rodrigo Alfaro Arancibia Profesor Correferente: Guillermo Cabrera Guerrero

2. Descripción del proyecto Introducción Objetivos Estado del arte Máquinas de aprendizaje Bayes ingenuo Máquinas de soporte vectorial Representación de lenguaje natural Clasificación de texto Software Caso de estudio Conclusiones y trabajo futuro Contenido Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

3. Descripción del proyecto

4. Las opiniones tienen un impacto muy relevante en nuestra vida diaria. Gran cantidad de organizaciones e industrias están interesadas en estas opiniones Cada vez hay más fuentes desde donde se pude obtener todas estas opiniones Toda esta información no puede ser procesada por una persona o un grupo de personas Opinion Mining es una disciplina que mezcla la recuperación de información y la lingüística computacional. Descripción del proyecto: Introducción Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso “La opinión pública es el termómetro de un monarca al cual debe constantemente consultar” Napoleón Bonaparte 15 Diciembre de 2010

5. Objetivo General: Utilizar Máquinas de Aprendizaje para categorizar textos en positivo o negativo, según sea su sentido. Objetivos Específicos: Utilizar Máquinas de Aprendizaje, eligiendo Bayes Ingenuo y Máquinas de Soporte Vectorial como técnicas para clasificar en positivo o negativo, según sea su sentido, distintos textos extraídos de comentarios sobre películas. Desplegar resultados obtenidos y comparar técnicas utilizadas con el fin de analizar cual forma es la más eficiente para determinado tipo de texto. Habilitar una interfaz web en la cual se puedan almacenar textos para poder ser utilizados en un entrenamiento o prueba de categorización de sentido. Descripción del proyecto:Objetivos Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

6. Se han hecho investigaciones usando heurísticas lingüísticas o un set de palabras ya clasificadas [Hatzivassiloglou and McKeown, 1997; Turney and Littman, 2002]. [Turney's, 2002] trabajó en clasificación de reviews utilizando aprendizaje no supervisado basado en la información que era encontrada dentro de los documentos, por ejemplo palabras como "bueno" o "malo“. [Pang y Lee, 2002] utilizan conocimiento previo de cada uno de los textos, pudiendo aplicar aprendizaje supervisado. Descripción del proyecto: Estado del arte Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

7. Máquinas de aprendizaje

8. Máquinas de aprendizaje: Aprendizaje supervisado Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso Datos de prueba Modelo Precisión Algoritmo de aprendizaje Datos de entrenamiento Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

9. Máquinas de aprendizaje: Bayes Ingenuo Modelo simple de clasificación [Duda & Hart 1973; Langley et al. 1992] Cada ejemplo observado va a modificar la probabilidad que la hipótesis formulada sea correcta Las palabras en el documento se tratan de forma independiente del contexto Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso Clase Atrib. 1 Atrib. 2 Atrib. n ……. 15 Diciembre de 2010

10. Máquinas de aprendizaje: Bayes Ingenuo Problema de frecuencia cero: un término que no se encuentre en el documento nos genera una probabilidad de cero. Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso Número de ocurrencias de t en los documentos de entrenamiento de la clase c Número de ocurrencias de t en el documento de prueba mas número de términos del vocabulario de entrenamiento de la clase c 15 Diciembre de 2010

11. Máquinas de aprendizaje: Bayes Ingenuo Aplicando Laplacesmoothing = Número de términos del vocabulario de entrenamiento de las dos clases Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010 Número de ocurrencias de t en los documentos de entrenamiento de la clase c Número de ocurrencias de t en el documento de prueba mas número de términos del vocabulario de entrenamiento de la clase c +

13. Muy fácil y rápido de implementar

14. Bien entendido formal y experimentalmente

15. Contras:

16. Pocas veces es el mejor rendimiento

17. Las ProbabilidadesPr(y|x) no son exactasJorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

19. Una SVM construye un hiperplano en un conjunto de espacio de dimensionalidad muy alta. Una buena separación entre las clases permitirá una clasificación correctaClase 2 w x + b = 1 m Clase 1 x + b = 0 x + b = -1 Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

21. La maximización del margen es un importante concepto en clasificación, pero no puede ser usado en problemas del mundo real.

22. Muchos conjuntos de datos no son linealmente separables

23. La Solución:

24. Mapear los datos a un espacio de características de dimensionalidad mayor.Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010 ¿?

28. Es habitual filtrar las palabras que no tienen sentido semántico (artículos, preposiciones, pronombres, etc.) llamadas stop words. Reducir palabras a su raíz es llamado Stemming el cual agrupa palabras escritas en distinta forma verbal y que tienen un mismo significado 15 Diciembre de 2010 Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso Representación de lenguaje natural bibliotecas bibliotecario bibliotec

29. Clasificación de texto

30. Clasificación de texto: Definición Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso Documentos sin etiqueta Modelo Precisión Algoritmo de aprendizaje Documentos etiquetados 15 Diciembre de 2010

32. noticias

33. email en Spam o no spam.

34. reviewde películas como positivas, negativas o neutras.

35. paperscomo interesantes o no interesantes.

36. chistes como divertidos o fomes.Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

38. Maize Mar 48.0, total 48.0 (nil).

39. Sorghum nil (nil)

40. Oilseed export registrations were:

41. Sunflowerseed total 15.0 (7.9)

42. Soybean May 20.0, total 20.0 (nil)The board also detailed export registrations for subproducts, as follows.... Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

44. Maize Mar 48.0, total 48.0 (nil).

45. Sorghum nil (nil)

46. Oilseed export registrations were:

47. Sunflowerseed total 15.0 (7.9)

48. Soybean May 20.0, total 20.0 (nil)The board also detailed export registrations for subproducts, as follows.... ? ¿Cual es la mejor representación del documento X para poder ser clasificado? Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

50. Maize Mar 48.0, total 48.0 (nil).

51. Sorghum nil (nil)

52. Oilseed export registrations were:

53. Sunflowerseed total 15.0 (7.9)

54. Soybean May 20.0, total 20.0 (nil)The board also detailed export registrations for subproducts, as follows.... Clasificación de texto: Lista de palabras f( )=y (argentine, 1986, 1987, grain, oilseed, registrations, buenos, aires, feb, 26, argentine, grain, board, figures, show, crop, registrations, of, grains, oilseeds, and, their, products, to, february, 11, in, … Refinamiento: remover stop words, stemming. Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

56. Maize Mar 48.0, total 48.0 (nil).

57. Sorghum nil (nil)

58. Oilseed export registrations were:

59. Sunflowerseed total 15.0 (7.9)

60. Soybean May 20.0, total 20.0 (nil)The board also detailed export registrations for subproducts, as follows.... Si el orden de las palabras no importa, x puede ser un vector de frecuencias de palabras “Bag of words”: un vector x=(,…,fi,….) donde fi es la frecuencia de la i-esima palabra en el vocabulario Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

61. Software

62. Se desarrolla una interfaz utilizando HTML y PHP para pre procesar los textos, obtener la precisión de Bayes Ingenuo y elegir los parámetros de los distintos kernels en la máquina de soporte vectorial utilizada. Los textos analizados se almacenan en una base de datos MySQL Se utiliza LibSVM [Chih-Chung Chang and Chih-Jen Lin, 2001-2010] para el procesamiento de textos mediante máquinas de soporte vectorial. Software Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010 NB Elección NB/SVM Entrego resultados Inicio BD BD Obtengo resultados Elección parámetros LibSVM

63. Software:Caso de uso de alto nivel Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

64. Software:Modelo base de datos Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

65. Caso de estudio

66. Se examinará la eficiencia de aplicar técnicas de máquinas de aprendizaje a problemas de clasificación de sentido. Set de datos: Utilizado por [Pang y Lee, 2002] consiste en 1000 reviews positivos y 1000 reviews negativos el cual son comentarios de películas obtenidos de imdb.com Aplicando técnicas de máquinas de aprendizaje se clasificará su sentido (positivo o negativo) Caso de estudio Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

67. Caso de estudio:Set de datos Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

68. Caso de estudio:Resultado obtenido Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

69. Bayes ingenuo tiende a tener relativamente menor precisión que máquinas de soporte vectorial Bayes ingenuo es de más fácil implementación Máquinas de soporte vectorial es de mayor complejidad Temas que quedan por verificar: ¿Cómo enfrentar las preguntas dentro de un texto? ¿Cómo enfrentar las comparaciones dentro de un texto? ¿Cómo enfrentar las negaciones dentro de un texto? Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso Caso de estudio:Discusión 15 Diciembre de 2010

70. Conclusiones y trabajo futuro

71. Se han obtenido resultados satisfactorios de acuerdo a la utilización de las dos técnicas de aprendizaje supervisado. En clasificación de opiniones la representación del texto juega un papel importante en el análisis. Se ha desarrollado satisfactoriamente el software, el cual ajusta automáticamente los parámetros para obtener el mejor resultado y almacenar el modelo generado. En el futuro es posible utilizar aprendizaje no supervisado o semi supervisado al no contar con la gran mayoría de textos etiquetados desde Internet. En el futuro lograr descomponer y analizar las frases encontradas dentro de un texto ayudaría un análisis más detallado. Conclusiones y trabajo futuro Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso 15 Diciembre de 2010

72. ¿Preguntas?

73. Referencias 15 Diciembre de 2010 Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso

74. VasileiosHatzivassiloglou and Kathleen R. McKeown. "Predicting the Semantic Orientation of Adjectives". In Proceedings of the 35th Annual Meeting of the ACL and the 8th Conference of the European Chapter of the ACL, pages 174–181, Madrid, Spain, July 1997. Association for Computational Linguistics Turney, P.D., and Littman, M.L. (2002), Unsupervised Learning of Semantic Orientation from a Hundred-Billion-Word Corpus, National Research Council, Institute for Information Technology, Technical Report ERB-1094 Turney, P.D. (2002), Thumbs up or thumbs down? Semantic orientation applied to unsupervised classification of reviews, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL'02), Philadelphia, Pennsylvania, 417-424 15 Diciembre de 2010 Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso Referencias

75. Thumbs up? SentimentClassificationusing Machine LearningTechniques BoPang, Lillian Lee, and ShivakumarVaithyanathan. Proceedings of theConferenceonEmpiricalMethods in Natural LanguageProcessing (EMNLP), pp. 79--86, 2002 Duda, R. O. and Hart, P. E. (1973). Pattern Classification and Scene Analysis. Wiley. Pat Langley, Wayne Iba, Kevin Thompson. An Analysis of Bayesian Classifiers. In Proceedings of AAAI'1992. pp.223~228 VAPNIK…, V., The Nature of Statistical Learning Theory. 1995. NY Springer. Gerard M. Salton, A. Wong, and C. S. Yang. (1975). "A Vector Space Model for Automatic Indexing." In: Communications of the ACM Chih-Chung Chang and Chih-Jen Lin, LIBSVM : a library for support vector machines, 2001. Software available at http://www.csie.ntu.edu.tw/~cjlin/libsvm 15 Diciembre de 2010 Jorge Gálvez Gajardo Pontificia Universidad Católica de Valparaíso Referencias