Clasificación de Documentos Web usando Marcadores Sociales

Clasificación de Documentos Web utilizando Marcadores Sociales Facultad de Ciencias Exactas Universidad Nacional del Centro de la Provincia de Buenos Aires (UNICEN) Nicolás A. Tourné Directora: Dra. Daniela Godoy Tandil, Argentina. 1 de Julio, 2011 Tesis de Grado . Ingeniería de Sistemas

[object Object],[object Object],[object Object],[object Object],[object Object],Agenda

tags: internet, directorio web, data mining, web mining, web 2.0, marcadores sociales 1 Introducción Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Marco teórico ,[object Object],[object Object],[object Object],[object Object],Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Data mining ,[object Object],[object Object],[object Object],[object Object],Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

[object Object],[object Object],[object Object],La Web 2.0 Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Propuesta ,[object Object],categorización automática marcadores sociales a mayor información, mejores predicciones + + Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

tags: palabras claves, tagging colaborativo, folcsonomía, social bookmarks 2 Marcadores sociales Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Etiquetas (tags) ,[object Object],[object Object],[object Object],[object Object],Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Tagging colaborativo (1) ,[object Object],[object Object],[object Object],Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Tagging colaborativo (2) ,[object Object],[object Object],[object Object],[object Object],Usuario 1 Usuario 2 Recurso N Recurso 1 Recurso 3 Recurso 4 Recurso 2 Tag 1 Tag 2 Tag 4 . . . Tag 3 Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

¿Qué son los marcadores sociales? ,[object Object],[object Object],[object Object],Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones tags: dataset, CABS120k08, weka, clasificador, Naive Bayes, SMO, parser Recursos utilizados 3

Colección de datos CABS120k08 ,[object Object],Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones 500k random queries Tags Categorías Anchors text

Weka ,[object Object],[object Object],[object Object],[object Object],Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Parser: CABS120k08 » ARFF ,[object Object],[object Object],Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones Reemplazar código HTML Eliminar acentos Eliminar caracteres espec. Aplicar stemming Eliminar stop-words Documento Documento filtrado

tags: Naive Bayes, SMO, percentage split, cross- validation, tags, anchor-text, queries Desarrollo investigación 4 optimización, baseline, WordNet, spell-check Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Resumen ,[object Object],Generación de datasets Pre-procesam. de c/ dataset Clasificación Análisis de resultados Optimizaciones datasets CABS120k08.xml datasets pre-procesados Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Generación de datasets ,[object Object],queries anchor text tags queries + anchor text queries + tags anchor text + tags queries + anchor text + tags Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Análisis de resultados ,[object Object],[object Object],Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Resultados » Naive Bayes Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones 57,92% 60,38%

Resultados » SMO (PolyKernel) Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones 64,34% 65,40%

Resultados » SMO (RBFKernel) Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones 49,67% 51,48%

Selección del clasificador ,[object Object],SMO (PolyKernel) NaiveBayes SMO (RBFKernel) Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Elección del dataset ideal ,[object Object],anchortext+tags 85% inst. = 64,96% ,[object Object],[object Object],[object Object],Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones tags anchortext+tags query +anchortext+tags queries

Optimizaciones ,[object Object],[object Object],[object Object],Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

#1 - Sin aplicar stemming (1) ,[object Object],Reemplazar código HTML Eliminar acentos Eliminar caracteres espec. Aplicar stemming Eliminar stop-words Documento Documento filtrado Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

#1 - Sin aplicar stemming (2) Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones baseline 85% inst. = 64,96% no stemming 85% inst. = 59,89%

#1 - Sin aplicar stemming (3) ,[object Object],Se descarta esta optimización no stemming computer (28) compute (16) computadora (8) computation (1) baseline compute (53) Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

#2 - Sinónimos (WordNet) (1) ,[object Object],Reemplazar código HTML Eliminar acentos Eliminar caracteres espec. Aplicar stemming Eliminar stop-words Generar sinónimos Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones Documento Documento filtrado

#2 - Sinónimos (WordNet) (2) Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones baseline 85% inst. = 64,96% sinónimos 85% inst. = 56,22%

#2 - Sinónimos (WordNet) (3) ,[object Object],Se descarta esta optimización Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

#3 - Spell-check (1) ,[object Object],Reemplazar código HTML Eliminar acentos Eliminar caracteres espec. Aplicar stemming Eliminar stop-words Aplicar spell-check para cada término Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones Documento Documento filtrado

#3 - Spell-check (2) » Tumba Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones spell-check Tumba 85% inst. = 70,12% baseline 85% inst. = 64,96%

#3 - Spell-check (3) » JaSpell Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones spell-check JaSpell 85% inst. = 71,25% baseline 85% inst. = 64,96%

#3 - Spell-check (4) » Hunspell Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones spell-check Hunspell 85% inst. = 69,12% baseline 85% inst. = 64,96%

#3 - Spell-check (5) ,[object Object],Se acepta esta optimización Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

#4 - Spell-check mejorado (1) ,[object Object],Reemplazar código HTML Eliminar acentos Eliminar caracteres espec. Aplicar stemming Eliminar stop-words Aplicar Spell-check para cada término ¿Traducción? ¿Abreviación? término traducido si si incorrectos y sin sugerencias términos originales si se descarta el término Documento Documento filtrado Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

#4 - Spell-check mejorado (2) Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones spell-check mejorado 85% inst. = 72,35%

#4 - Spell-check mejorado (3) ,[object Object],Se acepta esta optimización (y reemplaza la anterior) Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

tags: marcadores sociales, beneficios, clasificación, búsqueda web Conclusiones 5 Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Conclusiones generales Los marcadores sociales efectivamente aportan valor a la clasificación automática de documentos web Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

¿Preguntas? Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones

Introducción Marcadores sociales Recursos utilizados Desarrollo investigación Conclusiones ¡Muchas gracias!

Clasificación de Documentos Web usando Marcadores Sociales

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (18)

Similar a Clasificación de Documentos Web usando Marcadores Sociales

Similar a Clasificación de Documentos Web usando Marcadores Sociales (20)

Último

Último (20)

Clasificación de Documentos Web usando Marcadores Sociales