1. Um Portal Web para a Organização Hierárquica de Notícias Dissertação de mestrado 04/11/2009 Hugo Lima Borges Orientadora: Profa. Dra. Ana Carolina Lorena

3. Uso da hierarquia facilita acesso a notícias mais específicas e pode ajudar na categorização

5. Decomposição do problema plano ( possível ganho de desempenho computacional)

8. Representação do texto

9. Redução dimensional

10. Stemming e cuttof

11. Seleção de atributos

12. Pesagem de atributos

13. Abordagem hierárquica

14. Algoritmo de classificação

16. Desconsidera posição das palavras

17. Pesagem dos termos: frequência, binária …

18. Alternativas:

19. Bigrama, trigrama (n-grama)

20. Análise de Semântica Latente

23. Filtragem ou wrapper

24. Atributos que aparecem na classe

26. Assume independência dos termos

28. Nci – ocorrências do termo i na classe c

29. Nc – ocorrência de termos na classe c

30. N – total de termos

31. Dc– documentos pertencentes a classe c

33. Implementação simples

34. Fácil adição de exemplos de treinamento

35. Pré-processamento é importante

36. Nem sempre apresenta boa efetividade

38. Fácil de implementar (algoritmos planos)

39. Propagação de erros

40. Escalávelx Hierarquia  2 1 2.1 2.2 1.1 1.2

42. Sensibilidade: % dos exemplos da classe i classificados corretamente

44. Medida baseada em distância Peso negativo para erros cometidos no primeiro nível

45. Medida baseada em distância (2) Hierarquia  1 1 2 1 Disθ = 2 : contribuição nula se erro ocorre no segundo nível Contribuição igual a -1 se erro ocorre no primeiro nível 1 1 1 1 2.1 2.2 1.1 1.2 predita verdadeira

47. Avaliação F1micro e macro

48. Conjuntos de dados da literatura

49. Seleção e pesagem de atributos realizada localmente (em cada classificador na hierarq.)

52. Impacto + com número baixo de atributos considerados (seleção de atrib.)

53. Redução de 18% (20N) e 27% (R21)

54. Escolha: usar stemmingsem stemming (com stemming)

56. Redução superior a 60% em ambos conjuntos com n = 2

57. Pouco impacto na efetividade do classificador (com n baixo)

60. Atributos são distribuídos igualmente entre as classes (Round Robin)

61. Escolha: Chi² (IG)

62. Melhores resultados:

63. 20N : IG, OR, Chi²

66. micro F1dist.

68. Resultados:

69. 20N: Binária, logTF-IDF

70. R21: logTF-IDF, TF-IDF

72. macro F1

76. Foco: Jornais e portais brasileiros

77. Cerca de 15 fontes

78. Pré-classificação de notícias

79. Conjunto de testes:

80. 16 mil notícias capturadas em um mês

81. Classificação manual

83. Desbalanceado

84. Primeiro nível: Baseada em jornais / portais de notícia

85. Não é necessariamente a melhor para o classificador

87. Primeiro nível: micro F1 = 0,82

88. Micro F1: 0,72

89. Micro F1dist. : 0,60

90. Macro F1: 0,62

92. Resultados: observações (2) Resultados Segundo nível : Educação: F1 = 0,75 ; F1dist. = 0,38 Biologia: F1 = 0,52 ; F1dist. = 0,0 Bolsas de valores: F1 = 0,91 ; F1dist. = 0,90 Automobilismo F1 = 0,94 ; F1dist. = 0,94 Categorias “Outros” : desempenho ruim em geral

94. Micro F1: 0,77 (0,72)

95. Micro F1dist. : 0,58 (0,69)

96. Macro F1: 0,68 (0,62)

98. Sistema Informeme www.informeme.com Interface do usuário Interface do administrador

100. Ponto de vista do usuário

101. Buscando melhor efetividade do classificador

102. Métodos para “parar” a classificação no primeiro nível

103. Automatizar o processo de treinamento

104. Notícias completas (ao invés de resumos)

105. Abordagem multirrótulos

107. Classificação por região

108. Recomendação de notícias

109. Considerar outros tipos de fontes e dados