Classificação automática de entidades em notícias esportivas

Anotação e classificação automática
de entidades nomeadas em notícias
esportivas em Português Brasileiro
Rodrigo Constantin Ctenas Zaccara
6367629

AGENDA
• Motivação

• Objetivos

• Conceitos

• Aquisição e extração de conteúdo

• WebCorpus

• Córpus UOLCP2011

• Avaliação dos algoritmos de classificação automática

• Trabalhos futuros

MOTIVAÇÃO

Direcionamento automático de notícias para nicho
de interesse

OBJETIVOS

• Plataforma para anotação e classificação de entidades
nomeadas:

• Interface web rica para classificação

• Córpus público baseado em notícias esportivas

• Avaliação de algoritmos de anotação e classificação de
entidades nomeadas

PROCESSAMENTO DE
LINGUAGEM NATURAL
• Subárea no campo de extração de informação

• Diminuir a distância entre computador e humanos na
interpretação de comandos em linguagem natural

• Desafios:
• Ausência de informação
• Ambiguidade semântica
• Exemplo: “Pessoas fazem orações por São Paulo”

APRENDIZADO DE MÁQUINA

• Início na década de 50 com Arthur Lee Samuel

• Categorias:
• Aprendizado supervisionado
• Aprendizado não supervisionado
• Aprendizado por reforço

CÓRPUS

• Coleção de dados linguísticos

• Etapas:
• Projeto
• Compilação
• Anotação
• Uso

AQUISIÇÃO E EXTRAÇÃO
DE CONTEÚDO

PREMISSAS

• Mecanismo flexível e dinâmico para criação do conjunto de
etiquetas

• Pontos de recuperação

• Sistema iterativo de classificação

• Localização dos recursos de interface

DISPONIBILIDADE

• Licença MIT
THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND,
EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT
HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY,
WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR
OTHER DEALINGS IN THE SOFTWARE.

• Download em https://github.com/rodzac/webcorpus/

INFORMAÇÕES

• 100 notícias anotadas manualmente do Campeonato
Paulista de 2011

• Formatos: texto puro e XML

• Anotado e somente texto

• UTF-8

TIPOLOGIA

• Modo: Escrito

• Tempo: Contemporâneo

• Seleção: Estático

• Conteúdo: Especializado

• Finalidade: Treinamento e teste

ETIQUETAS

1a Fase 2a Fase 3a Fase

Pessoa Time Torcida

Lugar Estádio

Organização Campeonato

DISPONIBILIDADE

• Licença MIT
THE SOFTWARE IS PROVIDED “AS IS”, WITHOUT WARRANTY OF ANY KIND,
EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT
HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY,
WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR
OTHER DEALINGS IN THE SOFTWARE.

• Download em https://github.com/rodzac/UOLCP2011/

AVALIAÇÃO DOS ALGORITMOS
DE CLASSIFICAÇÃO AUTOMÁTICA

ESCOPO
• Algoritmos:

• Maximização de entropia

• Índices invertidos

• Método de mesclagem ROdIME

• Treinamento particionado utilizando o UOLCP2011

• Classificação do mini córpus

AVALIAÇÃO

acertos
precisão( acertos , entidades anotadas)=
entidades anotadas

acertos
cobertura (acertos ,entidades esperadas)=
entidades esperadas

2∗ precisão∗cobertura
medidaF ( precisão , cobertura)=
precisão +cobertura

CONCEITOS

• Integrar informações de diversas fontes heterogenias

• Modelo baseado em características (restrições)

• Característica
é definida por uma função binária para
detectar sua presença

• Exemplos: inicia com letra maiúscula, contém números,
palavra anterior inicia com letra maiúscula...

TREINAMENTO

• Corte: 3, 4 e 5

• Iterações: 100, 150 e 250

• Janela: 2, 3, 4 e 5

• Treinamento individual (pessoa, lugar, orgazanição, time,
estádio, campeonato e torcida) e coletivo

• Total de cenários: 3 x 3 x 4 x 8 x 10 = 2880

TREINAMENTO

Janela Corte Iterações
Pessoa 5 5 100
Time 2 3 100
Lugar 2 3 100
Campeonato 2 4 100
Estádio 2 4 100
Organização 2 4 100
Torcida - - -
Coletivo 3 5 150

UOLCP2011
Individual Coletivo
Total de entidades 2930 2930
Entidades anotadas 1950 2988
Anotadas com sucesso 1944 2748
Esquecidas 981 92
Classificadas erradas 5 90
Anotadas erradas 1 150
Precisão 0.99 0.91
Cobertura 0.66 0.93
MedidaF 0.79 0.92

MINI CÓRPUS
Individual Coletivo
Total de entidades 655 655
Entidades anotadas 231 648
Anotadas com sucesso 227 528
Esquecidas 425 62
Classificadas erradas 3 55
Anotadas erradas 1 62
Precisão 0.98 0.81
Cobertura 0.34 0.80
MedidaF 0.51 0.81

CONCEITOS
Palavra Documento
o 1, 3, 4
Documento Texto sao 1
1 o sao paulo joga hoje paulo 1
2 hoje esta muito quente joga 1
palmeiras esta perdendo hoje 1, 2
3
o jogo esta 2, 3, 4
4 o jogo esta quente muito 2
quente 2, 4
palmeiras 3
perdendo 3
jogo 3, 4

IMPLEMENTAÇÃO

• Algoritmo de segmentação em janelas

• Heurística de seleção:

• Peso

• Análise simples

• Análise completa

TREINAMENTO

• Janela: 1, 2, 3, 4 e 5

• Heurística de seleção: peso, análise simples e análise
completa

• Total de cenários: 5 x 3 x 10 =150

UOLCP2011
Peso Simples Completa
Total de entidades 2930 2930 2930
Entidades anotadas 2831 2901 2895
Anotadas com sucesso 2581 2871 2880
Esquecidas 210 42 42
Classificadas erradas 139 17 8
Anotdas erradas 111 13 7
Precisão 0.91 0.98 0.99
Cobertura 0.88 0.97 0.98
MedidaF 0.89 0.98 0.98

MINI CÓRPUS
Peso Simples Completa
Esquecidas 156 149 160
Anotadas erradas 40 54 16
Precisão 0.87 0.84 0.91
Cobertura 0.71 0.72 0.71
MedidaF 0.78 0.77 0.79

MÉTODO DE MESCLAGEM
ROdIME

CONCEITOS

• Mesclar resultados dos algoritmos:

• Maximização de entropia individual

• Maximização de entropia coletivo

• Índices invertidos com heurística completa

IMPLEMENTAÇÃO

• Prova de conceito

• Extrair
mais informações da biblioteca de maximização de
entropia

• Definição da interface BestScore

• Nota mínima para anotação

UOLCP2011
Individual Coletivo Completa ROdIME
Total de entidades 2930 2930 2930 2930
Entidades anotadas 1950 2988 2895 2907
Anotadas com sucesso 1944 2748 2880 2892
Esquecidas 981 92 42 30
Classificadas erradas 5 90 8 8
Anotadas erradas 1 150 7 7
Precisão 0.99 0.91 0.99 0.99
Cobertura 0.66 0.93 0.98 0.98
MedidaF 0.79 0.92 0.98 0.99

MINI CÓRPUS
Individual Coletivo Completa ROdIME
Total de entidades 655 655 655 655
Entidades anotadas 231 648 511 559
Anotadas com sucesso 227 528 466 523
Esquecidas 425 62 160 99
Classificadas erradas 3 55 29 33
Anotadas erradas 1 62 16 3
Precisão 0.98 0.81 0.91 0.93
Cobertura 0.34 0.80 0.71 0.79
MedidaF 0.51 0.81 0.79 0.86

CARVALHO'12: UOLCP2011

ROdIME MTodas MTodas com filtro
Esquecidas 30 15 11
Precisão 0.99 0.97 0.96
Cobertura 0.98 0.98 0.99
MedidaF 0.99 0.98 0.97

CARVALHO'12: MINI CÓRPUS

ROdIME MTodas MTodas com filtro
Esquecidas 99 67 59
Precisão 0.93 0.88 0.88
Cobertura 0.79 0.81 0.83
MedidaF 0.86 0.84 0.85

CONCLUSÃO

• Maximização de entropia:

• Treinamento individual tem bastante precisão

• Treinamento coletivo tem boa cobertura

• Índices invertidos fixam bem características do treinamento

• Método de mesclagem ROdIME é uma boa alternativa para
a classificação de entidades nomeadas

WEBCORPUS

• Tratamento de expiração e edição concorrente

• Criar perfil de usuário para rastrear alterações

• Adicionar suporte a múltiplos córpus

ALGORITMOS

• Aprendizado infinito com índices invertidos

• Avaliar outras técnicas para o algoritmo de mesclagem

• Automatizar a avaliação dos algoritmos durante a fase de
treinamento

Classificação automática de entidades em notícias esportivas

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

Classificação automática de entidades em notícias esportivas