Master thesis presentation

Aproximaciones a S3 VM multiclase
M´ster en tecnolog´ del lenguaje en la web
a ıas

Arkaitz Zubiaga Mendialdua

UNED

29 de septiembre de 2008

Director: V´
ıctor Fresno Fern´ndez
a

Clasificaciń autom´tica de textos
o a

´
Indice
1 Clasificaciń autom´tica de textos
o a
2 Motivaciń
o
3 ¿Por qu´ SVM?
e
4 SVM
5 SVM multiclase
6 S3 VM
7 S3 VM multiclase
8 Alternativas para S3 VM multiclase
9 Experimentaciń
o
10 Resultados
11 Conclusiones y trabajo futuro
12 Referencias y trabajo futuro

Arkaitz Zubiaga Mendialdua (UNED) Aproximaciones a S3 VM multiclase 29 de septiembre de 2008 2 / 43

o a

¿Qu´ es?
e

Se dispone de una colecci´n de documentos:
o

D = {d1 , ..., d|D| }


o a

¿Qu´ es?
e

o

D = {d1 , ..., d|D| }

Y una serie de categor´ predeﬁnidas:
ıas

C = {c1 , ..., c|C | }


o a

¿Qu´ es?
e

o

D = {d1 , ..., d|D| }

Y una serie de categor´ predefinidas:
ıas

C = {c1 , ..., c|C | }

La clasificaciń se define como:
o

dj , ci ∈ D × C


o a

Caracter´
ısticas

Aprendizaje autom´tico
a
Aprendizaje supervisado
Aprendizaje semisupervisado


o a

Caracter´
ısticas

Aprendizaje autom´tico
a
Aprendizaje supervisado
Aprendizaje semisupervisado
Taxonom´
ıa
Binaria
Multiclase


Motivaciń
o

´
Indice
o a
2 Motivaciń
o
3 ¿Por qu´ SVM?
e
4 SVM
5 SVM multiclase
6 S3 VM
7 S3 VM multiclase
9 Experimentaciń
o
10 Resultados


Motivaciń
o

Motivaciń
o

Muchos estudios para clasificaciń de texto plano (noticias), pero
o
menos sobre p´ginas web.
a


Motivaciń
o

Motivaciń
o

o
a
Problema t´
ıpico de clasificaciń de p´ginas web
o a
Semisupervisado: pocos documentos etiquetados respecto a la
colecciń a clasificar.
o
Multiclase: taxonom´ mayor que 2.
ıa


Motivaciń
o

Motivaciń
o

o
a
Problema t´
o a
o
ıa
Tćnica de clasificaciń escogida: SVM.
e o


Motivaci´n
o

Motivaci´n
o

o
a
Problema t´
o a
o
ıa
e o
Problema: Poco trabajo para SVM semisupervisado multiclase


Motivaci´n
o

Motivaci´n
o

o
a
Problema t´
o a
o
ıa
e o
Problema: Poco trabajo para SVM semisupervisado multiclase
Necesidad de nuevas propuestas para resolver el problema planteado


¿Por qu´ SVM?
e

´
Indice
o a
2 Motivaci´n
o
3 ¿Por qu´ SVM?
e
4 SVM
5 SVM multiclase
6 S3 VM
7 S3 VM multiclase
9 Experimentaci´n
o
10 Resultados


¿Por qu´ SVM?
e

¿Por qu´ SVM?
e

Muchos estudios recientes: Bolelli et al. (2007); Bordes et al. (2007);
Sun et al. (2007); Wang et al. (2007a,b); Zien et al. (2007);
Heymann et al. (2008)).
Mejores resultados que otras tćnicas para clasificaciń de textos.
e o
La utilizaciń de un kernel facilita la tarea de clasificaciń para zonas
o o
disjuntas.


¿Por qu´ SVM?
e

Comparativa con otras t´cnicas
e


¿Por qu´ SVM?
e

e


SVM

´
Indice
o a
2 Motivaci´n
o
3 ¿Por qu´ SVM?
e
4 SVM
5 SVM multiclase
6 S3 VM
7 S3 VM multiclase
9 Experimentaci´n
o
10 Resultados


SVM

SVM

Modelo espacio vectorial


SVM

SVM

Modelo espacio vectorial
B´squeda de hiperplano de separaci´n
u o
Maximizaci´n de margen
o


SVM

SVM

Funci´n de optimizaci´n: f (x) = ω · x + b
o o


SVM

SVM

Funciń de optimizaciń: f (x) = ω · x + b
o o

Problema: Dificil de computar.

SVM

SVM

Se utiliza funci´n equivalente:
o
n
1
min ||ω||2 + C · ξid
2
i=1

Sujeto a: yi (ω · xi + b) ≥ 1 − ξi , ξi ≥ 0


SVM

SVM

o
n
1
2
i=1


Utilizaci´n de funci´n de kernel para casos no lineales.
o o


SVM

SVM

o
n
1
2
i=1


Utilizaci´n de funci´n de kernel para casos no lineales.
o o
´
Unicamente resuelve problemas binarios y supervisados.


SVM multiclase

´
Indice
o a
2 Motivaci´n
o
3 ¿Por qu´ SVM?
e
4 SVM
5 SVM multiclase
6 S3 VM
7 S3 VM multiclase
9 Experimentaci´n
o
10 Resultados


SVM multiclase

SVM multiclase

Aproximaciones a SVM multiclase:
Directa.


SVM multiclase

SVM multiclase

Directa.
Combinaci´n de binarios.
o
One-against-one.
One-against-all.


SVM multiclase

SVM multiclase

Directa.
Combinaci´n de binarios.
o
One-against-one.
One-against-all.
Se ha trabajado con colecciones supervisadas, pero apenas con
semisupervisadas.


SVM multiclase

SVM multiclase: Aproximaciń directa
o

La funciń de optimizaciń tiene en cuenta todos los hiperplanos.
o o


SVM multiclase

SVM multiclase: Aproximaciń directa
o

La funciń de optimizaciń tiene en cuenta todos los hiperplanos.
o o
n l
1
m´
ın ||wm ||2 + C ξim
2
m=1 i=1 m=yi

Sujeto a:
wyi · xi + byi ≥ wm · xi + bm + 2 − ξim , ξim ≥ 0


SVM multiclase

SVM multiclase: One-against-one

k·(k−1)
Construye 2 clasiﬁcadores binarios


SVM multiclase

SVM multiclase: One-against-one

k·(k−1)
Construye 2 clasiﬁcadores binarios

T
sign(ωij · x + bij ) −→ Sumar un voto a clase positiva entre i y j
La clase con m´s votos es la que el sistema predice.
a


SVM multiclase

SVM multiclase: One-against-all

Construye k clasiﬁcadores binarios


SVM multiclase

SVM multiclase: One-against-all

Construye k clasiﬁcadores binarios

ˆ
Ci = arg m´x (ωi · x + bi )
a
i=1,...,k


S3 VM

´
Indice
o a
2 Motivaci´n
o
3 ¿Por qu´ SVM?
e
4 SVM
5 SVM multiclase
6 S3 VM
7 S3 VM multiclase
9 Experimentaci´n
o
10 Resultados


S3 VM

SVM semisupervisado (S3 VM)

Utilizaci´n de documentos no etiquetados en fase de aprendizaje.
o


S3 VM


o
Se aãde un t´rmino adicional a la funciń de optimizaciń:
n e o o


S3 VM


o
n e o o
l
1
m´
ın · ||ω||2 + C · ξid
2
i=1


S3 VM


o
n e o o
l u
1 d
m´
ın · ||ω||2 + C · ξid + C ∗ · ξj∗
2
i=1 j=1


S3 VM


o
n e o o
l u
1 d
m´
ın · ||ω||2 + C · ξid + C ∗ · ξj∗
2
i=1 j=1

Problema: se representa mediante una funci´n no convexa.
o


S3 VM


o
n e o o
l u
1 d
m´
ın · ||ω||2 + C · ξid + C ∗ · ξj∗
2
i=1 j=1

o
Soluciones de optimizaci´n convexa.
o


S3 VM


o
n e o o
l u
1 d
m´
ın · ||ω||2 + C · ξid + C ∗ · ξj∗
2
i=1 j=1

o
Soluciones de optimizaci´n convexa.
o
Utilizado sobre taxonom´ binarias, pero apenas en entornos
ıas
multiclase.


S3 VM

SVM vs S3 VM


S3 VM multiclase

´
Indice
o a
2 Motivaci´n
o
3 ¿Por qu´ SVM?
e
4 SVM
5 SVM multiclase
6 S3 VM
7 S3 VM multiclase
9 Experimentaci´n
o
10 Resultados


S3 VM multiclase

S3 VM multiclase

´
Unica referencia hasta el momento (Yajima y Kuo, 2006):


S3 VM multiclase

S3 VM multiclase

´
h l
1 iT −1 i y
m´
ın( β K β +C m´x(0, 1 − (βj j − βji ))2 )
a
2
i=1 j=1 i=yj

donde β representa el producto entre un vector de variables y una matriz
de kernel deﬁnidas por el autor.


S3 VM multiclase

S3 VM multiclase

´
h l
1 iT −1 i y
m´
ın( β K β +C m´x(0, 1 − (βj j − βji ))2 )
a
2
i=1 j=1 i=yj

donde β representa el producto entre un vector de variables y una matriz
de kernel deﬁnidas por el autor.
Su optimizaci´n puede resultar costosa, por lo que conviene estudiar
o
nuevas aproximaciones.


Alternativas para S3 VM multiclase

´
Indice
o a
2 Motivaci´n
o
3 ¿Por qu´ SVM?
e
4 SVM
5 SVM multiclase
6 S3 VM
7 S3 VM multiclase
9 Experimentaci´n
o
10 Resultados




One-against-all-S3 VM: No aplicado sobre semisupervisado.
One-against-one-S3 VM: No aplicado sobre semisupervisado.
¿Posible existencia de ruido al no poder seleccionar los debidos
documentos no etiquetados?
Nuevas propuestas:
All-against-all-S3 VM.
2-steps-SVM.



Alternativas para S3 VM multiclase: all-against-all-S3 VM

Construye 2k−1 − 1 clasificadores binarios.
Para un ejemplo con 4 clases:
1 vs 2-3-4
1-2 vs 3-4
1-3 vs 2-4
1-4 vs 2-3
1-2-3 vs 4
1-2-4 vs 3
1-3-4 vs 2
T
sign(ωij · x + bij ) −→ Sumar margen resultante a clases del lado
positivo.
El sistema presenta como predicciń aquella clase con mayor
o
puntuaciń.
o



Alternativas para S3 VM multiclase: 2-steps-SVM

Se aplican 2 pasos de aprendizaje supervisado multiclase:




1 Aprendizaje sobre colecci´n de entrenamiento: se aprende con los
o
documentos etiquetados, prediciendo los no etiquetados.
1
2
1
...
3
0
0
...
0




o
1 −→ 1
2 −→ 2
1 −→ 1
...
3 −→ 3
0 −→ 3
0 −→ 2
...
0 −→ 1




o
1 −→ 1
2 −→ 2
1 −→ 1
...
3 −→ 3
0 −→ 3
0 −→ 2
...
0 −→ 1
2 Clasificaciń de la colecciń de test: con la colecciń de entrenamiento
o o o
etiquetada, se basa el aprendizaje en ella, clasificando la colecciń de
o
test.


Experimentaciń
o

´
Indice
o a
2 Motivaciń
o
3 ¿Por qu´ SVM?
e
4 SVM
5 SVM multiclase
6 S3 VM
7 S3 VM multiclase
9 Experimentaciń
o
10 Resultados


Experimentaci´n
o

Experimentaci´n: colecciones
o

Colecciones utilizadas:
BankSearch: 10.000 documentos web / 10 categor´ (4.000
ıas
entrenamiento).


Experimentaci´n
o

o

ıas
entrenamiento).
WebKB: 4.518 documentos web / 6 categor´ (2.000 entrenamiento).
ıas


Experimentaci´n
o

o

ıas
entrenamiento).
ıas
Yahoo! Science: 788 documentos web / 6 categor´ (200
ıas
entrenamiento).


Experimentaci´n
o

o

ıas
entrenamiento).
ıas
ıas
entrenamiento).
Versiones con diferentes fracciones etiquetadas / no etiquetadas.


Experimentaci´n
o

o

ıas
entrenamiento).
ıas
ıas
entrenamiento).
9 ejecuciones para cada una de las versiones.


Experimentaci´n
o

o

ıas
entrenamiento).
ıas
ıas
entrenamiento).
9 ejecuciones para cada una de las versiones.
Representaci´n: tf-idf.
o


Experimentaciń
o

Experimentaciń: implementaciń
o o

Software utilizado:
SVM-light (http://svmlight.joachims.org)
SVM-multiclass


Experimentaciń
o

Experimentaciń: implementaciń
o o

Software utilizado:
SVM-light (http://svmlight.joachims.org)
SVM-multiclass
2-steps-SVM =⇒ 1 step-SVM
Ignorar documentos no etiquetados, ¿empeora los resultados?


Experimentaciń
o

Experimentaciń: evaluaciń
o o

Acierto (accuracy): % del n´mero de predicciones correctas sobre el
u
total de documentos testeados.


Resultados

´
Indice
o a
2 Motivaci´n
o
3 ¿Por qu´ SVM?
e
4 SVM
5 SVM multiclase
6 S3 VM
7 S3 VM multiclase
9 Experimentaci´n
o
10 Resultados


Resultados

Resultados: BankSearch


Resultados

Resultados: WebKB


Resultados

Resultados: Yahoo! Science


Resultados

Resultados

Mejores resultados para combinaci´n de supervisados multiclase:
o
2-steps-SVM y 1-step-SVM.


Resultados

Resultados

o
De las combinaciones binarias, destaca all-against-all-S3 VM, mientras
que one-against-one-S3 VM demuestra que el ruido previsto existe.


Resultados

Resultados

o
1-step-SVM muestra resultados similares que 2-steps-SVM, excepto
en WebKB, que gana; esa colecci´n es m´s homogenea.
o a


Resultados

Resultados

o
1-step-SVM muestra resultados similares que 2-steps-SVM, excepto
en WebKB, que gana; esa colecci´n es m´s homogenea.
o a
Se mantiene el ranking de los algoritmos.

Conclusiones y trabajo futuro

´
Indice
o a
2 Motivaci´n
o
3 ¿Por qu´ SVM?
e
4 SVM
5 SVM multiclase
6 S3 VM
7 S3 VM multiclase
9 Experimentaci´n
o
10 Resultados



Conclusiones

Se han comparado aproximaciones a S3 VM multiclase para
clasificaciń de p´ginas web:
o a
Trasladando one-against-one y one-against-all al entorno
semisupervisado.
Presentando los m´todos 2-steps-SVM y all-against-all-S3 VM.
e
Se ha evaluado la aportaciń de los documentos no etiquetados en el
o
aprendizaje.



Conclusiones

o a
semisupervisado.
e
o
aprendizaje.
Los mejores resultados han sido para las combinaciones de
clasiﬁcadores supervisados multiclase.



Conclusiones

o a
semisupervisado.
e
o
aprendizaje.
La utilizaci´n de documentos no etiquetados no ha aportado mucho.
o
Esta aportaci´n ha sido algo mayor para colecciones homogeneas.
o



Conclusiones

o a
semisupervisado.
e
o
aprendizaje.
La utilizaciń de documentos no etiquetados no ha aportado mucho.
o
Esta aportaciń ha sido algo mayor para colecciones homogeneas.
o
Entre las combinaciones de semisupervisados binarios,
all-against-all-S3 VM ha mostrado una gran efectividad, aunque su
eficiencia debe mejorar.



Trabajo futuro

A˜adir el m´todo S3 VM multiclase directo al estudio.
n e



Trabajo futuro

n e
Aplicaci´n de diferentes m´todos de representaci´n, aprovechando las
o e o
caracter´
ısticas propias de las p´ginas web (etiquetado HTML, etc.).
a



Trabajo futuro

n e
Aplicaciń de diferentes m´todos de representaciń, aprovechando las
o e o
caracter´
ısticas propias de las p´ginas web (etiquetado HTML, etc.).
a
Optimizar el rendimiento de la tćnica all-against-all-S3 VM.
e


Referencias

´
Indice
o a
2 Motivaci´n
o
3 ¿Por qu´ SVM?
e
4 SVM
5 SVM multiclase
6 S3 VM
7 S3 VM multiclase
9 Experimentaci´n
o
10 Resultados


Referencias

Referencias

T. Joachims. 2002. Learning to Classify Text using Support Vector
Machines. Kluwer/Springer.
X. Qi y B.D. Davison. 2007. Web Page Classification: Features and
Algorithms. Informe Tćnico LU-CSE-07-010.
e
F. Sebastiani. 2002. Machine Learning in Automated Text
Categorization. ACM Computing Surveys, pp. 1-47.
J. Weston y C. Watkins. 1999. Multi-class Support Vector Machines.
Proceedings of ESAAN, the European Symposium on Artificial Neural
Networks.
Y. Yajima y T.-F. Kuo. 2006. Optimization Approaches for
Semi-Supervised Multiclass Classification. Proceedings of ICDMW’06,
the 6th International Conference on Data Mining.


Master thesis presentation

Recommandé

Recommandé

Contenu connexe

Plus de azubiaga

Plus de azubiaga (14)

Dernier

Dernier (20)

Master thesis presentation