1. Hacia una Ontolog´ıa Visual
Hacia una Ontolog´ıa Visual
Rodrigo Toro Icarte
´Alvaro Soto Jorge Baier Cristian Ruz
Pontificia Universidad Cat´olica de Chile
Junio, 2014

2. Hacia una Ontolog´ıa Visual
Marco te´orico
Motivaci´on
Motivaci´on

3. Hacia una Ontolog´ıa Visual
Marco te´orico
Motivaci´on
Motivaci´on

4. Hacia una Ontolog´ıa Visual
Marco te´orico
Motivaci´on
Motivaci´on

5. Hacia una Ontolog´ıa Visual
Marco te´orico
Motivaci´on
Motivaci´on

6. Hacia una Ontolog´ıa Visual
Marco te´orico
Motivaci´on
Motivaci´on

7. Hacia una Ontolog´ıa Visual
Marco te´orico
Inducci´on: Reconocedores visuales
Reconocedores visuales

8. Hacia una Ontolog´ıa Visual
Marco te´orico
Inducci´on: Reconocedores visuales
Reconocedores visuales

9. Hacia una Ontolog´ıa Visual
Marco te´orico
Inducci´on: Reconocedores visuales
Reconocedores visuales

10. Hacia una Ontolog´ıa Visual
Marco te´orico
Deducci´on: L´ogica
L´ogica

11. Hacia una Ontolog´ıa Visual
Marco te´orico
Deducci´on: L´ogica
L´ogica
Tran and Davis: Event Modeling and Recognition using MLN

12. Hacia una Ontolog´ıa Visual
Pregunta de investigaci´on
Pregunta de investigaci´on
¿Es posible asociar reglas de sentido com´un a
reconocedores visuales, tal que se puedan realizar
deducciones ´utiles a gran escala y en forma gen´erica?

13. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet

14. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet

15. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet

16. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet

17. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
Formato
String1 − Tipo Relaci´on → String2

18. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
Formato
String1 − Tipo Relaci´on → String2
Ejemplos
desk − RelatedTo → office
computer − AtLocation → office
office − UsedFor → work
coffee cup − AtLocation → office
... y 6 millones m´as

19. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
Relaciones
AtLocation
HasProperty
MadeOf
SimilarSize
SimilarTo
UsedFor
CapableOf
...

20. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
Sin´onimos
someone − AtLocation → museum
person − AtLocation → opera

21. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
Sin´onimos
someone − AtLocation → museum
person − AtLocation → opera
Polisemia
plane − CapableOf → fly
plane − IsA → shape
fly − IsA → insect

22. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet

23. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
Claves
Synset - Tipos - Relaciones

24. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
Claves
Synset - Tipos - Relaciones
Ejemplo: Person
S: (n) person, individual, someone, somebody, mortal, soul (a
human being)
S: (n) person (a human body)
S: (n) person (a grammatical category)

25. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet

26. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
ConceptNet WordNet

27. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
ConceptNet
plane − CapableOf → fly
WordNet
plane → 9 Synsets
fly → 20 Synsets

28. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
ConceptNet
plane − CapableOf → fly
WordNet
plane → 9 Synsets
fly → 20 Synsets
S: (n) airplane, plane −CapableOf → S: (v) fly, wing.

29. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
Opciones:
1 ConceptNet + WN
2 Chen & Liu

30. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
Chen & Liu
“plane − CapableOf → fly”
Synsets(plane) = { n02691156 (avi´on), n13883265 (plano) }

31. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet

32. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet

33. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
S: (n) airplane, plane
WSP Score
plane -0.0079
airplane 0.0353
airline 0.0626
bomber 0.1439
wing 0.1973
Sea-plane 0.2073
aeroplane 0.3982
... ...
S: (n) Plane, sheet
WSP Score
plane -0.0079
form 0.1391
sheet 0.1884
shape 0.2156
picture plane 0.3945
orbital plane 0.6559
cartesian plane 0.6819
... ...

34. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
NGD(x, y) =
max {log f(x), log f(y)} − log f(x, y)
log N − min {log f(x), log f(y)}

35. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
Ajustes:
Distancias ConceptNet
M´ultiples match
person − CapableOf → play
Restricciones
Sust-Sust: /r/AtLocation, /r/PartOf, ...
Sust-Verb: /r/CapableOf, /r/UsedFor, ...
Sust-Adj: /r/HasProperty

36. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet

37. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet + ImageNet

38. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos

39. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
Oraci´on → Sustantivo + Verbo

40. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos

41. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos

42. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
ESPGames
13.114 im´agenes rotuladas con 110 acciones
Experimento
Baseline: NGD

43. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
0 10 20 30 40 50
0
20
40
60
80
Top-p%
Rendimiento% Reconocimiento de Acciones
NGD

44. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
0 10 20 30 40 50
0
20
40
60
80
Top-p%
Rendimiento% Reconocimiento de Acciones
NGD
ConceptNet + WN

45. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
0 10 20 30 40 50
0
20
40
60
80
Top-p%
Rendimiento% Reconocimiento de Acciones
NGD
ConceptNet + WN
Chen & Liu

46. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
0 10 20 30 40 50
0
20
40
60
80
Top-p%
Rendimiento% Reconocimiento de Acciones
NGD
ConceptNet + WN
Chen & Liu
Visual-Ontology

47. Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
0 10 20 30 40 50
0
20
40
60
80
Top-p%
Rendimiento% Reconocimiento de Acciones
NGD
ConceptNet + WN
Chen & Liu
Visual-Ontology
ConceptNet

48. Hacia una Ontolog´ıa Visual
Limitaciones soluci´on
Limitaciones soluci´on
Mapeo ConceptNet a WordNet
Bounding boxs im´agenes
No informaci´on espacial
Excepciones

49. Hacia una Ontolog´ıa Visual
Estado de la investigaci´on
Estado de la investigaci´on
Estado actual
En progreso
Futuro

50. Hacia una Ontolog´ıa Visual
Cierre
Cierre

51. Hacia una Ontolog´ıa Visual
Cierre
Cierre
pc: Hay una persona estudiando.

52. Hacia una Ontolog´ıa Visual
Cierre
Cierre
pc: Hay una persona estudiando.
pc: Que la persona sea un estudiante y la mesa un escritorio.

53. Hacia una Ontolog´ıa Visual
Cierre
Cierre
pc: Hay una persona estudiando.
pc: Que la persona sea un estudiante y la mesa un escritorio.
pc: Hay una persona escribiendo

54. Hacia una Ontolog´ıa Visual
Cierre
Cierre
pc: Hay una persona estudiando.
pc: Que la persona sea un estudiante y la mesa un escritorio.
pc: Hay una persona escribiendo
pc: Que la mesa sea un escritorio, el l´apiz una pluma, y la
persona un poeta.

55. Hacia una Ontolog´ıa Visual
Cierre
Preguntas