Presentación del paper: "VITALAS, hacia una nueva generación de buscadores multimedia" en WWW/Internet 2010 - Algarve, Portugal.
(Premio al mejor artículo de investigación)
EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
VITALAS, hacia una nueva generación de buscadores multimedia
1. VITALAS, hacia una
nueva generación de
buscadores multimedia
Iñaki Etxaniz
Cristina Martínez
TECNALIA - Sistemas de Información e Interacción
WWW/Internet 2010
10-11 Diciembre
Algarve, Portugal
4. El índice de Google contenía
un billón (1012
) de páginas
web en 2008
YouTube recibe cada minuto
24 horas de video (= 34.000
horas al día)
Flicker recibe 3,7 millones de
fotos al día.
Multimedia en la Web
5. SAXASXSAX
Usuarios profesionales:
medios de comunicación,
agencias fotográficas,
compañías multimedia…
Necesitan encontrar lo que buscan:
una herramienta capaz de almacenar y recuperar
información con rapidez y eficacia
VITALAS, contexto
6. VITALAS, el reto
Desarrollar un buscador multimedia avanzado que
localice contenidos de forma eficaz, incluso sin
anotación manual previa.
Que ofrezca facilidades, parcialmente presentes en
otros buscadores, como:
Búsqueda por similaridad visual (like.com)
Búsqueda por conceptos (Getty Images)
Búsqueda por color (Exalead, Xcavator)
Sugerencias (Yahoo, Google)
Relevance feedback (Sortfix, Vimasearch)
Lightboxes (Dreamstime, 123rf)
7. VITALAS, un caso de uso
“Michael, a journalist of the national newspaper «Le Soir» needs to find a
picture of a researcher in a medical laboratory with the “right type of material”.
As part of the request is not precisely expressed (material?), the results may not
be relevant. The user has to browse the resulting picture set to select one
corresponding to the illustration he imagines.”
1. Búsqueda textual y/o de conceptos multimedia
2. Resultados en función del perfil del usuario
3. Navegación interactiva en los resultados
4. Zoom y selección de un resultado
5. Búsqueda de resultados similares
Pasos de la búsqueda:
9. VITALAS – Video & Image Indexing and Retrieval in the Large Scale
Objetivo: Buscador multimedia, orientado a profesionales del
sector y archivistas, con el fin de gestionar la indexación
y recuperación a gran escala de videos e imágenes.
Proyecto: Europeo IP (FP6-IST)
Plazo: 36+3 meses: ene 2007 – mar 2010
Socios (12):(BE) Belga
(DE) Fraunhofer IAIS, IRT
(ES) Tecnalia-Sistemas de Información e Interacción*
(FR) INRIA, ERCIM, INA, EADS
(GB) Univ. of Sunderland, Codeworks
(GR) CERTH-ITI
(NL) CWI
* Responsable de la Interfaz Gráfica de Usuario (GUI)
10. VITALAS, arquitectura
Arquitectura Orientada
a Servicios (SOA)
Client & Web-Server tiers
(source: The Java EE 5 Tutorial, Sun)
Interfaz de usuario Web avanzado
(RIA)
Capa cliente (HTML, Ajax, JScript, CSS, JSON)
Capa lógica de servidor (JSPs, servlets, Java)
11. Extracción de Conceptos cross-media
Low-level
Feature
Extraction
Fusion Classifiers
Multimedia
Document
CONCETP
Scores
Low-level features
WBL, DCOLOR, CSD, HOUGH, Text, MFCC-Audio
Fusion
Early fusion / Cross-domain concept fusion
Classifiers
Array of SVMs (one per concept)
Concept selection
Characteristic terms selected + LSCOM
Filtered by users and technicians
Concept disambiguation
Definition, examples, related keywords.
Training set selection
From captions; >5 positive examples per concept
Documents manually annotated, 530 concepts
90s
abbey
aborigines
abused_child
abused_woman
ac_milan_soccer
academy_award
accident_non_car
accident
actor
actress
adult
advertisement_commercial
aerobics
aerospace
affectionate
african_culture
african_ethnicity
agreement
agricultural_people
agriculture
aircraft_cabin
………………..
12. VITALAS, el usuario es importante
“La eficiencia de una aplicación mejora cuando está diseñada
para aprender del comportamiento del usuario”.
-> Perfiles de Usuario y Preferencias
“El valor de un buscador depende tanto de su eficiencia como
de facilidad de uso y comprensión de los resultados”.
-> Usabilidad
-> Diseño Centrado en el Usuario
13. Personalización
Preferencias de Usuario
Personalización de búsquedas
Personalización de la presentación de resultados
Lightboxes
Salva resultados relevantes (imagen & video)
Múltiples lightboxes
Histórico de búsquedas
Almacena y lanza ‘queries’ previas
Sugerencias
Basadas en ‘logs’ de usuarios
14. Diseño centrado en el usuario
ISO 13407:1999
Human-centred design
for interactive systems
15. Diseño centrado en el usuario
I. Identificación del contexto e involucración de los usuarios
ISO 13407:1999
Human-centred design
for interactive systems
16. Diseño centrado en el usuario
ISO 13407:1999
Human-centred design
for interactive systems
I. Identificación del contexto e involucración de los usuarios
II. Especificaciones basadas en casos de uso
17. Diseño centrado en el usuario
I. Identificación del contexto e involucración de los usuarios
II. Especificaciones basadas en casos de uso
III. Soluciones de diseño siguiendo directrices de usabilidad
ISO 13407:1999
Human-centred design
for interactive systems
18. Diseño centrado en el usuario
I. Identificación del contexto e involucración de los usuarios
II. Especificaciones basadas en casos de uso
III. Soluciones de diseño siguiendo directrices de usabilidad
IV. Evaluaciones de funcionalidad y ergonomía con usuarios
ISO 13407:1999
Human-centred design
for interactive systems
19. Diseño centrado en el usuario
I. Identificación del contexto e involucración de los usuarios
II. Especificaciones basadas en casos de uso
III. Soluciones de diseño siguiendo directrices de usabilidad
IV. Evaluaciones de funcionalidad y ergonomía con usuarios
Varias iteraciones para una mejora progresiva del sistema
ISO 13407:1999
Human-centred design
for interactive systems
20. VITALAS, directrices de diseño
Ayudas claras a la navegación
Ninguna página sin salida
Proporcionar atajos para usuarios experimentados
Simplicidad y coherencia
Dar importancia a la estética en el diseño
21. VITALAS, directrices de diseño
Ayudas claras a la navegación
Ninguna página sin salida
Proporcionar atajos para usuarios experimentados
Simplicidad y coherencia
Dar importancia a la estética en el diseño
Mostrar los resultados de forma inmediata
Resaltar los términos de la búsqueda en los resultados
Ofrecer diferentes vistas de resultados
Integrar navegación y búsqueda
Equilibrar opciones por defecto vs. control por el usuario
Proporcionar sugerencias al usuario
Proporcionar un historial de búsquedas
22. VITALAS, evaluaciones
Evaluación de funcionalidad y ergonomía
Aceptación, utilidad y usabilidad
Tests de usuarios: Thinking-aloud y cuestionario
Evaluación heurística: Análisis siguiendo principios de usabilidad
(lista de criterios predefinidos, p.e. Nielsen).
+Participación en el concurso interactivo TRECVID’09
31. VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
Similar search + Upload
32. VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
Similar search + Upload
Search by color
33. VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
Similar search + Upload
Search by color
Light boxes
34. VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
Similar search + Upload
Search by color
Light boxes
Search on part of a picture
36. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
37. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
38. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
39. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
40. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
41. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
42. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
43. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video playback position
44. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video playback position
Highlight relevant
segments
45. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video playback position
Highlight relevant
segments
Highlight matching
terms in transcription
46. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video playback position
Highlight relevant
segments
Highlight matching
terms in transcription
Click to play a segment
47. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video playback position
Highlight relevant
segments
Highlight matching
terms in transcription
Click to play a segment
Similar video
49. evaluaciones + iteraciones + usuarios
Mejoras como resultado de los test de usuario:
Drag & drop de resultados.
Vista de cluster para agrupar los resultados según los criterios de
búsqueda
Back/forward para moverse entre las vistas
Histórico de las búsquedas realizadas en la sesión, que permita repetirlas
Usar mouse-over en lugar de clicks (zoom, seleccionar segmentos)
Vista preliminar de los videos en la vista de resultados (fotogramas)
Mejoras en la interacción con el video (zoom, cursor, marcar seg./texto)
50. VITALAS, conclusiones
Valoración muy positiva de las posibilidades de búsqueda multi-modal,
que se pueden combinar entre sí (fused search).
Efectividad: búsquedas por similaridad (2x); búsquedas por conceptos (3x);
búsquedas combinadas (5x).
La ergonomía de la aplicación favorece el manejo del sistema y junto con el
look and feel profesional mejora la experiencia del usuario.
Criterio Valor
(1-Muy útil; 5 Nada útil)
Utilidad 1,3
Funcionalidad 2,1
Facilidad de uso 2,2
Ergonomía 1,9
Evaluación del sistema sobre colecciones profesionales extensas
(16K horas de video + 1M de imágenes)
ABSTRACT El manejo de archivos multimedia se ha convertido en algo común hoy en día para el público en general. El volumen de este tipo de información presente en nuestras vidas, en gran parte a través de la Web, crece cada día. De ahí que resulte de máximo interés, sobre todo para los usuarios profesionales, disponer de una herramienta capaz de indexarla y recuperarla eficazmente. El proyecto VITALAS tiene como objetivo gestionar la indexación y recuperación a gran escala de videos e imágenes, y está especialmente dirigido a profesionales. En este artículo presentamos una visión general de la herramienta y una descripción detallada de su interfaz de usuario, que permite la búsqueda y visualización de contenido multimedia. Asimismo, se presenta el papel desempeñado por los usuarios durante las fases de diseño y evaluación, quienes han proporcionado una opinión positiva del resultado, confirmando así la utilidad y eficacia del enfoque seguido. CONCLUSIONES El sistema VITALAS ha sido diseñado teniendo en cuenta los requisitos y casos de uso expresados por los usuarios , y ha sido refinado como resultado de las evaluaciones llevadas a cabo con usuarios profesionales y no profesionales en varios estadios del proyecto Los usuarios han declarado que la herramienta VITALAS representa una mejora sobre las herramientas disponibles actualmente, debido al intuitivo interfaz de usuario que ofrece múltiples e innovadores servicios de búsqueda. Como limitaciones del sistema podemos citar un tiempo de respuesta mejorable, así como la necesidad de una formación previa a los usuarios con el fin de extraer todas las ventajas potenciales de la herramienta . Future work: autocompletado y corrección de términos; búsqueda avanzada que integre metadatos, similaridad, y conceptos mediante operadores lógicos; proporcionar filtros para refinar la búsqueda; integración de archivos de audio en múltiples idiomas; o mejorar el nivel de accesibilidad del interfaz de usuario. Los resultados de VITALAS son aplicables a sectores tales como medios de comunicación y difusión, agencias de prensa, agencias fotográficas, compañías multimedia, gestores de activos digitales, educación, seguridad y prevención de delitos y, en general, para facilitar el acceso a archivos corporativos en grandes empresas.
Búsqueda de contenidos multimedia en la web El uso de archivos multimedia se ha convertido en algo común hoy en día para el público en general y la Web no es ajena a este fenómeno. El volumen de este tipo de información presente en nuestras vidas crece cada día. En 2008, el índice de Google contenía un billón (1012) de páginas web, según una estimación de la Comisión Europea. YouTube recibe cada minuto 24 horas de video –equivalente a 120.000 películas cada semana. Flicker recibe 3,7 millones de fotos por día. Esto es aún más notorio en el caso de los usuarios profesionales de sectores como medios de comunicación, agencias fotográficas, compañías multimedia, etc., para los cuales es de máximo interés disponer de una herramienta capaz de indexar y recuperar información eficazmente. Actualmente el uso de las fotografías y vídeos digitales se extiende a la actividad diaria de cualquier persona y no sólo a la de aquellos sectores profesionales que habitualmente los utilizan como son los relacionados con la educación, prensa, arte, medicina, investigación, publicidad, archivos, bibliotecas, etc. La web constituye una inmensa enciclopedia digital visual de alcance universal…
Esto es aún más notorio en el caso de los usuarios profesionales de sectores como medios de comunicación, agencias fotográficas, compañías multimedia, etc., para los cuales es de máximo interés disponer de una herramienta capaz de indexar y recuperar información eficazmente. Dividirla en dos traspas? *CRIS => Yo creo que queda bien en una sola
Mejorando el panorama de buscadores Búsqueda por similaridad visual ( like.com ) Búsqueda por conceptos ( Getty Images ) Búsqueda por color ( Exalead, Xcavator ) Vistas de cluster ( Google Labs ) Sugerencias relacionadas ( Yahoo, Google ) Relevance feedback ( Sortfix, Vimasearch ) Lightboxes ( Dreamstime, 123rf )
La foto a buscar no está muy definida.
SOA: Service Oriented Architecture , Servicios Web ESB: Enterprise ServiceBus como mediador y comunicación entre servicios BPEL como or GUI: Web application -Cliente (HTML, Ajax, Javascript, JSON -Servidor(JSPs, Java, XML-RDF parser)
SVM: Support Vector Machine LSCOM: Large Scale Concept Ontology for Multimedia
V1-Diseñado por nosotros, los desarrolladores V2-Diseño profesional V3-Mejoras pedidas por los usuarios. Video
V1-Diseñado por nosotros, los desarrolladores V2-Diseño profesional V3-Mejoras pedidas por los usuarios. Video
V1-Diseñado por nosotros, los desarrolladores V2-Diseño profesional V3-Mejoras pedidas por los usuarios. Video