Le Studio Saphir pour segmenter et décrire des documents audiovisuels Steffen Lalande, Abdelkrim Beloued  9 décembre 2011
Quelques informations générales S ystème d’ A ssistance à la  P ublication  H ypermédia par spécification d’ I ntentions et modélisation  R hétorique Projet ANR-05-RIAM-006 De type “exploratoire” 2006 -> début 2010 Partenaires : LIRMM (GRaphiK et IHM) FMSH (Escom) LERIA (Interaction, connaissances et Langage naturel) NETIA INA (ISA et CAP)
Objectifs Dans un contexte de valorisation d’archives AV… …  et de (Re)-publication sur différents supports( Web,DVD,mobile) Permettre à un auteur de réaliser des publications hypermédias “utilitaires” En exploitant directement une base de documents En ne mobilisant que des notions proches de ses compétences Assistances apportées sur différents points Segmentation, description de contenus Recherche de contenus La réalisation de plans de publication La mise en forme hypermédia Une plateforme générique capable de gérer des modèles de publication différents
Process général, ressources et rôles Le studio Saphir pour décrire et segmenter les documents audiovisuels, visuels et textuels  |   9 décembre 2011 Ontologie domaine Spécification Publication   Annotation   Ontologie Publication Ontologie Sémio-rhétorique Modèle  Publication Modèle  Description Modèle  Description Modèle  Publication Modèle  Publication Modèle  Description KBMS (annotations  / faits) Doc Mise en forme & présentation
Objectifs en Description de contenus et Recherche d’information Réexploiter des contenus dans des contextes différents Définir des extraits porteurs de sens Faciliter la recherche de contenus Permettre leur manipulation par un système logiciel d’aide à la publication Solutions apportées : Possibilité de sur-segmenter un document Offrir différents axes de description (Thématique, Rhétorique, Forme AV)  Utilisation de langages de représentation des connaissances Graphes utilisant concepts et relations  basés sur des ontologies
Alléger le travail de l’annotateur et de l’auteur Utilisation de patterns de description liés aux modèles Spécialiser et instancier les pattern Limiter la duplication d’information : portée temporelle de la description Description hiérarchique et mécanismes d’héritage d’information entre strates Distinguer description du contexte et connaissances générales …  et augmenter les possibilités du système en RI et Publication Mixer base d’annotations et base de connaissances
DEMO  Annotation et Recherche de contenus
Architecture de publication Le studio Saphir pour décrire et segmenter les documents audiovisuels, visuels et textuels  |   9 décembre 2011
Ontologie de publication Référentiel d’édition Décrit la structure de publication Éléments de publication (Topics, Ressources, etc.) Relations rhétoriques (Exemplification, Définition, Description, etc.) Combinaison de deux ontologies Ontologie noyau de publication Éléments communs entre les genres de publication: Topic, Vidéo, Image, Texte, Individu, etc. Ontologie du genre de publication Se greffer sur l’ontologie noyau Raffinement de certains éléments de l’ontologie noyau Éléments spécifiques à un genre de publication Par exemple, pour le vidéo-lexique: Rubrique, Article.
Ontologie de rendu Décrit la structure du rendu final Exemple: Site Web
Moteur de transformation Transformation du graphe de publication en un graphe de rendu Regroupements d’éléments Relations rhétoriques => Corrélation entre les éléments Résultat: ensemble de blocs multimédias Placement d’élements Plusieurs variantes suivant le contexte Placement intra-bloc Placement inter-bloc Résultat: plan de publication Générateur du graphe de rendu Exécution du plan de publication
DEMO  Publication de contenus
Le studio Saphir pour décrire et segmenter les documents audiovisuels, visuels et textuels  |   9 décembre 2011
Conclusion et perspectives Une plateforme d’expérimentation de modèles d’indexation et de publication Un système évolué de descriptions de contenus et de recherche d’information Une gestion conjointe des annotations et des connaissances. Un système de publication prenant en compte les contraintes de support Problème : cohabitation de trois langages différents pour l’indexation et la publication  un système trop complexe perte d’information entre les étapes : complexité écriture de règles Refonte du système pour l’utilisation du langage OWL/RDFS/RDF tout au long de la chaîne Interopérabilité avec bases de connaissances externes

Le studio SAPHIR pour segmenter et décrire des documents audiovisuels, visuels et textuels, Abdelkrim BELOUED et Steffen LALANDE, 5 décembre 2011

  • 1.
    Le Studio Saphirpour segmenter et décrire des documents audiovisuels Steffen Lalande, Abdelkrim Beloued 9 décembre 2011
  • 2.
    Quelques informations généralesS ystème d’ A ssistance à la P ublication H ypermédia par spécification d’ I ntentions et modélisation R hétorique Projet ANR-05-RIAM-006 De type “exploratoire” 2006 -> début 2010 Partenaires : LIRMM (GRaphiK et IHM) FMSH (Escom) LERIA (Interaction, connaissances et Langage naturel) NETIA INA (ISA et CAP)
  • 3.
    Objectifs Dans uncontexte de valorisation d’archives AV… … et de (Re)-publication sur différents supports( Web,DVD,mobile) Permettre à un auteur de réaliser des publications hypermédias “utilitaires” En exploitant directement une base de documents En ne mobilisant que des notions proches de ses compétences Assistances apportées sur différents points Segmentation, description de contenus Recherche de contenus La réalisation de plans de publication La mise en forme hypermédia Une plateforme générique capable de gérer des modèles de publication différents
  • 4.
    Process général, ressourceset rôles Le studio Saphir pour décrire et segmenter les documents audiovisuels, visuels et textuels | 9 décembre 2011 Ontologie domaine Spécification Publication Annotation Ontologie Publication Ontologie Sémio-rhétorique Modèle Publication Modèle Description Modèle Description Modèle Publication Modèle Publication Modèle Description KBMS (annotations / faits) Doc Mise en forme & présentation
  • 5.
    Objectifs en Descriptionde contenus et Recherche d’information Réexploiter des contenus dans des contextes différents Définir des extraits porteurs de sens Faciliter la recherche de contenus Permettre leur manipulation par un système logiciel d’aide à la publication Solutions apportées : Possibilité de sur-segmenter un document Offrir différents axes de description (Thématique, Rhétorique, Forme AV) Utilisation de langages de représentation des connaissances Graphes utilisant concepts et relations basés sur des ontologies
  • 6.
    Alléger le travailde l’annotateur et de l’auteur Utilisation de patterns de description liés aux modèles Spécialiser et instancier les pattern Limiter la duplication d’information : portée temporelle de la description Description hiérarchique et mécanismes d’héritage d’information entre strates Distinguer description du contexte et connaissances générales … et augmenter les possibilités du système en RI et Publication Mixer base d’annotations et base de connaissances
  • 7.
    DEMO Annotationet Recherche de contenus
  • 8.
    Architecture de publicationLe studio Saphir pour décrire et segmenter les documents audiovisuels, visuels et textuels | 9 décembre 2011
  • 9.
    Ontologie de publicationRéférentiel d’édition Décrit la structure de publication Éléments de publication (Topics, Ressources, etc.) Relations rhétoriques (Exemplification, Définition, Description, etc.) Combinaison de deux ontologies Ontologie noyau de publication Éléments communs entre les genres de publication: Topic, Vidéo, Image, Texte, Individu, etc. Ontologie du genre de publication Se greffer sur l’ontologie noyau Raffinement de certains éléments de l’ontologie noyau Éléments spécifiques à un genre de publication Par exemple, pour le vidéo-lexique: Rubrique, Article.
  • 10.
    Ontologie de renduDécrit la structure du rendu final Exemple: Site Web
  • 11.
    Moteur de transformationTransformation du graphe de publication en un graphe de rendu Regroupements d’éléments Relations rhétoriques => Corrélation entre les éléments Résultat: ensemble de blocs multimédias Placement d’élements Plusieurs variantes suivant le contexte Placement intra-bloc Placement inter-bloc Résultat: plan de publication Générateur du graphe de rendu Exécution du plan de publication
  • 12.
    DEMO Publicationde contenus
  • 13.
    Le studio Saphirpour décrire et segmenter les documents audiovisuels, visuels et textuels | 9 décembre 2011
  • 14.
    Conclusion et perspectivesUne plateforme d’expérimentation de modèles d’indexation et de publication Un système évolué de descriptions de contenus et de recherche d’information Une gestion conjointe des annotations et des connaissances. Un système de publication prenant en compte les contraintes de support Problème : cohabitation de trois langages différents pour l’indexation et la publication un système trop complexe perte d’information entre les étapes : complexité écriture de règles Refonte du système pour l’utilisation du langage OWL/RDFS/RDF tout au long de la chaîne Interopérabilité avec bases de connaissances externes