Traces/ numériques / explicites  Yannick PriéUniversité Lyon 1LIRIS UMR5205
ObjectifsDonner des éléments de caractérisation des traces et de leur utilisationProposer quelques définitions Présenter quelques travaux autour de l’approche des Systèmes à Base de Traces Modélisées
Plan TracesTraces numériquesTraces numériques explicites pour utilisateurs conscients
Traces comme indices / signesDéfinir une trace en tant que telle est impossible« Génitif intrinsèque » (Serres)Interprétation, significationAbstractionIndice d’événements Questions de causalité / indicesTrace de processusSuite d’événementsComposition d’indices(indice plutôt isolé vs trace plutôt composée)
Interprétation de traces et activitéL’interprétation est impliquée dans une activitéArticulation consciente de la trace à l’activitéExpérimentationEnquêteRéflexivitéArticulation inconscienteSignification immédiateRéflexion en action (Schön)
Traces et constitution d’un rapport au tempsConstruction du passéJuste passéPassé personnel Passé communConstruction du futurprise de conscience et transformation de l’activité et de soi-mêmeNarration et récit
Bilan intermédiaireDéfinition généraleLa trace est une inscription-signe utilisée au cours d’une activité dans laquelle cette signification est mobilisée, ce qui implique une interprétationFocalisation : trace = signe du passéLa trace est inscription-signe d’un événement ou d’un processus passé utilisée au cours d’une activité dans laquelle cette signification est mobilisée, ce qui implique une interprétation
Plan TracesTraces numériquesTraces numériques explicites pour utilisateurs conscients
Traces et numériqueLe numérique est fondé sur la notion de trace, tout processus numérique utilise des traces et produit des tracesDans le numérique, tout est donc signe, au moins du ou des processus qui en sont à l’origineUn monde d’indices à interpréterPropositionsPenser l’interprétation instrumentée comme structuration spatio-temporelle d’indices Considérer une double interprétation
Structuration spatio-temporelle d’indices numériquesInterprétation de traces numériquesProcessus d’organisation, de transformation d’éléments numériques quelconquesspatial : structurationtemporel : temporalisationRésultatnouveaux éléments numériques signifiants
Double interprétation  1- Interprétation liée aux processus numériquesInterpréter d’abord les indices comme traces de processus informatiques, de calculInterprétation automatisée d’indicesdéfinition de processus à partir des relations séquentielles ou chronologiquesreconstruction de processus quelconqueinterprétation informée par la connaissance de caractéristiques d’un processus / programme, expertFabrication de nouveaux indices signes de causes extérieures au numériqueinterprétation « à la limite » numériqueinterprétation cohérente avec la formalité numérique
Double interprétation  2- Interprétation liée aux processus ayant mis en jeu les processus numériquesInterpréter ensuite ces indices comme traces de processus qui ont pu se dérouler en dehors du monde numériqueprocessus physiques, biologiques, humains, sociaux, etc.avec le monde numériqueactivité médiéeInterprétation arbitraire par rapport au numériqueInterprétation de processus mondainsInterprétation de processus calculatoires
Interprétation humaine de traces numériquesObligatoirement instrumentéeDirecteà partir de la présentation d’indice(s) plus ou moins calculéeInteractiveorganisation/transformation manuelle interactive en nouveaux indicesassisté par des processus automatiquesrequêtes, transformations, visualisationassistance possible par des modèles sur les processus visésStructuration automatique machiniqueStructuration interactive humaine
Structuration interactive comme tissage d’indicesMise en texte au sens large : tableau, groupement, texte écritObjectification éphémère ou durable de la traceNarration, séquentialisation, temporalisation
BilanDeux types d’objets de l’activité d’interprétationDeux types d’outils pour l’interprétation considérée comme structurationStructuration interactiveStructuration automatiqueInterprétation de processus mondainsInterprétation de processus calculatoires
Exemple 1 : données météoTracesdonnées de température dans une base de données Structuration automatiquelissage + présentation sur une carteInterprétation processus mondainil fait chaud à Toulouse
Exemple 2 : données d’exécutionTraceslogs d’un systèmeStructuration automatiquedétection d’un problèmeInterprétation processus calculatoireerreur dans le code
Exemple 3 : vidéoTracesinformations audio-visuellesStructuration automatiqueprésentation de la vidéo comme objet détection de visagesStructuration interactiveexpérience de la vidéo en train de se jouer, arrêt sur image, déplacementvalidation des visages proposésconstruction d’une structure d’annotationInterprétation de processus mondaintelle personne a fait telle actionla séance s’est bien passée
Exemple 4 : traces de conduiteTracesvitesse, angle volant, position, vidéofixations regards (issus d’une interprétation préalable)Structuration automatiqueaccélération, tour volant, etc.présentation dans une timeline Structuration interactivemarquage d’un « dépassement » de t1 à t2requêtage et affichagee.g. « tour volant > 30 ET regard rétro gauche »Interprétation de processus mondainmodèles de conduite
Le cas de l’activité médiéeProcessus visé = activité qui prend appui sur des inscriptions numériques et des outils numériquesL’outil numérique supporte l’activitéLes indices-inscriptions sont (plus) directement interprétables dans les termes de l’activitéInstrumentation possible d’une interprétation automatique de processus calculatoire Préparation d’un environnement d’inscription de tracesConséquences possibles sur l’activitéRéflexivité : indicateurs, historique, contextualisationAssistance
Exemple 5 : indicateursTracesmessages sur un chatStructuration automatiqueconstruction d’un pourcentage de participationInterprétation de processus mondainEtienne ne participe pas assezJe n’étais pas très impliqué
Exemple 6 : historiqueTraceslogs serveur webStructuration automatiqueconstruction d’indices de navigation, e.g.  Recherche d’information, Achat en ligne, Traitement courrierprésentation en timelineInterprétation de processus mondainEtienne traite son courrier en général le matinQu’est-ce que j’ai bien pu faire lundi ?
Exemple 7 : annotation de l’activité avec des marqueursStructuration automatiqueGestion du marquage temporelPrésentation temporalisée de marqueursStructuration interactivePose de marqueurs, modificationInterprétation de processus mondainJe commence telle tâcheIl faudra envoyer un mail à Marie plus tard
Structuration interactiveStructuration automatiqueInterprétation de processus calculatoiresStructuration interactiveStructuration automatiqueInterprétation de processus mondains(Interprétation formalisée de processus calculatoires)Bilan : deux cas principaux
Bouger les curseursPar principe, tout élément informatique est atteignable, manipulable, structurablepeut participer à une sémioseen tant que signe de processus numérique réel ou reconstruit en tant que signe « à la limite » de processus mondainspeut participer à un activité de structurationEvolution d’un système tracéévolution de la séparation automatique / interactifpar automatisation de schémas de structuration interactivepar abandon de modes de structuration automatiquechangement des processus numériques eux-mêmespour prendre en compte / optimiser l’évolution de la structuration automatique
Bilan intermédiaireTrace numériqueInscription numérique composée d’un ou de plusieurs éléments numériques, interprétée comme signe d’un événement ou d’un processus numérique ou mondain au cours d’une activité instrumentée dans laquelle cette signification est mobilisée Trace numérique d’activité médiéeInscription numérique composée d’un ou de plusieurs éléments numériques, interprétée comme signe d’une activité médiéeau cours d’une activité instrumentée dans laquelle cette signification est mobilisée en analyse ou en réflexivité
Plan TracesTraces numériquesTraces numériques explicites pour utilisateurs conscients
Trace numérique explicite d’activité médiéeTrace qui se présente explicitement comme une trace d’un processus, qui s’appréhende comme une tracetemporalisation explicite d’éléments signifiants interprétables en lien avec l’activité Pas forcément facile à interpréter !Utilisateur conscienttrace des autres (analyse)ou de soi-même (réflexivité)
Utilisations des traces explicitesAnalyse de traces passées Construction d’interprétation scientifiqueContextualisation de ressources partagéesPartage et redocumentation d’activitéAnalyse instantanée MonitoringPrévisionRétrospection : historiques Recherche d’information Développement : appropriation, métacognitionPartage et redocumentationContextualisation de ressourceRéflexivité instantanée : indicesTraces instantanées, awareness, undo, marqueursMémoire prospectiveAnalyseRéflexivité
Problématiques applicativesTechnologie intellectuelle visant à permettre l’interprétation d’une trace numérique d’activitéDispositif interactif de présentation, de navigation et d’interprétation d’une trace explicite d’une activité instrumentée Intégration dans une activité d’analyseinterprétation/ partageTechnologie intellectuelle visant à permettre l’interprétation d’une trace numérique de sa propre activité Dispositif interactif de présentation, de navigation et d’interprétation d’une trace explicite de son activité instrumentée Intégration pour une expérience complète activité + réflexivitéAppropriabilitéde la traceconstruction de son expérience passéeAnalyseRéflexivité
Challenges Représentation des traces numériquesmodèles de tracesOpérationnalisation de la structuration automatiquetransformations et modèles de transformationVisualisation et interaction pour l’interprétation (structuration interactive)timelines ou autresConception de systèmesméthodologieEthique principes
Ethique et confidentialité Principe : un utilisateurest propriétaire de ses tracespeut contrôler la collecte (débrayage complet, débrayage partiel)contrôle la diffusion et le partage de ses tracesMoyennotification du traçageretour instantané (léger) sur ce qui est tracéoutil(s) d’interprétation de trace
Traces modéliséesUne trace contient des obsels (observedelement)temporellement situést : obsel instantanét1, t2 : obsel duratifavec un contenuattributs / valeurs Deux obsels peuvent être mis en relationUn obsel a un type
Traces modélisées (2)Modèle de trace : ensemble de types d’obselstypes de relationTrace modélisée : association d’un ensemble d’obsels et de relations et d’un modèle de trace
Traces et transformations (1)Passage d’une trace modélisée à une autre trace modéliséeAbstraction
Traces et transformations (2)Transformation de tracessélection, réécriture, fusionTrace premièretrace non transforméeTransformations automatiquesModèles de transformation = descriptions formelles de transformationsTransformations manuellesGraphe des transformationstraçabilité des transformations
Systèmes à base de tracesCollecte des tracesConservation des traces base de tracesTransformation de traces assurer l’interprétabilitéOutils d’exploitation des traces – notamment visualisation interactive assurer la visibilité et l’appropriabilité(Settouti, 2011)
Systèmes à Base de Traces
Exemple global : VisuProjet ANR  ITHACA (Lyon 1, Lyon 2, TECFA)Interactive Traces for Humain Awareness and Collaborative AnnotationApplication Visu : tutorat en ligneActeurs responsable de formationtuteursapprenantsFonctionnement séances de tutorat synchroneretour sur l’activité asynchrone
Visu : salon synchroneSalon synchrone Visioconférence + chat + plan de séance + documents de séance + zone de marquage + timeline de présentation des tracesTraces d’activitéTrace des interactionsTrace de marquageTraces audio-vidéo
Visu : salon de rétrospectionSalon de rétrospectionPlayer audiovidéoTimelinesynchroniséeTraces personnellesTraces partagéesCommentairesAnnotation de l’activité a posterioriTransformation manuelle des tracesTrace d’activitéTrace de l’utilisation (pour l’analyse)
Visu : gestion de bilansModule de documentarisation de tracesConstruction de fragments documentairesModule de visualisation de bilansTexte + vidéo
Autres travauxPartage de traces, traces collectivesReprise d’activité lointaine ou proche à base de tracesDocumentarisation textuelle semi-automatiqueConstruction interactive de transformationsTimelines et présentation de tracesRaisonnement à Partir de l’Expérience Tracée Transformation = inférence Fouille interactive de tracesTransformationsModèles d’activité…
Méthodologie(Laflaquière, 2009)
Méthodologie
ConclusionIndice / traceInterprétation comme structuration spatio-temporelle d’indices automatique et interactive Interprétation de processus calculatoires puis mondainsTraces explicites et utilisateurs conscientsanalyse / réflexivitéSystèmes à base de traces modéliséesTraces explicites pour la réflexivité
RemerciementsEquipe SILEX

Traces numeriques explicites

  • 1.
    Traces/ numériques /explicites  Yannick PriéUniversité Lyon 1LIRIS UMR5205
  • 2.
    ObjectifsDonner des élémentsde caractérisation des traces et de leur utilisationProposer quelques définitions Présenter quelques travaux autour de l’approche des Systèmes à Base de Traces Modélisées
  • 3.
    Plan TracesTraces numériquesTracesnumériques explicites pour utilisateurs conscients
  • 4.
    Traces comme indices/ signesDéfinir une trace en tant que telle est impossible« Génitif intrinsèque » (Serres)Interprétation, significationAbstractionIndice d’événements Questions de causalité / indicesTrace de processusSuite d’événementsComposition d’indices(indice plutôt isolé vs trace plutôt composée)
  • 5.
    Interprétation de traceset activitéL’interprétation est impliquée dans une activitéArticulation consciente de la trace à l’activitéExpérimentationEnquêteRéflexivitéArticulation inconscienteSignification immédiateRéflexion en action (Schön)
  • 6.
    Traces et constitutiond’un rapport au tempsConstruction du passéJuste passéPassé personnel Passé communConstruction du futurprise de conscience et transformation de l’activité et de soi-mêmeNarration et récit
  • 7.
    Bilan intermédiaireDéfinition généraleLatrace est une inscription-signe utilisée au cours d’une activité dans laquelle cette signification est mobilisée, ce qui implique une interprétationFocalisation : trace = signe du passéLa trace est inscription-signe d’un événement ou d’un processus passé utilisée au cours d’une activité dans laquelle cette signification est mobilisée, ce qui implique une interprétation
  • 8.
    Plan TracesTraces numériquesTracesnumériques explicites pour utilisateurs conscients
  • 9.
    Traces et numériqueLenumérique est fondé sur la notion de trace, tout processus numérique utilise des traces et produit des tracesDans le numérique, tout est donc signe, au moins du ou des processus qui en sont à l’origineUn monde d’indices à interpréterPropositionsPenser l’interprétation instrumentée comme structuration spatio-temporelle d’indices Considérer une double interprétation
  • 10.
    Structuration spatio-temporelle d’indicesnumériquesInterprétation de traces numériquesProcessus d’organisation, de transformation d’éléments numériques quelconquesspatial : structurationtemporel : temporalisationRésultatnouveaux éléments numériques signifiants
  • 11.
    Double interprétation 1- Interprétation liée aux processus numériquesInterpréter d’abord les indices comme traces de processus informatiques, de calculInterprétation automatisée d’indicesdéfinition de processus à partir des relations séquentielles ou chronologiquesreconstruction de processus quelconqueinterprétation informée par la connaissance de caractéristiques d’un processus / programme, expertFabrication de nouveaux indices signes de causes extérieures au numériqueinterprétation « à la limite » numériqueinterprétation cohérente avec la formalité numérique
  • 12.
    Double interprétation 2- Interprétation liée aux processus ayant mis en jeu les processus numériquesInterpréter ensuite ces indices comme traces de processus qui ont pu se dérouler en dehors du monde numériqueprocessus physiques, biologiques, humains, sociaux, etc.avec le monde numériqueactivité médiéeInterprétation arbitraire par rapport au numériqueInterprétation de processus mondainsInterprétation de processus calculatoires
  • 13.
    Interprétation humaine detraces numériquesObligatoirement instrumentéeDirecteà partir de la présentation d’indice(s) plus ou moins calculéeInteractiveorganisation/transformation manuelle interactive en nouveaux indicesassisté par des processus automatiquesrequêtes, transformations, visualisationassistance possible par des modèles sur les processus visésStructuration automatique machiniqueStructuration interactive humaine
  • 14.
    Structuration interactive commetissage d’indicesMise en texte au sens large : tableau, groupement, texte écritObjectification éphémère ou durable de la traceNarration, séquentialisation, temporalisation
  • 15.
    BilanDeux types d’objetsde l’activité d’interprétationDeux types d’outils pour l’interprétation considérée comme structurationStructuration interactiveStructuration automatiqueInterprétation de processus mondainsInterprétation de processus calculatoires
  • 16.
    Exemple 1 :données météoTracesdonnées de température dans une base de données Structuration automatiquelissage + présentation sur une carteInterprétation processus mondainil fait chaud à Toulouse
  • 17.
    Exemple 2 :données d’exécutionTraceslogs d’un systèmeStructuration automatiquedétection d’un problèmeInterprétation processus calculatoireerreur dans le code
  • 18.
    Exemple 3 :vidéoTracesinformations audio-visuellesStructuration automatiqueprésentation de la vidéo comme objet détection de visagesStructuration interactiveexpérience de la vidéo en train de se jouer, arrêt sur image, déplacementvalidation des visages proposésconstruction d’une structure d’annotationInterprétation de processus mondaintelle personne a fait telle actionla séance s’est bien passée
  • 19.
    Exemple 4 :traces de conduiteTracesvitesse, angle volant, position, vidéofixations regards (issus d’une interprétation préalable)Structuration automatiqueaccélération, tour volant, etc.présentation dans une timeline Structuration interactivemarquage d’un « dépassement » de t1 à t2requêtage et affichagee.g. « tour volant > 30 ET regard rétro gauche »Interprétation de processus mondainmodèles de conduite
  • 20.
    Le cas del’activité médiéeProcessus visé = activité qui prend appui sur des inscriptions numériques et des outils numériquesL’outil numérique supporte l’activitéLes indices-inscriptions sont (plus) directement interprétables dans les termes de l’activitéInstrumentation possible d’une interprétation automatique de processus calculatoire Préparation d’un environnement d’inscription de tracesConséquences possibles sur l’activitéRéflexivité : indicateurs, historique, contextualisationAssistance
  • 21.
    Exemple 5 :indicateursTracesmessages sur un chatStructuration automatiqueconstruction d’un pourcentage de participationInterprétation de processus mondainEtienne ne participe pas assezJe n’étais pas très impliqué
  • 22.
    Exemple 6 :historiqueTraceslogs serveur webStructuration automatiqueconstruction d’indices de navigation, e.g. Recherche d’information, Achat en ligne, Traitement courrierprésentation en timelineInterprétation de processus mondainEtienne traite son courrier en général le matinQu’est-ce que j’ai bien pu faire lundi ?
  • 23.
    Exemple 7 :annotation de l’activité avec des marqueursStructuration automatiqueGestion du marquage temporelPrésentation temporalisée de marqueursStructuration interactivePose de marqueurs, modificationInterprétation de processus mondainJe commence telle tâcheIl faudra envoyer un mail à Marie plus tard
  • 24.
    Structuration interactiveStructuration automatiqueInterprétationde processus calculatoiresStructuration interactiveStructuration automatiqueInterprétation de processus mondains(Interprétation formalisée de processus calculatoires)Bilan : deux cas principaux
  • 25.
    Bouger les curseursParprincipe, tout élément informatique est atteignable, manipulable, structurablepeut participer à une sémioseen tant que signe de processus numérique réel ou reconstruit en tant que signe « à la limite » de processus mondainspeut participer à un activité de structurationEvolution d’un système tracéévolution de la séparation automatique / interactifpar automatisation de schémas de structuration interactivepar abandon de modes de structuration automatiquechangement des processus numériques eux-mêmespour prendre en compte / optimiser l’évolution de la structuration automatique
  • 26.
    Bilan intermédiaireTrace numériqueInscriptionnumérique composée d’un ou de plusieurs éléments numériques, interprétée comme signe d’un événement ou d’un processus numérique ou mondain au cours d’une activité instrumentée dans laquelle cette signification est mobilisée Trace numérique d’activité médiéeInscription numérique composée d’un ou de plusieurs éléments numériques, interprétée comme signe d’une activité médiéeau cours d’une activité instrumentée dans laquelle cette signification est mobilisée en analyse ou en réflexivité
  • 27.
    Plan TracesTraces numériquesTracesnumériques explicites pour utilisateurs conscients
  • 28.
    Trace numérique explicited’activité médiéeTrace qui se présente explicitement comme une trace d’un processus, qui s’appréhende comme une tracetemporalisation explicite d’éléments signifiants interprétables en lien avec l’activité Pas forcément facile à interpréter !Utilisateur conscienttrace des autres (analyse)ou de soi-même (réflexivité)
  • 29.
    Utilisations des tracesexplicitesAnalyse de traces passées Construction d’interprétation scientifiqueContextualisation de ressources partagéesPartage et redocumentation d’activitéAnalyse instantanée MonitoringPrévisionRétrospection : historiques Recherche d’information Développement : appropriation, métacognitionPartage et redocumentationContextualisation de ressourceRéflexivité instantanée : indicesTraces instantanées, awareness, undo, marqueursMémoire prospectiveAnalyseRéflexivité
  • 30.
    Problématiques applicativesTechnologie intellectuellevisant à permettre l’interprétation d’une trace numérique d’activitéDispositif interactif de présentation, de navigation et d’interprétation d’une trace explicite d’une activité instrumentée Intégration dans une activité d’analyseinterprétation/ partageTechnologie intellectuelle visant à permettre l’interprétation d’une trace numérique de sa propre activité Dispositif interactif de présentation, de navigation et d’interprétation d’une trace explicite de son activité instrumentée Intégration pour une expérience complète activité + réflexivitéAppropriabilitéde la traceconstruction de son expérience passéeAnalyseRéflexivité
  • 31.
    Challenges Représentation destraces numériquesmodèles de tracesOpérationnalisation de la structuration automatiquetransformations et modèles de transformationVisualisation et interaction pour l’interprétation (structuration interactive)timelines ou autresConception de systèmesméthodologieEthique principes
  • 32.
    Ethique et confidentialitéPrincipe : un utilisateurest propriétaire de ses tracespeut contrôler la collecte (débrayage complet, débrayage partiel)contrôle la diffusion et le partage de ses tracesMoyennotification du traçageretour instantané (léger) sur ce qui est tracéoutil(s) d’interprétation de trace
  • 33.
    Traces modéliséesUne tracecontient des obsels (observedelement)temporellement situést : obsel instantanét1, t2 : obsel duratifavec un contenuattributs / valeurs Deux obsels peuvent être mis en relationUn obsel a un type
  • 34.
    Traces modélisées (2)Modèlede trace : ensemble de types d’obselstypes de relationTrace modélisée : association d’un ensemble d’obsels et de relations et d’un modèle de trace
  • 35.
    Traces et transformations(1)Passage d’une trace modélisée à une autre trace modéliséeAbstraction
  • 36.
    Traces et transformations(2)Transformation de tracessélection, réécriture, fusionTrace premièretrace non transforméeTransformations automatiquesModèles de transformation = descriptions formelles de transformationsTransformations manuellesGraphe des transformationstraçabilité des transformations
  • 37.
    Systèmes à basede tracesCollecte des tracesConservation des traces base de tracesTransformation de traces assurer l’interprétabilitéOutils d’exploitation des traces – notamment visualisation interactive assurer la visibilité et l’appropriabilité(Settouti, 2011)
  • 38.
  • 39.
    Exemple global :VisuProjet ANR ITHACA (Lyon 1, Lyon 2, TECFA)Interactive Traces for Humain Awareness and Collaborative AnnotationApplication Visu : tutorat en ligneActeurs responsable de formationtuteursapprenantsFonctionnement séances de tutorat synchroneretour sur l’activité asynchrone
  • 40.
    Visu : salonsynchroneSalon synchrone Visioconférence + chat + plan de séance + documents de séance + zone de marquage + timeline de présentation des tracesTraces d’activitéTrace des interactionsTrace de marquageTraces audio-vidéo
  • 42.
    Visu : salonde rétrospectionSalon de rétrospectionPlayer audiovidéoTimelinesynchroniséeTraces personnellesTraces partagéesCommentairesAnnotation de l’activité a posterioriTransformation manuelle des tracesTrace d’activitéTrace de l’utilisation (pour l’analyse)
  • 44.
    Visu : gestionde bilansModule de documentarisation de tracesConstruction de fragments documentairesModule de visualisation de bilansTexte + vidéo
  • 47.
    Autres travauxPartage detraces, traces collectivesReprise d’activité lointaine ou proche à base de tracesDocumentarisation textuelle semi-automatiqueConstruction interactive de transformationsTimelines et présentation de tracesRaisonnement à Partir de l’Expérience Tracée Transformation = inférence Fouille interactive de tracesTransformationsModèles d’activité…
  • 48.
  • 49.
  • 50.
    ConclusionIndice / traceInterprétationcomme structuration spatio-temporelle d’indices automatique et interactive Interprétation de processus calculatoires puis mondainsTraces explicites et utilisateurs conscientsanalyse / réflexivitéSystèmes à base de traces modéliséesTraces explicites pour la réflexivité
  • 51.