Microblogging et observations :
Conception d’une plateforme Web
                    Présenté par Thibaut PLANCQ
          le 05-11-2010 aux rencontres Qualiméditerranées



                                                                       Nom du projet : SensorTweb
                                                                       Organisme d’accueil : Société 3LIZ
                                                                       Maître de stage : René-Luc D’Hont
   Source de l’image en fond : InternetACTU.net, http://www.internetactu.net/2007/09/28/comprendre-le-graphe-social
Introduction




05-11-2010   Thibaut Plancq - Microblogging et observations : Projet SensorTweb   2
Introduction



                 Recherche et partage de données


   •     Gros volume de données

   •     De nombreux producteurs de données

   •     Dispersion des données

   •     Spécifications SWE, directive INSPIRE

   •     Complexité des normes




05-11-2010             Thibaut Plancq - Microblogging et observations : Projet SensorTweb   3
Introduction



                Essor des médias sociaux


             Vidéos                                                     Scalaires




                      Photos                             Localisations




05-11-2010       Thibaut Plancq - Microblogging et observations : Projet SensorTweb   4
Introduction



                Les points forts du microblogging


   • Multi-support

   • 300 000 applications, 150 millions d’utilisateurs

   • Facilité d’utilisation

   • Géolocalisation intégrée




05-11-2010             Thibaut Plancq - Microblogging et observations : Projet SensorTweb   5
Introduction




                              La problématique



                     En quoi le microblogging peut-il permettre

             la mise en réseau et le partage de données d’observations?




05-11-2010               Thibaut Plancq - Microblogging et observations : Projet SensorTweb   6
Adaptabilité du microblogging au domaine
                    des observations




05-11-2010      Thibaut Plancq - Microblogging et observations : Projet SensorTweb   7
Adaptabilité du microblogging au domaine des observations



             Besoins dans le domaine des observations

   •    Publication et diffusion de données

   •    Accès aux données

   •    Découverte de procédures (par variable, date, localisation)

   •    Gestion de droits d’accès aux observations

   •    Envoi de commandes à certains capteurs

   •    Ajout de commentaires

   •    Réception de données en temps réel

   •    Génération d’alertes et souscription

   •    Respect de spécifications

05-11-2010               Thibaut Plancq - Microblogging et observations : Projet SensorTweb   8
Adaptabilité du microblogging au domaine des observations




   • Messages de 140 caractères


   • Notion d’abonnement
                           Agent_B                                                  Agent_A


                                                                                2             2

                 Agent_A             Agent_C

                                                                           @Agent_A



                           Agent_D


   • Messages directs privés

   • Réponses , mentions @ , favoris, retweets


05-11-2010            Thibaut Plancq - Microblogging et observations : Projet SensorTweb          9
Adaptabilité du microblogging au domaine des observations




                                        Twitter
                                                                                             Agent_A
   • Comptes privés/publics
                                                                                         2             2



                                                                                  @Agent_A

   • Gestion de listes



   • Recherche d’agents
                                                                                  Amis

                                                                                  Mes_capteurs

   • Recherche de messages                                                        @SYMBO/
                                                                                  Mes_capteurs




05-11-2010            Thibaut Plancq - Microblogging et observations : Projet SensorTweb                   10
Adaptabilité du microblogging au domaine des observations



                           Les capteurs sur Twitter




                                   Valeur
     Propriété observée                            Unité




                                                   Localisation                      Objet d’étude
                                Date




05-11-2010                Thibaut Plancq - Microblogging et observations : Projet SensorTweb         11
Adaptabilité du microblogging au domaine des observations



                                 Les métadonnées




             Métadonnées
     Propriété observée  temperature
                                                       Valeur                   Date de mesure
     Unité  °C
     Localisation  Prague
                                                               9.2 2010-09-30
     Objet d’étude  Weather


                                                                       Date de publication



05-11-2010               Thibaut Plancq - Microblogging et observations : Projet SensorTweb      12
Adaptabilité du microblogging au domaine des observations



                                      Les métadonnées

   •    Métadonnées  Données avec date de début et de fin d’application

   •    Evolution des métadonnées

   •    Publication comme un flux  Historique des métadonnées

              Mise en place d’agents de métadonnées
                 Station météorologique 1                        Bilans météorologiques

                  Direction du vent                              Direction du vent
                  Vitesse du vent                                Vitesse du vent


                  Métadonnées de la station                      Métadonnées de la station météorologique 1

                   Température                                   Température



05-11-2010                   Thibaut Plancq - Microblogging et observations : Projet SensorTweb               13
Adaptabilité du microblogging au domaine des observations



             Besoins dans le domaine des observations

   •    Publication et diffusion de données

   •    Accès aux données

   •    Découverte de procédures (par variable, date, localisation)

   •    Gestion de droits d’accès aux observations

   •    Envoi de commandes à certains capteurs

   •    Ajout de commentaires

   •    Réception de données en temps réel

   •    Génération d’alertes et souscription

   •    Respect de spécifications

05-11-2010               Thibaut Plancq - Microblogging et observations : Projet SensorTweb   14
Adaptabilité du microblogging au domaine des observations



                           GeoRSS et API Twitter

         Format des données : GeoRSS                         Accès aux données : API Twitter
                                                       Timelines
                                                       Messages
                                                       Agents
                                                       Listes
                                                       Messages directs
                                                       Abonnements
                                                       Graphes sociaux
                                                       Favoris
                                                       Blocages
                                                       Rapport de spams
                                                       Recherches sauvegardées
                                                       Tendances
                                                       Géolocalisation


05-11-2010              Thibaut Plancq - Microblogging et observations : Projet SensorTweb     15
Adaptabilité du microblogging au domaine des observations



                                                  Gestion de flux de données


Sources de
 données                                                    SensorTweb                                                            Flux de sortie

                   Station météorologique 1                                                                             Bilans météorologiques

                     Direction du vent
                     Vitesse du vent                                                                                    Direction du vent
                                                                                                                        + Vitesse du vent
                                                                                                                        + Métadonnées de la station météorologique
                     Métadonnées de la station                                                                          + Température

                      Température


                                                                                                                        Température de la station 1
                                                                                                                        + Température de la station 2
                   Station météorologique 2

                      Température
                                                                                                                                    Traitements




                 Température moyenne (stations 1 et 2)                                                                  Température moyenne sur les stations 1 et 2

                  Alertes température (stations 1 et 2)                                                                 Alertes




    05-11-2010                                            Thibaut Plancq - Microblogging et observations : Projet SensorTweb                                   16
Adaptabilité du microblogging au domaine des observations



             Besoins dans le domaine des observations

   •    Publication et diffusion de données

   •    Accès aux données

   •    Découverte de procédures (par variable, date, localisation)

   •    Gestion de droits d’accès aux observations

   •    Envoi de commandes à certains capteurs

   •    Ajout de commentaires

   •    Réception de données en temps réel

   •    Génération d’alertes et souscription

   •    Respect de spécifications

05-11-2010               Thibaut Plancq - Microblogging et observations : Projet SensorTweb   17
Adaptabilité du microblogging au domaine des observations



                                         Temps réel

   •   Schéma classique (non temps réel)
                                                                              Abonné

                                                        1
               Editeur     2                            3
                                                                                  Abonné


                                                                                       Abonné




   •   Le protocole PubSubHub
                                                                              Abonné

                                                    2
               Editeur              1
                                                  Hub                3            Abonné


                                                                                       Abonné




05-11-2010               Thibaut Plancq - Microblogging et observations : Projet SensorTweb     18
Adaptabilité du microblogging au domaine des observations



                                          Temps réel

   •   Le streaming
                                                       1
                                                                                   Abonné
                Editeur     2
                                                                             3
                                               Flux continu
                                                                                      Abonné




              Génération d’alertes en temps réel




05-11-2010                Thibaut Plancq - Microblogging et observations : Projet SensorTweb   19
Adaptabilité du microblogging au domaine des observations



                                 Respect de spécifications

   •    Spécifications SWE de l’OGC :
              Diversité des procédures
              Métadonnées  Syntaxe particulière dans les messages

    Métadonnées s’appliquant aux procédures                              Métadonnées s’appliquant aux mesures
  Nom de la procédure                                                 Position
  Description détaillée de la procédure                               Date de mesure
  Classes d’appartenance de la procédure                              Objet d’étude et sa géométrie
  Personne(s) ou organisme(s) responsable(s)                          Grandeur(s) physique(s) observée(s)
  Document(s) associés                                                Unité de mesure
  Plage de mesure                                                     Qualité de la mesure
  Précision                                                           Commentaires associés
  Domaine de fonctionnement (Emprise spatiale, intervalle de          …
  température,…)
  …



                      Ex : $contact:organizationName #SYMBO 2010-01-01


05-11-2010                       Thibaut Plancq - Microblogging et observations : Projet SensorTweb         20
Adaptabilité du microblogging au domaine des observations



             Besoins dans le domaine des observations

   •    Publication et diffusion de données

   •    Accès aux données

   •    Découverte de procédures (par variable, date, localisation)

   •    Gestion de droits d’accès aux observations

   •    Envoi de commandes à certains capteurs

   •    Ajout de commentaires

   •    Réception de données en temps réel

   •    Génération d’alertes et souscription

   •    Respect de spécifications

05-11-2010               Thibaut Plancq - Microblogging et observations : Projet SensorTweb   21
Conclusion




05-11-2010   Thibaut Plancq - Microblogging et observations : Projet SensorTweb   22
Conclusion



                Les points forts du microblogging


   • Multi-support

   • 300 000 applications, 150 millions d’utilisateurs

   • Facilité d’utilisation

   • Géolocalisation intégrée

   • Flexibilité

   • Collaboratif

   • Temps réel

   • GeoRSS, TwitterAPI

05-11-2010             Thibaut Plancq - Microblogging et observations : Projet SensorTweb   23
Conclusion


             Une solution adaptable au domaine des
                          observations

   • Répond aux besoins dans le domaine des observations

   • Intermédiaire entre les données brutes et leurs mises en forme

   • Appropriation des données

   • Liberté d’utilisation

   • Nœud de gestion de données




05-11-2010            Thibaut Plancq - Microblogging et observations : Projet SensorTweb   24
Conclusion



                                                Un Bus de communication


                                                                                       API
                                                     Donn                                                                                                                              Applications
                                                           ées b                                                                                                                   s
                                                                r utes                                                                                                         née
                                                                                                                                                                           don
                                                                                                                         Adaptateur                                    éta
                                                                                                                                                                     um
                                                                                        SensorTweb                            SensorML/O&M                       et/o
                    BDD                                                                                                                                     es
                                  Donn                                                                                                                   nné
                                       ée  s et/o                                                                       KML
                                                                                                                                   geoRSS         Do
                                                 u méta
           Applications                                      donné                                                                    JSON
                                                                  es
                                 Donné                                                                                  CSV
                                      es et/o                                                                                      Shapefile




                                                                                             Données + métadonnées
                                             u méta
                                                            donnée
                                                                      s


                          Données et/ou métadonnées                                                                        Données et/ou métadonnées

                               Médias sociaux
                                                                                                                                                                                                      Applications
                             Vidéos         Photos
Applications
                                                                                                                     Applications
                                                                                t/ou                                    Web
                                                                           es e                                                   Do   nné
                           Localisations   Scalaires                  nné nnées
                                                                    Do do                                                                 es e
                                                                         a                                                                    t  /ou
                                                                     mét                                                                             m    éta
                                                                                                                                               HTM           don
                                                                                                                                                     L             née
                                                                                                                                                                      s
                               Applications          Projets collaboratifs
                                  Web




   05-11-2010                                        Thibaut Plancq - Microblogging et observations : Projet SensorTweb                                                                               25
Merci de votre attention




05-11-2010    Thibaut Plancq - Microblogging et observations : Projet SensorTweb   26

Médias sociaux et observations : Conception d'une plateforme Web

  • 1.
    Microblogging et observations: Conception d’une plateforme Web Présenté par Thibaut PLANCQ le 05-11-2010 aux rencontres Qualiméditerranées Nom du projet : SensorTweb Organisme d’accueil : Société 3LIZ Maître de stage : René-Luc D’Hont Source de l’image en fond : InternetACTU.net, http://www.internetactu.net/2007/09/28/comprendre-le-graphe-social
  • 2.
    Introduction 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 2
  • 3.
    Introduction Recherche et partage de données • Gros volume de données • De nombreux producteurs de données • Dispersion des données • Spécifications SWE, directive INSPIRE • Complexité des normes 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 3
  • 4.
    Introduction Essor des médias sociaux Vidéos Scalaires Photos Localisations 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 4
  • 5.
    Introduction Les points forts du microblogging • Multi-support • 300 000 applications, 150 millions d’utilisateurs • Facilité d’utilisation • Géolocalisation intégrée 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 5
  • 6.
    Introduction La problématique En quoi le microblogging peut-il permettre la mise en réseau et le partage de données d’observations? 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 6
  • 7.
    Adaptabilité du microbloggingau domaine des observations 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 7
  • 8.
    Adaptabilité du microbloggingau domaine des observations Besoins dans le domaine des observations • Publication et diffusion de données • Accès aux données • Découverte de procédures (par variable, date, localisation) • Gestion de droits d’accès aux observations • Envoi de commandes à certains capteurs • Ajout de commentaires • Réception de données en temps réel • Génération d’alertes et souscription • Respect de spécifications 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 8
  • 9.
    Adaptabilité du microbloggingau domaine des observations • Messages de 140 caractères • Notion d’abonnement Agent_B Agent_A 2 2 Agent_A Agent_C @Agent_A Agent_D • Messages directs privés • Réponses , mentions @ , favoris, retweets 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 9
  • 10.
    Adaptabilité du microbloggingau domaine des observations Twitter Agent_A • Comptes privés/publics 2 2 @Agent_A • Gestion de listes • Recherche d’agents Amis Mes_capteurs • Recherche de messages @SYMBO/ Mes_capteurs 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 10
  • 11.
    Adaptabilité du microbloggingau domaine des observations Les capteurs sur Twitter Valeur Propriété observée Unité Localisation Objet d’étude Date 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 11
  • 12.
    Adaptabilité du microbloggingau domaine des observations Les métadonnées Métadonnées Propriété observée  temperature Valeur Date de mesure Unité  °C Localisation  Prague 9.2 2010-09-30 Objet d’étude  Weather Date de publication 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 12
  • 13.
    Adaptabilité du microbloggingau domaine des observations Les métadonnées • Métadonnées  Données avec date de début et de fin d’application • Evolution des métadonnées • Publication comme un flux  Historique des métadonnées  Mise en place d’agents de métadonnées Station météorologique 1 Bilans météorologiques Direction du vent Direction du vent Vitesse du vent Vitesse du vent Métadonnées de la station Métadonnées de la station météorologique 1 Température Température 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 13
  • 14.
    Adaptabilité du microbloggingau domaine des observations Besoins dans le domaine des observations • Publication et diffusion de données • Accès aux données • Découverte de procédures (par variable, date, localisation) • Gestion de droits d’accès aux observations • Envoi de commandes à certains capteurs • Ajout de commentaires • Réception de données en temps réel • Génération d’alertes et souscription • Respect de spécifications 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 14
  • 15.
    Adaptabilité du microbloggingau domaine des observations GeoRSS et API Twitter Format des données : GeoRSS Accès aux données : API Twitter Timelines Messages Agents Listes Messages directs Abonnements Graphes sociaux Favoris Blocages Rapport de spams Recherches sauvegardées Tendances Géolocalisation 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 15
  • 16.
    Adaptabilité du microbloggingau domaine des observations Gestion de flux de données Sources de données SensorTweb Flux de sortie Station météorologique 1 Bilans météorologiques Direction du vent Vitesse du vent Direction du vent + Vitesse du vent + Métadonnées de la station météorologique Métadonnées de la station + Température Température Température de la station 1 + Température de la station 2 Station météorologique 2 Température Traitements Température moyenne (stations 1 et 2) Température moyenne sur les stations 1 et 2 Alertes température (stations 1 et 2) Alertes 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 16
  • 17.
    Adaptabilité du microbloggingau domaine des observations Besoins dans le domaine des observations • Publication et diffusion de données • Accès aux données • Découverte de procédures (par variable, date, localisation) • Gestion de droits d’accès aux observations • Envoi de commandes à certains capteurs • Ajout de commentaires • Réception de données en temps réel • Génération d’alertes et souscription • Respect de spécifications 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 17
  • 18.
    Adaptabilité du microbloggingau domaine des observations Temps réel • Schéma classique (non temps réel) Abonné 1 Editeur 2 3 Abonné Abonné • Le protocole PubSubHub Abonné 2 Editeur 1 Hub 3 Abonné Abonné 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 18
  • 19.
    Adaptabilité du microbloggingau domaine des observations Temps réel • Le streaming 1 Abonné Editeur 2 3 Flux continu Abonné  Génération d’alertes en temps réel 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 19
  • 20.
    Adaptabilité du microbloggingau domaine des observations Respect de spécifications • Spécifications SWE de l’OGC : Diversité des procédures Métadonnées  Syntaxe particulière dans les messages Métadonnées s’appliquant aux procédures Métadonnées s’appliquant aux mesures Nom de la procédure Position Description détaillée de la procédure Date de mesure Classes d’appartenance de la procédure Objet d’étude et sa géométrie Personne(s) ou organisme(s) responsable(s) Grandeur(s) physique(s) observée(s) Document(s) associés Unité de mesure Plage de mesure Qualité de la mesure Précision Commentaires associés Domaine de fonctionnement (Emprise spatiale, intervalle de … température,…) … Ex : $contact:organizationName #SYMBO 2010-01-01 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 20
  • 21.
    Adaptabilité du microbloggingau domaine des observations Besoins dans le domaine des observations • Publication et diffusion de données • Accès aux données • Découverte de procédures (par variable, date, localisation) • Gestion de droits d’accès aux observations • Envoi de commandes à certains capteurs • Ajout de commentaires • Réception de données en temps réel • Génération d’alertes et souscription • Respect de spécifications 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 21
  • 22.
    Conclusion 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 22
  • 23.
    Conclusion Les points forts du microblogging • Multi-support • 300 000 applications, 150 millions d’utilisateurs • Facilité d’utilisation • Géolocalisation intégrée • Flexibilité • Collaboratif • Temps réel • GeoRSS, TwitterAPI 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 23
  • 24.
    Conclusion Une solution adaptable au domaine des observations • Répond aux besoins dans le domaine des observations • Intermédiaire entre les données brutes et leurs mises en forme • Appropriation des données • Liberté d’utilisation • Nœud de gestion de données 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 24
  • 25.
    Conclusion Un Bus de communication API Donn Applications ées b s r utes née don Adaptateur éta um SensorTweb SensorML/O&M et/o BDD es Donn nné ée s et/o KML geoRSS Do u méta Applications donné JSON es Donné CSV es et/o Shapefile Données + métadonnées u méta donnée s Données et/ou métadonnées Données et/ou métadonnées Médias sociaux Applications Vidéos Photos Applications Applications t/ou Web es e Do nné Localisations Scalaires nné nnées Do do es e a t /ou mét m éta HTM don L née s Applications Projets collaboratifs Web 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 25
  • 26.
    Merci de votreattention 05-11-2010 Thibaut Plancq - Microblogging et observations : Projet SensorTweb 26