SlideShare une entreprise Scribd logo
1  sur  66
Télécharger pour lire hors ligne
Big Data from Space
Le Big Data et les satellites d’Observation de laTerre
Jérôme GASPERI - DCT/PS/TVI Petit déjeuner DSI-Toulouse, France - 24 mars 2016
Partie IQu’est ce q ue le Big Dat a
BIG
Volume Variété Vitesse
€Valeur
Volume
L’ère du pétaoctet
1
PETAOCTET
13.3 ANNEES DE VIDEO HD
1.5PETAOCTET
TAILLE DES 10 MILLIARDS DE PHOTOS SUR FACEBOOK
20PETAOCTETS
LA PRODUCTION MONDIALE DE DISQUES DURS EN 1995
50PETAOCTETS
L’INTEGRALITE DE TOUTE LA PRODUCTION ECRITE
DE L’HUMANITE DEPUIS L’INVENTION DE
L’ECRITURE DANS TOUTES LES LANGUES
1petaoctet=200000DVDs
Variété Vitesse
€Valeur
Brett Ryder - http://www.economist.com/node/15579717
Extraire l’information
http://fivethirtyeight.com/datalab/this-algorithm-knows-you-better-than-your-facebook-friends-do/
Big Data...Big Problem ?
1 milliard de milliard d’opér at ions par seconde en 2 0 24
1,000,000,000,000,000,000
vs
~ 30W ~ 30MW
1x 3x
Your Online World:
Green IRL, or #dirty?
Amazon
Web
Services
Digital
Realty
Dupont
Fabros
Ebay
Google
Facebook
Oracle
HP
Yahoo
IBM
Microsoft
Apple
Salesforce
Rackspace
Equinix
Telecity
http://www.greenpeace.org/usa/clickclean/#report
2014
Partie IIBig D a t a f rom s pa ce
Vo l u m e
Doter l'Europe d'une capacité opérationnelle et autonome
d'observation de la Terre en tant que « services d’intérêt général
européen, à accès libre, plein et entier »
Le programme Copernicus
Coordination technique
Missions Sentinels
Missions Contributrices
Atmosphère
Climat
Marine
Sécurité
Terre
Urgences
Coordination
Etats membres
ESPACE SERVICES IN SITU
Plateformes d’accès
Applications avals
Coordination technique
Missions Sentinels
Missions Contributrices
Atmosphère
Climat
Marine
Sécurité
Terre
Urgences
Coordination
Etats membres
ESPACE SERVICES IN SITU
Plateformes d’accès
Applications avals
0.9 Mds €3.4 Mds €
Atmosphere monitoring
Climate Change
Emergency
Land monitoring
Marine monitoring
Security
Sentinel-1
RADAR
S1A - April 2014
S1B mid 2016
Sentinel-2
OPTICAL
S2A - June 2015
S2B mid 2016
Sentinel-3
ALTIMETER / SEA SURFACE
S3A - Summer 2015
S3B mid 2016
Sentinel-4
ATMOSPHERE
2018
Sentinel-5P
ATMOSPHERE
End 2015Sentinel-5
ATMOSPHERE
2020
Sentinel-6
ALTIMETER
2020
Sentinel
Le volet spatial du programme
Copernicus
Sentinel-1
RADAR
S1A - April 2014
S1B mid 2015
Sentinel-2
OPTICAL
S2A - June 2015
S2B mid 2016
Sentinel-3
ALTIMETER / SEA SURFACE
S3A - Summer 2015
S3B mid 2016
PEPS
Plateforme d’Exploitation des Produits Sentinel
2015-2017
Phase 1
Sentinel 1Radar en bande C
Surveillance maritime,
Géophysique, Glaciologie, etc.
Orbite Héliosynchrone
Altitude 693 km
Observation Optique, Evolutions
des sols, Agriculture,
Cartographie, etc.
Orbite Héliosynchrone
Altitude 786 km
Sentinel 2
Sentinel 3
Hauteurs des océans, Couleur et température
de surface
Orbite Héliosynchrone
Altitude 814 km
2017
7 POVolume stocké au CNES Toulouse fin 2017
DVDs
Bull HPSS
2 PO
7 PO
Disques durs
Stockage Bandes
Migration automatique
Récupération « transparente »
Montage NFS
CNES data center - Toulouse, France
https://peps.cnes.fr
Partie IIIBig D a t a f rom s pa ce
Chercher dans des millions d’images ?
Trouver
Quand Où Comment
Contenu de l’image ?
Quoi
ex. Dans le cadre d’une étude d’impact sur l’augmentation du niveau des océans,
je cherche des images sans nuage de villes côtières situées en Asie
:) :)
:(
Sven Sachsalber | http://www.palaisdetokyo.com/fr/events/sven-sachsalber
Sven Sachsalber | http://www.palaisdetokyo.com/fr/events/sven-sachsalber
17 hours 45 minutes
Traiter les images
Du pixel...
Image satellitaire
...à l’information
Carte d’occupation du sol
Cultures
Bâtiment Forêt
Orfeo Toolbox Remote sensing image library
Open Source
Developed by the French Space Agency
Exemple 1
Orfeo Toolbox More than 70 high level processing chains
orthorectification
segmentation
classification
etc.
Orfeo Toolbox More than 70 high level processing chains
orthorectification
segmentation
classification
etc.
Supervised learning
(land cover is computed from a set of "well known areas" given by user)
Based on SVM
(http://en.wikipedia.org/wiki/Support_vector_machine)
Deep learning
Exemple 2
????
http://techcrunch.com/2014/08/15/google-buys-jetpac-to-give-context-to-visual-searches/
+ =
Deep learning
Deep learning !!!!
Plutôt adapté à l’extraction d’objets (ex. aéroport, route, tank, etc.)
Quelle base de référence d’images ?
Emprise de l’image
Bords de côtes
Toponymes
(Continents, Pays, Régions, Etats)
Densité de population
Occupation du sol
…etc…
Couches d’informations
github.com/jjrom/itag
iTag
[…etc…]
{
"name":"Europe",
"id":"continent:europe",
"countries":[
{
"name":"Italy",
"id":"country:italy",
"pcover":37.02,
"regions":[
{
"name":"Valle d'Aosta",
"id":"region:valle-d-aosta",
"states":[
{
"name":"Aoste",
"id":"state:aoste",
"pcover":37.02,
"toponyms":[]
}
]
}
]
},
[…etc…]
Temps de traitement < 1 seconde
Métadonnées
« améliorées »
Métadonnées
« traditionnelles »
California
Coastal
town
spring
without clouds
github.com/jjrom/resto
resto
Brett Ryder - http://www.economist.com/node/15579717
Extraire l’information
Heatmaps
Visualiser tous les résultats de recherche ?
Problème
~201 300 produits
11/02/2016
~11000 produits
11/02/2016
« Pléiades les 15 derniers jours »
« Villes aux Etats-Unis les 15 derniers jours »
« Zones cultivées aux Etats-Unis »
Carte de référence pour comparaison
[…] je cherche des images sans nuage de villes côtières situées en Asie
Merci !

Contenu connexe

En vedette

Joomla Beginner Template Presentation
Joomla Beginner Template PresentationJoomla Beginner Template Presentation
Joomla Beginner Template Presentationalledia
 
SC7 Hangout 2: Remote Sensing Data Exploitation in the secure societies pilot
SC7 Hangout 2: Remote Sensing Data Exploitation in the secure societies pilotSC7 Hangout 2: Remote Sensing Data Exploitation in the secure societies pilot
SC7 Hangout 2: Remote Sensing Data Exploitation in the secure societies pilotBigData_Europe
 
Characteristics of remote sensing satellites
Characteristics of remote sensing satellitesCharacteristics of remote sensing satellites
Characteristics of remote sensing satellitesVivek Srivastava
 
Passive and active sensors
Passive and active sensorsPassive and active sensors
Passive and active sensorsVivek Srivastava
 
Advantages and disadvantages of Remote Sensing
Advantages and disadvantages of Remote SensingAdvantages and disadvantages of Remote Sensing
Advantages and disadvantages of Remote SensingEr Abhi Vashi
 
GI2015 ppt hladikova copernicus_agriculture_forestry_lh
GI2015 ppt hladikova copernicus_agriculture_forestry_lhGI2015 ppt hladikova copernicus_agriculture_forestry_lh
GI2015 ppt hladikova copernicus_agriculture_forestry_lhIGN Vorstand
 
REMOTE SENSING
REMOTE SENSINGREMOTE SENSING
REMOTE SENSINGKANNAN
 
Intro to GIS and Remote Sensing
Intro to GIS and Remote SensingIntro to GIS and Remote Sensing
Intro to GIS and Remote SensingJohn Reiser
 
Remote Sensing PPT
Remote Sensing PPTRemote Sensing PPT
Remote Sensing PPTAmal Murali
 

En vedette (10)

Copernicus G cloud framework intro for sme's 2013 v2
Copernicus G cloud framework intro for sme's 2013 v2Copernicus G cloud framework intro for sme's 2013 v2
Copernicus G cloud framework intro for sme's 2013 v2
 
Joomla Beginner Template Presentation
Joomla Beginner Template PresentationJoomla Beginner Template Presentation
Joomla Beginner Template Presentation
 
SC7 Hangout 2: Remote Sensing Data Exploitation in the secure societies pilot
SC7 Hangout 2: Remote Sensing Data Exploitation in the secure societies pilotSC7 Hangout 2: Remote Sensing Data Exploitation in the secure societies pilot
SC7 Hangout 2: Remote Sensing Data Exploitation in the secure societies pilot
 
Characteristics of remote sensing satellites
Characteristics of remote sensing satellitesCharacteristics of remote sensing satellites
Characteristics of remote sensing satellites
 
Passive and active sensors
Passive and active sensorsPassive and active sensors
Passive and active sensors
 
Advantages and disadvantages of Remote Sensing
Advantages and disadvantages of Remote SensingAdvantages and disadvantages of Remote Sensing
Advantages and disadvantages of Remote Sensing
 
GI2015 ppt hladikova copernicus_agriculture_forestry_lh
GI2015 ppt hladikova copernicus_agriculture_forestry_lhGI2015 ppt hladikova copernicus_agriculture_forestry_lh
GI2015 ppt hladikova copernicus_agriculture_forestry_lh
 
REMOTE SENSING
REMOTE SENSINGREMOTE SENSING
REMOTE SENSING
 
Intro to GIS and Remote Sensing
Intro to GIS and Remote SensingIntro to GIS and Remote Sensing
Intro to GIS and Remote Sensing
 
Remote Sensing PPT
Remote Sensing PPTRemote Sensing PPT
Remote Sensing PPT
 

Similaire à Le Big Data et les données Copernicus

Swiss Territorial Data Lab - geo Data Science - Forum SITG
Swiss Territorial Data Lab - geo Data Science - Forum SITG Swiss Territorial Data Lab - geo Data Science - Forum SITG
Swiss Territorial Data Lab - geo Data Science - Forum SITG Raphael Rollier
 
Le Big Data : Une Révolution Numérique
Le Big Data : Une Révolution NumériqueLe Big Data : Une Révolution Numérique
Le Big Data : Une Révolution NumériqueRoland Coma
 
Atelier no2: Télédétection et occupation du sol
Atelier no2: Télédétection et occupation du solAtelier no2: Télédétection et occupation du sol
Atelier no2: Télédétection et occupation du solteleparc
 
Introduction au Data Mining et Méthodes Statistiques
Introduction au Data Mining et Méthodes StatistiquesIntroduction au Data Mining et Méthodes Statistiques
Introduction au Data Mining et Méthodes StatistiquesGiorgio Pauletto
 
L’information embarquée dans l’image numérique
L’information embarquée dans l’image numériqueL’information embarquée dans l’image numérique
L’information embarquée dans l’image numériquePeccatte
 
Mémoire Master Cinéma
Mémoire Master CinémaMémoire Master Cinéma
Mémoire Master CinémaCharlotte Bap
 
Stéréo-signes : Extraire/traiter/générer un fossile de données
Stéréo-signes : Extraire/traiter/générer un fossile de donnéesStéréo-signes : Extraire/traiter/générer un fossile de données
Stéréo-signes : Extraire/traiter/générer un fossile de donnéesstereolux
 
Enseigner 3 delearning_africa_mai2011
Enseigner 3 delearning_africa_mai2011Enseigner 3 delearning_africa_mai2011
Enseigner 3 delearning_africa_mai2011Christophe Batier
 
Des Outils 2.0 En Bdp 19 FéVrier Bdp 13
Des Outils 2.0 En Bdp 19 FéVrier Bdp 13Des Outils 2.0 En Bdp 19 FéVrier Bdp 13
Des Outils 2.0 En Bdp 19 FéVrier Bdp 13Franck Queyraud
 
L\'informatique documentaire à l\'heure du tout web
L\'informatique documentaire à l\'heure du tout webL\'informatique documentaire à l\'heure du tout web
L\'informatique documentaire à l\'heure du tout webNicolas Morin
 
Traitement des données massives (INF442, A2)
Traitement des données massives (INF442, A2)Traitement des données massives (INF442, A2)
Traitement des données massives (INF442, A2)Frank Nielsen
 
CR Ces2015 - Business Innovation Network focusing on usages
CR Ces2015  - Business Innovation Network focusing on usagesCR Ces2015  - Business Innovation Network focusing on usages
CR Ces2015 - Business Innovation Network focusing on usagesBertrand Petit
 
Les unités courantes en informatique
Les unités courantes en informatiqueLes unités courantes en informatique
Les unités courantes en informatiquealexartiste
 
Présentation "Walking the Edit" à Sierre, janvier 2010
Présentation "Walking the Edit" à Sierre, janvier 2010Présentation "Walking the Edit" à Sierre, janvier 2010
Présentation "Walking the Edit" à Sierre, janvier 2010Ulrich Fischer
 
Dossier de production g.118
Dossier de production g.118Dossier de production g.118
Dossier de production g.118Haihui6
 

Similaire à Le Big Data et les données Copernicus (20)

Dataviz by RichAnalysis
Dataviz by RichAnalysisDataviz by RichAnalysis
Dataviz by RichAnalysis
 
Swiss Territorial Data Lab - geo Data Science - Forum SITG
Swiss Territorial Data Lab - geo Data Science - Forum SITG Swiss Territorial Data Lab - geo Data Science - Forum SITG
Swiss Territorial Data Lab - geo Data Science - Forum SITG
 
Impacts sociaux130116
Impacts sociaux130116Impacts sociaux130116
Impacts sociaux130116
 
Le Big Data : Une Révolution Numérique
Le Big Data : Une Révolution NumériqueLe Big Data : Une Révolution Numérique
Le Big Data : Une Révolution Numérique
 
Atelier no2: Télédétection et occupation du sol
Atelier no2: Télédétection et occupation du solAtelier no2: Télédétection et occupation du sol
Atelier no2: Télédétection et occupation du sol
 
Introduction au Data Mining et Méthodes Statistiques
Introduction au Data Mining et Méthodes StatistiquesIntroduction au Data Mining et Méthodes Statistiques
Introduction au Data Mining et Méthodes Statistiques
 
L’information embarquée dans l’image numérique
L’information embarquée dans l’image numériqueL’information embarquée dans l’image numérique
L’information embarquée dans l’image numérique
 
Mémoire Master Cinéma
Mémoire Master CinémaMémoire Master Cinéma
Mémoire Master Cinéma
 
Stéréo-signes : Extraire/traiter/générer un fossile de données
Stéréo-signes : Extraire/traiter/générer un fossile de donnéesStéréo-signes : Extraire/traiter/générer un fossile de données
Stéréo-signes : Extraire/traiter/générer un fossile de données
 
Enseigner 3 delearning_africa_mai2011
Enseigner 3 delearning_africa_mai2011Enseigner 3 delearning_africa_mai2011
Enseigner 3 delearning_africa_mai2011
 
Des Outils 2.0 En Bdp 19 FéVrier Bdp 13
Des Outils 2.0 En Bdp 19 FéVrier Bdp 13Des Outils 2.0 En Bdp 19 FéVrier Bdp 13
Des Outils 2.0 En Bdp 19 FéVrier Bdp 13
 
L\'informatique documentaire à l\'heure du tout web
L\'informatique documentaire à l\'heure du tout webL\'informatique documentaire à l\'heure du tout web
L\'informatique documentaire à l\'heure du tout web
 
Liege2011 philippe signoret
Liege2011 philippe signoretLiege2011 philippe signoret
Liege2011 philippe signoret
 
Traitement des données massives (INF442, A2)
Traitement des données massives (INF442, A2)Traitement des données massives (INF442, A2)
Traitement des données massives (INF442, A2)
 
CR Ces2015 - Business Innovation Network focusing on usages
CR Ces2015  - Business Innovation Network focusing on usagesCR Ces2015  - Business Innovation Network focusing on usages
CR Ces2015 - Business Innovation Network focusing on usages
 
Les unités courantes en informatique
Les unités courantes en informatiqueLes unités courantes en informatique
Les unités courantes en informatique
 
Présentation "Walking the Edit" à Sierre, janvier 2010
Présentation "Walking the Edit" à Sierre, janvier 2010Présentation "Walking the Edit" à Sierre, janvier 2010
Présentation "Walking the Edit" à Sierre, janvier 2010
 
001 information design
001   information design001   information design
001 information design
 
Dossier de production g.118
Dossier de production g.118Dossier de production g.118
Dossier de production g.118
 
Synthèse de la 1re rencontre des tiers-lieux de l'estuaire de la Seine
Synthèse de la 1re rencontre des tiers-lieux de l'estuaire de la SeineSynthèse de la 1re rencontre des tiers-lieux de l'estuaire de la Seine
Synthèse de la 1re rencontre des tiers-lieux de l'estuaire de la Seine
 

Plus de Gasperi Jerome

Semantic search within Earth Observation products databases based on automati...
Semantic search within Earth Observation products databases based on automati...Semantic search within Earth Observation products databases based on automati...
Semantic search within Earth Observation products databases based on automati...Gasperi Jerome
 
2014.09.04 federated ground segments - toulouse
2014.09.04   federated ground segments - toulouse2014.09.04   federated ground segments - toulouse
2014.09.04 federated ground segments - toulouseGasperi Jerome
 
Web Processing Service
Web Processing ServiceWeb Processing Service
Web Processing ServiceGasperi Jerome
 
2014.04.22 - HyDre - Hydroweb Distribution Server
2014.04.22 - HyDre - Hydroweb Distribution Server2014.04.22 - HyDre - Hydroweb Distribution Server
2014.04.22 - HyDre - Hydroweb Distribution ServerGasperi Jerome
 
Semantic search for Earth Observation products
Semantic search for Earth Observation productsSemantic search for Earth Observation products
Semantic search for Earth Observation productsGasperi Jerome
 
RESTo - restful semantic search tool for geospatial
RESTo - restful semantic search tool for geospatialRESTo - restful semantic search tool for geospatial
RESTo - restful semantic search tool for geospatialGasperi Jerome
 
Single Sign On with OAuth and OpenID
Single Sign On with OAuth and OpenIDSingle Sign On with OAuth and OpenID
Single Sign On with OAuth and OpenIDGasperi Jerome
 
CNES OpenSearch implementations
CNES OpenSearch implementationsCNES OpenSearch implementations
CNES OpenSearch implementationsGasperi Jerome
 
Web Processing Service
Web Processing ServiceWeb Processing Service
Web Processing ServiceGasperi Jerome
 
CNES activities on semantic search
CNES activities on semantic searchCNES activities on semantic search
CNES activities on semantic searchGasperi Jerome
 
Traitements de données à la demande - Introduction au Web Processing Service
Traitements de données à la demande - Introduction au Web Processing ServiceTraitements de données à la demande - Introduction au Web Processing Service
Traitements de données à la demande - Introduction au Web Processing ServiceGasperi Jerome
 
Data access and data extraction services within the Land Imagery Portal
Data access and data extraction services within the Land Imagery PortalData access and data extraction services within the Land Imagery Portal
Data access and data extraction services within the Land Imagery PortalGasperi Jerome
 
Semantic search applied to Earth Observation products
Semantic search applied to Earth Observation productsSemantic search applied to Earth Observation products
Semantic search applied to Earth Observation productsGasperi Jerome
 
Accès à l’information satellitaire dans un contexte réactif de catastrophe na...
Accès à l’information satellitaire dans un contexte réactif de catastrophe na...Accès à l’information satellitaire dans un contexte réactif de catastrophe na...
Accès à l’information satellitaire dans un contexte réactif de catastrophe na...Gasperi Jerome
 
Experimenting a cloud based solution for image processing and data access
Experimenting a cloud based solution for image processing and data accessExperimenting a cloud based solution for image processing and data access
Experimenting a cloud based solution for image processing and data accessGasperi Jerome
 
Interoperability and value added to earth observation data - 2011.11.24
Interoperability and value added to earth observation data - 2011.11.24Interoperability and value added to earth observation data - 2011.11.24
Interoperability and value added to earth observation data - 2011.11.24Gasperi Jerome
 
Cloud computing and web processing services
Cloud computing and web processing servicesCloud computing and web processing services
Cloud computing and web processing servicesGasperi Jerome
 

Plus de Gasperi Jerome (18)

Semantic search within Earth Observation products databases based on automati...
Semantic search within Earth Observation products databases based on automati...Semantic search within Earth Observation products databases based on automati...
Semantic search within Earth Observation products databases based on automati...
 
2014.09.04 federated ground segments - toulouse
2014.09.04   federated ground segments - toulouse2014.09.04   federated ground segments - toulouse
2014.09.04 federated ground segments - toulouse
 
Web Processing Service
Web Processing ServiceWeb Processing Service
Web Processing Service
 
2014.04.22 - HyDre - Hydroweb Distribution Server
2014.04.22 - HyDre - Hydroweb Distribution Server2014.04.22 - HyDre - Hydroweb Distribution Server
2014.04.22 - HyDre - Hydroweb Distribution Server
 
Semantic search for Earth Observation products
Semantic search for Earth Observation productsSemantic search for Earth Observation products
Semantic search for Earth Observation products
 
RESTo - restful semantic search tool for geospatial
RESTo - restful semantic search tool for geospatialRESTo - restful semantic search tool for geospatial
RESTo - restful semantic search tool for geospatial
 
Single Sign On with OAuth and OpenID
Single Sign On with OAuth and OpenIDSingle Sign On with OAuth and OpenID
Single Sign On with OAuth and OpenID
 
CNES Data Center
CNES Data CenterCNES Data Center
CNES Data Center
 
CNES OpenSearch implementations
CNES OpenSearch implementationsCNES OpenSearch implementations
CNES OpenSearch implementations
 
Web Processing Service
Web Processing ServiceWeb Processing Service
Web Processing Service
 
CNES activities on semantic search
CNES activities on semantic searchCNES activities on semantic search
CNES activities on semantic search
 
Traitements de données à la demande - Introduction au Web Processing Service
Traitements de données à la demande - Introduction au Web Processing ServiceTraitements de données à la demande - Introduction au Web Processing Service
Traitements de données à la demande - Introduction au Web Processing Service
 
Data access and data extraction services within the Land Imagery Portal
Data access and data extraction services within the Land Imagery PortalData access and data extraction services within the Land Imagery Portal
Data access and data extraction services within the Land Imagery Portal
 
Semantic search applied to Earth Observation products
Semantic search applied to Earth Observation productsSemantic search applied to Earth Observation products
Semantic search applied to Earth Observation products
 
Accès à l’information satellitaire dans un contexte réactif de catastrophe na...
Accès à l’information satellitaire dans un contexte réactif de catastrophe na...Accès à l’information satellitaire dans un contexte réactif de catastrophe na...
Accès à l’information satellitaire dans un contexte réactif de catastrophe na...
 
Experimenting a cloud based solution for image processing and data access
Experimenting a cloud based solution for image processing and data accessExperimenting a cloud based solution for image processing and data access
Experimenting a cloud based solution for image processing and data access
 
Interoperability and value added to earth observation data - 2011.11.24
Interoperability and value added to earth observation data - 2011.11.24Interoperability and value added to earth observation data - 2011.11.24
Interoperability and value added to earth observation data - 2011.11.24
 
Cloud computing and web processing services
Cloud computing and web processing servicesCloud computing and web processing services
Cloud computing and web processing services
 

Le Big Data et les données Copernicus