Internet of Things
& Big Data
01.1
En bref
423/06/2016 © Valtech valtech_
01.2
Les débuts de l’Internet des objets
523/06/2016 © Valtech
(une) Définition :
- réseau de réseaux
- systèmes normalisé...
01.3
Que sont les objets connectés?
623/06/2016 © Valtech
(une) Définition :
• identité
• autonomie
• sensibilité (capteur...
01.4
Dans les faits
723/06/2016 © Valtech valtech_
01.5
Applications : particuliers
823/06/2016 © Valtech valtech_
01.6
923/06/2016 © Valtech valtech_
Applications : villes intelligentes
01.7
Applications : industrie / agriculture
1023/06/2016 © Valtech valtech_
200 Mo/an
163 kg de
Méthane/an
01.8
Secteur professionnel
1123/06/2016 © Valtech
60% des équipements connectés
acquis en 2015 par les entreprises
90% des...
01.9
Positionnement des grands acteurs
23/06/2016 © Valtech
Oracle : Java Embedded, Oracle Cloud for IoT (SaaS : big data,...
01.10
Consortiums industriels
23/06/2016 © Valtech valtech_
02.1
Chez Valtech
1523/06/2016 © Valtech
Smart Hydration Bottle Connected Thermostat
valtech_
02.2
Chez Valtech Toulouse
1623/06/2016 © Valtech
Audi Connect IoT For A Better Life
valtech_
02.3
17
Valtech Programme Catalyseur numérique
23/06/2016 © Valtech
Idéation
Recherche
(pragmatique)
Amplitude
ÉvaluationP...
02.4
IoT For A Better Life
1823/06/2016 © Valtech
• Smart City
• Citizen empowerment
• Open Data
http://www.iot-for-better...
02.5
IoT For A Better Life
1923/06/2016 © Valtech valtech_
02.6
20
Challenges
23/06/2016 © Valtech
• Matériel
• Architecture
• Autonomie
• Connectivité
• Développement
• Volumétrie ...
02.7
Matériel
2123/06/2016 © Valtech
Capteurs
mini caméras thermiques (Lepton) convertisseur USB / Serial
Composants élect...
02.8
IoT For A Better Life
2223/06/2016 © Valtech valtech_
02.9
23
IoT For A Better Life
23/06/2016 © Valtech
Capteur sonore
CoAP
02.10
Protocoles
Nouveaux besoins :
• Limiter la taille des paquets à émettre
(consommation d’énergie)
• Configuration pub...
02.11
Réseaux
« Nouveaux » opérateurs télécom (longue portée) :
• Sigfox
• Bouygues (LoRA)
• Orange (LoRA)
• Neul (racheté...
02.12
26
Logiciel
23/06/2016 © Valtech
Renaissance du C/C++
Plateforme de développement en ligne : ARM mbed
IDE complets f...
02.13
Sécurité : ce qui est nouveau
23/06/2016 © Valtech valtech_
02.14
Sécurité
23/06/2016 © Valtech
« MatrixSSL Tiny » => 10Ko Flash + 600 octets RAM
Microcontrôleur le plus petit du mon...
02.15
Sujets sensibles
Inquiétudes existantes à propos du Cloud :
• Où sont stockées mes données?
• Qui les utilisent?
• Sont-elles sécurisées?
•...
02.17
Gouvernance
23/06/2016 © Valtech valtech_
02.18
Cadre juridique / légal
23/06/2016 © Valtech
La nature n’aime pas le vide,
la loi n’aime pas la “res nullius”
Problè...
02.19
Cadre juridique / légal : CNIL
23/06/2016 © Valtech
Silence des puces
Géolocalisation :
Localisation de l’objet ≠ lo...
02.19
Serious Games : IOT menaces
23/06/2016 © Valtech valtech_
02.20
35
Valtech prototype
23/06/2016 © Valtech
02.21
Big Data
23/06/2016 © Valtech
Seulement 15% des données générées de nos jours sont structurées
valtech_
1 donnée / s...
02.22
Big Data
23/06/2016 © Valtech
Définition: BIG DATA désigne des ensembles de données qui deviennent tellement
volumin...
02.23
Big Data et IoT : Challenges
23/06/2016 © Valtech valtech_
Acquisition et stockage des streams de données
Stockage d...
02.24
Big Data et IoT : Challenges
23/06/2016 © Valtech valtech_
Analyse des données
Exécution des requêtes analytiques su...
02.25
Big Data et IoT : Challenges
23/06/2016 © Valtech valtech_
Reporting
Alertes en temps réel
Calcul des métriques sur ...
02.27
Architecture Big Data
23/06/2016 © Valtech valtech_
Les données collectées:
Température
Lumière
Qualité de l’air
Son
Taille des données:
Données environnementales circulent à...
02.33
IoT For A Better Life
4323/06/2016 © Valtech
Apache CouchDB
Indexation
du son
Analyse
02.35
44
Resultats prototype I
23/06/2016 © Valtech
Tests réalisés en utilisant le dataset UrbanSound (1)
(1) https://serv...
Selon un étude ParStream
53% des compagnies investissent dans les projets IoT pour optimiser le business existant
86% des ...
Offre Big Data
Infrastructure
Cloud
AWS,
Microsoft Azure,
Cloudera , …
Mahout
Machine Learning
Algorithm,
MapR
Lambda
Arch...
Merci
de votre attention
Le 12 Juillet à Valtech
Meetup
IOT Security
23/06/2016 47
Valtech - Internet of Things & Big Data : un mariage de raison
Valtech - Internet of Things & Big Data : un mariage de raison
Valtech - Internet of Things & Big Data : un mariage de raison
Prochain SlideShare
Chargement dans…5
×

Valtech - Internet of Things & Big Data : un mariage de raison

3 308 vues

Publié le

Nous assistons aujourd'hui à une explosion du marché des objets connectés (Internet of Things). Gartner annonce potentiellement 25 milliards d’objets connectés en 2020.

Devant le tsunami de données que les IoT vont générer, il devient donc impératif que l’entreprise puisse mettre en place un écosystème Big Data complet pour faire face à cette avalanche.

Hervé Desaunois - Directeur technique, Valtech Toulouse
herve.desaunois@valtech.fr

Publié dans : Technologie
0 commentaire
10 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
3 308
Sur SlideShare
0
Issues des intégrations
0
Intégrations
426
Actions
Partages
0
Téléchargements
195
Commentaires
0
J’aime
10
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • https://sites.google.com/site/levolutiondeladomotique/iii--la-domotique-a-ses-debuts
  • http://www.cnil.fr/linstitution/international/les-autorites-de-controle-dans-le-monde/
  • Avoir un grand volume de données n’est pas suffisant pour faire du BIG DATA.


    Elles doivent être aussi hétérogène et doivent changer très vite.

    BIG DATA fait référence à des données qui sont sont volumineuses, diverses et complexes et pour leur gestion nouveaux architecture, techniques et algorithmes sont nécessaires.

    IOT == BIG DATA?

    Le volume: le nombre d’objets connectés explose

    La varieté: chaque capteur a ses spécificités, et les données peuvent avoir une structure differente

    La velocité: temps réél.

  • L’IOT génère des flots de données qui ont des dimensions très petites (e.g.; 12 octets par message) qui sont à des intervalles réguliers.

    Par default les technos sont faites pour stocker de grand block de données => changement de strategie afin d’ameliorer les perfs

    On fait de insert et pas de update

    Trop d’info tue l’info

    Faire de l’analyse sur les données collectées n’est pas suffisant. Ajouter de l’info pour de meilleurs precision

  • Ex: flot de données – time series – analyse differente

    Correlation entre deux flux (deux capteurs differents – temerature et acces a la piese)

    prediction - Annonce d'événements futurs par la connaissance qu'on a de leurs causes : La prédiction meteo

  • Alert en temps reel
    Reporting classique
    Prediction du bruit
  • Nous n'avons pas un cluster in interne => nous sommes allés sur le cloud pour mettre en place une architecture Lamba.

    Donner des exemples pour chaque layer dans notre projet
  • Apache NiFi a été créer par la NSA et ils l’ont mis en open source. => tout le monde peut etre la NSA => notre future seminaire

  • Créer par Backtype, Twitter
  • Creer par AMP Lab chez universite de Berkeley

    NASA JPL: Le Jet Propulsion Laboratory, basé à Pasadena aux États-Unis, est une coentreprise entre la NASA et Caltech qui est chargée de la construction et de la supervision des vols non habités de la NASA.
    Deep Space Network
    eBay
    Analysts are clustering sellers together
    Conviva
    Video stream health statistics
    Yahoo
    News story personalization


    Conviva: Conviva provides monitoring and optimization for online video provides. Customers includes ESPN, Yahoo, Microsoft, Comcast amongst many others. Uses Spark to process 150gb / week of compressed summary data. They found Spark to be 30x faster than Hive. Processing time went from 24 hours to 45 minutes for their weekly Geo Report. Biggest speed up came from reducing disk reads, and storing only relevant data in memory. 30% of their reports currently use Spark, as of 2012

    Nasa JPL: Receives 10+ TB of data daily from Instrument and Ground Systems for Earth Monitoring. Multiple kinds of jobs ranging from long running to sub second. Created SciSpark library to allow for interactive computation and exploration possible using scientific processing. Provides support for scientific data formats, creates a new type of RDD, called scientific RDD (sRDD).
  • ParStream is the industry’s leading IoT analytics platform company. The ParStream analytics platform was purpose-built for scale to handle the massive volumes and high velocity of IoT data.

    Il a été “acheté” par CISCO.
  •  Cabinet Alain Bensoussan
  • Valtech - Internet of Things & Big Data : un mariage de raison

    1. 1. Internet of Things & Big Data
    2. 2. 01.1 En bref 423/06/2016 © Valtech valtech_
    3. 3. 01.2 Les débuts de l’Internet des objets 523/06/2016 © Valtech (une) Définition : - réseau de réseaux - systèmes normalisés et unifiés - objets physiques - récupérer, stocker, transférer et traiter, sans discontinuité entre les mondes physiques et virtuels valtech_ 1999 - Kevin Ashton Procter & Gamble
    4. 4. 01.3 Que sont les objets connectés? 623/06/2016 © Valtech (une) Définition : • identité • autonomie • sensibilité (capteurs) • connectivité • sécurité valtech_ 2000 2005 Nabaztag LG
    5. 5. 01.4 Dans les faits 723/06/2016 © Valtech valtech_
    6. 6. 01.5 Applications : particuliers 823/06/2016 © Valtech valtech_
    7. 7. 01.6 923/06/2016 © Valtech valtech_ Applications : villes intelligentes
    8. 8. 01.7 Applications : industrie / agriculture 1023/06/2016 © Valtech valtech_ 200 Mo/an 163 kg de Méthane/an
    9. 9. 01.8 Secteur professionnel 1123/06/2016 © Valtech 60% des équipements connectés acquis en 2015 par les entreprises 90% des revenus seront générés par les entreprises et non par les consommateurs. Les applications et services créent plus de valeur que le hardware valtech_
    10. 10. 01.9 Positionnement des grands acteurs 23/06/2016 © Valtech Oracle : Java Embedded, Oracle Cloud for IoT (SaaS : big data, analytics…) Microsoft : Azure IoT (Autolib’ Paris) Salesforce (CRM) : analyses d’informations client à partir des wearables « IoT Cloud » IBM : Plateforme PaaS ouverte « IoT Fundation » Amazon : A racheté la plateforme 2lemetry et propose « AWS IoT Platform » OVH : IoT PaaS TimeSeries (issue de leur lab RunAbove) valtech_
    11. 11. 01.10 Consortiums industriels 23/06/2016 © Valtech valtech_
    12. 12. 02.1 Chez Valtech 1523/06/2016 © Valtech Smart Hydration Bottle Connected Thermostat valtech_
    13. 13. 02.2 Chez Valtech Toulouse 1623/06/2016 © Valtech Audi Connect IoT For A Better Life valtech_
    14. 14. 02.3 17 Valtech Programme Catalyseur numérique 23/06/2016 © Valtech Idéation Recherche (pragmatique) Amplitude ÉvaluationPrototype Temps Arrêt Rencontre avec le comité de pilotage Rencontre avec le comité de pilotage Nous en sommes là
    15. 15. 02.4 IoT For A Better Life 1823/06/2016 © Valtech • Smart City • Citizen empowerment • Open Data http://www.iot-for-better-life.com/ • Captation et analyse de sons • Informations environnementales
    16. 16. 02.5 IoT For A Better Life 1923/06/2016 © Valtech valtech_
    17. 17. 02.6 20 Challenges 23/06/2016 © Valtech • Matériel • Architecture • Autonomie • Connectivité • Développement • Volumétrie et traitement de données • Sécurité / vie privée valtech_
    18. 18. 02.7 Matériel 2123/06/2016 © Valtech Capteurs mini caméras thermiques (Lepton) convertisseur USB / Serial Composants électroniques valtech_
    19. 19. 02.8 IoT For A Better Life 2223/06/2016 © Valtech valtech_
    20. 20. 02.9 23 IoT For A Better Life 23/06/2016 © Valtech Capteur sonore CoAP
    21. 21. 02.10 Protocoles Nouveaux besoins : • Limiter la taille des paquets à émettre (consommation d’énergie) • Configuration publish/subscribe (multiples abonnements à un évènement) • Bas débit et faible contenu • Haut débit et volume important 23/06/2016 © Valtech valtech_ Web IoT Physique IEEE 802.11 (Wifi) IEEE 802.15.4 : réseaux sans fils à faible portée, consommation et débit Liaison Ethernet BlueTooth Low Energy, ZWave, ZigBee, Miwi : technologies spécifiques (courte portée) … Application HTTP CoAP, MQTT
    22. 22. 02.11 Réseaux « Nouveaux » opérateurs télécom (longue portée) : • Sigfox • Bouygues (LoRA) • Orange (LoRA) • Neul (racheté par Huawei) • Qowisio (LoRA) • Actility (ThingPark) • Link-labs • Helium • Archos (distributeur LoRA) 23/06/2016 © Valtech valtech_
    23. 23. 02.12 26 Logiciel 23/06/2016 © Valtech Renaissance du C/C++ Plateforme de développement en ligne : ARM mbed IDE complets fournits par les fabricants (Atmel, TI…) valtech_
    24. 24. 02.13 Sécurité : ce qui est nouveau 23/06/2016 © Valtech valtech_
    25. 25. 02.14 Sécurité 23/06/2016 © Valtech « MatrixSSL Tiny » => 10Ko Flash + 600 octets RAM Microcontrôleur le plus petit du monde (08/2015) : 8Ko Flash 512o RAM valtech_
    26. 26. 02.15 Sujets sensibles
    27. 27. Inquiétudes existantes à propos du Cloud : • Où sont stockées mes données? • Qui les utilisent? • Sont-elles sécurisées? • … Nouveaux sujets de questionnement ; • Quelles sont les données collectées? • De quelle manière? • A quels moments? • Dans quel but? + 02.16 Vie privée valtech_
    28. 28. 02.17 Gouvernance 23/06/2016 © Valtech valtech_
    29. 29. 02.18 Cadre juridique / légal 23/06/2016 © Valtech La nature n’aime pas le vide, la loi n’aime pas la “res nullius” Problème majeur : Jusqu’à quand le fabricant ou le possesseur garde-t-il la responsabilité d’un sinistre causé par un système dont l’autonomie est la vocation? valtech_
    30. 30. 02.19 Cadre juridique / légal : CNIL 23/06/2016 © Valtech Silence des puces Géolocalisation : Localisation de l’objet ≠ localisation propriétaire Relève de la vie privée valtech_ La LDH a demandé à la Cnil de vérifier le respect par EDF du Pack de conformité Linky
    31. 31. 02.19 Serious Games : IOT menaces 23/06/2016 © Valtech valtech_
    32. 32. 02.20 35 Valtech prototype 23/06/2016 © Valtech
    33. 33. 02.21 Big Data 23/06/2016 © Valtech Seulement 15% des données générées de nos jours sont structurées valtech_ 1 donnée / seconde = 31.5 millions de données / an 1 heure / 800 Mo 19 200 Mo / jour 7 008 000 Mo / an
    34. 34. 02.22 Big Data 23/06/2016 © Valtech Définition: BIG DATA désigne des ensembles de données qui deviennent tellement volumineux qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données ou de gestion de l'information. valtech_
    35. 35. 02.23 Big Data et IoT : Challenges 23/06/2016 © Valtech valtech_ Acquisition et stockage des streams de données Stockage de tous les évents détectés par les objets Sauvegarde de l’information utile Enrichissement des données
    36. 36. 02.24 Big Data et IoT : Challenges 23/06/2016 © Valtech valtech_ Analyse des données Exécution des requêtes analytiques sur des données en temps réel Recherche, exploration et analyse des données Prétraitement et transformation des données Corrélation entre les streams et les données déjà stockées Prédiction et apprentissage
    37. 37. 02.25 Big Data et IoT : Challenges 23/06/2016 © Valtech valtech_ Reporting Alertes en temps réel Calcul des métriques sur les données stockées Calcul de modèles prédictives Temps de réponse
    38. 38. 02.27 Architecture Big Data 23/06/2016 © Valtech valtech_
    39. 39. Les données collectées: Température Lumière Qualité de l’air Son Taille des données: Données environnementales circulent à travers le réseau SigFox: 140 messages / jour Un message : 12 octet Les données audio non compressées 02.32 42 IoT For A Better Life 23/06/2016 © Valtech 19 200 Mo / jour 7 008 000 Mo / an
    40. 40. 02.33 IoT For A Better Life 4323/06/2016 © Valtech Apache CouchDB Indexation du son Analyse
    41. 41. 02.35 44 Resultats prototype I 23/06/2016 © Valtech Tests réalisés en utilisant le dataset UrbanSound (1) (1) https://serv.cusp.nyu.edu/projects/urbansounddataset/ valtech_
    42. 42. Selon un étude ParStream 53% des compagnies investissent dans les projets IoT pour optimiser le business existant 86% des compagnies considèrent que les données issues de l’IoT sont importantes 96% des compagnies ont rencontré des problèmes dans la collecte et l’analyse des données IoT 02.36 45 Conclusion 23/06/2016 © Valtech
    43. 43. Offre Big Data Infrastructure Cloud AWS, Microsoft Azure, Cloudera , … Mahout Machine Learning Algorithm, MapR Lambda Architecture Twitter like platforms Spark Real time Compute model Multiples Data sources Gnip, API, Open Data Visualization Zoomdata, Ozone, D3js NoSQL Hbase, Cassandra, Neo4j, MongoDB Seach Engine ElasticSearch, Solr, Lucene Building Offret 3 Formation Big Data IOT Hadoop Conseil et Formation 23/06/2016 © Valtech valtech_ IOT IOT IOT IOT
    44. 44. Merci de votre attention Le 12 Juillet à Valtech Meetup IOT Security 23/06/2016 47

    ×