En savoir plus sur les outils, techniques et technologies pour travailler de manière productive avec des données à n'importe quelle échelle. Vous découvrirez la gamme d'outils d'analyse des données disponible sur AWS et que vous pouvez utiliser pour collecter, stocker, analyser et partager vos données, pour des volumes allant du giga-octets au péta-octets (1024 tera-octets). Nous discuterons d’Amazon Elastic MapReduce, d’Hadoop, de données structurées et non structurées, et des types d'instances Amazon EC2 qui permettent des analyses hautes performances à coûts optimisés.

1. Big Data Analytics
Laurent Guiraud
Business Development Manager, AWS Big Data
Stephan Hilby
EMEA Cloud Service Provider Manager, Intel

2. 1. Introduction Big Data
2. De la donnée à la prise de décision
3. Big Data Analytics et Cloud Computing
4. Écosystème Big Data
Agenda
5. Innovations technologiques pour le Big Data

3. Introduction Big Data
1

4. Génération
Collecte & Stockage
Analyse & Traitement
Collaboration & Partage

5. Les coûts de génération de
données sont en chute.

6. Génération
Collecte & Stockage
Analyse & Traitement
Collaboration & Partage
Coûts réduits ,
Accroissement du debit

7. Génération
Collecte & Stockage
Analyse & Traitement
Collaboration & Partage
Contraintes
fortes
Coût réduit ,
Accroissement du débit

8. Données Générées
Disponibles pour analyse
et traitement
Volume données
Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011
IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares

9. Elastique et hautement évolutif
Aucune avance de capitaux
Paiement à l'usage
+
+
Disponible à la demande
+
=
Contraintes
supprimer

10. Génération
Collecte & Stockage
Analyse & Traitement
Collaboration & Partage
Contraintes
fortes
Coût réduit,
Accroissement du debit

11. Génération
Collecte & Stockage
Analyse & Traitement
Collaboration & Partage
Accélération

12. Close the gap.

13. Technologies et techniques pour
travailler de manière productive avec
des données sans limite d’échelle.
Big Data

14. De la Donnée à la prise de
Décision
2

15. “Qui sont les acheteurs de
jeux video?”

16. 3.5 Milliard d’enregistrements
13 TB de click stream logs
71 million de cookies uniques
Par jour:

19. 500% retour sur dépenses publicitaires
17,000% reduction en temps d’acquisition
Resultats:

20. “Qui sont nos utilisateurs?”

21. Identification utilisation mobile croissante
Investissement sur les applications mobiles
Recherche de signaux faibles
dans la masse des logs

22. 9,432,061 utilisations uniques depuis un mobile.
4 million+ appels. 5 million+ directions.
Janvier 2013

23. Index Web ouvert.
3.4 Milliard d’enregistrements.
Disponible pour tous.

24. Analyse complete de mesure d’impact
des réseaux sociaux
300 lignes de code Ruby.
14 heures.
$100.

25. You Are What You Tweet: Analyzing Twitter for Public Health. M. J. Paul and M. Dredze, 2011
Tweeting et prediction de la grippe

26. Tweets sur le
prix du riz
Inflation mesurée
Tweeting sur le prix de la nourriture

27. Big Data Analytics et
Cloud Computing
3

28. Génération
Collecte & Stockage
Analyse & Traitement
Collaboration & Partage

29. Génération
Collecte & Stockage
Analyse & Traitement
Collaboration & Partage
S3, Glacier,
Storage Gateway,
DynamoDB,
Redshift, RDS,
HBase

30. Génération
Collecte & Stockage
Analyse & Traitement
Collaboration & Partage
EC2 &
Elastic MapReduce

31. Génération
Collecte & Stockage
Analyse & Traitement
Collaboration & Partage
Amazon EC2 &
Elastic MapReduce

32. Génération
Collecte & Stockage
Analyse & Traitement
Collaboration & Partage
Amazon EC2 & S3,
CloudFormation,
Elastic MapReduce,
RDS, DynamoDB, Redshift

33. Génération
Collecte & Stockage
Analyse & Traitement
Collaboration & Partage
EC2 & S3,
CloudFormation,
Elastic MapReduce,
RDS, DynamoDB, Redshift
EC2 &
Elastic MapReduce
S3, Glacier,
Storage Gateway,
DynamoDB,
Redshift, RDS,
HBase
AWS Data Pipeline

34. Génération
Collecte & Stockage
Analyse & Traitement
Collaboration & Partage
EC2 & S3,
CloudFormation,
Elastic MapReduce,
RDS, DynamoDB, Redshift
EC2 &
Elastic MapReduce
S3, Glacier,
Storage Gateway,
DynamoDB,
Redshift, RDS,
HBase
AWS Data Pipeline

35. Elastic MapReduce

36. Hadoop tout-en-un

37. Input data
S3, DynamoDB, Redshift

38. Elastic
MapReduce
Code
Input data
S3, DynamoDB, Redshift

39. Elastic
MapReduce
Code Name
node
Input data
S3, DynamoDB, Redshift

40. Elastic
MapReduce
Code Name
node
Input data
Elastic
cluster
S3, DynamoDB, Redshift
S3/HDFS

41. Elastic
MapReduce
Code Name
node
Input data
S3/HDFS
Queries
+ BI
Via JDBC, Pig, Hive
S3, DynamoDB, Redshift
Elastic
cluster

42. Elastic
MapReduce
Code Name
node
Output
Input data
Queries
+ BI
Via JDBC, Pig, Hive
S3, DynamoDB, Redshift
Elastic
cluster
S3/HDFS

43. Output
Input data
S3, DynamoDB, Redshift

54. 1. Cluster Elastique

55. 10 heures

56. 6 heures

57. Capacité en pointe

58. 2. Rapide, provisionnement optimal

59. 3. 100% Hadoop

60. Écosystème varié
Databases, machine learning, segmentation,
clustering, analytics, metadata stores,
exchange formats, and so on...

61. 4. Experimentation facile

62. Choix des instances.
Flexibilité du choix, type et nombre.

63. 5. Optimisation des coûts .

64. Compatible avec les instances spot.
Choix du prix.

65. 1. Cluster Elastique
2. Rapide, provisionnement optimal
3. 100% Hadoop
4. Experimentation facile.
5. Optimisation des couts

66. Écosystème
Big Data
4

67. Données, Données, partout...
Donnees stockées en silos.

68. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On-premises

69. “Comment migrer mes données vers
le cloud?”

70. Data mobility
Generation directe dans AWS
Gratuité du transfert de données vers AWS.
Multipart upload vers S3
Import / Export de disques physiques
AWS Direct Connect
Copie d’AMI et snapshot entre régions

71. “Comment puis je organiser mes flux
de données?”

72. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On-premises

73. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On-premises

74. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On premises

75. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On premises

76. S3
DynamoDB EMR
HBase on EMR RDS
Redshift
On premises

77. AWS Data Pipeline
Orchestration orienté données .

78. AWS Data Pipeline
Orchestration orienté données
Fiable et souple
Utilisation facile par glisser-déposer
Execution et logique de reprise
Cartographie des dépendances entre les données.
Creation et gestion de resources de traitement

79. Anatomie d’un pipeline

80. Vérification et notifications

81. Pipelines simples ou complexes

82. aws.amazon.com/datapipeline

83. aws.amazon.com/big-data

84. Innovations technologiques pour
le Big Data
5

85. Une génération & création de données
sans précédent
Business
Generated
Human
Generated
Machine
Generated
Une croissance exponentielle
de l’usage d’Internet
 Davantage d’Utilisateurs
 Davantages de Périphériques
 Davantage de Contenus

86. Les différentes étapes de maturité du Big Data
Introduction Intégration Endoctrinement
Analyse
Prescriptive
Analyse
Descriptive
Analyse
Predictive
Intuition
Analytics
Réduction des coûts Croissance des revenus Clients fidèles

87. Analyser les données peut aider à
transformer la société
Create new business
models and improve
organizational
processes.
Enhance scientific
understanding, drive
innovation, and
accelerate medical cures.
Increase public safety
and improve
energy efficiency with
smart grids.

88. La vision d’Intel pour démocratiser le Big Data
Unlock Value in
Silicon
Support Open
Platforms
Deliver Software Value

89. Intel : A la croisée des chemins menant au Big Data
Enabling exascale
computing on massive
data sets
Helping enterprises
build open
interoperable clouds
Contributing code
and fostering
ecosystem
HPC Cloud Open Source

90. Les technologies Intel au coeur du Cloud Computing
Serveur
Stockage
Réseau
Logiciel

91. Des processeurs taillés pour démultiplier
les usages du Big Data
Hadoop & Data
Warehouse Engines
Cost-effective performance
•Intel® Advanced Vector Extension Technology
•Intel® Turbo Boost Technology 2.0
•Intel® Advanced Encryption Standard New
Instructions Technology
Processeur Intel® Xeon® E5

92. 92
Intel® Advanced Vector Extensions (AVX)
• Newest in a long line of
processor instruction
innovations
• Increases floating point
operations per clock up to
2X1 performance
1 : Performance comparison using Linpack benchmark. See backup for configuration details.
For more legal information on performance forecasts go to http://www.intel.com/performance
Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are
measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other
information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products.

93. Intel® Turbo Boost 2.0
More Performance
Higher turbo speeds maximize
performance for single and
multi-threaded applications

94. Intel® Advanced Encryption Standard New Instructions (AES-NI)
• Processor assistance for
performing AES encryption
7 new instructions
• Makes enabled encryption
software faster and stronger

95. L’effet combiné des technologies Intel
Richer
user
experiences
4 HRS
50%
Reduction
10 MIN
80%
Reduction 50%
Reduction 40%
Reduction
TeraSort for
1 TB sort
Intel®
Xeon®
Processor
E5 2600
Solid-State
Drive 10G
Ethernet Intel® Apache
Hadoop
Previous
Intel®
Xeon®
Processor

96. Cloud
Intelligent Systems
Clients
Le cercle vertueux de l’expérience utilisateur

97. Les innovations Intel au service du Big Data
Unlock Value in
Silicon
Support Open
Platforms
Deliver Software Value

98. 1. Introduction Big Data
2. De la donnée à la prise de décision
3. Big Data Analytics et Cloud Computing
4. Écosystème Big Data
Conclusion
5. Innovations technologiques pour le Big Data

99. Merci
laurentg@amazon.lu
aws.amazon.com/elasticmapreduce
aws.amazon.com/datapipeline
aws.amazon.com/big-data
stephan.hilby@intel.com
www.powerof60.com
ITcenter.intel.com