Présentation d'Amazon Web Services - Human Talks GrenobleBastien Libersa
Talk d'introduction à Amazon Web Services : qu'est-ce qu'AWS ? A quoi ça sert ? Comment on l'utilise ?
Application à un cas pratique : le site www.monaviscompte.fr
Dans cette session, vous découvrirez comment tirer avantage des propriétés uniques du Cloud tout en vous appuyant sur le soutien de nos ingénieurs support. Vous verrez nos offres de support AWS disponibles 24x7. Notre équipe vous guidera au travers de notre outil automatisé « Trusted Advisor », et vous conseillera sur la manière de créer une architecture auto ajustable. Mais ne vous contentez pas de nous croire sur parole, venez écouter nos clients vous expliquer comment ils ont les services du Support AWS pour tirer le meilleur parti de la plateforme.
AWS Summit Paris - Track 3 - Session 1 - IoT Partie 1 - Connectez vos objets ...Amazon Web Services
Les objets de notre quotidien deviennent maintenant des objets-connectés quelque soit leur complexité, allant d'une simple lampe jusqu’à une voiture.
Nous verrons dans cette session les interfaces et architectures permettant de connecter ces objets au Cloud AWS afin de pouvoir ensuite exploiter ces données. Pour se faire nous utiliserons les services managés AWS permettant de traiter ces informations en temps réel et sur une échelle massive comme Amazon Kinesis et AWS Lambda.
Un Voyage dans le Cloud: Les Meilleures Pratiques Pour Démarrer Dans Le Cloud...Amazon Web Services
Cette présentation propose une vue d'ensemble sur l'utilisation du Cloud AWS dans le but de rendre vos infrastructures plus flexibles, disponibles et économiques tout en améliorant la sécurité de vos applications.
Présentation d'Amazon Web Services - Human Talks GrenobleBastien Libersa
Talk d'introduction à Amazon Web Services : qu'est-ce qu'AWS ? A quoi ça sert ? Comment on l'utilise ?
Application à un cas pratique : le site www.monaviscompte.fr
Dans cette session, vous découvrirez comment tirer avantage des propriétés uniques du Cloud tout en vous appuyant sur le soutien de nos ingénieurs support. Vous verrez nos offres de support AWS disponibles 24x7. Notre équipe vous guidera au travers de notre outil automatisé « Trusted Advisor », et vous conseillera sur la manière de créer une architecture auto ajustable. Mais ne vous contentez pas de nous croire sur parole, venez écouter nos clients vous expliquer comment ils ont les services du Support AWS pour tirer le meilleur parti de la plateforme.
AWS Summit Paris - Track 3 - Session 1 - IoT Partie 1 - Connectez vos objets ...Amazon Web Services
Les objets de notre quotidien deviennent maintenant des objets-connectés quelque soit leur complexité, allant d'une simple lampe jusqu’à une voiture.
Nous verrons dans cette session les interfaces et architectures permettant de connecter ces objets au Cloud AWS afin de pouvoir ensuite exploiter ces données. Pour se faire nous utiliserons les services managés AWS permettant de traiter ces informations en temps réel et sur une échelle massive comme Amazon Kinesis et AWS Lambda.
Un Voyage dans le Cloud: Les Meilleures Pratiques Pour Démarrer Dans Le Cloud...Amazon Web Services
Cette présentation propose une vue d'ensemble sur l'utilisation du Cloud AWS dans le but de rendre vos infrastructures plus flexibles, disponibles et économiques tout en améliorant la sécurité de vos applications.
AWS Summit Paris - Track 4 - Session 2 - Migration Cloud, modernisation des a...Amazon Web Services
Avec le cloud la vitesse, l’agilité et le coûts des projets informatiques ont radicalement évolué.
Pour les enterprises, la stratégie et la vitesse de migration sont capitales pour tirer des bénéfices rapidement, innover et se différencier des autres acteurs. Dans cette session, nous couvrirons les éléments clef de migration vers le Cloud AWS.
De nombreux clients choisissent AWS parce qu'ils ont besoin d'une plate-forme hautement fiable, évolutive et compétitive sur laquelle exécuter leurs applications. Le fait qu’avec AWS vous ne payez que ce que vous consommez et vous bénéficiez de fréquentes baisses de prix, ne sont que la première étape vers une optimisation globale des coûts. Dans cette session, vous apprendrez à utiliser quelques outils de monitoring simples permettant d’assurer le suivi et la gestion de l’utilisation de vos ressources AWS. Vous découvrirez également un ensemble de fonctions innovantes permettant d’opérer à moindre coût : Trusted Advisor, rapports d'utilisation, alertes de facturation, détection des ressources inactives, Auto Scaling pour Amazon EC2, instances Spot et réservées.
Que sont le cloud computing et Amazon Web Services (AWS)? Comment mon entreprise peut-elle tirer profit du cloud computing? Si vous cherchez des réponses à ces questions, suivez ce webinaire et apprenez comment baisser vos coûts, être plus agile et maintenir, voire améliorer, le niveau de sécurité de vos applications.
Nous présenterons certains des mécanismes clés pour l’utilisation de la plateforme AWS comme environnement de déploiement élastique ; nous discuterons aussi des clients qui utilisent actuellement AWS pour leurs développements et leurs tests ; enfin, nous vous donnerons quelques conseils pour vous aider à gérer votre infrastructure et rester compétitif.
Track 1 - Atelier 1 - Votre première semaine avec Amazon EC2Amazon Web Services
Amazon Elastic Compute Cloud (Amazon EC2) fournit une capacité de calcul redimensionnable dans le cloud et est souvent la première étape d’utilisation d’AWS. Cette session vous présentera les concepts fondamentaux d’Amazon EC2. En tant que participant vous vivrez l’expérience d’une première semaine d’utilisation d’Amazon EC2 au travers du déploiement d’une application réelle en production, de l’utilisation des AMI (Amazon Machine Image) sur les instances Amazon EC2 à la mise en œuvre de fonctionnalités avancées. Au cours de ce processus, vous identifierez les meilleures pratiques et les spécificités de déploiement dans le Cloud.
4D Summit Europe 2016 - Conférence d'A&C Consulting : "Stocker des données su...Nathalie Richomme
Le « cloud » est le nouveau mot-clé pour créer le buzz dans l’IT. Grâce aux nouvelles apps, accessoires, etc., nous utilisons ou stockons tous des données dans le cloud parfois sans parfois s’en rendre compte. Amazon, au-delà de son si populaire site marchand, dispose d’un vaste catalogue de web services (AWS). Au sein de ces services, l’un d’entre eux dipose d’un grand potentiel pour les développeurs 4D. Il s’agit d’Amazon Simple Storage Service (S3). S3 constitue la solution Amazon de stockage sur le Cloud.
Cette session sera consacrée à la présentation d’Amazon Redshift, qui est un service d’entrepôt de données entièrement géré dont la taille va de quelques centaines de giga-octets à un ou plusieurs péta-octets, coûtant moins de 1 000 USD par téra-octet et par an, soit un dixième du coût de la plupart des solutions classiques d'entrepôt de données. Vous découvrirez la simplicité avec laquelle vous pouvez démarrer avec Amazon RedShift et analyser et lancer des rapports sur plusieurs millions de lignes d’enregistrements en quelques secondes.
AWS Summit Paris - Track 2 - Session 2 - Préparez-vous à l'imprévuAmazon Web Services
Le Cloud Computing offre de nombreux avantages, tels que la possibilité de passer vos applications à l'échelle en fonction de vos besoins. Si vous avez une nouvelle application et que vous souhaitez utiliser le Cloud AWS, vous serez amené à vous poser la question suivante : "Par où dois-je commencer ?". Rejoignez-nous sur cette session pour comprendre les bonnes pratiques qui vous permettront de passer de 0 à plusieurs millions d'utilisateurs. Nous vous montrerons comment combiner au mieux les services AWS, prendre les bonnes décisions pour architecturer vos applications et déployer des infrastructure scalables dans le Cloud.
Construire des Applications Web Performantes - Rule Book WebinarAmazon Web Services
Premier d'une série de Webinaire "Voyage dans le Cloud AWS", nous allons voir comment construire des applications Web performantes en utilisant le Cloud AWS.
Track 1 - Atelier 2 - Distribution complète d’un site avec le cdn Amazon Clo...Amazon Web Services
Nous allons vous montrer comment utiliser Amazon CloudFront pour architecturer votre site de façon à pouvoir diffuser du contenu statique et dynamique. Vous découvrirez comment configurer des serveurs d'origines multiples dans Amazon CloudFront pour bénéficier de l’accélération fournie par Amazon CloudFront, que vous hébergiez vos sites sur Amazon EC2 ou sur vos serveurs actuels. Vous verrez comment paramétrer Amazon CloudFront pour personnaliser vos pages web pour chaque internaute, et comment protéger la distribution de contenus privés.
AWS Summit Paris - Track 4 - Session 3 - Créez votre SaaS avec AWSAmazon Web Services
Adobe, Software AG, Pegasystems, Axway, Dassault Systemes, Heroku, eFront, Autodesk, Vocalcom. De très nombreux éditeurs de logiciel ont construit leur SaaS sur le Cloud AWS. Dans cette session, nous partagerons les meilleures pratiques pour construire un business SaaS sur AWS.
Aberdeen Oil & Gas Event - Enterprise Cloud Adoption PatternsAmazon Web Services
In this presentation from the recent AWS Oil & Gas event in Aberdeen, AWS Technical Evangelist Ian Massingham describes and discusses the common patterns for adoption of the AWS Cloud within established enterprises.
- Analytics and advanced data analysis can both save costs and increase profits for oil and gas companies, but management is often reluctant to adopt new digital and analytical approaches.
- Cost overruns and delays in oil and gas projects have deterred investment, yet other industries are directing investments and raising profitability through sophisticated financial analytics.
- While the industry focuses on engineering solutions to cut costs, more value could be realized by exploiting insights from operational data through analytics and new data relationships. Persuading management to think differently will require champions willing to think outside the box.
AWS Summit Paris - Track 4 - Session 2 - Migration Cloud, modernisation des a...Amazon Web Services
Avec le cloud la vitesse, l’agilité et le coûts des projets informatiques ont radicalement évolué.
Pour les enterprises, la stratégie et la vitesse de migration sont capitales pour tirer des bénéfices rapidement, innover et se différencier des autres acteurs. Dans cette session, nous couvrirons les éléments clef de migration vers le Cloud AWS.
De nombreux clients choisissent AWS parce qu'ils ont besoin d'une plate-forme hautement fiable, évolutive et compétitive sur laquelle exécuter leurs applications. Le fait qu’avec AWS vous ne payez que ce que vous consommez et vous bénéficiez de fréquentes baisses de prix, ne sont que la première étape vers une optimisation globale des coûts. Dans cette session, vous apprendrez à utiliser quelques outils de monitoring simples permettant d’assurer le suivi et la gestion de l’utilisation de vos ressources AWS. Vous découvrirez également un ensemble de fonctions innovantes permettant d’opérer à moindre coût : Trusted Advisor, rapports d'utilisation, alertes de facturation, détection des ressources inactives, Auto Scaling pour Amazon EC2, instances Spot et réservées.
Que sont le cloud computing et Amazon Web Services (AWS)? Comment mon entreprise peut-elle tirer profit du cloud computing? Si vous cherchez des réponses à ces questions, suivez ce webinaire et apprenez comment baisser vos coûts, être plus agile et maintenir, voire améliorer, le niveau de sécurité de vos applications.
Nous présenterons certains des mécanismes clés pour l’utilisation de la plateforme AWS comme environnement de déploiement élastique ; nous discuterons aussi des clients qui utilisent actuellement AWS pour leurs développements et leurs tests ; enfin, nous vous donnerons quelques conseils pour vous aider à gérer votre infrastructure et rester compétitif.
Track 1 - Atelier 1 - Votre première semaine avec Amazon EC2Amazon Web Services
Amazon Elastic Compute Cloud (Amazon EC2) fournit une capacité de calcul redimensionnable dans le cloud et est souvent la première étape d’utilisation d’AWS. Cette session vous présentera les concepts fondamentaux d’Amazon EC2. En tant que participant vous vivrez l’expérience d’une première semaine d’utilisation d’Amazon EC2 au travers du déploiement d’une application réelle en production, de l’utilisation des AMI (Amazon Machine Image) sur les instances Amazon EC2 à la mise en œuvre de fonctionnalités avancées. Au cours de ce processus, vous identifierez les meilleures pratiques et les spécificités de déploiement dans le Cloud.
4D Summit Europe 2016 - Conférence d'A&C Consulting : "Stocker des données su...Nathalie Richomme
Le « cloud » est le nouveau mot-clé pour créer le buzz dans l’IT. Grâce aux nouvelles apps, accessoires, etc., nous utilisons ou stockons tous des données dans le cloud parfois sans parfois s’en rendre compte. Amazon, au-delà de son si populaire site marchand, dispose d’un vaste catalogue de web services (AWS). Au sein de ces services, l’un d’entre eux dipose d’un grand potentiel pour les développeurs 4D. Il s’agit d’Amazon Simple Storage Service (S3). S3 constitue la solution Amazon de stockage sur le Cloud.
Cette session sera consacrée à la présentation d’Amazon Redshift, qui est un service d’entrepôt de données entièrement géré dont la taille va de quelques centaines de giga-octets à un ou plusieurs péta-octets, coûtant moins de 1 000 USD par téra-octet et par an, soit un dixième du coût de la plupart des solutions classiques d'entrepôt de données. Vous découvrirez la simplicité avec laquelle vous pouvez démarrer avec Amazon RedShift et analyser et lancer des rapports sur plusieurs millions de lignes d’enregistrements en quelques secondes.
AWS Summit Paris - Track 2 - Session 2 - Préparez-vous à l'imprévuAmazon Web Services
Le Cloud Computing offre de nombreux avantages, tels que la possibilité de passer vos applications à l'échelle en fonction de vos besoins. Si vous avez une nouvelle application et que vous souhaitez utiliser le Cloud AWS, vous serez amené à vous poser la question suivante : "Par où dois-je commencer ?". Rejoignez-nous sur cette session pour comprendre les bonnes pratiques qui vous permettront de passer de 0 à plusieurs millions d'utilisateurs. Nous vous montrerons comment combiner au mieux les services AWS, prendre les bonnes décisions pour architecturer vos applications et déployer des infrastructure scalables dans le Cloud.
Construire des Applications Web Performantes - Rule Book WebinarAmazon Web Services
Premier d'une série de Webinaire "Voyage dans le Cloud AWS", nous allons voir comment construire des applications Web performantes en utilisant le Cloud AWS.
Track 1 - Atelier 2 - Distribution complète d’un site avec le cdn Amazon Clo...Amazon Web Services
Nous allons vous montrer comment utiliser Amazon CloudFront pour architecturer votre site de façon à pouvoir diffuser du contenu statique et dynamique. Vous découvrirez comment configurer des serveurs d'origines multiples dans Amazon CloudFront pour bénéficier de l’accélération fournie par Amazon CloudFront, que vous hébergiez vos sites sur Amazon EC2 ou sur vos serveurs actuels. Vous verrez comment paramétrer Amazon CloudFront pour personnaliser vos pages web pour chaque internaute, et comment protéger la distribution de contenus privés.
AWS Summit Paris - Track 4 - Session 3 - Créez votre SaaS avec AWSAmazon Web Services
Adobe, Software AG, Pegasystems, Axway, Dassault Systemes, Heroku, eFront, Autodesk, Vocalcom. De très nombreux éditeurs de logiciel ont construit leur SaaS sur le Cloud AWS. Dans cette session, nous partagerons les meilleures pratiques pour construire un business SaaS sur AWS.
Aberdeen Oil & Gas Event - Enterprise Cloud Adoption PatternsAmazon Web Services
In this presentation from the recent AWS Oil & Gas event in Aberdeen, AWS Technical Evangelist Ian Massingham describes and discusses the common patterns for adoption of the AWS Cloud within established enterprises.
- Analytics and advanced data analysis can both save costs and increase profits for oil and gas companies, but management is often reluctant to adopt new digital and analytical approaches.
- Cost overruns and delays in oil and gas projects have deterred investment, yet other industries are directing investments and raising profitability through sophisticated financial analytics.
- While the industry focuses on engineering solutions to cut costs, more value could be realized by exploiting insights from operational data through analytics and new data relationships. Persuading management to think differently will require champions willing to think outside the box.
In this presentation from the recent AWS Oil & Gas event in Aberdeen, Franz Esser from AWS Partner, Eurotech discusses the solutions that Eurotech have delivered to commom challenges faced by organisations operating in the oil and gas sector.
- Comprendre les services cloud d'AWS
- Accroitre vos connaissances sur le Cloud AWS et sur ses principales offres dont EC2, S3, Elastic Transcoder, Cloudfront.
- Comprendre comment réaliser un pipeline d'encodage élastique de bout en bout
- Apprendre comment mettre en œuvre ces services AWS pour construire des architectures fiables, robustes et économiques.
The document discusses cloud adoption patterns for integrating cloud solutions into an organization's IT strategy. It outlines different types of application migrations like lift-and-shift, cloud tuning, and cloud-centric design. It also covers design principles for cloud-native applications like microservices and stateless runtimes. Various DevOps patterns are presented, such as continuous integration/delivery pipelines, functional testing, and log aggregation. The goal is to provide guidance on architectural approaches and best practices for developing and deploying applications in the cloud.
Improving MySQL performance with HadoopSagar Jauhari
This document discusses integrating MySQL and Hadoop to improve MySQL performance. It provides an overview of MySQL and Hadoop, including their usage by companies like Facebook and Twitter. The document then covers how Hadoop uses HDFS for distributed storage and MapReduce for parallel processing. It describes leveraging Hadoop to offload analytics and data warehousing from MySQL to improve performance for transactional workloads. Integrating the two can provide scalability beyond what MySQL alone can offer.
Keith Wymbs, CMO at AWS Elemental's presentation to the Video Processing & Delivery track at the Media & Entertainment Cloud Symposium on November 4, 2016
ACCELERATING OTT DELIVERY AND MODERNIZING MEDIA LOGISTICS WITH CLOUD BASED VI...Amazon Web Services
Elemental provides cloud-based video processing and delivery solutions. Their technology is deployed globally across markets like broadcasters, content programmers, and pay TV operators. They have over 850 customers including many major pay TV operators and content owners. Elemental offers software-defined video processing solutions that can be deployed in private data centers, public clouds, or in hybrid models. Their solutions enable elastic and flexible video workflows for live, on-demand, and file-based video processing. Case studies show how Elemental helps customers like Amazon Video, BBC, and the 2014 World Cup to scale their video operations and deliver live and on-demand content globally.
Business & Decision - Atteignez le ROI2 sur vos projets Data - Congrès Big Da...Business & Decision
Business & Decision - Présentation de l'atelier "Atteignez le ROI2 sur vos projets Data" présenté au Congrès Big Data Paris 2017. L'atelier a été animé par Mick Lévy, Directeur de l'Innovation Business chez Business & Decision;
Introduction to Media Processing, Delivery and Storage in the Cloud - AWS Jun...Amazon Web Services
The rate at which video operations are moving to the cloud is accelerating, and operators can take advantage of this trend to reduce total cost of ownership, flexibly address shifting technology requirements, and more quickly launch IP video services. Elemental solutions are deeply integrated with AWS services, giving video providers the ability to quickly, easily and economically scale workflows in the cloud.
This webinar will focus on how a video producer can use Elemental Cloud and AWS services to store, archive, compute, transcode and deliver digital media content in the cloud.
Learning Objectives:
Learn the benefits of migrating digital media to the cloud
Understand key Elemental Cloud features that enable video producers to rapidly deploy main screen and multiscreen offerings for live and on-demand content
Showcase how media and entertainment companies are already reaping the benefits as elastic cloud platforms drive down costs, optimize workflows and unify headends
Valtech - Du BI au Big Data, une révolution dans l’entrepriseValtech
La Business Intelligence, dans l’entreprise, est actuellement en train de se métamorphoser.
Le Big Data permet d’explorer de nouvelles possibilités qui révolutionnent l’informatique décisionnelle.
Hervé Desaunois - Directeur technique, Valtech Toulouse
herve.desaunois@valtech.fr
Lionel Molas - Consultant Senior - Coach Agile, Valtech Toulouse
Soft Computing & IBM : Digital, Big Data & DMPSoft Computing
Soft Computing et IBM partagent leurs retours d'expériences.
La digitalisation bouleverse toutes les facettes de la relation client. Le marketing digital n'existe plus, c'est l'ensemble du marketing qui est passé à l'ère du digital. Tout est devenu générateur de données, mais comment les valoriser ?
Les frontières entre marketing services, données, design, publicité, social, web et mobile s'estompent au fur et à mesure que la technologie évolue pour simplifier les interactions entre disciplines.
S'appuyant notamment sur diverses solutions avancées en matière de Big Data & Analytics, le large panorama de l'offre d'IBM vous sera replacé dans le contexte des besoins du marketing client et produit.
Soft Computing partagera avec vous des cas d'usages métiers en partant du CRM multi canal confronté aux nouveaux parcours, puis en intégrant les nouveaux médias et les Big Data.
Enfin, pour répondre aux nouveaux enjeux marketing sans tomber dans les difficultés de mise en œuvre de projets complexes et couteux, Soft Computing vous présentera le dispositif « Soft Computing Marketing Ready » tel que mis en œuvre notamment pour de grandes enseignes de la distribution alimentaire. Il comprend à la fois des outils informatiques et des prestations de services, qui couvrent l'ensemble des fonctions marketing de manière intégrée : connaissance client, campagnes marketing, fidélité, promotions, référentiel client, qualité des données, moteur de recommandations, référencement web, veille et animation sociale, enquêtes, reporting marketing, datasharing et data onboarding.
De la stratégie à la réalité : de meilleures décisions avec les donnéesAmazon Web Services
Quelle que soit votre mission, vous devez faire en sorte que votre équipe prenne des décisions intelligentes. Les entreprises efficaces utilisent les analyses en libre service qui regroupent des données de plusieurs sources pour mettre en place une résolution des problèmes ponctuelle et axée sur les données. Rejoignez Darin Briskman, expert AWS en base de données, analyses, machine learning et chaîne de blocs pour explorer comment les citoyens du Canada et d'ailleurs sont mieux servis par des entreprises qui mettent en avant la prise de décision basée sur des données.
Track 2 - Atelier 1 - Big data analytics présenté avec IntelAmazon Web Services
En savoir plus sur les outils, techniques et technologies pour travailler de manière productive avec des données à n'importe quelle échelle. Vous découvrirez la gamme d'outils d'analyse des données disponible sur AWS et que vous pouvez utiliser pour collecter, stocker, analyser et partager vos données, pour des volumes allant du giga-octets au péta-octets (1024 tera-octets). Nous discuterons d’Amazon Elastic MapReduce, d’Hadoop, de données structurées et non structurées, et des types d'instances Amazon EC2 qui permettent des analyses hautes performances à coûts optimisés.
Tracer la voie vers le BigData et l'analyse prédictive avec Talend et Amazon AWS.
Peut-on se passer du Big Data, de l’analyse prédictive, ou du machine learning depuis qu’ils ont démontré leur capacité à transformer l’entreprise et à ouvrir les portes de vos marchés à de nouveaux acteurs ? Et sinon, comment s’approprier au plus vite toute cette panoplie technologique, à première vue complexe, coûteuse et en perpétuelle mutation ?
Cette présentation démontre comment s’approprier et orchestrer les plates-formes cloud telles qu’Amazon AWS, pour tirer partie de la puissance de traitements de Hadoop et de Spark dans le cadre d’applications analytiques de nouvelle génération.
Transforming Enterprise IT - French Version - Transformation Day Montreal 2018Amazon Web Services
AWS Transformation Day is designed for enterprise organizations looking to make the move to the cloud in order to become more responsive, agile and innovative, while still staying secure and compliant.
Exadays cloud – Enjeux et Transformation du SISamir Arezki ☁
Le Cloud révolutionne la manière de concevoir, de gérer et d'utiliser le système d'information. En effet, il offre des bénéfices déterminants pour répondre aux enjeux des entreprises : maîtrise du Time to Market, accélération des cycles d’innovation, gestion du risque disruptif, maîtrise des coûts, ect.
Dans cette session, nous présenterons une démarche globale pour bâtir votre stratégie Coud. Ainsi que les différents modèles (cloud public / hybride) et technologies Microsoft Azure pour faciliter et réussir votre transition vers le Cloud.
Nous aborderons différents scénarios et retours d’expériences.
Big Data : au delà du proof of concept et de l'expérimentation (Matinale busi...Jean-Michel Franco
Concrétiser les promesses du Big Data avec Hadoop, le Self-Service, les data lakes et le machine learning. Quels cas d'usage, quels retours d'expérience, quelle plate-forme?
Cette session débutera par la présentation de la stratégie Software Defined Storage (SDN) de Microsoft en balayant les aspects privés, hybrides et publiques. Nous continuerons tout le long de la session par des cas d’usage fonctionnel s’appuyant sur les services de stockage Azure. Vous appréhenderez ainsi les critères de choix à prendre en compte pour concevoir une architecture cible. C’est dans cette démarche que nous clôturerons la session par un retour d’expérience client sur la traçabilité de production et packaging industriel s’appuyant sur les services Azure Tables & Blobs
MongoDB 3.6 helps you move at the speed of your data, turning developers, operations teams and analysts into a growth engine for the company. It enables new applications to be marketed faster, run reliably and securely on a large scale, and unlock information and information in real time. Learn more: https://www.mongodb.com/mongodb-3.6
Oxalide MorningTech #1 - BigData
1er MorningTech @Oxalide, animé par Ludovic Piot (@lpiot), le 15 décembre 2016.
Pour cette 1ère édition du Morning Tech nous vous proposons une overview sur un des thèmes du moment : le Big Data.
Au delà de ce buzz word nous aborderons :
Les grands concepts
Les étapes clés des projets Big Data et les technologies à utiliser (stockage, ingestion, …)
Les enjeux des architectures Big Data (architecture lambda, …)
L'intelligence artificielle (machine learning, deep learning, …)
Et nous finirons par un cas d'usage du big data sur AWS autour de l'utilisation des données gyroscopiques de vos internautes mobiles
Subject: Oxalide's 1st MorningTech talk about BigData.
Date: 15-dec-2016
Speakers: Ludovic Piot (@lpiot, @oxalide)
Language: french
Lien SpeakerDeck : https://speakerdeck.com/lpiot/oxalide-morningtech-number-1-bigdata
Lien SlideShare : https://www.slideshare.net/LudovicPiot/oxalide-morningtech-1-bigdata
YouTube Video capture: https://youtu.be/7O85lRzvMY0
Main topics:
* Les grands enjeux du BigData
** les 3 V du Gartner : volume, variété, vélocité
* Le stockage des données
** datalake
** les technos
* L'ingestion des données
** ETL
** datastream
** les technos
* Les enjeux du compute
** map-reduce
** spark
** lambda architecture
* Démo d'une plateforme BigData sur AWS
* L'intelligence artificielle
** datascience exploratoire et notebooks,
** machine learning,
** deep learning,
** data pipeline
** les technos
* Pour aller plus loin
** La gouvernance des données
** La dataviz
Denodo, pilier central de votre stratégie APIDenodo
https://bit.ly/2TGvsG9
L'une des idées fondamentales derrière la virtualisation des données est le découplage des sources de données avec les méthodes de consommation. Pourquoi le besoin en requêtes de données dans JSON sur HTTP devrait-il nécessiter du développement supplémentaire? Denodo fournit un accès immédiat à ses ensembles de données via REST, OData 4, GeoJSON et d'autres protocoles, sans codage requis. Facile à faire évoluer, cloud-compatible et directement intégrable aux plateformes de gestion d'API, Denodo est l'outil idéal pour réussir votre stratégie API !
Dans cette session, nous aborderons les points suivants :
- Le rôle de Denodo dans une stratégie API
- L’intégration entre Denodo et les autres éléments du stack API, comme les plateformes de gestion d'API
- La facilité d'accès à Denodo en tant que fournisseur d’API REST
- Les options avancées des services Web Denodo: authentification via OAuth ou SAML, documentation OpenAPI, capacités géographiques, etc.
EXL Group, cabinet de conseil en technologies Analytiques, Numériques et Digitales.
Nos équipes multi-spécialistes réunissent des experts en conseils, technologies ou encore méthodes éprouvées pour vous proposer des prestations optimales pour vos Systèmes d’Information. En favorisant et récompensant la prise d’initiative, l’esprit entrepreneurial, nous plaçons chaque collaborateur au cœur de chaque projet . Nous travaillons donc tout autant sur votre satisfaction que sur celles de nos équipes.
Come costruire servizi di Forecasting sfruttando algoritmi di ML e deep learn...Amazon Web Services
Il Forecasting è un processo importante per tantissime aziende e viene utilizzato in vari ambiti per cercare di prevedere in modo accurato la crescita e distribuzione di un prodotto, l’utilizzo delle risorse necessarie nelle linee produttive, presentazioni finanziarie e tanto altro. Amazon utilizza delle tecniche avanzate di forecasting, in parte questi servizi sono stati messi a disposizione di tutti i clienti AWS.
In questa sessione illustreremo come pre-processare i dati che contengono una componente temporale e successivamente utilizzare un algoritmo che a partire dal tipo di dato analizzato produce un forecasting accurato.
Big Data per le Startup: come creare applicazioni Big Data in modalità Server...Amazon Web Services
La varietà e la quantità di dati che si crea ogni giorno accelera sempre più velocemente e rappresenta una opportunità irripetibile per innovare e creare nuove startup.
Tuttavia gestire grandi quantità di dati può apparire complesso: creare cluster Big Data su larga scala sembra essere un investimento accessibile solo ad aziende consolidate. Ma l’elasticità del Cloud e, in particolare, i servizi Serverless ci permettono di rompere questi limiti.
Vediamo quindi come è possibile sviluppare applicazioni Big Data rapidamente, senza preoccuparci dell’infrastruttura, ma dedicando tutte le risorse allo sviluppo delle nostre le nostre idee per creare prodotti innovativi.
Ora puoi utilizzare Amazon Elastic Kubernetes Service (EKS) per eseguire pod Kubernetes su AWS Fargate, il motore di elaborazione serverless creato per container su AWS. Questo rende più semplice che mai costruire ed eseguire le tue applicazioni Kubernetes nel cloud AWS.In questa sessione presenteremo le caratteristiche principali del servizio e come distribuire la tua applicazione in pochi passaggi
Vent'anni fa Amazon ha attraversato una trasformazione radicale con l'obiettivo di aumentare il ritmo dell'innovazione. In questo periodo abbiamo imparato come cambiare il nostro approccio allo sviluppo delle applicazioni ci ha permesso di aumentare notevolmente l'agilità, la velocità di rilascio e, in definitiva, ci ha consentito di creare applicazioni più affidabili e scalabili. In questa sessione illustreremo come definiamo le applicazioni moderne e come la creazione di app moderne influisce non solo sull'architettura dell'applicazione, ma sulla struttura organizzativa, sulle pipeline di rilascio dello sviluppo e persino sul modello operativo. Descriveremo anche approcci comuni alla modernizzazione, compreso l'approccio utilizzato dalla stessa Amazon.com.
Come spendere fino al 90% in meno con i container e le istanze spot Amazon Web Services
L’utilizzo dei container è in continua crescita.
Se correttamente disegnate, le applicazioni basate su Container sono molto spesso stateless e flessibili.
I servizi AWS ECS, EKS e Kubernetes su EC2 possono sfruttare le istanze Spot, portando ad un risparmio medio del 70% rispetto alle istanze On Demand. In questa sessione scopriremo insieme quali sono le caratteristiche delle istanze Spot e come possono essere utilizzate facilmente su AWS. Impareremo inoltre come Spreaker sfrutta le istanze spot per eseguire applicazioni di diverso tipo, in produzione, ad una frazione del costo on-demand!
In recent months, many customers have been asking us the question – how to monetise Open APIs, simplify Fintech integrations and accelerate adoption of various Open Banking business models. Therefore, AWS and FinConecta would like to invite you to Open Finance marketplace presentation on October 20th.
Event Agenda :
Open banking so far (short recap)
• PSD2, OB UK, OB Australia, OB LATAM, OB Israel
Intro to Open Finance marketplace
• Scope
• Features
• Tech overview and Demo
The role of the Cloud
The Future of APIs
• Complying with regulation
• Monetizing data / APIs
• Business models
• Time to market
One platform for all: a Strategic approach
Q&A
Rendi unica l’offerta della tua startup sul mercato con i servizi Machine Lea...Amazon Web Services
Per creare valore e costruire una propria offerta differenziante e riconoscibile, le startup di successo sanno come combinare tecnologie consolidate con componenti innovativi creati ad hoc.
AWS fornisce servizi pronti all'utilizzo e, allo stesso tempo, permette di personalizzare e creare gli elementi differenzianti della propria offerta.
Concentrandoci sulle tecnologie di Machine Learning, vedremo come selezionare i servizi di intelligenza artificiale offerti da AWS e, anche attraverso una demo, come costruire modelli di Machine Learning personalizzati utilizzando SageMaker Studio.
OpsWorks Configuration Management: automatizza la gestione e i deployment del...Amazon Web Services
Con l'approccio tradizionale al mondo IT per molti anni è stato difficile implementare tecniche di DevOps, che finora spesso hanno previsto attività manuali portando di tanto in tanto a dei downtime degli applicativi interrompendo l'operatività dell'utente. Con l'avvento del cloud, le tecniche di DevOps sono ormai a portata di tutti a basso costo per qualsiasi genere di workload, garantendo maggiore affidabilità del sistema e risultando in dei significativi miglioramenti della business continuity.
AWS mette a disposizione AWS OpsWork come strumento di Configuration Management che mira ad automatizzare e semplificare la gestione e i deployment delle istanze EC2 per mezzo di workload Chef e Puppet.
Scopri come sfruttare AWS OpsWork a garanzia e affidabilità del tuo applicativo installato su Instanze EC2.
Microsoft Active Directory su AWS per supportare i tuoi Windows WorkloadsAmazon Web Services
Vuoi conoscere le opzioni per eseguire Microsoft Active Directory su AWS? Quando si spostano carichi di lavoro Microsoft in AWS, è importante considerare come distribuire Microsoft Active Directory per supportare la gestione, l'autenticazione e l'autorizzazione dei criteri di gruppo. In questa sessione, discuteremo le opzioni per la distribuzione di Microsoft Active Directory su AWS, incluso AWS Directory Service per Microsoft Active Directory e la distribuzione di Active Directory su Windows su Amazon Elastic Compute Cloud (Amazon EC2). Trattiamo argomenti quali l'integrazione del tuo ambiente Microsoft Active Directory locale nel cloud e l'utilizzo di applicazioni SaaS, come Office 365, con AWS Single Sign-On.
Dal riconoscimento facciale al riconoscimento di frodi o difetti di fabbricazione, l'analisi di immagini e video che sfruttano tecniche di intelligenza artificiale, si stanno evolvendo e raffinando a ritmi elevati. In questo webinar esploreremo le possibilità messe a disposizione dai servizi AWS per applicare lo stato dell'arte delle tecniche di computer vision a scenari reali.
Amazon Web Services e VMware organizzano un evento virtuale gratuito il prossimo mercoledì 14 Ottobre dalle 12:00 alle 13:00 dedicato a VMware Cloud ™ on AWS, il servizio on demand che consente di eseguire applicazioni in ambienti cloud basati su VMware vSphere® e di accedere ad una vasta gamma di servizi AWS, sfruttando a pieno le potenzialità del cloud AWS e tutelando gli investimenti VMware esistenti.
Molte organizzazioni sfruttano i vantaggi del cloud migrando i propri carichi di lavoro Oracle e assicurandosi notevoli vantaggi in termini di agilità ed efficienza dei costi.
La migrazione di questi carichi di lavoro, può creare complessità durante la modernizzazione e il refactoring delle applicazioni e a questo si possono aggiungere rischi di prestazione che possono essere introdotti quando si spostano le applicazioni dai data center locali.
Crea la tua prima serverless ledger-based app con QLDB e NodeJSAmazon Web Services
Molte aziende oggi, costruiscono applicazioni con funzionalità di tipo ledger ad esempio per verificare lo storico di accrediti o addebiti nelle transazioni bancarie o ancora per tenere traccia del flusso supply chain dei propri prodotti.
Alla base di queste soluzioni ci sono i database ledger che permettono di avere un log delle transazioni trasparente, immutabile e crittograficamente verificabile, ma sono strumenti complessi e onerosi da gestire.
Amazon QLDB elimina la necessità di costruire sistemi personalizzati e complessi fornendo un database ledger serverless completamente gestito.
In questa sessione scopriremo come realizzare un'applicazione serverless completa che utilizzi le funzionalità di QLDB.
Con l’ascesa delle architetture di microservizi e delle ricche applicazioni mobili e Web, le API sono più importanti che mai per offrire agli utenti finali una user experience eccezionale. In questa sessione impareremo come affrontare le moderne sfide di progettazione delle API con GraphQL, un linguaggio di query API open source utilizzato da Facebook, Amazon e altro e come utilizzare AWS AppSync, un servizio GraphQL serverless gestito su AWS. Approfondiremo diversi scenari, comprendendo come AppSync può aiutare a risolvere questi casi d’uso creando API moderne con funzionalità di aggiornamento dati in tempo reale e offline.
Inoltre, impareremo come Sky Italia utilizza AWS AppSync per fornire aggiornamenti sportivi in tempo reale agli utenti del proprio portale web.
Database Oracle e VMware Cloud™ on AWS: i miti da sfatareAmazon Web Services
Molte organizzazioni sfruttano i vantaggi del cloud migrando i propri carichi di lavoro Oracle e assicurandosi notevoli vantaggi in termini di agilità ed efficienza dei costi.
La migrazione di questi carichi di lavoro, può creare complessità durante la modernizzazione e il refactoring delle applicazioni e a questo si possono aggiungere rischi di prestazione che possono essere introdotti quando si spostano le applicazioni dai data center locali.
In queste slide, gli esperti AWS e VMware presentano semplici e pratici accorgimenti per facilitare e semplificare la migrazione dei carichi di lavoro Oracle accelerando la trasformazione verso il cloud, approfondiranno l’architettura e dimostreranno come sfruttare a pieno le potenzialità di VMware Cloud ™ on AWS.
1) The document discusses building a minimum viable product (MVP) using Amazon Web Services (AWS).
2) It provides an example of an MVP for an omni-channel messenger platform that was built from 2017 to connect ecommerce stores to customers via web chat, Facebook Messenger, WhatsApp, and other channels.
3) The founder discusses how they started with an MVP in 2017 with 200 ecommerce stores in Hong Kong and Taiwan, and have since expanded to over 5000 clients across Southeast Asia using AWS for scaling.
This document discusses pitch decks and fundraising materials. It explains that venture capitalists will typically spend only 3 minutes and 44 seconds reviewing a pitch deck. Therefore, the deck needs to tell a compelling story to grab their attention. It also provides tips on tailoring different types of decks for different purposes, such as creating a concise 1-2 page teaser, a presentation deck for pitching in-person, and a more detailed read-only or fundraising deck. The document stresses the importance of including key information like the problem, solution, product, traction, market size, plans, team, and ask.
This document discusses building serverless web applications using AWS services like API Gateway, Lambda, DynamoDB, S3 and Amplify. It provides an overview of each service and how they can work together to create a scalable, secure and cost-effective serverless application stack without having to manage servers or infrastructure. Key services covered include API Gateway for hosting APIs, Lambda for backend logic, DynamoDB for database needs, S3 for static content, and Amplify for frontend hosting and continuous deployment.
This document provides tips for fundraising from startup founders Roland Yau and Sze Lok Chan. It discusses generating competition to create urgency for investors, fundraising in parallel rather than sequentially, having a clear fundraising narrative focused on what you do and why it's compelling, and prioritizing relationships with people over firms. It also notes how the pandemic has changed fundraising, with examples of deals done virtually during this time. The tips emphasize being fully prepared before fundraising and cultivating connections with investors in advance.
AWS_HK_StartupDay_Building Interactive websites while automating for efficien...Amazon Web Services
This document discusses Amazon's machine learning services for building conversational interfaces and extracting insights from unstructured text and audio. It describes Amazon Lex for creating chatbots, Amazon Comprehend for natural language processing tasks like entity extraction and sentiment analysis, and how they can be used together for applications like intelligent call centers and content analysis. Pre-trained APIs simplify adding machine learning to apps without requiring ML expertise.
Amazon Elastic Container Service (Amazon ECS) è un servizio di gestione dei container altamente scalabile, che semplifica la gestione dei contenitori Docker attraverso un layer di orchestrazione per il controllo del deployment e del relativo lifecycle. In questa sessione presenteremo le principali caratteristiche del servizio, le architetture di riferimento per i differenti carichi di lavoro e i semplici passi necessari per poter velocemente migrare uno o più dei tuo container.
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)Laurent Speyser
(Conférence dessinée)
Vous êtes certainement à l’origine, ou impliqué, dans un changement au sein de votre organisation. Et peut être que cela ne se passe pas aussi bien qu’attendu…
Depuis plusieurs années, je fais régulièrement le constat de l’échec de l’adoption de l’Agilité, et plus globalement de grands changements, dans les organisations. Je vais tenter de vous expliquer pourquoi ils suscitent peu d'adhésion, peu d’engagement, et ils ne tiennent pas dans le temps.
Heureusement, il existe un autre chemin. Pour l'emprunter il s'agira de cultiver l'invitation, l'intelligence collective , la mécanique des jeux, les rites de passages, .... afin que l'agilité prenne racine.
Vous repartirez de cette conférence en ayant pris du recul sur le changement tel qu‘il est généralement opéré aujourd’hui, et en ayant découvert (ou redécouvert) le seul guide valable à suivre, à mon sens, pour un changement authentique, durable, et respectueux des individus! Et en bonus, 2 ou 3 trucs pratiques!
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...OCTO Technology
Par Nicolas Bordier (Consultant numérique responsable @OCTO Technology) et Alaric Rougnon-Glasson (Sustainable Tech Consultant @OCTO Technology)
Sur un exemple très concret d’audit d’éco-conception de l’outil de bilan carbone C’Bilan développé par ICDC (Caisse des dépôts et consignations) nous allons expliquer en quoi l’ACV (analyse de cycle de vie) a été déterminante pour identifier les pistes d’actions pour réduire jusqu'à 82% de l’empreinte environnementale du service.
Vidéo Youtube : https://www.youtube.com/watch?v=7R8oL2P_DkU
Compte-rendu :
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...OCTO Technology
par Claude Camus (Coach agile d'organisation @OCTO Technology) et Gilles Masy (Organizational Coach @OCTO Technology)
Les équipes infrastructure, sécurité, production, ou cloud, doivent consacrer du temps à la modernisation de leurs outils (automatisation, cloud, etc) et de leurs pratiques (DevOps, SRE, etc). Dans le même temps, elles doivent répondre à une avalanche croissante de demandes, tout en maintenant un niveau de qualité de service optimal.
Habitué des environnements développeurs, les transformations agiles négligent les particularités des équipes OPS. Lors de ce comptoir, nous vous partagerons notre proposition de valeur de l'agilité@OPS, qui embarquera vos équipes OPS en Classe Business (Agility), et leur fera dire : "nous ne reviendrons pas en arrière".
OCTO TALKS : 4 Tech Trends du Software Engineering.pdfOCTO Technology
En cette année 2024 qui s’annonce sous le signe de la complexité, avec :
- L’explosion de la Gen AI
-Un contexte socio-économique sous tensions
- De forts enjeux sur le Sustainable et la régulation IT
- Une archipélisation des lieux de travail post-Covid
Découvrez les Tech trends incontournables pour délivrer vos produits stratégiques.
L'IA connaît une croissance rapide et son intégration dans le domaine éducatif soulève de nombreuses questions. Aujourd'hui, nous explorerons comment les étudiants utilisent l'IA, les perceptions des enseignants à ce sujet, et les mesures possibles pour encadrer ces usages.
Constat Actuel
L'IA est de plus en plus présente dans notre quotidien, y compris dans l'éducation. Certaines universités, comme Science Po en janvier 2023, ont interdit l'utilisation de l'IA, tandis que d'autres, comme l'Université de Prague, la considèrent comme du plagiat. Cette diversité de positions souligne la nécessité urgente d'une réponse institutionnelle pour encadrer ces usages et prévenir les risques de triche et de plagiat.
Enquête Nationale
Pour mieux comprendre ces dynamiques, une enquête nationale intitulée "L'IA dans l'enseignement" a été réalisée. Les auteurs de cette enquête sont Le Sphynx (sondage) et Compilatio (fraude académique). Elle a été diffusée dans les universités de Lyon et d'Aix-Marseille entre le 21 juin et le 15 août 2023, touchant 1242 enseignants et 4443 étudiants. Les questionnaires, conçus pour étudier les usages de l'IA et les représentations de ces usages, abordaient des thèmes comme les craintes, les opportunités et l'acceptabilité.
Résultats de l'Enquête
Les résultats montrent que 55 % des étudiants utilisent l'IA de manière occasionnelle ou fréquente, contre 34 % des enseignants. Cependant, 88 % des enseignants pensent que leurs étudiants utilisent l'IA, ce qui pourrait indiquer une surestimation des usages. Les usages identifiés incluent la recherche d'informations et la rédaction de textes, bien que ces réponses ne puissent pas être cumulées dans les choix proposés.
Analyse Critique
Une analyse plus approfondie révèle que les enseignants peinent à percevoir les bénéfices de l'IA pour l'apprentissage, contrairement aux étudiants. La question de savoir si l'IA améliore les notes sans développer les compétences reste débattue. Est-ce un dopage académique ou une opportunité pour un apprentissage plus efficace ?
Acceptabilité et Éthique
L'enquête révèle que beaucoup d'étudiants jugent acceptable d'utiliser l'IA pour rédiger leurs devoirs, et même un quart des enseignants partagent cet avis. Cela pose des questions éthiques cruciales : copier-coller est-il tricher ? Utiliser l'IA sous supervision ou pour des traductions est-il acceptable ? La réponse n'est pas simple et nécessite un débat ouvert.
Propositions et Solutions
Pour encadrer ces usages, plusieurs solutions sont proposées. Plutôt que d'interdire l'IA, il est suggéré de fixer des règles pour une utilisation responsable. Des innovations pédagogiques peuvent également être explorées, comme la création de situations de concurrence professionnelle ou l'utilisation de détecteurs d'IA.
Conclusion
En conclusion, bien que l'étude présente des limites, elle souligne un besoin urgent de régulation. Une charte institutionnelle pourrait fournir un cadre pour une utilisation éthique.
2. Big Data: des données en augmentation perpétuelle
Go To
Po
95% des 1,2 zettaoctets des
données dans l’univers digital
sont non structurées
70% de ces données ont été
générées par des utilisateurs
La croissance des données non
structurées est explosive, avec
des croissances annuelles
(CAGR) de 62% entre 2008 et
2012. Source: IDC
Zo
Eo
3. Un écosystème Big Data
Amazon Redshift
Amazon EMR
Amazon EC2
Analyser
Amazon Glacier
Amazon S3
Amazon DynamoDB
Stocker
AWS Direct Connect
Collecter
Amazon Kinesis
6. Service de métrologie AWS
Cas d’usage
• X * 10M d’enregistrements/sec
• X * 100K sources
• X To par heure
Contraintes
• Besoin de plus d’élasticité
• Envie d’alertes en temps-réel
• Coûteux à opérer
• Stockage éventuellement
consistent
7. Notre transition « Big Data »
Ancien besoin
• Accepter des volumes très importants de données et les traiter par lots
horaires ou quotidiens
Nouveau besoin
• Prendre des décisions plus rapidement, même en temps-réel
• Redimensionner le système complet à l’échelle, de manière élastique
• Rendre facile le fait de « garder tout »
• Permettre à plusieurs applications de traiter les données en parallèle
8. Scenarios Capture-Transformation-Chargement
accéléré
Métrique continue / KPI Extraction Analyse réactive sur les données
Types de données Infrastructure IT, Logs Applicatifs, Média Sociaux, Données Financières, Clics Web, Capteurs, Geolocalisation
Logiciels /
technologie
Serveurs IT, Traitement Logs applications Tableaux de bord opérationnels IT Intelligence opérationnelle sur
capteurs
Marketing / Publicité
en ligne
Agrégation de données marketing Advertising metrics like coverage, yield,
conversion
Analytique sur engagement client avec
les publicités, optimisation des bids
Finance Collecte de données des marchés
financiers
Métriques de données financières Analyse et détection de fraudes, suivi
de VAR audit d’ordres sur les marchés
E-Commerce /
Plateformes en ligne
Agrégation de données sur l’engagement
en ligne des clients
Métriques d’engagement client, CTR,
pages vues, …
Moteurs de recommandation, analyse
de comportement
Scénarios clients sur plusieurs industries
10. Architecture Amazon Kinesis
Amazon Web Services
AZ AZ AZ
Durable, highly consistent storage replicates data
across three data centers (availability zones)
Aggregate and
archive to S3
Millions of
sources producing
100s of terabytes
per hour
Front
End
Authentication
Authorization
Ordered stream
of events supports
multiple readers
Real-time
dashboards
and alarms
Machine learning
algorithms or
sliding window
analytics
Aggregate analysis
in Hadoop or a
data warehouse
Inexpensive: $0.028 per million puts
11. Plateforme pour l’intégration et le traitement continu
Le bon outil pour le bon cas d’usage
Intégration temps-réel
• Passe à l’échelle
• Durable
• Élastique
• Lecture / relecture
Traitement continu
• Équilibrage de charge sur les flux d’entrée
• Tolérance de panne, Checkpoint / Replay
• Élastique
• Plusieurs applications traitent en parallèle
Permet le transfert de données vers des points de stockage / traitement
Service managé
Latence faible de bout-en-bout
Traitement en continu et en temps-réel
12. Écrire dans Kinesis
Une interface simple « Put »
• Les producteurs utilisent un appel PUT pour stocker
des données dans un Stream
• PutRecord {Data, PartitionKey, StreamName}
• Une clé de partitionnement est fournie par le
producteur afin de cibler un Shard
• Kinesis utilise un algorithme de hash pour
déterminer dans quel Shard stocker les données
• Un numéro unique de séquence est retourné au
producteur une fois les données stockées
15. Accélérer le développement d’applications de
traitement Kinesis avec le Kinesis Client Library
o Bibliothèque Java ouverte, sources sur GitHub
o Concevez et déployez des applications sur Amazon EC2
o KCL sert d’intermédiaire de traitement:
Démarre un « Worker » pour chaque Shard
Simplifie la lecture via une abstraction des Shards
Augmente / Diminue le nombre de Workers en
fonction du nombre de Shards
Gère les Checkpoints et la reprise sur erreur
o Gère la répartition de charge avec les Auto Scaling Groups
16. Connecter Kinesis avec Amazon DynamoDB, S3, Redshift
ou votre système avec Kinesis Connector Library
Amazon S3
Amazon
DynamoDB
Amazon Redshift
Amazon
Kinesis
ITransformer
• Transforme un
enregistrement
Kinesis en une
donnée utile
IFilter
• Exclue les
enregistrements non
pertinents
IBuffer
• Regroupe les
enregistrements
ensemble pour
faciliter le traitement
par lot
IEmitter
• Enregistre les lots
d’enregistrements
vers un système de
stockage
17. D’autres options de lecture de Streams Kinesis
APIs, Storm
o Utiliser les APIs « Get* » pour lire les données brutes depuis les flux Kinesis
• GetRecords {Limit, ShardIterator}
• GetShardIterator {ShardId, ShardIteratorType, StartingSequenceNumber, StreamName}
o Intégrer Kinesis avec des Topologies Storm
• Bootstraps (Zookeeper) attache les Shards aux Spouts
• Lecture de données depuis les Streams Kinesis
• Émet des « tuples » et gère le Checkpoints (Zookeeper)
18. Envoyer et lire des données avec Kinesis
HTTP Post
AWS SDK
LOG4J
Flume
Fluentd
Get* APIs
Kinesis Client
Library
+
Connector Library
Apache
Storm
Amazon Elastic
MapReduce
Envoyer Lire
19. Utiliser EMR pour lire et traiter des flux Kinesis
Traitement
Source
• Analyste
• Développeur
Mon site
Kinesis
Log4J
Appender
Envoi vers
Kinesis
EMR – AMI 3.0.5
Hive
Pig
Cascading
MapReduce
Lit depuis
21. Tarif Kinesis
Simple, paiement à l’usage, pas d’engagement
Type d’usage Prix
Shard par Heure $0,015
1,000,000 transactions PUT $0,028
• Le niveau de performance est défini en nombre de Shards, choisi par le client
• Chaque Shard fournit 1 Mo/s en écriture, and 2 Mo/s en lecture
• Bande passante entrante gratuite
• Les applications de lecture Kinesis sur EC2 sont facturées au tarif EC2
23. À l’échelle du Pétaoctet
Massivement parallèle
Data warehouse relationnel
Totalement managé
Amazon
Redshift
beaucoup plus rapide
beaucoup moins cher
vraiment beaucoup plus simple
25. A propos de Squid Solutions
• 10 ans d’expérience
• 4 profils tech différents
• 14 DWH en gestion
• 20To données en ligne
• 2 plateformes big data
• 8 semaines par POC
• Toute la chaine data
26. A propos de ProQuest
• Distribution de
contenus numériques
• 90,000 sources
• 6B pages de contenus
• 20M d’articles
• 450K Ebooks
• 100 pays
27. A propos d’Amazon Redshift
Principes clé
• MPP / Shared Nothing
• Horizontal scalability
• Data Distribution
• Parallel Import
Disponible à la demande
• 4 configurations de base
• Extensible (up/down)
• Stop and go
10 GigE
(HPC)
Ingestion
Backup
Restore
JDBC/ODBC
28. Le choix de Redshift
• Les fonctions et
performances d’une
base SQL MPP mature
– Performances pour des
requêtes interactives
– SQL avancé pour l’analyse
– Un moteur en en
développement actif
• Le modèle de coût et
la flexibilité des
solutions Hadoop
– Volumétrie adapté
Go/To/Po
– Engagement longue durée
divise les coûts par 3
29. Répondre aux attentes clients spécifiques
Données
agrégées
Faible
latence
End user
reports &
analysis
Données
granulaires
Forte
latence
Intégrité
des
données,
analyses
avancées
30. Des couches de données bottom-up
Raw Data Layer
Reporting Layer
Global KPI Layer
Business intelligence à
travers les départements
Rapports standard
“COUNTER-compliant”
Analyse fine de l’usage