SlideShare une entreprise Scribd logo
© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Frédéric d’Alessandro - Data architect
Loïc Dias Da Silva - CTO & VP Engineering
Cost Driven Development chez Viadeo
Tâches Spark sur EMR optimisées avec des instances SPOT
Viadeo
SUCCESS
Business
Fournisseurs, clients,
collaborateurs,
investisseurs...
Networking
Pairs, associés, collègues,
camarades, rencontres
pro, partenaires ...
Carrière
Premier job, recherche
d’emploi, entreprenariat,
développement, ...
Migration vers le cloud AWS
Nov. 2014
Escape to
Amazon
thinking
Dec. 2014
First commit
Infrastructure
as a code
Mar. 2015
First industrialized
instance on AWS
cloud
Dec. 2015
Our demo
environment is on
AWS cloud
July 2016
Our live
production
environment is on
AWS cloud
Dec 2016
Datacenter is
closed
demo
Cost-Driven Development
- choix des instances Amazon EC2
- autoscaling
- optimisations Amazon RedShift
- cycle de vie des données Amazon S3
- utilisation d’instances SPOT
Architecture
L’analytics chez Viadeo
Le Big Data chez Viadeo
Utilisation d’instances SPOT (ex: SnowPlow)
- Prix c3.8xlarge à la demande : 1.68$
- Prix c3.8xlarge Spot : ~0.40$
- Baisse du coût de ~ 1200$ à ~240$ par mois
pop.sh : automatisation du lancement de jobs
Usage
$ ./pop.sh --coreInstanceType=m4.large --coreInstanceCount=2 --ec2spot=true
(...)
# Pricing info = Tue Oct 11 08:00:09 CEST 2016
# Instance type = m4.large
# availabilityZone = us-west-1c
# Aws Spot Price 1 min ago = 0.016700
# Aws Spot Price 1 day ago = 0.016300
# Our max Spot Price max proposal = 0.029
# Aws fixed price = 0.14
# Emr fixed price = 0.030
# Do we take spot = 1
$
Prochaines étapes
- Amélioration de la vitesse de scaling
- Passage des stacks applicatives en µ-services
- Containerisation & orchestration
Viadeo - Cost Driven Development

Contenu connexe

Tendances

AWS Paris Summit 2014 - T1 - Introduction à Amazon EC2
AWS Paris Summit 2014 - T1 - Introduction à Amazon EC2AWS Paris Summit 2014 - T1 - Introduction à Amazon EC2
AWS Paris Summit 2014 - T1 - Introduction à Amazon EC2
Amazon Web Services
 
4D Summit Europe 2016 - Conférence d'A&C Consulting : "Stocker des données su...
4D Summit Europe 2016 - Conférence d'A&C Consulting : "Stocker des données su...4D Summit Europe 2016 - Conférence d'A&C Consulting : "Stocker des données su...
4D Summit Europe 2016 - Conférence d'A&C Consulting : "Stocker des données su...
Nathalie Richomme
 
Bonnes pratiques pour la gestion des opérations de sécurité AWS
Bonnes pratiques pour la gestion des opérations de sécurité AWSBonnes pratiques pour la gestion des opérations de sécurité AWS
Bonnes pratiques pour la gestion des opérations de sécurité AWS
Julien SIMON
 
Présentation des services AWS
Présentation des services AWSPrésentation des services AWS
Présentation des services AWS
Julien SIMON
 
Un Voyage dans le Cloud - Dev & Test
Un Voyage dans le Cloud - Dev & Test Un Voyage dans le Cloud - Dev & Test
Un Voyage dans le Cloud - Dev & Test
Amazon Web Services
 
AWS Paris Summit 2014 - T2 - Déployer des environnements entreprises hybrides
AWS Paris Summit 2014 - T2 - Déployer des environnements entreprises hybridesAWS Paris Summit 2014 - T2 - Déployer des environnements entreprises hybrides
AWS Paris Summit 2014 - T2 - Déployer des environnements entreprises hybrides
Amazon Web Services
 
AWS Summit Paris - Track 3 - Session 1 - IoT Partie 1 - Connectez vos objets ...
AWS Summit Paris - Track 3 - Session 1 - IoT Partie 1 - Connectez vos objets ...AWS Summit Paris - Track 3 - Session 1 - IoT Partie 1 - Connectez vos objets ...
AWS Summit Paris - Track 3 - Session 1 - IoT Partie 1 - Connectez vos objets ...
Amazon Web Services
 
Construire des Applications Web Performantes - Rule Book Webinar
Construire des Applications Web Performantes - Rule Book WebinarConstruire des Applications Web Performantes - Rule Book Webinar
Construire des Applications Web Performantes - Rule Book Webinar
Amazon Web Services
 
Modèle de sécurité AWS
Modèle de sécurité AWSModèle de sécurité AWS
Modèle de sécurité AWS
Julien SIMON
 
Bonnes pratiques anti-DDOS
Bonnes pratiques anti-DDOSBonnes pratiques anti-DDOS
Bonnes pratiques anti-DDOS
Julien SIMON
 
AWS Paris Summit 2014 - T1 - Services de bases de données
AWS Paris Summit 2014 - T1 - Services de bases de donnéesAWS Paris Summit 2014 - T1 - Services de bases de données
AWS Paris Summit 2014 - T1 - Services de bases de données
Amazon Web Services
 
Agile infrastructure with CloudFormation (June 2016)
Agile infrastructure with CloudFormation (June 2016)Agile infrastructure with CloudFormation (June 2016)
Agile infrastructure with CloudFormation (June 2016)
Julien SIMON
 
Track 1 - Atelier 3 - Implémentation de cloud d'entreprise par Edifixio
Track 1 - Atelier 3 - Implémentation de cloud d'entreprise par EdifixioTrack 1 - Atelier 3 - Implémentation de cloud d'entreprise par Edifixio
Track 1 - Atelier 3 - Implémentation de cloud d'entreprise par EdifixioAmazon Web Services
 
AWS Paris Summit 2014 - T3 - Architecturer avec AWS pour des millions d'util...
AWS Paris Summit 2014 - T3 -  Architecturer avec AWS pour des millions d'util...AWS Paris Summit 2014 - T3 -  Architecturer avec AWS pour des millions d'util...
AWS Paris Summit 2014 - T3 - Architecturer avec AWS pour des millions d'util...
Amazon Web Services
 
Track 1 - Atelier 2 - Distribution complète d’un site avec le cdn Amazon Clo...
Track 1 - Atelier 2 - Distribution complète d’un site avec le cdn Amazon Clo...Track 1 - Atelier 2 - Distribution complète d’un site avec le cdn Amazon Clo...
Track 1 - Atelier 2 - Distribution complète d’un site avec le cdn Amazon Clo...
Amazon Web Services
 
Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...
Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...
Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...
sebastienmoreno
 
Un Voyage dans le Cloud: Qu'est-ce que AWS?
Un Voyage dans le Cloud: Qu'est-ce que AWS?Un Voyage dans le Cloud: Qu'est-ce que AWS?
Un Voyage dans le Cloud: Qu'est-ce que AWS?
Amazon Web Services
 
Gibtalk aws
Gibtalk awsGibtalk aws
Gibtalk awsmeliphen
 
AWS Paris Summit 2014 - T3 - Evolution des architectures VPC
AWS Paris Summit 2014 - T3 - Evolution des architectures VPCAWS Paris Summit 2014 - T3 - Evolution des architectures VPC
AWS Paris Summit 2014 - T3 - Evolution des architectures VPC
Amazon Web Services
 
AWS Summit Paris - Track 4 - Session 1 - Faites grandir votre business de ser...
AWS Summit Paris - Track 4 - Session 1 - Faites grandir votre business de ser...AWS Summit Paris - Track 4 - Session 1 - Faites grandir votre business de ser...
AWS Summit Paris - Track 4 - Session 1 - Faites grandir votre business de ser...
Amazon Web Services
 

Tendances (20)

AWS Paris Summit 2014 - T1 - Introduction à Amazon EC2
AWS Paris Summit 2014 - T1 - Introduction à Amazon EC2AWS Paris Summit 2014 - T1 - Introduction à Amazon EC2
AWS Paris Summit 2014 - T1 - Introduction à Amazon EC2
 
4D Summit Europe 2016 - Conférence d'A&C Consulting : "Stocker des données su...
4D Summit Europe 2016 - Conférence d'A&C Consulting : "Stocker des données su...4D Summit Europe 2016 - Conférence d'A&C Consulting : "Stocker des données su...
4D Summit Europe 2016 - Conférence d'A&C Consulting : "Stocker des données su...
 
Bonnes pratiques pour la gestion des opérations de sécurité AWS
Bonnes pratiques pour la gestion des opérations de sécurité AWSBonnes pratiques pour la gestion des opérations de sécurité AWS
Bonnes pratiques pour la gestion des opérations de sécurité AWS
 
Présentation des services AWS
Présentation des services AWSPrésentation des services AWS
Présentation des services AWS
 
Un Voyage dans le Cloud - Dev & Test
Un Voyage dans le Cloud - Dev & Test Un Voyage dans le Cloud - Dev & Test
Un Voyage dans le Cloud - Dev & Test
 
AWS Paris Summit 2014 - T2 - Déployer des environnements entreprises hybrides
AWS Paris Summit 2014 - T2 - Déployer des environnements entreprises hybridesAWS Paris Summit 2014 - T2 - Déployer des environnements entreprises hybrides
AWS Paris Summit 2014 - T2 - Déployer des environnements entreprises hybrides
 
AWS Summit Paris - Track 3 - Session 1 - IoT Partie 1 - Connectez vos objets ...
AWS Summit Paris - Track 3 - Session 1 - IoT Partie 1 - Connectez vos objets ...AWS Summit Paris - Track 3 - Session 1 - IoT Partie 1 - Connectez vos objets ...
AWS Summit Paris - Track 3 - Session 1 - IoT Partie 1 - Connectez vos objets ...
 
Construire des Applications Web Performantes - Rule Book Webinar
Construire des Applications Web Performantes - Rule Book WebinarConstruire des Applications Web Performantes - Rule Book Webinar
Construire des Applications Web Performantes - Rule Book Webinar
 
Modèle de sécurité AWS
Modèle de sécurité AWSModèle de sécurité AWS
Modèle de sécurité AWS
 
Bonnes pratiques anti-DDOS
Bonnes pratiques anti-DDOSBonnes pratiques anti-DDOS
Bonnes pratiques anti-DDOS
 
AWS Paris Summit 2014 - T1 - Services de bases de données
AWS Paris Summit 2014 - T1 - Services de bases de donnéesAWS Paris Summit 2014 - T1 - Services de bases de données
AWS Paris Summit 2014 - T1 - Services de bases de données
 
Agile infrastructure with CloudFormation (June 2016)
Agile infrastructure with CloudFormation (June 2016)Agile infrastructure with CloudFormation (June 2016)
Agile infrastructure with CloudFormation (June 2016)
 
Track 1 - Atelier 3 - Implémentation de cloud d'entreprise par Edifixio
Track 1 - Atelier 3 - Implémentation de cloud d'entreprise par EdifixioTrack 1 - Atelier 3 - Implémentation de cloud d'entreprise par Edifixio
Track 1 - Atelier 3 - Implémentation de cloud d'entreprise par Edifixio
 
AWS Paris Summit 2014 - T3 - Architecturer avec AWS pour des millions d'util...
AWS Paris Summit 2014 - T3 -  Architecturer avec AWS pour des millions d'util...AWS Paris Summit 2014 - T3 -  Architecturer avec AWS pour des millions d'util...
AWS Paris Summit 2014 - T3 - Architecturer avec AWS pour des millions d'util...
 
Track 1 - Atelier 2 - Distribution complète d’un site avec le cdn Amazon Clo...
Track 1 - Atelier 2 - Distribution complète d’un site avec le cdn Amazon Clo...Track 1 - Atelier 2 - Distribution complète d’un site avec le cdn Amazon Clo...
Track 1 - Atelier 2 - Distribution complète d’un site avec le cdn Amazon Clo...
 
Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...
Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...
Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...
 
Un Voyage dans le Cloud: Qu'est-ce que AWS?
Un Voyage dans le Cloud: Qu'est-ce que AWS?Un Voyage dans le Cloud: Qu'est-ce que AWS?
Un Voyage dans le Cloud: Qu'est-ce que AWS?
 
Gibtalk aws
Gibtalk awsGibtalk aws
Gibtalk aws
 
AWS Paris Summit 2014 - T3 - Evolution des architectures VPC
AWS Paris Summit 2014 - T3 - Evolution des architectures VPCAWS Paris Summit 2014 - T3 - Evolution des architectures VPC
AWS Paris Summit 2014 - T3 - Evolution des architectures VPC
 
AWS Summit Paris - Track 4 - Session 1 - Faites grandir votre business de ser...
AWS Summit Paris - Track 4 - Session 1 - Faites grandir votre business de ser...AWS Summit Paris - Track 4 - Session 1 - Faites grandir votre business de ser...
AWS Summit Paris - Track 4 - Session 1 - Faites grandir votre business de ser...
 

En vedette

Building Serverless APIs (January 2017)
Building Serverless APIs (January 2017)Building Serverless APIs (January 2017)
Building Serverless APIs (January 2017)
Julien SIMON
 
Big Data answers in seconds with Amazon Athena
Big Data answers in seconds with Amazon AthenaBig Data answers in seconds with Amazon Athena
Big Data answers in seconds with Amazon Athena
Julien SIMON
 
Infrastructure as code with Amazon Web Services
Infrastructure as code with Amazon Web ServicesInfrastructure as code with Amazon Web Services
Infrastructure as code with Amazon Web Services
Julien SIMON
 
The AWS DevOps combo (January 2017)
The AWS DevOps combo (January 2017)The AWS DevOps combo (January 2017)
The AWS DevOps combo (January 2017)
Julien SIMON
 
Devops with Amazon Web Services (January 2017)
Devops with Amazon Web Services (January 2017)Devops with Amazon Web Services (January 2017)
Devops with Amazon Web Services (January 2017)
Julien SIMON
 
Amazon AI (February 2017)
Amazon AI (February 2017)Amazon AI (February 2017)
Amazon AI (February 2017)
Julien SIMON
 
Continuous Deployment with Amazon Web Services
Continuous Deployment with Amazon Web ServicesContinuous Deployment with Amazon Web Services
Continuous Deployment with Amazon Web Services
Julien SIMON
 
Developing and deploying serverless applications (February 2017)
Developing and deploying serverless applications (February 2017)Developing and deploying serverless applications (February 2017)
Developing and deploying serverless applications (February 2017)
Julien SIMON
 
IoT: it's all about Data!
IoT: it's all about Data!IoT: it's all about Data!
IoT: it's all about Data!
Julien SIMON
 
An introduction to serverless architectures (February 2017)
An introduction to serverless architectures (February 2017)An introduction to serverless architectures (February 2017)
An introduction to serverless architectures (February 2017)
Julien SIMON
 
Iot og personvern 2017
Iot og personvern 2017Iot og personvern 2017
Iot og personvern 2017
Øystein Jakobsen
 
Presentación dia de andalucia pedro
Presentación dia de andalucia pedroPresentación dia de andalucia pedro
Presentación dia de andalucia pedro
Pedro Ramirez Serrano
 
Com clonar i com exportar i importar una màquina virtual
Com clonar i com exportar i importar una màquina virtualCom clonar i com exportar i importar una màquina virtual
Com clonar i com exportar i importar una màquina virtual
Edu Alias
 
Labo XX Antwerp - Densification strategies for the 20th century belt (BUUR)
Labo XX Antwerp - Densification strategies for the 20th century belt (BUUR)Labo XX Antwerp - Densification strategies for the 20th century belt (BUUR)
Labo XX Antwerp - Densification strategies for the 20th century belt (BUUR)
Kevin Penalva-Halpin
 
Filafat ilmu kepolisian
Filafat ilmu kepolisianFilafat ilmu kepolisian
Filafat ilmu kepolisian
rara wibowo
 
AWS re:Invent 2016 recap (part 2)
AWS re:Invent 2016 recap (part 2) AWS re:Invent 2016 recap (part 2)
AWS re:Invent 2016 recap (part 2)
Julien SIMON
 
Building serverless apps with Node.js
Building serverless apps with Node.jsBuilding serverless apps with Node.js
Building serverless apps with Node.js
Julien SIMON
 
Repubblicanesimo, repubblicanismo, republicanismo, républicanisme, republican...
Repubblicanesimo, repubblicanismo, republicanismo, républicanisme, republican...Repubblicanesimo, repubblicanismo, republicanismo, républicanisme, republican...
Repubblicanesimo, repubblicanismo, republicanismo, républicanisme, republican...
UNIVERSITY OF COIMBRA
 
Postmarxismo, post marxismo, post marxismo
Postmarxismo, post marxismo, post marxismoPostmarxismo, post marxismo, post marxismo
Postmarxismo, post marxismo, post marxismo
UNIVERSITY OF COIMBRA
 
Património Cultural Português - Panteões de Portugal e Edifícios da Soberania...
Património Cultural Português - Panteões de Portugal e Edifícios da Soberania...Património Cultural Português - Panteões de Portugal e Edifícios da Soberania...
Património Cultural Português - Panteões de Portugal e Edifícios da Soberania...
Artur Filipe dos Santos
 

En vedette (20)

Building Serverless APIs (January 2017)
Building Serverless APIs (January 2017)Building Serverless APIs (January 2017)
Building Serverless APIs (January 2017)
 
Big Data answers in seconds with Amazon Athena
Big Data answers in seconds with Amazon AthenaBig Data answers in seconds with Amazon Athena
Big Data answers in seconds with Amazon Athena
 
Infrastructure as code with Amazon Web Services
Infrastructure as code with Amazon Web ServicesInfrastructure as code with Amazon Web Services
Infrastructure as code with Amazon Web Services
 
The AWS DevOps combo (January 2017)
The AWS DevOps combo (January 2017)The AWS DevOps combo (January 2017)
The AWS DevOps combo (January 2017)
 
Devops with Amazon Web Services (January 2017)
Devops with Amazon Web Services (January 2017)Devops with Amazon Web Services (January 2017)
Devops with Amazon Web Services (January 2017)
 
Amazon AI (February 2017)
Amazon AI (February 2017)Amazon AI (February 2017)
Amazon AI (February 2017)
 
Continuous Deployment with Amazon Web Services
Continuous Deployment with Amazon Web ServicesContinuous Deployment with Amazon Web Services
Continuous Deployment with Amazon Web Services
 
Developing and deploying serverless applications (February 2017)
Developing and deploying serverless applications (February 2017)Developing and deploying serverless applications (February 2017)
Developing and deploying serverless applications (February 2017)
 
IoT: it's all about Data!
IoT: it's all about Data!IoT: it's all about Data!
IoT: it's all about Data!
 
An introduction to serverless architectures (February 2017)
An introduction to serverless architectures (February 2017)An introduction to serverless architectures (February 2017)
An introduction to serverless architectures (February 2017)
 
Iot og personvern 2017
Iot og personvern 2017Iot og personvern 2017
Iot og personvern 2017
 
Presentación dia de andalucia pedro
Presentación dia de andalucia pedroPresentación dia de andalucia pedro
Presentación dia de andalucia pedro
 
Com clonar i com exportar i importar una màquina virtual
Com clonar i com exportar i importar una màquina virtualCom clonar i com exportar i importar una màquina virtual
Com clonar i com exportar i importar una màquina virtual
 
Labo XX Antwerp - Densification strategies for the 20th century belt (BUUR)
Labo XX Antwerp - Densification strategies for the 20th century belt (BUUR)Labo XX Antwerp - Densification strategies for the 20th century belt (BUUR)
Labo XX Antwerp - Densification strategies for the 20th century belt (BUUR)
 
Filafat ilmu kepolisian
Filafat ilmu kepolisianFilafat ilmu kepolisian
Filafat ilmu kepolisian
 
AWS re:Invent 2016 recap (part 2)
AWS re:Invent 2016 recap (part 2) AWS re:Invent 2016 recap (part 2)
AWS re:Invent 2016 recap (part 2)
 
Building serverless apps with Node.js
Building serverless apps with Node.jsBuilding serverless apps with Node.js
Building serverless apps with Node.js
 
Repubblicanesimo, repubblicanismo, republicanismo, républicanisme, republican...
Repubblicanesimo, repubblicanismo, republicanismo, républicanisme, republican...Repubblicanesimo, repubblicanismo, republicanismo, républicanisme, republican...
Repubblicanesimo, repubblicanismo, republicanismo, républicanisme, republican...
 
Postmarxismo, post marxismo, post marxismo
Postmarxismo, post marxismo, post marxismoPostmarxismo, post marxismo, post marxismo
Postmarxismo, post marxismo, post marxismo
 
Património Cultural Português - Panteões de Portugal e Edifícios da Soberania...
Património Cultural Português - Panteões de Portugal e Edifícios da Soberania...Património Cultural Português - Panteões de Portugal e Edifícios da Soberania...
Património Cultural Português - Panteões de Portugal e Edifícios da Soberania...
 

Similaire à Viadeo - Cost Driven Development

2011.11.22 - Editeurs, concrétisez votre Offre SaaS avec Aspaway - 8ème Forum...
2011.11.22 - Editeurs, concrétisez votre Offre SaaS avec Aspaway - 8ème Forum...2011.11.22 - Editeurs, concrétisez votre Offre SaaS avec Aspaway - 8ème Forum...
2011.11.22 - Editeurs, concrétisez votre Offre SaaS avec Aspaway - 8ème Forum...
Club Alliances
 
Realize the Value of Your Microsoft Investments - French Version - Transforma...
Realize the Value of Your Microsoft Investments - French Version - Transforma...Realize the Value of Your Microsoft Investments - French Version - Transforma...
Realize the Value of Your Microsoft Investments - French Version - Transforma...
Amazon Web Services
 
2012.11.20 - Cloud Builders - RV des Experts du Club Cloud des Partenaires - ...
2012.11.20 - Cloud Builders - RV des Experts du Club Cloud des Partenaires - ...2012.11.20 - Cloud Builders - RV des Experts du Club Cloud des Partenaires - ...
2012.11.20 - Cloud Builders - RV des Experts du Club Cloud des Partenaires - ...
Club Cloud des Partenaires
 
Cloud Computing : enjeux pour les DSI
Cloud Computing : enjeux pour les DSICloud Computing : enjeux pour les DSI
Cloud Computing : enjeux pour les DSI
Stor Solutions
 
Seyfallah a os-aix-en-provence
Seyfallah a os-aix-en-provenceSeyfallah a os-aix-en-provence
Seyfallah a os-aix-en-provence
☁️Seyfallah Tagrerout☁ [MVP]
 
SharePoint & Azure, le couple gagnant
SharePoint & Azure, le couple gagnantSharePoint & Azure, le couple gagnant
SharePoint & Azure, le couple gagnant
Microsoft
 
Transforming Enterprise IT - French Version - Transformation Day Montreal 2018
Transforming Enterprise IT - French Version - Transformation Day Montreal 2018Transforming Enterprise IT - French Version - Transformation Day Montreal 2018
Transforming Enterprise IT - French Version - Transformation Day Montreal 2018
Amazon Web Services
 
XebiCon'17 : Serverless is the new back - Jérémy Pinsolle et Gérôme Egron
XebiCon'17 : Serverless is the new back - Jérémy Pinsolle et Gérôme EgronXebiCon'17 : Serverless is the new back - Jérémy Pinsolle et Gérôme Egron
XebiCon'17 : Serverless is the new back - Jérémy Pinsolle et Gérôme Egron
Publicis Sapient Engineering
 
Réinventer SAP on AWS : évolution et simplification des opérations SAP sur AWS
Réinventer SAP on AWS : évolution et simplification des opérations SAP sur AWS Réinventer SAP on AWS : évolution et simplification des opérations SAP sur AWS
Réinventer SAP on AWS : évolution et simplification des opérations SAP sur AWS
Amazon Web Services
 
2012.11.20 - Editeurs - RV des Experts du Club Cloud des Partenaires - Partne...
2012.11.20 - Editeurs - RV des Experts du Club Cloud des Partenaires - Partne...2012.11.20 - Editeurs - RV des Experts du Club Cloud des Partenaires - Partne...
2012.11.20 - Editeurs - RV des Experts du Club Cloud des Partenaires - Partne...
Club Cloud des Partenaires
 
Des monolithes aux microservices
Des monolithes aux microservicesDes monolithes aux microservices
Des monolithes aux microservices
Amazon Web Services
 
2010.07.08. Surfer le Tsunami Cloud avec IBM - Loic Simon
2010.07.08. Surfer le Tsunami Cloud avec IBM - Loic Simon2010.07.08. Surfer le Tsunami Cloud avec IBM - Loic Simon
2010.07.08. Surfer le Tsunami Cloud avec IBM - Loic Simon
Club Alliances
 
Continuous cloud costs testing [Fr] - DevoxxFR - 2013-03
Continuous cloud costs testing [Fr] - DevoxxFR - 2013-03Continuous cloud costs testing [Fr] - DevoxxFR - 2013-03
Continuous cloud costs testing [Fr] - DevoxxFR - 2013-03
Nicolas Fonrose
 
Adoption du cloud : il faut tout un village
Adoption du cloud : il faut tout un villageAdoption du cloud : il faut tout un village
Adoption du cloud : il faut tout un village
Amazon Web Services
 
De la stratégie à la réalité : de meilleures décisions avec les données
De la stratégie à la réalité : de meilleures décisions avec les donnéesDe la stratégie à la réalité : de meilleures décisions avec les données
De la stratégie à la réalité : de meilleures décisions avec les données
Amazon Web Services
 
AWS Summit Paris - Track 4 - Session 3 - Créez votre SaaS avec AWS
AWS Summit Paris - Track 4 - Session 3 - Créez votre SaaS avec AWSAWS Summit Paris - Track 4 - Session 3 - Créez votre SaaS avec AWS
AWS Summit Paris - Track 4 - Session 3 - Créez votre SaaS avec AWS
Amazon Web Services
 
2010.12.02 - le SaaS et le Cloud pour les N...ouveaux - Webinaire Aspaway - L...
2010.12.02 - le SaaS et le Cloud pour les N...ouveaux - Webinaire Aspaway - L...2010.12.02 - le SaaS et le Cloud pour les N...ouveaux - Webinaire Aspaway - L...
2010.12.02 - le SaaS et le Cloud pour les N...ouveaux - Webinaire Aspaway - L...
Club Alliances
 
Exadays cloud – Enjeux et Transformation du SI
Exadays   cloud – Enjeux et Transformation du SIExadays   cloud – Enjeux et Transformation du SI
Exadays cloud – Enjeux et Transformation du SI
Samir Arezki ☁
 
Introduction au cloud computing
Introduction au cloud computingIntroduction au cloud computing
Introduction au cloud computingStéphane Traumat
 
AWS Paris Summit 2014 - T4 - Créez votre PaaS avec AWS
AWS Paris Summit 2014 - T4 - Créez votre PaaS avec AWSAWS Paris Summit 2014 - T4 - Créez votre PaaS avec AWS
AWS Paris Summit 2014 - T4 - Créez votre PaaS avec AWS
Amazon Web Services
 

Similaire à Viadeo - Cost Driven Development (20)

2011.11.22 - Editeurs, concrétisez votre Offre SaaS avec Aspaway - 8ème Forum...
2011.11.22 - Editeurs, concrétisez votre Offre SaaS avec Aspaway - 8ème Forum...2011.11.22 - Editeurs, concrétisez votre Offre SaaS avec Aspaway - 8ème Forum...
2011.11.22 - Editeurs, concrétisez votre Offre SaaS avec Aspaway - 8ème Forum...
 
Realize the Value of Your Microsoft Investments - French Version - Transforma...
Realize the Value of Your Microsoft Investments - French Version - Transforma...Realize the Value of Your Microsoft Investments - French Version - Transforma...
Realize the Value of Your Microsoft Investments - French Version - Transforma...
 
2012.11.20 - Cloud Builders - RV des Experts du Club Cloud des Partenaires - ...
2012.11.20 - Cloud Builders - RV des Experts du Club Cloud des Partenaires - ...2012.11.20 - Cloud Builders - RV des Experts du Club Cloud des Partenaires - ...
2012.11.20 - Cloud Builders - RV des Experts du Club Cloud des Partenaires - ...
 
Cloud Computing : enjeux pour les DSI
Cloud Computing : enjeux pour les DSICloud Computing : enjeux pour les DSI
Cloud Computing : enjeux pour les DSI
 
Seyfallah a os-aix-en-provence
Seyfallah a os-aix-en-provenceSeyfallah a os-aix-en-provence
Seyfallah a os-aix-en-provence
 
SharePoint & Azure, le couple gagnant
SharePoint & Azure, le couple gagnantSharePoint & Azure, le couple gagnant
SharePoint & Azure, le couple gagnant
 
Transforming Enterprise IT - French Version - Transformation Day Montreal 2018
Transforming Enterprise IT - French Version - Transformation Day Montreal 2018Transforming Enterprise IT - French Version - Transformation Day Montreal 2018
Transforming Enterprise IT - French Version - Transformation Day Montreal 2018
 
XebiCon'17 : Serverless is the new back - Jérémy Pinsolle et Gérôme Egron
XebiCon'17 : Serverless is the new back - Jérémy Pinsolle et Gérôme EgronXebiCon'17 : Serverless is the new back - Jérémy Pinsolle et Gérôme Egron
XebiCon'17 : Serverless is the new back - Jérémy Pinsolle et Gérôme Egron
 
Réinventer SAP on AWS : évolution et simplification des opérations SAP sur AWS
Réinventer SAP on AWS : évolution et simplification des opérations SAP sur AWS Réinventer SAP on AWS : évolution et simplification des opérations SAP sur AWS
Réinventer SAP on AWS : évolution et simplification des opérations SAP sur AWS
 
2012.11.20 - Editeurs - RV des Experts du Club Cloud des Partenaires - Partne...
2012.11.20 - Editeurs - RV des Experts du Club Cloud des Partenaires - Partne...2012.11.20 - Editeurs - RV des Experts du Club Cloud des Partenaires - Partne...
2012.11.20 - Editeurs - RV des Experts du Club Cloud des Partenaires - Partne...
 
Des monolithes aux microservices
Des monolithes aux microservicesDes monolithes aux microservices
Des monolithes aux microservices
 
2010.07.08. Surfer le Tsunami Cloud avec IBM - Loic Simon
2010.07.08. Surfer le Tsunami Cloud avec IBM - Loic Simon2010.07.08. Surfer le Tsunami Cloud avec IBM - Loic Simon
2010.07.08. Surfer le Tsunami Cloud avec IBM - Loic Simon
 
Continuous cloud costs testing [Fr] - DevoxxFR - 2013-03
Continuous cloud costs testing [Fr] - DevoxxFR - 2013-03Continuous cloud costs testing [Fr] - DevoxxFR - 2013-03
Continuous cloud costs testing [Fr] - DevoxxFR - 2013-03
 
Adoption du cloud : il faut tout un village
Adoption du cloud : il faut tout un villageAdoption du cloud : il faut tout un village
Adoption du cloud : il faut tout un village
 
De la stratégie à la réalité : de meilleures décisions avec les données
De la stratégie à la réalité : de meilleures décisions avec les donnéesDe la stratégie à la réalité : de meilleures décisions avec les données
De la stratégie à la réalité : de meilleures décisions avec les données
 
AWS Summit Paris - Track 4 - Session 3 - Créez votre SaaS avec AWS
AWS Summit Paris - Track 4 - Session 3 - Créez votre SaaS avec AWSAWS Summit Paris - Track 4 - Session 3 - Créez votre SaaS avec AWS
AWS Summit Paris - Track 4 - Session 3 - Créez votre SaaS avec AWS
 
2010.12.02 - le SaaS et le Cloud pour les N...ouveaux - Webinaire Aspaway - L...
2010.12.02 - le SaaS et le Cloud pour les N...ouveaux - Webinaire Aspaway - L...2010.12.02 - le SaaS et le Cloud pour les N...ouveaux - Webinaire Aspaway - L...
2010.12.02 - le SaaS et le Cloud pour les N...ouveaux - Webinaire Aspaway - L...
 
Exadays cloud – Enjeux et Transformation du SI
Exadays   cloud – Enjeux et Transformation du SIExadays   cloud – Enjeux et Transformation du SI
Exadays cloud – Enjeux et Transformation du SI
 
Introduction au cloud computing
Introduction au cloud computingIntroduction au cloud computing
Introduction au cloud computing
 
AWS Paris Summit 2014 - T4 - Créez votre PaaS avec AWS
AWS Paris Summit 2014 - T4 - Créez votre PaaS avec AWSAWS Paris Summit 2014 - T4 - Créez votre PaaS avec AWS
AWS Paris Summit 2014 - T4 - Créez votre PaaS avec AWS
 

Plus de Julien SIMON

An introduction to computer vision with Hugging Face
An introduction to computer vision with Hugging FaceAn introduction to computer vision with Hugging Face
An introduction to computer vision with Hugging Face
Julien SIMON
 
Reinventing Deep Learning
 with Hugging Face Transformers
Reinventing Deep Learning
 with Hugging Face TransformersReinventing Deep Learning
 with Hugging Face Transformers
Reinventing Deep Learning
 with Hugging Face Transformers
Julien SIMON
 
Building NLP applications with Transformers
Building NLP applications with TransformersBuilding NLP applications with Transformers
Building NLP applications with Transformers
Julien SIMON
 
Building Machine Learning Models Automatically (June 2020)
Building Machine Learning Models Automatically (June 2020)Building Machine Learning Models Automatically (June 2020)
Building Machine Learning Models Automatically (June 2020)
Julien SIMON
 
Starting your AI/ML project right (May 2020)
Starting your AI/ML project right (May 2020)Starting your AI/ML project right (May 2020)
Starting your AI/ML project right (May 2020)
Julien SIMON
 
Scale Machine Learning from zero to millions of users (April 2020)
Scale Machine Learning from zero to millions of users (April 2020)Scale Machine Learning from zero to millions of users (April 2020)
Scale Machine Learning from zero to millions of users (April 2020)
Julien SIMON
 
An Introduction to Generative Adversarial Networks (April 2020)
An Introduction to Generative Adversarial Networks (April 2020)An Introduction to Generative Adversarial Networks (April 2020)
An Introduction to Generative Adversarial Networks (April 2020)
Julien SIMON
 
AIM410R1 Deep learning applications with TensorFlow, featuring Fannie Mae (De...
AIM410R1 Deep learning applications with TensorFlow, featuring Fannie Mae (De...AIM410R1 Deep learning applications with TensorFlow, featuring Fannie Mae (De...
AIM410R1 Deep learning applications with TensorFlow, featuring Fannie Mae (De...
Julien SIMON
 
AIM361 Optimizing machine learning models with Amazon SageMaker (December 2019)
AIM361 Optimizing machine learning models with Amazon SageMaker (December 2019)AIM361 Optimizing machine learning models with Amazon SageMaker (December 2019)
AIM361 Optimizing machine learning models with Amazon SageMaker (December 2019)
Julien SIMON
 
AIM410R Deep Learning Applications with TensorFlow, featuring Mobileye (Decem...
AIM410R Deep Learning Applications with TensorFlow, featuring Mobileye (Decem...AIM410R Deep Learning Applications with TensorFlow, featuring Mobileye (Decem...
AIM410R Deep Learning Applications with TensorFlow, featuring Mobileye (Decem...
Julien SIMON
 
A pragmatic introduction to natural language processing models (October 2019)
A pragmatic introduction to natural language processing models (October 2019)A pragmatic introduction to natural language processing models (October 2019)
A pragmatic introduction to natural language processing models (October 2019)
Julien SIMON
 
Building smart applications with AWS AI services (October 2019)
Building smart applications with AWS AI services (October 2019)Building smart applications with AWS AI services (October 2019)
Building smart applications with AWS AI services (October 2019)
Julien SIMON
 
Build, train and deploy ML models with SageMaker (October 2019)
Build, train and deploy ML models with SageMaker (October 2019)Build, train and deploy ML models with SageMaker (October 2019)
Build, train and deploy ML models with SageMaker (October 2019)
Julien SIMON
 
The Future of AI (September 2019)
The Future of AI (September 2019)The Future of AI (September 2019)
The Future of AI (September 2019)
Julien SIMON
 
Building Machine Learning Inference Pipelines at Scale (July 2019)
Building Machine Learning Inference Pipelines at Scale (July 2019)Building Machine Learning Inference Pipelines at Scale (July 2019)
Building Machine Learning Inference Pipelines at Scale (July 2019)
Julien SIMON
 
Train and Deploy Machine Learning Workloads with AWS Container Services (July...
Train and Deploy Machine Learning Workloads with AWS Container Services (July...Train and Deploy Machine Learning Workloads with AWS Container Services (July...
Train and Deploy Machine Learning Workloads with AWS Container Services (July...
Julien SIMON
 
Optimize your Machine Learning Workloads on AWS (July 2019)
Optimize your Machine Learning Workloads on AWS (July 2019)Optimize your Machine Learning Workloads on AWS (July 2019)
Optimize your Machine Learning Workloads on AWS (July 2019)
Julien SIMON
 
Deep Learning on Amazon Sagemaker (July 2019)
Deep Learning on Amazon Sagemaker (July 2019)Deep Learning on Amazon Sagemaker (July 2019)
Deep Learning on Amazon Sagemaker (July 2019)
Julien SIMON
 
Automate your Amazon SageMaker Workflows (July 2019)
Automate your Amazon SageMaker Workflows (July 2019)Automate your Amazon SageMaker Workflows (July 2019)
Automate your Amazon SageMaker Workflows (July 2019)
Julien SIMON
 
Build, train and deploy ML models with Amazon SageMaker (May 2019)
Build, train and deploy ML models with Amazon SageMaker (May 2019)Build, train and deploy ML models with Amazon SageMaker (May 2019)
Build, train and deploy ML models with Amazon SageMaker (May 2019)
Julien SIMON
 

Plus de Julien SIMON (20)

An introduction to computer vision with Hugging Face
An introduction to computer vision with Hugging FaceAn introduction to computer vision with Hugging Face
An introduction to computer vision with Hugging Face
 
Reinventing Deep Learning
 with Hugging Face Transformers
Reinventing Deep Learning
 with Hugging Face TransformersReinventing Deep Learning
 with Hugging Face Transformers
Reinventing Deep Learning
 with Hugging Face Transformers
 
Building NLP applications with Transformers
Building NLP applications with TransformersBuilding NLP applications with Transformers
Building NLP applications with Transformers
 
Building Machine Learning Models Automatically (June 2020)
Building Machine Learning Models Automatically (June 2020)Building Machine Learning Models Automatically (June 2020)
Building Machine Learning Models Automatically (June 2020)
 
Starting your AI/ML project right (May 2020)
Starting your AI/ML project right (May 2020)Starting your AI/ML project right (May 2020)
Starting your AI/ML project right (May 2020)
 
Scale Machine Learning from zero to millions of users (April 2020)
Scale Machine Learning from zero to millions of users (April 2020)Scale Machine Learning from zero to millions of users (April 2020)
Scale Machine Learning from zero to millions of users (April 2020)
 
An Introduction to Generative Adversarial Networks (April 2020)
An Introduction to Generative Adversarial Networks (April 2020)An Introduction to Generative Adversarial Networks (April 2020)
An Introduction to Generative Adversarial Networks (April 2020)
 
AIM410R1 Deep learning applications with TensorFlow, featuring Fannie Mae (De...
AIM410R1 Deep learning applications with TensorFlow, featuring Fannie Mae (De...AIM410R1 Deep learning applications with TensorFlow, featuring Fannie Mae (De...
AIM410R1 Deep learning applications with TensorFlow, featuring Fannie Mae (De...
 
AIM361 Optimizing machine learning models with Amazon SageMaker (December 2019)
AIM361 Optimizing machine learning models with Amazon SageMaker (December 2019)AIM361 Optimizing machine learning models with Amazon SageMaker (December 2019)
AIM361 Optimizing machine learning models with Amazon SageMaker (December 2019)
 
AIM410R Deep Learning Applications with TensorFlow, featuring Mobileye (Decem...
AIM410R Deep Learning Applications with TensorFlow, featuring Mobileye (Decem...AIM410R Deep Learning Applications with TensorFlow, featuring Mobileye (Decem...
AIM410R Deep Learning Applications with TensorFlow, featuring Mobileye (Decem...
 
A pragmatic introduction to natural language processing models (October 2019)
A pragmatic introduction to natural language processing models (October 2019)A pragmatic introduction to natural language processing models (October 2019)
A pragmatic introduction to natural language processing models (October 2019)
 
Building smart applications with AWS AI services (October 2019)
Building smart applications with AWS AI services (October 2019)Building smart applications with AWS AI services (October 2019)
Building smart applications with AWS AI services (October 2019)
 
Build, train and deploy ML models with SageMaker (October 2019)
Build, train and deploy ML models with SageMaker (October 2019)Build, train and deploy ML models with SageMaker (October 2019)
Build, train and deploy ML models with SageMaker (October 2019)
 
The Future of AI (September 2019)
The Future of AI (September 2019)The Future of AI (September 2019)
The Future of AI (September 2019)
 
Building Machine Learning Inference Pipelines at Scale (July 2019)
Building Machine Learning Inference Pipelines at Scale (July 2019)Building Machine Learning Inference Pipelines at Scale (July 2019)
Building Machine Learning Inference Pipelines at Scale (July 2019)
 
Train and Deploy Machine Learning Workloads with AWS Container Services (July...
Train and Deploy Machine Learning Workloads with AWS Container Services (July...Train and Deploy Machine Learning Workloads with AWS Container Services (July...
Train and Deploy Machine Learning Workloads with AWS Container Services (July...
 
Optimize your Machine Learning Workloads on AWS (July 2019)
Optimize your Machine Learning Workloads on AWS (July 2019)Optimize your Machine Learning Workloads on AWS (July 2019)
Optimize your Machine Learning Workloads on AWS (July 2019)
 
Deep Learning on Amazon Sagemaker (July 2019)
Deep Learning on Amazon Sagemaker (July 2019)Deep Learning on Amazon Sagemaker (July 2019)
Deep Learning on Amazon Sagemaker (July 2019)
 
Automate your Amazon SageMaker Workflows (July 2019)
Automate your Amazon SageMaker Workflows (July 2019)Automate your Amazon SageMaker Workflows (July 2019)
Automate your Amazon SageMaker Workflows (July 2019)
 
Build, train and deploy ML models with Amazon SageMaker (May 2019)
Build, train and deploy ML models with Amazon SageMaker (May 2019)Build, train and deploy ML models with Amazon SageMaker (May 2019)
Build, train and deploy ML models with Amazon SageMaker (May 2019)
 

Dernier

De l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
De l'IA comme plagiat à la rédaction d'une « charte IA » à l'universitéDe l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
De l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
Université de Franche-Comté
 
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Laurent Speyser
 
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
OCTO Technology
 
OCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO TALKS : 4 Tech Trends du Software Engineering.pdfOCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO Technology
 
Le support de présentation des Signaux 2024
Le support de présentation des Signaux 2024Le support de présentation des Signaux 2024
Le support de présentation des Signaux 2024
UNITECBordeaux
 
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
OCTO Technology
 

Dernier (6)

De l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
De l'IA comme plagiat à la rédaction d'une « charte IA » à l'universitéDe l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
De l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
 
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
 
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...
 
OCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO TALKS : 4 Tech Trends du Software Engineering.pdfOCTO TALKS : 4 Tech Trends du Software Engineering.pdf
OCTO TALKS : 4 Tech Trends du Software Engineering.pdf
 
Le support de présentation des Signaux 2024
Le support de présentation des Signaux 2024Le support de présentation des Signaux 2024
Le support de présentation des Signaux 2024
 
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
 

Viadeo - Cost Driven Development

  • 1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Frédéric d’Alessandro - Data architect Loïc Dias Da Silva - CTO & VP Engineering Cost Driven Development chez Viadeo Tâches Spark sur EMR optimisées avec des instances SPOT
  • 2. Viadeo SUCCESS Business Fournisseurs, clients, collaborateurs, investisseurs... Networking Pairs, associés, collègues, camarades, rencontres pro, partenaires ... Carrière Premier job, recherche d’emploi, entreprenariat, développement, ...
  • 3. Migration vers le cloud AWS Nov. 2014 Escape to Amazon thinking Dec. 2014 First commit Infrastructure as a code Mar. 2015 First industrialized instance on AWS cloud Dec. 2015 Our demo environment is on AWS cloud July 2016 Our live production environment is on AWS cloud Dec 2016 Datacenter is closed demo
  • 4. Cost-Driven Development - choix des instances Amazon EC2 - autoscaling - optimisations Amazon RedShift - cycle de vie des données Amazon S3 - utilisation d’instances SPOT
  • 7. Le Big Data chez Viadeo
  • 8. Utilisation d’instances SPOT (ex: SnowPlow) - Prix c3.8xlarge à la demande : 1.68$ - Prix c3.8xlarge Spot : ~0.40$ - Baisse du coût de ~ 1200$ à ~240$ par mois
  • 9. pop.sh : automatisation du lancement de jobs
  • 10. Usage $ ./pop.sh --coreInstanceType=m4.large --coreInstanceCount=2 --ec2spot=true (...) # Pricing info = Tue Oct 11 08:00:09 CEST 2016 # Instance type = m4.large # availabilityZone = us-west-1c # Aws Spot Price 1 min ago = 0.016700 # Aws Spot Price 1 day ago = 0.016300 # Our max Spot Price max proposal = 0.029 # Aws fixed price = 0.14 # Emr fixed price = 0.030 # Do we take spot = 1 $
  • 11. Prochaines étapes - Amélioration de la vitesse de scaling - Passage des stacks applicatives en µ-services - Containerisation & orchestration