Modern DevOps - kill the bottleneck (part 2/2)Loic Ortola
Most Developers live in Wonderland, a place where resources are unlimited, failures don't happen and where we take naps inside giant mushrooms.
The reality is different. Bottlenecks, failures, latency... take the red pill and come down the rabbit hole with us.
What the common bottlenecks are, how to detect them, the usual optimizations, and a full-scale use-case based on Jawg Maps (part 2)
Modern DevOps - kill the bottleneck (part 1/2)Loic Ortola
Most Developers live in Wonderland, a place where resources are unlimited, failures don't happen and where we take naps inside giant mushrooms.
The reality is different. Bottlenecks, failures, latency... take the red pill and come down the rabbit hole with us.
What the common bottlenecks are, how to detect them, the usual optimizations, and a full-scale use-case based on Jawg Maps (part 2).
This talk was given at the Modern DevOps meetup in Paris, in November 2017
[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps...Guillaume MOCQUET
Cet article traite d’une part, de la solution de virtualisation d’infrastructure serveurs via la plateforme VMware vSphere / vCenter et d'autre part, de la plateforme open source d’analyse de logs des frontaux web en temps réel basée sur Rsyslog (extension du protocole basique Syslog), ElasticSearch, Logstash et Kibana (ELK Stack).
Migrer 3 millions de sites sans maitriser leur code source ? Impossible mais ...OVHcloud
Il y a deux ans, nous apprenions notre nouvelle mission : migrer les 3 millions de sites web hébergés dans notre datacentre de Paris. Sans en maitriser le code source, les migrer sans impact nous semblait totalement irréaliste.
18 mois plus tard, c'est terminé ! Pour y arriver, nous avons du configurer des proxy SQL, des tunnels réseau, migrer des IP entre nos datacentres, livrer des milliers de serveurs, bosser durant des dizaines de nuits, mais aussi s'organiser entre plusieurs équipes qui n'ont pas l'habitude de travailler ensemble. Quels sont les soucis technique et humains que nous avons rencontrés, et comment les avons nous résolu ? Retour d'expérience sur l'une des plus grosse migration que le web ai connu !
Avec Enterprise Cloud Databases, découvrez un service dédié, entièrement géré et surveillé, basé sur le système de gestion de bases de données relationnelle PostgreSQL, qui garantit une haute disponibilité pour vos charges de travail les plus critiques.
Devoxx 2016 - Dropwizard : Création de services REST production-readyAlexander DEJANOVSKI
Slides accompagnant le TIA en live coding donné à Devoxx France 2016 sur la création de services REST avec Dropwizard, l'utilisation d'Hystrix comme circuit breaker et Feign pour créer des clients REST.
MSCS : Hyperconvergence avec Windows Server 2016MickaelLOPES91
Présentation de l'hyperconvergence avec Windows Server 2016 au MSCloudSummit à Paris. Session présentée par Romain SERRE (@RomSerre) & Mickael LOPES (@lopesmick)
Modern DevOps - kill the bottleneck (part 2/2)Loic Ortola
Most Developers live in Wonderland, a place where resources are unlimited, failures don't happen and where we take naps inside giant mushrooms.
The reality is different. Bottlenecks, failures, latency... take the red pill and come down the rabbit hole with us.
What the common bottlenecks are, how to detect them, the usual optimizations, and a full-scale use-case based on Jawg Maps (part 2)
Modern DevOps - kill the bottleneck (part 1/2)Loic Ortola
Most Developers live in Wonderland, a place where resources are unlimited, failures don't happen and where we take naps inside giant mushrooms.
The reality is different. Bottlenecks, failures, latency... take the red pill and come down the rabbit hole with us.
What the common bottlenecks are, how to detect them, the usual optimizations, and a full-scale use-case based on Jawg Maps (part 2).
This talk was given at the Modern DevOps meetup in Paris, in November 2017
[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps...Guillaume MOCQUET
Cet article traite d’une part, de la solution de virtualisation d’infrastructure serveurs via la plateforme VMware vSphere / vCenter et d'autre part, de la plateforme open source d’analyse de logs des frontaux web en temps réel basée sur Rsyslog (extension du protocole basique Syslog), ElasticSearch, Logstash et Kibana (ELK Stack).
Migrer 3 millions de sites sans maitriser leur code source ? Impossible mais ...OVHcloud
Il y a deux ans, nous apprenions notre nouvelle mission : migrer les 3 millions de sites web hébergés dans notre datacentre de Paris. Sans en maitriser le code source, les migrer sans impact nous semblait totalement irréaliste.
18 mois plus tard, c'est terminé ! Pour y arriver, nous avons du configurer des proxy SQL, des tunnels réseau, migrer des IP entre nos datacentres, livrer des milliers de serveurs, bosser durant des dizaines de nuits, mais aussi s'organiser entre plusieurs équipes qui n'ont pas l'habitude de travailler ensemble. Quels sont les soucis technique et humains que nous avons rencontrés, et comment les avons nous résolu ? Retour d'expérience sur l'une des plus grosse migration que le web ai connu !
Avec Enterprise Cloud Databases, découvrez un service dédié, entièrement géré et surveillé, basé sur le système de gestion de bases de données relationnelle PostgreSQL, qui garantit une haute disponibilité pour vos charges de travail les plus critiques.
Devoxx 2016 - Dropwizard : Création de services REST production-readyAlexander DEJANOVSKI
Slides accompagnant le TIA en live coding donné à Devoxx France 2016 sur la création de services REST avec Dropwizard, l'utilisation d'Hystrix comme circuit breaker et Feign pour créer des clients REST.
MSCS : Hyperconvergence avec Windows Server 2016MickaelLOPES91
Présentation de l'hyperconvergence avec Windows Server 2016 au MSCloudSummit à Paris. Session présentée par Romain SERRE (@RomSerre) & Mickael LOPES (@lopesmick)
Zabbix est un outils permettant d’effectuer de la supervision et de la métrologie en collectant des données à travers son agent, le snmp ou des scripts. Cet exposé expliquera le projet Zabbix, les technologies utilisées puis la mise en place pour ensuite effectuer une démonstration.
MSCS : Windows Server 2016 Quoi de neuf pour votre datacenterMickaelLOPES91
Présentation des nouveautés de Windows Server 2016 au MSCloudSummit à Paris. Session présentée par Romain SERRE (@RomSerre), Jean-François BERENGUER (@jfberenguer_pro) & Mickael LOPES (@lopesmick)
Core Web Vitals, les indicateurs de vitesse qui réconcilient UX et SEOWeLoveSEO
Largest Contentful Paint (LCP), First Input Delay (FID) et Cumulative Layout Shift (CLS) : ce sont les 3 nouveaux indicateurs que Google a annoncé vouloir prendre en compte dès 2021 pour le ranking. Vous en avez sans doute pas mal entendu parler ces dernières semaines non ?
L'objectif derrière cette mise à jour : mesurer la performance et l'expérience utilisateur pour en faire des critères #SEO. Ce qui en soit est une bonne chose !
Mais c'est sujet à débat : est-ce une révolution SEO ou au contraire, une modification minime de l’algorithme ? Que signifient réellement ces KPI, comment les mesurer et comment les améliorer ?
Le DNS est la clé de voûte d'un système d'information évolutif. Cela est particulièrement vrai dans des architectures Cloud. Laissez-vous conter Designate, le DNS As A Service d'OpenStack. Nous verrons ensemble ce qu’il apporte et comment l’installer, par de véritables retours de terrain. Nous vous guiderons sur le plus court chemin vers un DNS As A Service utilisable et fiable.
Le DNS est la clé de voûte d'un système d'information évolutif. Cela est particulièrement vrai dans des architectures Cloud. Laissez-vous conter Designate, le DNS As A Service d'OpenStack. Nous verrons ensemble ce qu’il apporte et comment l’installer, par de véritables retours de terrain. Nous vous guiderons sur le plus court chemin vers un DNS As A Service utilisable et fiable.
Tous ceux qui font du web connaissent HTTP. Mais que se passe-t-il quand on le pousse dans ses retranchements ? Retours d’expérience sur nos développements en interne.
Presentation Zabbix en Français du 6 Juin 2013Alain Ganuchaud
Vue d'ensemble des fonctionnalités Zabbix, plus particulièrement la version 2.0, présentée en Français par Alain Ganuchaud (CORE IT PROJECT) pour l'éditeur Zabbix SIA.
Le cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure PackMicrosoft Décideurs IT
Microsoft apporte son expérience dans la conception et la gestion des centres de données et du cloud avec un système convergent entièrement validé et intégré en usine. CPS associe une pile logicielle éprouvée avec Windows Server 2012 R2 et System Center 2012 R2, le portail Windows Azure Pack et les infrastructures serveurs, stockage et équipements réseau de DELL. Basé sur un bloc de construction évolutif et extensible, CPS raccourcit le temps de mise en œuvre tout en proposant une expérience cohérente du cloud telle que demandée par vos métiers.
Comment repousser les limites du DataCenter en termes de coût et de complexité ? Comment étendre ce datacenter vers le Cloud et bénéficier des scénarios de haute disponibilité et de disaster recovery offerts par SQL Server ? Lors de cette session, venez découvrir les différents scénarios hybrides entre SQL Server et Windows Azure : backup dans Windows Azure, Replica AlwaysOn, flexibilité dans le choix du stockage, élasticité et redondance !
Speaker : Christophe Laporte (MVP)
Logs serveurs : du terme barbare à la simplicité de la réalitéKarles Nine
Logs serveurs :
du terme barbare à la simplicité de la réalité.
Vulgarisation et de démystification des log informatique et principalement des access log web.
Cassandra s'impose chez Chronopost comme base NoSQL de choix pour remplacer les RDBMS traditionnels.
Pourquoi choisir Cassandra dans la jungle du Big Data, pour quels usages et quels gains en tirer.
Retour sur certains sujets présentés aux Techdays 2014 orientés autour de ferme SharePoint et Azure. - 2ème partie -
- Mise en œuvre d'une plateforme de production SharePoint dans Azure
- Monitoring de la plateforme.
[EN]
hubiC is a public cloud storage plateform based on OpenStack Swift. 4700 nodes and 6 Po replicated 3 times require many automations and best pratctices.
[FR]
Hubic est une plateforme de stockage cloud publique basée sur OpenStack Swift. 4700 nœuds et 6 Po répliqués 3 fois nécessitent de nombreuses automatisations et best pratctices.
[Étude de cas] Refonte d'un système de sauvegarde informatiqueGroupe D.FI
Découvrez au travers de ce document la stratégie de sauvegarde proposée par D.FI pour le compte de l'un de ses clients qui dispose d'une structure principale et d'agences régionales.
Zabbix est un outils permettant d’effectuer de la supervision et de la métrologie en collectant des données à travers son agent, le snmp ou des scripts. Cet exposé expliquera le projet Zabbix, les technologies utilisées puis la mise en place pour ensuite effectuer une démonstration.
MSCS : Windows Server 2016 Quoi de neuf pour votre datacenterMickaelLOPES91
Présentation des nouveautés de Windows Server 2016 au MSCloudSummit à Paris. Session présentée par Romain SERRE (@RomSerre), Jean-François BERENGUER (@jfberenguer_pro) & Mickael LOPES (@lopesmick)
Core Web Vitals, les indicateurs de vitesse qui réconcilient UX et SEOWeLoveSEO
Largest Contentful Paint (LCP), First Input Delay (FID) et Cumulative Layout Shift (CLS) : ce sont les 3 nouveaux indicateurs que Google a annoncé vouloir prendre en compte dès 2021 pour le ranking. Vous en avez sans doute pas mal entendu parler ces dernières semaines non ?
L'objectif derrière cette mise à jour : mesurer la performance et l'expérience utilisateur pour en faire des critères #SEO. Ce qui en soit est une bonne chose !
Mais c'est sujet à débat : est-ce une révolution SEO ou au contraire, une modification minime de l’algorithme ? Que signifient réellement ces KPI, comment les mesurer et comment les améliorer ?
Le DNS est la clé de voûte d'un système d'information évolutif. Cela est particulièrement vrai dans des architectures Cloud. Laissez-vous conter Designate, le DNS As A Service d'OpenStack. Nous verrons ensemble ce qu’il apporte et comment l’installer, par de véritables retours de terrain. Nous vous guiderons sur le plus court chemin vers un DNS As A Service utilisable et fiable.
Le DNS est la clé de voûte d'un système d'information évolutif. Cela est particulièrement vrai dans des architectures Cloud. Laissez-vous conter Designate, le DNS As A Service d'OpenStack. Nous verrons ensemble ce qu’il apporte et comment l’installer, par de véritables retours de terrain. Nous vous guiderons sur le plus court chemin vers un DNS As A Service utilisable et fiable.
Tous ceux qui font du web connaissent HTTP. Mais que se passe-t-il quand on le pousse dans ses retranchements ? Retours d’expérience sur nos développements en interne.
Presentation Zabbix en Français du 6 Juin 2013Alain Ganuchaud
Vue d'ensemble des fonctionnalités Zabbix, plus particulièrement la version 2.0, présentée en Français par Alain Ganuchaud (CORE IT PROJECT) pour l'éditeur Zabbix SIA.
Le cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure PackMicrosoft Décideurs IT
Microsoft apporte son expérience dans la conception et la gestion des centres de données et du cloud avec un système convergent entièrement validé et intégré en usine. CPS associe une pile logicielle éprouvée avec Windows Server 2012 R2 et System Center 2012 R2, le portail Windows Azure Pack et les infrastructures serveurs, stockage et équipements réseau de DELL. Basé sur un bloc de construction évolutif et extensible, CPS raccourcit le temps de mise en œuvre tout en proposant une expérience cohérente du cloud telle que demandée par vos métiers.
Comment repousser les limites du DataCenter en termes de coût et de complexité ? Comment étendre ce datacenter vers le Cloud et bénéficier des scénarios de haute disponibilité et de disaster recovery offerts par SQL Server ? Lors de cette session, venez découvrir les différents scénarios hybrides entre SQL Server et Windows Azure : backup dans Windows Azure, Replica AlwaysOn, flexibilité dans le choix du stockage, élasticité et redondance !
Speaker : Christophe Laporte (MVP)
Logs serveurs : du terme barbare à la simplicité de la réalitéKarles Nine
Logs serveurs :
du terme barbare à la simplicité de la réalité.
Vulgarisation et de démystification des log informatique et principalement des access log web.
Cassandra s'impose chez Chronopost comme base NoSQL de choix pour remplacer les RDBMS traditionnels.
Pourquoi choisir Cassandra dans la jungle du Big Data, pour quels usages et quels gains en tirer.
Retour sur certains sujets présentés aux Techdays 2014 orientés autour de ferme SharePoint et Azure. - 2ème partie -
- Mise en œuvre d'une plateforme de production SharePoint dans Azure
- Monitoring de la plateforme.
[EN]
hubiC is a public cloud storage plateform based on OpenStack Swift. 4700 nodes and 6 Po replicated 3 times require many automations and best pratctices.
[FR]
Hubic est une plateforme de stockage cloud publique basée sur OpenStack Swift. 4700 nœuds et 6 Po répliqués 3 fois nécessitent de nombreuses automatisations et best pratctices.
[Étude de cas] Refonte d'un système de sauvegarde informatiqueGroupe D.FI
Découvrez au travers de ce document la stratégie de sauvegarde proposée par D.FI pour le compte de l'un de ses clients qui dispose d'une structure principale et d'agences régionales.
SQLSaturday Paris 2014 - Et hop, ma base migre dans AzureGUSS
Vous ne voulez plus gérer vos problèmes Hardware ? Vous ne voulez plus gérer vos mises à jour de sécurité ? Vous voulez de la haute disponibilité à moindre coût et en gagnant du temps ? Vous êtes dans un environnement sécurisé ? Alors n’hésitez pas à migrer vos bases dans Azure. Accompagné de Nicolas Soukoff (Senior Premier Field Engineer – SQL Server ), nous vous guiderons sur les choix de solution et les étapes de migration : – VM dans Azure / SQL Azure Database – Solution de HA (AlwaysOn) – Comment migrer simplement – Gérer son Disaster Recovery dans Azure. Session présentée lors du SQLSaturday Paris 2014
Azure Data Lake, le big data 2.0 (Global Azure Bootcamp Paris 2017)Jean-Pierre Riehl
--session donnée dans le cadre du Global Azure Bootcamp Paris 2017 avec Fabien Adato--
Azure Data Lake est LA technologie "big data" maison de Microsoft. En provenance de MS Research (nom de code Cosmos), elle est utilisée en interne par les équipes X-Box, Bing, O365 depuis quelques années déjà. Cette technologie est disponible depuis l'été dernier dans Azure et s'enrichit mois après mois.
ADL, concrètement, c'est quoi ? C'est la possibilité de stocker et analyser une quantité illimitée de données et de requêter avec un nouveau langage : le U-SQL
Dans cette session, vous découvrirez Azure Data Lake et toutes les possibilités qui s'ouvrent à vous
GAB 2017 PARIS - Azure Data Lake La Big Data 2.0 par Jean-Pierre Riehl et Fab...AZUG FR
Azure Data Lake est LA technologie "big data" maison de Microsoft. En provenance de MS Research (nom de code Cosmos), elle est utilisée en interne par les équipes X-Box, Bing, O365 depuis quelques années déjà. Cette technologie est disponible depuis l'été dernier dans Azure et s'enrichit mois après mois. ADL, concrètement, c'est quoi ? C'est la possibilité de stocker et analyser une quantité illimitée de données et de requêter avec un nouveau langage : le U-SQL Dans cette session, vous découvrirez Azure Data Lake et toutes les possibilités qui s'ouvrent à vous.
SQLSaturday Paris 2014 - Ce que tout DBA doit savoir sur la configuration et ...GUSS
SQL Server constitue réellement le cœur de SharePoint. Lors de cette session nous avons réuni un MVP SharePoint et une MVP SQL Server qui vous donneront un aperçu de ce que tout DBA SQL Serveur doit savoir sur SharePoint. Les principes fondamentaux de l’architecture SharePoint 2013 (sites, collections de sites, services applicatifs, moteur de recherche) et surtout les concepts SQL Serveur associés seront abordés (bases de données de contenu, de configuration, de services, de workflows). les orateurs vous donneront également un aperçu de ce que tout DBA doit connaître sur le plan de l’optimisation, la configuration et le monitoring de SQL Server spécifiquement pour SharePoint 2013, les concepts de récupération d’urgence et de haute disponibilité (spécifiquement les groupes de disponibilité Always-On) appliqués à SharePoint ; l’intérêt d’exploiter le SQL Server Resource governor dans le contexte SharePoint sera également traité. Session présentée lors du SQLSaturday Paris 2014
BreizhCamp 2019 - IoT et open source hardware pour la collecte de timeseriesXavier MARIN
Votre mission, si vous l'acceptez : collecter chez chaque client 500 métriques par seconde sur un réseau Modbus, stocker plusieurs jours de données localement, et pousser des métriques sous échantillonnées dans le cloud. Les contraintes incluent la remontée des contextes de défaut, l’envoi de commande sécurisée depuis le cloud, l’isolation des données entre clients, la connexion temps réel via websocket, la gestion des coupures de courant et d’internet. Le système tourne sur une PINE64, avec une base de donnée open source française !
Deep Dive Performance , le In-Memory dans SQL ServerMicrosoft
Durant cette session, nous verrons comment SQL Serveur implémente les solutions In-Memory OLTP (aka « Hekaton ») et In-Memory DWH (aka « ColumnStore »). Nous commencerons par revoir l’architecture interne de ces technologies, puis nous verrons comment elles fonctionnent et elles se mettent en œuvre et comment elles s’administrent. Cela nous donnera aussi l’occasion de revoir ensemble les bonnes pratiques de ces fonctionnalités afin d’en tirer les meilleurs performances !
Speakers : Aurélien Koppel (Microsoft), Frederic Pichaut (Microsoft)
3 Microsoft Advanced Threat Analytics - GenèveaOS Community
Session qui va décrire et présenter la technologie Azure Site Recovery. Ce service dans Azure propose un PRA pour les systèmes d'informations avec comme source plusieurs technologies ( Hyper-V , VMware) cette session va présenter ASR dans les moindres détails en passant par la phase design , déploiement et administration.
Dans cette session vous découvrirez comment le couple Visual Studio 2013 et le Framework 4.5.1 augmentent votre productivité ainsi que les performances de vos applications .NET. Dans la lignée du Framework 4.5, cette dernière version offre son lot d’améliorations, parfaitement stabilisées au rythme des versions de Visual Studio. Cependant, Microsoft a décidé de livrer des packages officiels à un rythme plus rapide et plus fréquent que les versions majeures de Visual Studio. La dernière version de NuGet intégrée à Visual Studio 2013 permet de trouver plus facilement le type de package recherché. Ne manquez pas cette session et venez découvrir l’essentielle des nouveautés apportées par Visual Studio 2013 et le Framework 4.5.1.
Speakers : Michel Perfetti (Cellenza), Bruno Boucard (Cellenza)
Session donnée lors du MS Cloud Summit le 24 janvier 2017 en collaboration avec Franck ANNET sur les nouvelles architectures skype for business
Ms cloud summit_skype
Avec l’avènement des connexions haut-débit et bientôt très haut-débit, les concepteurs semblent de moins en moins attentifs à la rapidité de leurs sites. De plus, avec de telles connexions, les internautes supportent mal un site qui les fasse attendre. Cela gâche l’expérience utilisateur, pourtant censée être au cœur du "web 2.0"
Cet atelier vous présentera comment, sans devoir repenser votre application ou vos pages depuis le début, améliorer la rapidité de votre site.
Tout ce que vous devez savoir sur les meilleures pratiques autour d'Exchange 2013... Des thèmes aussi divers que "comment virtualiser au mieux un serveur Exchange 2013" à "Que faire de mes dossiers partagés et que deviennent t'ils dans Exchange 2013". Tout ce qu'il y a à savoir expliqu par nos meilleurs experts Microsoft sur le sujet.
Speaker : Guy Groeneveld (Microsoft), Stefan Plizga (Microsoft), Raquel Municio (Microsoft France), Lionel Constantin (Microsoft France)
SQLSaturday Paris 2014 - SharePoint – de la méfiance jusqu’à l’acceptation GUSS
Quand votre responsable annonce l’acquisition de SharePoint en tant que DBA le devoir de « configuration et installation » de SQL Server vous attend. Malgré que SharePoint soit l’outil de collaboration (ECM) le plus convoité de Microsoft la méfiance s’installe car vous avez peu ou pas de connaissance technique concernant SharePoint. Le contenu des sites de collaboration, sites publics ainsi de configuration est stocké dans SQL Server d’ou l’importance de ceci ! Dans cette session, nous allons explorer les tendances de SharePoint pour DBA. Pourquoi SharePoint aime faire les choses à sa manière? Que pouvez vous ne pas faire avec les bases de données de SharePoint? Quels sont les paramètres spécifiques de SharePoint à savoir et maitriser pour une utilisation optimale? Comment maintenir les bases de données SharePoint sans ruiner le soutien de Microsoft? Après la session vous aurez les bases fondamentales pour commencer n’importe quelle projet SharePoint en tant que DBA. Session présentée lors du SQLSaturday Paris 2014
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)Laurent Speyser
(Conférence dessinée)
Vous êtes certainement à l’origine, ou impliqué, dans un changement au sein de votre organisation. Et peut être que cela ne se passe pas aussi bien qu’attendu…
Depuis plusieurs années, je fais régulièrement le constat de l’échec de l’adoption de l’Agilité, et plus globalement de grands changements, dans les organisations. Je vais tenter de vous expliquer pourquoi ils suscitent peu d'adhésion, peu d’engagement, et ils ne tiennent pas dans le temps.
Heureusement, il existe un autre chemin. Pour l'emprunter il s'agira de cultiver l'invitation, l'intelligence collective , la mécanique des jeux, les rites de passages, .... afin que l'agilité prenne racine.
Vous repartirez de cette conférence en ayant pris du recul sur le changement tel qu‘il est généralement opéré aujourd’hui, et en ayant découvert (ou redécouvert) le seul guide valable à suivre, à mon sens, pour un changement authentique, durable, et respectueux des individus! Et en bonus, 2 ou 3 trucs pratiques!
MongoDB in a scale-up: how to get away from a monolithic hell — MongoDB Paris...Horgix
This is the slide deck of a talk by Alexis "Horgix" Chotard and Laurentiu Capatina presented at the MongoDB Paris User Group in June 2024 about the feedback on how PayFit move away from a monolithic hell of a self-hosted MongoDB cluster to managed alternatives. Pitch below.
March 15, 2023, 6:59 AM: a MongoDB cluster collapses. Tough luck, this cluster contains 95% of user data and is absolutely vital for even minimal operation of our application. To worsen matters, this cluster is 7 years behind on versions, is not scalable, and barely observable. Furthermore, even the data model would quickly raise eyebrows: applications communicating with each other by reading/writing in the same MongoDB documents, documents reaching the maximum limit of 16MiB with hundreds of levels of nesting, and so forth. The incident will last several days and result in the loss of many users. We've seen better scenarios.
Let's explore how PayFit found itself in this hellish situation and, more importantly, how we managed to overcome it!
On the agenda: technical stabilization, untangling data models, breaking apart a Single Point of Failure (SPOF) into several elements with a more restricted blast radius, transitioning to managed services, improving internal accesses, regaining control over risky operations, and ultimately, approaching a technical migration when it impacts all development teams.
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...OCTO Technology
Par Nicolas Bordier (Consultant numérique responsable @OCTO Technology) et Alaric Rougnon-Glasson (Sustainable Tech Consultant @OCTO Technology)
Sur un exemple très concret d’audit d’éco-conception de l’outil de bilan carbone C’Bilan développé par ICDC (Caisse des dépôts et consignations) nous allons expliquer en quoi l’ACV (analyse de cycle de vie) a été déterminante pour identifier les pistes d’actions pour réduire jusqu'à 82% de l’empreinte environnementale du service.
Vidéo Youtube : https://www.youtube.com/watch?v=7R8oL2P_DkU
Compte-rendu :
L'IA connaît une croissance rapide et son intégration dans le domaine éducatif soulève de nombreuses questions. Aujourd'hui, nous explorerons comment les étudiants utilisent l'IA, les perceptions des enseignants à ce sujet, et les mesures possibles pour encadrer ces usages.
Constat Actuel
L'IA est de plus en plus présente dans notre quotidien, y compris dans l'éducation. Certaines universités, comme Science Po en janvier 2023, ont interdit l'utilisation de l'IA, tandis que d'autres, comme l'Université de Prague, la considèrent comme du plagiat. Cette diversité de positions souligne la nécessité urgente d'une réponse institutionnelle pour encadrer ces usages et prévenir les risques de triche et de plagiat.
Enquête Nationale
Pour mieux comprendre ces dynamiques, une enquête nationale intitulée "L'IA dans l'enseignement" a été réalisée. Les auteurs de cette enquête sont Le Sphynx (sondage) et Compilatio (fraude académique). Elle a été diffusée dans les universités de Lyon et d'Aix-Marseille entre le 21 juin et le 15 août 2023, touchant 1242 enseignants et 4443 étudiants. Les questionnaires, conçus pour étudier les usages de l'IA et les représentations de ces usages, abordaient des thèmes comme les craintes, les opportunités et l'acceptabilité.
Résultats de l'Enquête
Les résultats montrent que 55 % des étudiants utilisent l'IA de manière occasionnelle ou fréquente, contre 34 % des enseignants. Cependant, 88 % des enseignants pensent que leurs étudiants utilisent l'IA, ce qui pourrait indiquer une surestimation des usages. Les usages identifiés incluent la recherche d'informations et la rédaction de textes, bien que ces réponses ne puissent pas être cumulées dans les choix proposés.
Analyse Critique
Une analyse plus approfondie révèle que les enseignants peinent à percevoir les bénéfices de l'IA pour l'apprentissage, contrairement aux étudiants. La question de savoir si l'IA améliore les notes sans développer les compétences reste débattue. Est-ce un dopage académique ou une opportunité pour un apprentissage plus efficace ?
Acceptabilité et Éthique
L'enquête révèle que beaucoup d'étudiants jugent acceptable d'utiliser l'IA pour rédiger leurs devoirs, et même un quart des enseignants partagent cet avis. Cela pose des questions éthiques cruciales : copier-coller est-il tricher ? Utiliser l'IA sous supervision ou pour des traductions est-il acceptable ? La réponse n'est pas simple et nécessite un débat ouvert.
Propositions et Solutions
Pour encadrer ces usages, plusieurs solutions sont proposées. Plutôt que d'interdire l'IA, il est suggéré de fixer des règles pour une utilisation responsable. Des innovations pédagogiques peuvent également être explorées, comme la création de situations de concurrence professionnelle ou l'utilisation de détecteurs d'IA.
Conclusion
En conclusion, bien que l'étude présente des limites, elle souligne un besoin urgent de régulation. Une charte institutionnelle pourrait fournir un cadre pour une utilisation éthique.
1. SQLSaturday #251 – Paris 2013SQLSaturday #251 – Paris 2013
SQL Server Hi Perf
Boostez vos IOs avec les solution Fusion-IO
2. SQLSaturday #251 – Paris 2013
Présentation
Christophe LAPORTE
~15 ans d’expérience sur SQL Server
Haute disponibilité
Montée en charge
Virtualisation
Optimisation
Blog : http://conseilit.wordpress.com/
Twitter : @Conseilit
Remy Menager
Sales Engineer
http://www.fusionio.com
3. SQLSaturday #251 – Paris 2013
Agenda
Situation actuelle au pays des IO
Anatomie et mathématiques
Les bonnes pratiques
Et malgré tout … de la latence
Une solution …
Principes
Architectures proposées
Questions / réponse
4. SQLSaturday #251 – Paris 2013
Anatomie d’une base de données
Database
Primary
MDF
File
Groupe(s) de fichiers pour les données utilisateur
NDF
File
NDF File
Ext
64KB
Extension : 64KB
8K 8K 8K 8K 8K 8K 8K 8K
LDF
File
Pages de données
5. SQLSaturday #251 – Paris 2013
Pages de données
m_nextPage
m_prevPage
Liste chainée
7. SQLSaturday #251 – Paris 2013
Pour les curieux …
1 er extent système
1ère Extension / fichier
Page 0
File
Header
Page 1
PFS
Page 2
GAM
Page 3
SGAM
Page 4
Unused
Page 5
unused
Page 6
Diff
MAP
Page 7
ML
Map
8. SQLSaturday #251 – Paris 2013
Principales causes de lenteurs
Verrouillage
RCSI / SI
Hekaton
PageLatch
Index Cluster
Table partitionnée
CPU
Probablement une conséquence
Disque
ASYNC_IO_COMPLETION, IO_COMPLETION,
PAGEIOLATCH_xx, WRITELOG, BACKUPIO
9. SQLSaturday #251 – Paris 2013
Les disques, encore les disques
Vitesse - quelques chiffres
Ram : 6 ns = 6 x 10-9 sec
CPU à 3,5 GHz : 10-9 sec
HDD rotatif : 7 ms = 7 x 10-3 sec
1 000 000 de fois plus lent !!!!
1 IO prends autant de temps que 1 000 000 cycle CPU
SSD : 50 µs = 10-6 sec
1 000 fois plus lent que RAM
1 000 fois plus rapide que HDD rotatif …
≈ escargot (0,0275 m/s) et guépard (28 m/s)
http://fr.wikipedia.org/wiki/Ordre_de_grandeur_(vitesse)
10. SQLSaturday #251 – Paris 2013
IOPS
Disque rotatif (15K)
Seek time : 4 ms +
Rotation latency : 2 ms
=> 6 ms avant de commencer un IO
=> 1000 / 6 = 166 IOPS
Méthode de calcul simple
IOPS = 1 / (Seek Time +(30/RPM) )
Ex disque 10K : 1 / (0,004 + (30/10000)) = 142
http://www.wmarow.com/strcalc/strcalc.html
15. SQLSaturday #251 – Paris 2013
Alignement des disques
Plus nécessaire depuis Windows 2008
Attention aux migrations
wmic partition get BlockSize, StartingOffset,
Name, Index
StartingOffset / 65536 => résultat entier
16. SQLSaturday #251 – Paris 2013
Tailles des blocks
64KB conseillés pour SQL Server
Déterminé au moment du formatage
17. SQLSaturday #251 – Paris 2013
DISKPART > List disk
DISKPART > Select disk 3
DISKPART > create partition primary align=64
DISKPART > assign letter=G
DISKPART >Exit
format /fs:ntfs /A:64K /V:“DataSQL" /Q G:
Alignement et formatage - Demo
18. SQLSaturday #251 – Paris 2013
Quelques règles à suivre
Bien choisir le niveau de RAID
Les “64”
Stripe Unit Size
Partition Offset
Block Size
Un résultat de type entier pour
Partition Offset / Stripe Unit Size
Stripe Unie Size / File Allocation Unit Size
Séparer Data et Log
Isoler la base TempDB
Tester le sous système disque
19. SQLSaturday #251 – Paris 2013
Le temps de réponse du disque
Latence
Définition
Mesure
Quel niveau de performance attendre:
Data Files
< 10 msec Idéal
10 –20 msec Acceptable
> 20 msec Pb à résoudre, bottlenecks probables
Log Files
< 5 msec Idéal
5 –10 msec Acceptable
10 –15 msec Investigation nécessaire
15 –20 msec Evolution compromise
> 20 msec Pb à résoudre, bottlenecks probables
22. SQLSaturday #251 – Paris 2013
Création
David Flynn
FY 2006
Premiers
drivers
FY 2007 CA : 1 M$
Commercialisation
des premières
solutions
1 million d’IOPS sur
1 seul serveur
FY 2008
CA : 10 M$
Steve Wozniak
nommé CSO
FY 2009 CA : 36 M$
Des dizaines de
milliers de
cartes installées
FY 2010
FY 2011
CA : 197 M$
Introduction au
NYSE (FIO)
FY 2012
CA : 380 M$
R&D : 1 Milliard
d’IOPS
ioMemory SDK
110 Po vendus
FY 2013
CA : 432 M$
>7 000 clients
900 employés
Stockage
partagé ION
Acquisitions :
- ID7
- NexGen
Historique
23. SQLSaturday #251 – Paris 2013
Tier de stockage
ioMemoryL1, L2, L3
CPU Cache
DRAM
SAN
IOPS
GB/s
Latency
Nanoseconds - Microseconds ACCESS DELAY Milliseconds
Database
Data Analytics
Virtualization
24. SQLSaturday #251 – Paris 2013
Up to 3.0TB
1.3GB/s, 800.000 IOPs
Up to 2.4TB
2.5GB/s, 1.100.000
IOPs
Up to 1.2TB
Up to 1.650TB Up to 3.2TB Up to 10.24TB
Direct Acceleration
MEZZANINE
27. SQLSaturday #251 – Paris 2013
vs. concurrence
PCIe
DRAM
CPU
Serveur
App
OS
Approche SSD Approche Fusion-io
PCIeSAS
DRAM
Contrôleur
Mémoire
NAND
CPU
Serveur
Contrôleur
RAID
App
OS
SC
Batterie
29. SQLSaturday #251 – Paris 2013
Solution: Direct (1)
Stockage local : carte io-drive
Datacenter 2
Réplica
Synchrone
Réplica
Asynchrone
Datacenter 1
30. SQLSaturday #251 – Paris 2013
Solution: Direct (2)
SQL Server 2012 : TempDB locale
31. SQLSaturday #251 – Paris 2013
Fusion-io Product Portfolio
Direct Virtualisé / Cache Partagé
Accélération +++
• Latences les plus faibles
• Pour les applications
gourmandes en I/O
• Déploiement rapide
Interopérabilité +++
• Accélération du SAN
• Meilleure densité de VMs
Evolutivité +++
• Partagé sur le SAN
• Multi prototocol
• Architectures clusteur
SAN
32. SQLSaturday #251 – Paris 2013
▸ 25x+ performance
▸ IOPS ++
▸ Coût --
▸ Consommation --
▸ Choix du server
BENEFITSALL ION DEPLOYMENTION AND SAN DEPLOYMENT
Database or Application
Entire
DatabaseHot Data
MS Cluster
SAN SAN
Legacy
Storage
Solution: Partagée
33. SQLSaturday #251 – Paris 2013
Host-based Mirroring
Apps
40Gbit
High Availability Cluster
Apps
MIRRORMIRROR
Application-based Replication
Apps Apps
Primary
Data Center
Secondary
Data Center
Application-based replication
WAN
Fusion-io Confidential33
Solution: Partagée
Solution Haute disponibilité Flexible
34. SQLSaturday #251 – Paris 2013
Solution : Caching Virtual & Physical
ioMemory
Cache Reads
ESXi
Hypervisor
Virtual Server
Virtual Machine
Optional Data Aware
Guest Caching
FC, iSCSI, IB
Physical Server
O
S
ioTurbine Virtual
External Storage
Persistent Writes
ioMemory
Cache Reads
Virtual Machine
Optional Data Aware
Guest Caching
External Storage
Persistent Writes
ioTurbine Direct
Figure 1 Figure 2
Any
Application
Microsoft
SQL 2014
Microsoft
SQL 2012
FC, iSCSI, IB
35. SQLSaturday #251 – Paris 2013
Conclusion
Votre système doit être balancé
Exemple à ne pas suivre :
16, 24 ou 32 cœurs
8GB RAM
Raid 1
IOs restent le sous-système le plus lent
Chiffres clé
6 à 8 GB de RAM par cœur
7 HDD rotatifs ≈ 1000 IOPS
1 ioDrive II >= 100 000 IOPS
Avant le mise en production
Évaluer les besoins en IO
Tests de performance
Pensez au monitoring
Système
Base de données
36. SQLSaturday #251 – Paris 2013
Questions / Réponses
Merci à tous pour votre présence.
N’hésitez pas à solliciter les speakers pour
poursuivre la discussion.