Le cloud est-il adapté aux besoins du calcul hautes performances ? La réponse par l’expérience : les consultants HPC d'ANEO ont porté et optimisé une application scientifique distribuée développée par Supélec depuis leur cluster Linux vers la nouvelle offre de cloud Microsoft, Big Compute (nœuds reliés en InfiniBand).
La prochaine version de Windows Server va être riche en terme de nouveautés sur la virtualisation de machine et sur le stockage. Venez faire le tour de ces nouveautés en 45 minutes !
MSCS : Hyperconvergence avec Windows Server 2016MickaelLOPES91
Présentation de l'hyperconvergence avec Windows Server 2016 au MSCloudSummit à Paris. Session présentée par Romain SERRE (@RomSerre) & Mickael LOPES (@lopesmick)
Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]Antoine Poliakov
Le cloud est-il adapté aux besoins du calcul hautes performances ? La réponse par l’expérience : les consultants HPC d'ANEO ont porté et optimisé une application scientifique distribuée développée par Supélec depuis leur cluster Linux vers la nouvelle offre de cloud Microsoft, Big Compute (nœuds reliés en InfiniBand).
Présentation au Docker Meetup de Nantes le 27 juin 2017
Dans une démarche DevOps, La Poste a choisi de mettre en place l'orchestrateur de conteneur Openshift, basé sur Kubernetes. Nous détaillerons les changements opérés (techniques et humains) pour une mise en place et une adoption réussie d'un Paas. Du POC à la MEP, quelles sont les étapes ?
Conférence donnée au Docker Meetup Nantes, juin 2017
Le cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure PackMicrosoft Décideurs IT
Microsoft apporte son expérience dans la conception et la gestion des centres de données et du cloud avec un système convergent entièrement validé et intégré en usine. CPS associe une pile logicielle éprouvée avec Windows Server 2012 R2 et System Center 2012 R2, le portail Windows Azure Pack et les infrastructures serveurs, stockage et équipements réseau de DELL. Basé sur un bloc de construction évolutif et extensible, CPS raccourcit le temps de mise en œuvre tout en proposant une expérience cohérente du cloud telle que demandée par vos métiers.
La prochaine version de Windows Server va être riche en terme de nouveautés sur la virtualisation de machine et sur le stockage. Venez faire le tour de ces nouveautés en 45 minutes !
MSCS : Hyperconvergence avec Windows Server 2016MickaelLOPES91
Présentation de l'hyperconvergence avec Windows Server 2016 au MSCloudSummit à Paris. Session présentée par Romain SERRE (@RomSerre) & Mickael LOPES (@lopesmick)
Retour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014]Antoine Poliakov
Le cloud est-il adapté aux besoins du calcul hautes performances ? La réponse par l’expérience : les consultants HPC d'ANEO ont porté et optimisé une application scientifique distribuée développée par Supélec depuis leur cluster Linux vers la nouvelle offre de cloud Microsoft, Big Compute (nœuds reliés en InfiniBand).
Présentation au Docker Meetup de Nantes le 27 juin 2017
Dans une démarche DevOps, La Poste a choisi de mettre en place l'orchestrateur de conteneur Openshift, basé sur Kubernetes. Nous détaillerons les changements opérés (techniques et humains) pour une mise en place et une adoption réussie d'un Paas. Du POC à la MEP, quelles sont les étapes ?
Conférence donnée au Docker Meetup Nantes, juin 2017
Le cloud-in-a-box avec Cloud Platform System (CPS) et Windows Azure PackMicrosoft Décideurs IT
Microsoft apporte son expérience dans la conception et la gestion des centres de données et du cloud avec un système convergent entièrement validé et intégré en usine. CPS associe une pile logicielle éprouvée avec Windows Server 2012 R2 et System Center 2012 R2, le portail Windows Azure Pack et les infrastructures serveurs, stockage et équipements réseau de DELL. Basé sur un bloc de construction évolutif et extensible, CPS raccourcit le temps de mise en œuvre tout en proposant une expérience cohérente du cloud telle que demandée par vos métiers.
Déployez votre site PHP / MariaDB, simplement et rapidement dans AzureMicrosoft
La base de données MariaDB (fork de MySQL) connaît une croissance annuelle supérieure à 400% depuis son lancement. Elle s'impose comme une puissante alternative couvrant aussi bien le SQL, le NoSQL, le Cloud (SaaS, PaaS...) et les contraintes quotidiennes. Cette session PHP/MariaDB abordera 4 axes : - Comprendre les fondamentaux du déploiement d'un site PHP (Application Drupal) dans Azure Websites ainsi que ses bénéfices (Elasticité dynamique, environnement de prod/pré-prod et couplage Git...). - Les notions premières à connaître pour réussir l'installation de MariaDB dans des Cloud Services Azure, ainsi que son utilisation avec le langage dynamique PHP. - Les différentes possibilités de communiquer, d'échanger des données entre les différents outils Microsoft (Office, ODBC, SQL...) et les 'storages engines overview' disponibles dans MariaDB - Enfin, le dernier point s'attardera sur quelques possibilités d'automatisation de déploiement dans Azure, et d'optimisation de la performance / la scalabilité, en voyant la multi-réplication dans un ou plusieurs Cloud Services (MariaDB Galera cluster)
Présentation effectuée au Meetup 24 Programmez (5 Avril 2022) par Christophe Villeneuve sur "Infrastructure as code Drupal".
Cette présentation aborde les rappels de l'IaC (infrastructure as code), comment l'utilisé avec le CMS Drupal et déployé automatiquement le contenu et les évolutions dans l'IaC.
Nouvelles librairies, nouveau frameworks, nouveau langages... le front de nos applications n'a cessé de se complexifier au cours des 10 dernières années. Ce Tool-in-Action va vous montrer comment GruntJs et ses nombreux plugins permettent de simplifier et d'automatiser le build de la partie front de vos applications Web Java.
Nous verrons comment construire un environnement de développement et de production à la demande en utilisant Amazon Web Service, Chef, Vagrant et Docker.
CI, CD, pipelines, conteneurs : la cohabitation est elle possible ?Membré Guillaume
Présentation au Jug de Nantes le 15 mai 2017
Si vous croyez que Docker et les Pipelines ne servent qu'aux chargements et transport de conteneurs, Jenkins, votre fidèle serviteur, vous montrera comment en tirer le meilleur parti.
Conférence donnée au JUG Nantes, mai 2017
Dans un contexte d’entreprise souvent perçu comme rigide, envisager des changements techniques et organisationnels peut sembler impossible. DevOps est un bon contre-exemple car il existe des façons progressives d’introduire une telle méthodologie à plusieurs niveaux de l’entreprise. Cette session revient sur les principes de bases de DevOps (infrastructure-as-code, continuous delivery, culture de collaboration) et leur application pas-à-pas dans différents contextes.
Chroniques de formation : Scaling Code Labs avec Swarm et ComposeDamien Duportal
English version : https://dockercon.docker.com/watch/rskvsKK4TvNEzXWKvjZpDX
Pourquoi est-ce qu’un simple atelier pratique ou une démo “Live” tourne très souvent au cauchemar technique ?
Un jour, un (sage) sysadmin m’a dit “Il faut mettre les mains dans le cambouis de la production pour apprendre”.
Je vais donc vous compter une petite histoire de “mains sales”, à propos d’un environnement (de production) pour des ateliers pratiques de formation.
Cette histoire va vous parler d'environnements reproductibles pour des ateliers “hands-on labs” (à la “Play with Docker” ou “KataCoda”) en jouant avec les outils Docker “standards”: le démon Docker, Swarm Mode, Docker-Compose, etc. C’est un véritable retour d’expérience et de leçons apprises lors de mise en place d’infrastructure orienté VMs, puis de migration en orienté Conteneurs.
En tant que formateur, j’ai toujours appris énormément en fabriquant des outils pour enseigner et transmettre. C’est l’idée de ce petit moment ensemble: une chronique sur l’outil de partage de connaissance qu’est Docker.
Infra as Code, choisissez vous la pilule rouge ou la pilule bleue - Devoxx 2016Fabien Arcellier
Après maints périples, vous avez progressivement amélioré votre capacité à gérer des environnements au travers d'Infra as Code. Votre code initialement simple a pris de l'embonpoint et vous sentez la réalité vous rattraper implacablement : vous êtes en train de créer de la complexité, voire même de la dette.
Loin d'être une fatalité, à partir de notre expérience de développeur (Fabien) et d'ops (Alexandre), nous vous proposons un road trip dans des
pratiques de développement déclinées sur l'Infra as Code (Bash, Puppet et Ansible).
Nous présentons des pratiques, des plus simples activables immédiatement à des démarches plus complexes pour dessiner une big picture de l'Infra as Code, de ses contraintes, de ses forces et de ses pièges.
* Comment mettre en place des boucles de feedback les plus courtes possibles ?
* Comment faire du test driven development sur l'infrastructure ?
* Quels patterns et outils pour tester une configuration sans tirer toute votre infra et itérer plus rapidement ?
* Quel est le rapport entre Tetris, un ascenceur et l'Infra as Code ?
Cette présentation était en partenariat avec WeScale (Cédric Hauber).
De nos jours, de plus en plus d’entreprises adoptent Docker. Mais comment faire avec des dizaines, des centaines voire des milliers de conteneurs à gérer ? Google s’est posé ces questions et de ses forges une réponse est sortie : le projet Kubernetes. Venez marcher dans les pas du géant en découvrant Kubernetes dans son intimité. Vous apprendrez à déployer une application, la scaler, la mettre à jour en rolling update et l'isoler des environnements. Entre démonstrations et retours de terrain, vous repartirez avec tous les outils pour conteneuriser la planète.
Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELECMicrosoft Technet France
Session de retour d'experience sur Windows Azure Big Compute à Supelec Metz: Portage de Linux à Windows et benchmark sur 512 coeurs d'un logiciel de traitement du signal de Supelec Metz. Session présentée par Antoine Poliakov d'ANEO et le prof. Stéphane Vialle de Supelec Metz. www.aneo.eu/ www.metz.supelec.fr/~vialle La plateforme Windows Azure Big Compute a été créée pour répondre aux besoins d'applications parallelisées impliquant des communications entre nœuds de calculs. Big Compute repose sur un cluster bâti autour de la solution HPCPack et interconnecté en infiniband. Dans le but d'explorer cette offre et la valeur ajoutée de cette infrastructure, ANEO a analysé les performances d’une application qui a été portée par ses soins à partir de Linux. Cette application de traitement du signal, développée et optimisée par Supélec, fait de la segmentation audio et présente deux niveaux de parallélisme. Le premier niveaux de parallélisme met en œuvre des threads à l’aide d’OpenMP tandis que le second met en œuvre des process (éventuellement distribués) et s’appuie sur MSMPI. Dans cette présentation, nous exposerons comment effectuer le portage d’une application HPC depuis Linux vers Windows Azure. Nous analyserons et discuterons ensuite les performances obtenues.
Speakers : Antoine Poliakov (ANEO), Pierre-Louis Xech (Microsoft France)
Déployez votre site PHP / MariaDB, simplement et rapidement dans AzureMicrosoft
La base de données MariaDB (fork de MySQL) connaît une croissance annuelle supérieure à 400% depuis son lancement. Elle s'impose comme une puissante alternative couvrant aussi bien le SQL, le NoSQL, le Cloud (SaaS, PaaS...) et les contraintes quotidiennes. Cette session PHP/MariaDB abordera 4 axes : - Comprendre les fondamentaux du déploiement d'un site PHP (Application Drupal) dans Azure Websites ainsi que ses bénéfices (Elasticité dynamique, environnement de prod/pré-prod et couplage Git...). - Les notions premières à connaître pour réussir l'installation de MariaDB dans des Cloud Services Azure, ainsi que son utilisation avec le langage dynamique PHP. - Les différentes possibilités de communiquer, d'échanger des données entre les différents outils Microsoft (Office, ODBC, SQL...) et les 'storages engines overview' disponibles dans MariaDB - Enfin, le dernier point s'attardera sur quelques possibilités d'automatisation de déploiement dans Azure, et d'optimisation de la performance / la scalabilité, en voyant la multi-réplication dans un ou plusieurs Cloud Services (MariaDB Galera cluster)
Présentation effectuée au Meetup 24 Programmez (5 Avril 2022) par Christophe Villeneuve sur "Infrastructure as code Drupal".
Cette présentation aborde les rappels de l'IaC (infrastructure as code), comment l'utilisé avec le CMS Drupal et déployé automatiquement le contenu et les évolutions dans l'IaC.
Nouvelles librairies, nouveau frameworks, nouveau langages... le front de nos applications n'a cessé de se complexifier au cours des 10 dernières années. Ce Tool-in-Action va vous montrer comment GruntJs et ses nombreux plugins permettent de simplifier et d'automatiser le build de la partie front de vos applications Web Java.
Nous verrons comment construire un environnement de développement et de production à la demande en utilisant Amazon Web Service, Chef, Vagrant et Docker.
CI, CD, pipelines, conteneurs : la cohabitation est elle possible ?Membré Guillaume
Présentation au Jug de Nantes le 15 mai 2017
Si vous croyez que Docker et les Pipelines ne servent qu'aux chargements et transport de conteneurs, Jenkins, votre fidèle serviteur, vous montrera comment en tirer le meilleur parti.
Conférence donnée au JUG Nantes, mai 2017
Dans un contexte d’entreprise souvent perçu comme rigide, envisager des changements techniques et organisationnels peut sembler impossible. DevOps est un bon contre-exemple car il existe des façons progressives d’introduire une telle méthodologie à plusieurs niveaux de l’entreprise. Cette session revient sur les principes de bases de DevOps (infrastructure-as-code, continuous delivery, culture de collaboration) et leur application pas-à-pas dans différents contextes.
Chroniques de formation : Scaling Code Labs avec Swarm et ComposeDamien Duportal
English version : https://dockercon.docker.com/watch/rskvsKK4TvNEzXWKvjZpDX
Pourquoi est-ce qu’un simple atelier pratique ou une démo “Live” tourne très souvent au cauchemar technique ?
Un jour, un (sage) sysadmin m’a dit “Il faut mettre les mains dans le cambouis de la production pour apprendre”.
Je vais donc vous compter une petite histoire de “mains sales”, à propos d’un environnement (de production) pour des ateliers pratiques de formation.
Cette histoire va vous parler d'environnements reproductibles pour des ateliers “hands-on labs” (à la “Play with Docker” ou “KataCoda”) en jouant avec les outils Docker “standards”: le démon Docker, Swarm Mode, Docker-Compose, etc. C’est un véritable retour d’expérience et de leçons apprises lors de mise en place d’infrastructure orienté VMs, puis de migration en orienté Conteneurs.
En tant que formateur, j’ai toujours appris énormément en fabriquant des outils pour enseigner et transmettre. C’est l’idée de ce petit moment ensemble: une chronique sur l’outil de partage de connaissance qu’est Docker.
Infra as Code, choisissez vous la pilule rouge ou la pilule bleue - Devoxx 2016Fabien Arcellier
Après maints périples, vous avez progressivement amélioré votre capacité à gérer des environnements au travers d'Infra as Code. Votre code initialement simple a pris de l'embonpoint et vous sentez la réalité vous rattraper implacablement : vous êtes en train de créer de la complexité, voire même de la dette.
Loin d'être une fatalité, à partir de notre expérience de développeur (Fabien) et d'ops (Alexandre), nous vous proposons un road trip dans des
pratiques de développement déclinées sur l'Infra as Code (Bash, Puppet et Ansible).
Nous présentons des pratiques, des plus simples activables immédiatement à des démarches plus complexes pour dessiner une big picture de l'Infra as Code, de ses contraintes, de ses forces et de ses pièges.
* Comment mettre en place des boucles de feedback les plus courtes possibles ?
* Comment faire du test driven development sur l'infrastructure ?
* Quels patterns et outils pour tester une configuration sans tirer toute votre infra et itérer plus rapidement ?
* Quel est le rapport entre Tetris, un ascenceur et l'Infra as Code ?
Cette présentation était en partenariat avec WeScale (Cédric Hauber).
De nos jours, de plus en plus d’entreprises adoptent Docker. Mais comment faire avec des dizaines, des centaines voire des milliers de conteneurs à gérer ? Google s’est posé ces questions et de ses forges une réponse est sortie : le projet Kubernetes. Venez marcher dans les pas du géant en découvrant Kubernetes dans son intimité. Vous apprendrez à déployer une application, la scaler, la mettre à jour en rolling update et l'isoler des environnements. Entre démonstrations et retours de terrain, vous repartirez avec tous les outils pour conteneuriser la planète.
Retour d'expérience BIG COMPUTE & HPC sur Windows Azure, par ANEO et SUPELECMicrosoft Technet France
Session de retour d'experience sur Windows Azure Big Compute à Supelec Metz: Portage de Linux à Windows et benchmark sur 512 coeurs d'un logiciel de traitement du signal de Supelec Metz. Session présentée par Antoine Poliakov d'ANEO et le prof. Stéphane Vialle de Supelec Metz. www.aneo.eu/ www.metz.supelec.fr/~vialle La plateforme Windows Azure Big Compute a été créée pour répondre aux besoins d'applications parallelisées impliquant des communications entre nœuds de calculs. Big Compute repose sur un cluster bâti autour de la solution HPCPack et interconnecté en infiniband. Dans le but d'explorer cette offre et la valeur ajoutée de cette infrastructure, ANEO a analysé les performances d’une application qui a été portée par ses soins à partir de Linux. Cette application de traitement du signal, développée et optimisée par Supélec, fait de la segmentation audio et présente deux niveaux de parallélisme. Le premier niveaux de parallélisme met en œuvre des threads à l’aide d’OpenMP tandis que le second met en œuvre des process (éventuellement distribués) et s’appuie sur MSMPI. Dans cette présentation, nous exposerons comment effectuer le portage d’une application HPC depuis Linux vers Windows Azure. Nous analyserons et discuterons ensuite les performances obtenues.
Speakers : Antoine Poliakov (ANEO), Pierre-Louis Xech (Microsoft France)
3 Microsoft Advanced Threat Analytics - GenèveaOS Community
Session qui va décrire et présenter la technologie Azure Site Recovery. Ce service dans Azure propose un PRA pour les systèmes d'informations avec comme source plusieurs technologies ( Hyper-V , VMware) cette session va présenter ASR dans les moindres détails en passant par la phase design , déploiement et administration.
"J'ai migré mon SI intégralement en Java dans Windows Azure et je me porte bi...Microsoft
Windows Azure est la solution de Cloud Public de Microsoft, ouverte à tous les systèmes d'exploitation Windows ou Linux et à tous les langages: Java, PHP, Python, .Net etc. L'objectif de cette session est de montrer au travers d'un cas concret l'ouverture de Windows Azure à des solutions non Microsoft. Venez découvrir comment Kompass International, leader de l'information marketing B2B, a migré l'ensemble de ses applications business, codées en Java sur Windows Azure.
Speakers : Pierrick PETAIN (Kompass), Thomas Conté (Microsoft)
Dans le cadre du projet Stream for Good
MIAGE Sorbonne -- Atelier de Veille technologique
Steeven Alliel, Abdel Benamara, David Ekchajzer, Philippe Fidalgo, Mathieu Ridet, Sophia Yalap
Plateformes et infrastructure infonuagique natif de ville de MontréallCloudOps2005
Morgan Martinet et Marc Khouzam avons discuter la plateforme et infrastructure infonuagique natif de ville de Montréal au Cloud Native Day Montreal 2019.
Migration des réseaux d agence : les apports de Windows Server 2012 R2Microsoft
Dans cette session, vous découvrirez comment Windows Server 2012 et 2012 R2 couplé à System Center 2012 R2 vous permet de gérer en central vos environnements d’agence. Nous aborderons en particulier les sujets de la virtualisation, orchestration, supervision, gestion de configuration, sauvegarde et le traitement des impressions en agence.
Speakers : Nicolas Escalas (Alfun), Jean-Marie Savin (Microsoft)
Checklist pour concevoir une application dans le cloud.10 conseils à l'attent...Alexandre Touret
Kubernetes et les technologies cloud sont aujourd'hui les standards pour déployer des applications de toutes sortes dans le cloud: api, batchs, microservices et même des monolithes! Ils apportent des solutions à beaucoup de problèmes mais aussi une grande complexité. Il peut donc être très difficile pour les développeurs et concepteurs d'identifier les contraintes de telles architectures.
Dans cette présentation, vous (re)découvrirez dix astuces et conseils que j'ai pu appliquer et qui m'ont aidé dans mes derniers projets.
Ces derniers traiteront :
de l'environnement de l'application
du choix des solutions techologiques
du développement
des contraintes de conception liées à K8S
et plus encore !
MSCS : Windows Server 2016 Quoi de neuf pour votre datacenterMickaelLOPES91
Présentation des nouveautés de Windows Server 2016 au MSCloudSummit à Paris. Session présentée par Romain SERRE (@RomSerre), Jean-François BERENGUER (@jfberenguer_pro) & Mickael LOPES (@lopesmick)
Similaire à Tech daysRetour d’expérience Big Compute & HPC sur Windows Azure [TechDays 2014] (20)
Feedback on Big Compute & HPC on Windows AzureANEO
Is the cloud relevant for high performance workloads ? We answer by sharing our experience : HPC consultants at ANEO have ported and optimized a distributed scientific software developed at Supelec, from their Linux cluster to Microsoft's new cloud technology, Big Compute (InfiniBand nodes interconnect).
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)Laurent Speyser
(Conférence dessinée)
Vous êtes certainement à l’origine, ou impliqué, dans un changement au sein de votre organisation. Et peut être que cela ne se passe pas aussi bien qu’attendu…
Depuis plusieurs années, je fais régulièrement le constat de l’échec de l’adoption de l’Agilité, et plus globalement de grands changements, dans les organisations. Je vais tenter de vous expliquer pourquoi ils suscitent peu d'adhésion, peu d’engagement, et ils ne tiennent pas dans le temps.
Heureusement, il existe un autre chemin. Pour l'emprunter il s'agira de cultiver l'invitation, l'intelligence collective , la mécanique des jeux, les rites de passages, .... afin que l'agilité prenne racine.
Vous repartirez de cette conférence en ayant pris du recul sur le changement tel qu‘il est généralement opéré aujourd’hui, et en ayant découvert (ou redécouvert) le seul guide valable à suivre, à mon sens, pour un changement authentique, durable, et respectueux des individus! Et en bonus, 2 ou 3 trucs pratiques!
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...OCTO Technology
Par Nicolas Bordier (Consultant numérique responsable @OCTO Technology) et Alaric Rougnon-Glasson (Sustainable Tech Consultant @OCTO Technology)
Sur un exemple très concret d’audit d’éco-conception de l’outil de bilan carbone C’Bilan développé par ICDC (Caisse des dépôts et consignations) nous allons expliquer en quoi l’ACV (analyse de cycle de vie) a été déterminante pour identifier les pistes d’actions pour réduire jusqu'à 82% de l’empreinte environnementale du service.
Vidéo Youtube : https://www.youtube.com/watch?v=7R8oL2P_DkU
Compte-rendu :
L'IA connaît une croissance rapide et son intégration dans le domaine éducatif soulève de nombreuses questions. Aujourd'hui, nous explorerons comment les étudiants utilisent l'IA, les perceptions des enseignants à ce sujet, et les mesures possibles pour encadrer ces usages.
Constat Actuel
L'IA est de plus en plus présente dans notre quotidien, y compris dans l'éducation. Certaines universités, comme Science Po en janvier 2023, ont interdit l'utilisation de l'IA, tandis que d'autres, comme l'Université de Prague, la considèrent comme du plagiat. Cette diversité de positions souligne la nécessité urgente d'une réponse institutionnelle pour encadrer ces usages et prévenir les risques de triche et de plagiat.
Enquête Nationale
Pour mieux comprendre ces dynamiques, une enquête nationale intitulée "L'IA dans l'enseignement" a été réalisée. Les auteurs de cette enquête sont Le Sphynx (sondage) et Compilatio (fraude académique). Elle a été diffusée dans les universités de Lyon et d'Aix-Marseille entre le 21 juin et le 15 août 2023, touchant 1242 enseignants et 4443 étudiants. Les questionnaires, conçus pour étudier les usages de l'IA et les représentations de ces usages, abordaient des thèmes comme les craintes, les opportunités et l'acceptabilité.
Résultats de l'Enquête
Les résultats montrent que 55 % des étudiants utilisent l'IA de manière occasionnelle ou fréquente, contre 34 % des enseignants. Cependant, 88 % des enseignants pensent que leurs étudiants utilisent l'IA, ce qui pourrait indiquer une surestimation des usages. Les usages identifiés incluent la recherche d'informations et la rédaction de textes, bien que ces réponses ne puissent pas être cumulées dans les choix proposés.
Analyse Critique
Une analyse plus approfondie révèle que les enseignants peinent à percevoir les bénéfices de l'IA pour l'apprentissage, contrairement aux étudiants. La question de savoir si l'IA améliore les notes sans développer les compétences reste débattue. Est-ce un dopage académique ou une opportunité pour un apprentissage plus efficace ?
Acceptabilité et Éthique
L'enquête révèle que beaucoup d'étudiants jugent acceptable d'utiliser l'IA pour rédiger leurs devoirs, et même un quart des enseignants partagent cet avis. Cela pose des questions éthiques cruciales : copier-coller est-il tricher ? Utiliser l'IA sous supervision ou pour des traductions est-il acceptable ? La réponse n'est pas simple et nécessite un débat ouvert.
Propositions et Solutions
Pour encadrer ces usages, plusieurs solutions sont proposées. Plutôt que d'interdire l'IA, il est suggéré de fixer des règles pour une utilisation responsable. Des innovations pédagogiques peuvent également être explorées, comme la création de situations de concurrence professionnelle ou l'utilisation de détecteurs d'IA.
Conclusion
En conclusion, bien que l'étude présente des limites, elle souligne un besoin urgent de régulation. Une charte institutionnelle pourrait fournir un cadre pour une utilisation éthique.
MongoDB in a scale-up: how to get away from a monolithic hell — MongoDB Paris...Horgix
This is the slide deck of a talk by Alexis "Horgix" Chotard and Laurentiu Capatina presented at the MongoDB Paris User Group in June 2024 about the feedback on how PayFit move away from a monolithic hell of a self-hosted MongoDB cluster to managed alternatives. Pitch below.
March 15, 2023, 6:59 AM: a MongoDB cluster collapses. Tough luck, this cluster contains 95% of user data and is absolutely vital for even minimal operation of our application. To worsen matters, this cluster is 7 years behind on versions, is not scalable, and barely observable. Furthermore, even the data model would quickly raise eyebrows: applications communicating with each other by reading/writing in the same MongoDB documents, documents reaching the maximum limit of 16MiB with hundreds of levels of nesting, and so forth. The incident will last several days and result in the loss of many users. We've seen better scenarios.
Let's explore how PayFit found itself in this hellish situation and, more importantly, how we managed to overcome it!
On the agenda: technical stabilization, untangling data models, breaking apart a Single Point of Failure (SPOF) into several elements with a more restricted blast radius, transitioning to managed services, improving internal accesses, regaining control over risky operations, and ultimately, approaching a technical migration when it impacts all development teams.
3. #mstechdays Innovation Recherche#3
• Cloud : accès via un réseau de télécommunications, à la demande et en libre-service, à des
ressources informatiques partagées configurables
• HPC (High Performance Computing) : branche de l’informatique visant à atteindre les plus hautes
performances logicielles possibles en particulier en termes de vitesse de calcul
– La puissance de calcul double tous les 1,5 - 2 ans
– La vitesse des réseaux double tous les 2 - 3 ans
– L’écart calcul/réseaux double tous les 5 ans
• Intérêt du HPC dans le cloud : accessibilité (PME, recherche, etc.)
moteur d’innovation énorme
• Le cloud peut-il garantir des performance suffisantes pour le HPC ?
– CPU : 100% natif
– RAM: 99% natif
– Réseau ???
HPC : un challenge pour le cloud
Introduction
4. #mstechdays Innovation Recherche#4
Etat de l’art du cloud pour le HPC
Expériences
Technologie
Cloud HPC
Cas d’usage
logiciel HPC
Expérimenter le cloud HPC : 3 ingrédients
Introduction
5. #mstechdays Innovation Recherche#5
Identifier des partenaires et technologies
• Logiciel HPC
• Cloud performant
Porter l’application HPC : cluster cloud
• Montée en compétences
• Retour d’expérience
Expérimenter et mesurer les performances
• Passage à l’échelle
• Transferts de données
Expérimenter le cloud HPC : notre démarche
Introduction
6. #mstechdays Innovation Recherche#6
Un projet collaboratif : 3 acteurs complémentaires
Introduction
Equipes de recherche en HPC
reconnues
Calcul distribué et big data
Apprentissage et systèmes
interactifs
Objectifs
La technologie est-elle adaptée
au calcul scientifique ?
Spécificités du déploiement dans
le cloud ?
Performances
Windows Azure : fournisseur d’une
solution cloud HPC
Azure Big Compute
Objectifs
Avoir un retour d’expérience
technique avant la release
Suivre de l’intérieur un portage
cluster cloud
Cabinet de conseil en technologie
et organisation
Practice HPC : traitement
rapide/massif d’information pour
la finance et l’industrie
Objectifs
Identifier les cas d’usage les plus
pertinents
Mesurer la complexité du
portage et du déploiement
Evaluer la maturité de la solution
dans un contexte de production
7. #mstechdays Innovation Recherche#7
Des équipes motivées et compétentes : merci !
Introduction
Recherche
Cas d’usage : segmentation audio
distribuée
Analyse des expériences
Fournisseur
Fournisseur de la solution
technique
Mise à disposition d’importants
moyens de calculs
Conseil
Portage et déploiement de
l’application dans le cloud
Réalisation de benchmarks
Constantinos Makassikis
Consultant HPC
Wilfried Kirschenmann
Consultant HPC
Antoine Poliakov
Consultant HPC
Stéphane Rossignol
Pr adjoint,
Traitement signal
Stéphane Vialle
Professeur,
Informatique
Xavier Pillons
Principal Program Manager,
Windows Azure CAT
Kévin Dehlinger
Stagiaire ingénieur
CNAM
10. #mstechdays Innovation Recherche#10
Azure Big Compute = Nouveaux nœuds Azure + HPC Pack
• 2x8 snb E5-2670 @2.6Ghz, 112Gb DDR3 @1.6Ghz
• InfiniBand (network direct @40Gb/s) : RDMA via MS-MPI @3.5Go/s, 3µs
• IP Ethernet @10Gb/s ; HDD 2To @250Mo/s
• Hyperviseur Azure
Nœuds A8 et A9
• Middleware de gestion des tâches : Cluster Manager + SDK
• Testé à 50k cœurs dans Azure
• Extension Pack gratuit : Tout Windows Server peut servir de nœud
HPC Pack
Azure Big Compute
11. #mstechdays Innovation Recherche#11
HPC Pack : cluster privé
Azure Big Compute
• Active Directory, Manager et nœuds
dans l’infrastructure privée d’entreprise
• Cluster dimensionné par rapport à la charge maximale
• Administration : matérielle et logicielle
AD
M
N N
N N
N N
N N
N N N N
12. #mstechdays Innovation Recherche#12
HPC Pack : dans le cloud Azure Big Compute
• Active Directory et manager dans le cloud
• Dimensionnement et facturation à la demande
• Administration logicielle uniquement
Azure Big Compute
AD
M
N N
N N
N N
N N
N N N N
Bureau / console
à distance
Nœuds PaaS
VM IaaS
13. #mstechdays Innovation Recherche#13
HPC Pack : déploiement hybride
Azure Big Compute
• Active Directory et manager dans le datacenter
• Nœuds répartis entre le datacenter et le cloud
• Dimensionnement local suivant la demande moyenne
Dimensionnement cloud dynamique : absorbe les pics
• Administration logicielle et matérielle
AD
M
N N
N N
N N
N N
N N N N
N N
N N
N N
N N
N N N N
VPN
14. #mstechdays Innovation Recherche#14
• ParSon = algorithme de segmentation audio voix / musique
1. Apprentissage sur échantillons connus pour calibrer la classification
2. Classification à base d’analyse spectrale (FFT) sur fenêtre glissantes
ParSon : un logiciel scientifique de segmentation audio
ParSon
ParSon
Découpage et classification
Audio numérisée
voix
musique
15. #mstechdays Innovation Recherche#15
ParSon : une application parallèle OpenMP + MPI
ParSon
1. Upload fichiers
d’entrée
OAR
2. Réserve
N machines
4. MPI Exec
6. Rapatriement
des sorties
NAS Machines réservées du cluster
Cluster Linux
3. Déploiement
des entrées
5. Exécution
Tâches inter-
communicantes
Données
Contrôle
16. #mstechdays Innovation Recherche#16
Les performances sont limitées par les entrées-sorties
ParSon
8
32
128
512
2048
1 4 16 64 256
Meilleurtempsd'éxécution(s)
Nombre de noeuds
en réseau, à froid
en local, à froid
IO bound
17. Innovation Recherche#mstechdays #17
2. PORTAGE VERS AZURE BIG COMPUTE
a. Portage du code C++ : Linux Windows
b. Portage de la distribution : Cluster HPC Cluster Manager
c. Portage et adaptation des scripts de déploiement
18. #mstechdays Innovation Recherche#18
• Grâce au respect du standard C++ par le code ParSon et Visual,
il y a très peu de modifications à faire dans le code applicatif
• L’application s’appuie sur la bibliothèque standard et des bibliothèques
scientifiques multiplateformes : libsnd, fftw...
• Grâce à MS-MPI, le code de communication MPI reste inchangé
• Visual Studio supporte OpenMP de manière native
• Le seul travail a consisté à traduire les fichiers de build :
Makefile Projet Visual C++
Standards respectés = portage Linux Windows facile
Portage
19. #mstechdays Innovation Recherche#19
ParSon dans le Cluster Linux
Portage
1. Upload fichiers
d’entrée
OAR
2. Réserve
N machines
4. MPI Exec
6. Rapatriement
des sorties
NAS Machines réservées du cluster
Cluster Linux
3. Déploiement
des entrées
5. Exécution
Données
Contrôle
20. #mstechdays Innovation Recherche#20
HPC
pack
SDK
ParSon dans le Cloud Azure
Portage
1. Upload fichiers
d’entrée
HPC Cluster
Manager
2. Réserve
N machines
4. MPI Exec
6. Rapatriement
des sorties
Azure Storage Nœuds A9 provisionnés
PaaS Big Compute
3. Déploiement
des entrées
AD
Domain
controler
IaaS PaaS
Données
Contrôle
5. Exécution
21. #mstechdays Innovation Recherche#21
A chaque mise à jour logicielle : packaging + envoi dans Azure Storage
1. Envoi vers le manager
– Soit via Azure Storage
Set-AzureStorageBlobContent Get-AzureStorageBlobContent
hpcpack create ; hpcpack upload hpcpack download
– Soit via transfert classique : serveur de fichiers accessible d’internet – FileZilla ou autre
2. Script de packaging : mkdir, copy, etc. ; hpcpack create
3. Envoi sur storage Azure : hpcpack upload
A chaque provisionnement de nœuds : copie de travail locale
1. Exécution sur les nœuds via clusrun depuis le manager
2.hpcpack download
3.powershell -command "Set-ExecutionPolicy RemoteSigned"
Invoke-Command -FilePath … -Credential …
Start-Process powershell -Verb runAs -ArgumentList …
4. Installation : %deployedPath%deployScript.ps1
Déploiement dans Azure
Portage
22. #mstechdays Innovation Recherche#22
• Le temps de transfert du fichier son est supérieur au temps de calcul séquentiel
• Sur plusieurs nœuds, le temps de calcul est négligeable face aux transferts
• Limite de taille d’entrée : format WAV 2-4Go ; code C++ 4Mds échantillons
Ce premier déploiement présente des limitations
Portage
24. #mstechdays Innovation Recherche#24
• La maillon faible du déploiement précédent est le transfert du fichier d’entrée
1. Ecriture disque : 300 Mo/s
Utilisation d’un RAMFS
2. Accès Azure Storage : QoS 1.6 Go/s
Téléchargement unique depuis le stockage, puis distribution en InfiniBand
3. Données volumineuses : 60 Go
FLAC c8 : divise la taille par 2, lève la limitation de taille du format WAV
Passage des compteurs en 64 bits dans le code C++
Méthodologie : suppression du goulet d’étranglement
Optimisations
25. #mstechdays Innovation Recherche#25
• RAMFS = système de fichiers dans un bloc mémoire RAM
– Extrêmement rapide
– Capacité limité et non persistant
• ImDisk
– Léger : driver + service + ligne de commande
– Open-source mais signé : fonctionne sous Win64
• Installation silencieuse scriptée – schématiquement :
– hpcpack create …
– rundll32 setupapi.dll,InstallHinfSection DefaultInstall 128 disk.inf
Start-Service -inputobject $(get-service -Name imdisk)
– imdisk.exe -a -t vm -s 30G -m F: -o rw
format F: /fs:ntfs /x /q /Y
– $acl = Get-Acl F:
$acl.AddAccessRule(…FileSystemAccessRule("Everyone","Write", …))
Set-Acl F: $acl
• A exécuter à chaque provisionnement des nœuds
Accélération de l’accès local aux données via un RAMFS
Optimisations
26. #mstechdays Innovation Recherche#26
• Tous les systèmes de transferts “classiques” utilisent l’interface Ethernet
– Accès Azure Storage via les SDK Azure et HPC Pack
– Partage Windows ou lecteur réseau CIFS
– Autres protocoles de transfert réseau : FTP, NFS, etc.
• Le moyen le plus simple d’utiliser InfiniBand est via MPI
1. Sur une machine : télécharge le fichier d’entrée : Azure RAMFS
2. mpiexec broadcast.exe : 1 process par machine
• Nous avons codé un programme C++ MPI
• Si id = 0, lit le RAMFS par blocs de 4Mb et envoi aux autres par InfiniBand : MPI_Bcast
• Si id ≠ 0, reçoit les blocs de données et les enregistre dans le fichier sur RAMFS
• Utilisation des API Win32 plus rapides que les abstractions standard C ou C++
3. Le fichier est dans la RAM de tous les nœuds, accessible en tant que fichier par l’application
Accélération du transfert réseau
Optimisations
32. #mstechdays Innovation Recherche#32
Notre retour d’expérience sur la technologie Big Compute
• Support des standards HPC : C++, OpenMP, MPI
– 10 jours de portage
• Des performances solides
– Calcul : CPU, RAM
– Réseau inter-nœuds
• Un support efficace
– Communautaire, Microsoft
• Interface utilisateur claire et intuitive
– manage.windowsazure.com
– HPC Cluster Manager
• Tout est scriptable et programmable
• Cloud plus flexible que cluster figé
• Une gestion unifiée des moyens de calcul de l’entreprise et
du cloud !
• Transfert de données
– Latence parfois élevée du stockage Azure
– Débit limité sur Azure storage répartition sur
plusieurs comptes
– Disques durs lents (pour HPC), même sur A9
• Administration des nœuds
– Les transferts nœuds ↔ manager passent
obligatoirement par Azure storage : plus lourd
qu’un NAS ou lecteur réseau
• Le temps de provisionnement (~7min) est à
prendre en compte
33. #mstechdays Innovation Recherche#33
Azure Big Compute pour la recherche et l’entreprise
• Accès au calcul sans barrière
administrative ou financière
• Mise à disposition des moyens de calculs en
quelques minutes
– parfait pour l’extension de deadline d’une
conférence
• Parfaitement adapté aux chercheurs en
algorithmique parallèle
– Expériences paramétriques
• Un supercalculateur accessible à tous sans
investissements
• Facilité d’utilisation élastique :
dimensionnement à la demande
• Interopérabilité native avec un cluster Windows
privé
– Le cloud absorbe les pics
– Meilleur des deux mondes
• Datacenters en UE : Irlande + Pays-Bas
Modèle de coût prévisible et adapté à l’utilisation
Conception moderne, documentation complète, support efficace
Le besoin d’administration est réduit par rapport à une infra privée mais reste présent
Pour la recherche Pour l’entreprise
34. #mstechdays Innovation Recherche#34
Merci
?
Merci pour votre attention
• Antoine Poliakov
apoliakov@aneo.fr
• Stéphane Vialle
stephane.vialle@supelec.fr
• ANEO
http://aneo.eu
http://blog.aneo.eu
• Retrouvez nous aux TechDays !
Stand ANEO jeudi 11h30 - 13h
Au cœur du SI > Infrastructure moderne avec Azure
Tous nos remerciements à
Microsoft pour nous avoir
prêté les machines !
Une question : n’hésitez pas !