CNES - CCT SIL - Traitement et Manipulation de la donnée à l‘aide des technologies Big Data
Présentation du 30 Juin 2017
Les CCT sont des espaces d'échanges techniques mis en place par le CNES il y a 20 ans, dans le but de réunir différents acteurs industriels et public pour s'enrichir mutuellement.
L’optimisation par essaims de particuleschagra bassem
L’optimisation par essaim de particules est une méthode d’optimisation
stochastique, pour des fonctions non-linéaires, basée sur la reproduction d’un comportement social.
Big Data : Hadoop
- Généralité
- Architecture HDFS
- Algorithme MapRduce
- Architecture YARN
- Hadoop v3.x vs Hadoopv2.x
Cours Big Data - Chap2 - GI3 - ENIS
This document provides an overview of EMC's VNX storage solutions. It discusses the VNX and VNXe series which provide unified storage for file, block and object storage. It highlights key features like FAST cache and virtual provisioning which optimize performance and efficiency. Management is simplified through Unisphere which provides centralized management and wizard-based configuration. Software solutions are offered in packaged suites to provide protection, replication and efficiency.
CNES - CCT SIL - Traitement et Manipulation de la donnée à l‘aide des technologies Big Data
Présentation du 30 Juin 2017
Les CCT sont des espaces d'échanges techniques mis en place par le CNES il y a 20 ans, dans le but de réunir différents acteurs industriels et public pour s'enrichir mutuellement.
L’optimisation par essaims de particuleschagra bassem
L’optimisation par essaim de particules est une méthode d’optimisation
stochastique, pour des fonctions non-linéaires, basée sur la reproduction d’un comportement social.
Big Data : Hadoop
- Généralité
- Architecture HDFS
- Algorithme MapRduce
- Architecture YARN
- Hadoop v3.x vs Hadoopv2.x
Cours Big Data - Chap2 - GI3 - ENIS
This document provides an overview of EMC's VNX storage solutions. It discusses the VNX and VNXe series which provide unified storage for file, block and object storage. It highlights key features like FAST cache and virtual provisioning which optimize performance and efficiency. Management is simplified through Unisphere which provides centralized management and wizard-based configuration. Software solutions are offered in packaged suites to provide protection, replication and efficiency.
Node.js is an event-driven, asynchronous JavaScript runtime that allows JavaScript to be used for server-side scripting. It uses an event loop model that maps events to callbacks to handle concurrent connections without blocking. This allows Node.js applications to scale to many users. Modules in Node.js follow the CommonJS standard and can export functions and objects to be used by other modules. The event emitter pattern is commonly used to handle asynchronous events. Node.js is well-suited for real-time applications with intensive I/O operations but may not be the best choice for CPU-intensive or enterprise applications.
Unit testing and end-to-end testing are important for Angular applications. The document discusses various types of tests, including unit tests, integration tests, and end-to-end tests. It also covers tools for testing Angular applications, such as Jasmine for writing unit tests, Karma as a test runner, Protractor for end-to-end tests, and Angular testing utilities. The document provides recommendations on testing components and services, including how to set up tests and write tests with dependencies.
This document discusses Angular components, dependency injection, and routing. It defines Angular as being built on modules, components, templates, and services. Components are the basic building blocks and make up a hierarchical tree structure. Dependency injection allows components to access services. Routing in Angular uses a router to navigate between views and components based on URL changes.
The document discusses client-side JavaScript and DOM (Document Object Model) manipulation. It covers the window object, DOM programming interface, DOM element types like Node and HTML Element. Methods for accessing elements like getElementById(), getElementsByName(), and querySelector() are explained. Working with element attributes, innerHTML, and traversing the DOM using childNodes and parentNode properties are also summarized. The presentation aims to explain DOM and how JavaScript can be used to get, change, add or remove HTML elements.
This document discusses big data concepts and patterns. It covers topics like data mining, data visualization, data analytics, open data, data science, cloud computing, mobile technologies, and the internet of things as they relate to big data. It also discusses data issues around volume, velocity, and variety of data as well as infrastructure needs. Additionally, it covers big data principles, scalability, fault tolerance, availability, flexibility, and research domains in big data including optimization, data science, design, security, relationships to other trends, and applications in various business fields.
Users spend most of their time using mobile apps rather than mobile web. Some key best practices for mobile development include considering hardware constraints like limited memory and storage, connectivity issues, and screen size variability. Apps can be monetized through paid downloads, ads, in-app purchases, or freemium models. Native, web, hybrid, and cross-platform are categories of mobile apps. User experience must be optimized for small screens and mobile contexts.
Dr. Lilia Sfaxi is giving a presentation on software engineering. She discusses her background and qualifications. The presentation covers key concepts in software engineering including definitions, the importance of software, attributes of good software, and challenges. It also provides an overview of the software development lifecycle (SDLC) including common steps like requirements analysis, design, implementation, testing, and release. The goal is to introduce attendees to fundamental aspects of software engineering.
Software Engineering - chp1- software dev methodologiesLilia Sfaxi
The document discusses different software development methodologies. It begins with an introduction to software development methodologies and describes different software development models including linear, incremental, iterative, adaptive and extreme models. It then discusses specific methodologies in more detail, including Waterfall, Prototyping, V-Model, Spiral, RAD (Rapid Application Development), Unified Process and Agile. For each methodology it provides an overview and outlines some pros and cons. The document is a chapter from a course on software engineering methodologies presented by Dr. Lilia Sfaxi.
- Graph databases like Neo4j use a graph structure with nodes and relationships to represent data. Nodes can represent entities and relationships can represent connections between nodes.
- The example database models movies, people, and their relationships. Movies and people are represented as nodes with labels. Relationships like "ACTED_IN" connect actors to movies they appeared in.
- Cypher is the query language used to interact with Neo4j. Queries can read and modify data, traverse paths in the graph, and use filters to find specific nodes/relationships.
This document provides an overview of using MongoDB with examples of common operations like inserting documents, querying, updating, and indexing. It demonstrates how to:
- Set up and connect to a MongoDB database using Docker
- Insert, find, update, and remove documents from a collection
- Query documents using equality, greater/less than, AND/OR operators
- Sort and limit output with projections
- Create indexes on fields for improved performance
This document provides instructions for using Cassandra with Docker and examples of Cassandra queries for creating and interacting with keyspaces, tables, rows, columns and different data types including sets, lists, and maps. It demonstrates how to create and query tables with a single primary key or composite primary keys, add and modify columns, insert, update, select and delete data. The document concludes with an activity to design and implement an enrollment example using Cassandra.
L'IA connaît une croissance rapide et son intégration dans le domaine éducatif soulève de nombreuses questions. Aujourd'hui, nous explorerons comment les étudiants utilisent l'IA, les perceptions des enseignants à ce sujet, et les mesures possibles pour encadrer ces usages.
Constat Actuel
L'IA est de plus en plus présente dans notre quotidien, y compris dans l'éducation. Certaines universités, comme Science Po en janvier 2023, ont interdit l'utilisation de l'IA, tandis que d'autres, comme l'Université de Prague, la considèrent comme du plagiat. Cette diversité de positions souligne la nécessité urgente d'une réponse institutionnelle pour encadrer ces usages et prévenir les risques de triche et de plagiat.
Enquête Nationale
Pour mieux comprendre ces dynamiques, une enquête nationale intitulée "L'IA dans l'enseignement" a été réalisée. Les auteurs de cette enquête sont Le Sphynx (sondage) et Compilatio (fraude académique). Elle a été diffusée dans les universités de Lyon et d'Aix-Marseille entre le 21 juin et le 15 août 2023, touchant 1242 enseignants et 4443 étudiants. Les questionnaires, conçus pour étudier les usages de l'IA et les représentations de ces usages, abordaient des thèmes comme les craintes, les opportunités et l'acceptabilité.
Résultats de l'Enquête
Les résultats montrent que 55 % des étudiants utilisent l'IA de manière occasionnelle ou fréquente, contre 34 % des enseignants. Cependant, 88 % des enseignants pensent que leurs étudiants utilisent l'IA, ce qui pourrait indiquer une surestimation des usages. Les usages identifiés incluent la recherche d'informations et la rédaction de textes, bien que ces réponses ne puissent pas être cumulées dans les choix proposés.
Analyse Critique
Une analyse plus approfondie révèle que les enseignants peinent à percevoir les bénéfices de l'IA pour l'apprentissage, contrairement aux étudiants. La question de savoir si l'IA améliore les notes sans développer les compétences reste débattue. Est-ce un dopage académique ou une opportunité pour un apprentissage plus efficace ?
Acceptabilité et Éthique
L'enquête révèle que beaucoup d'étudiants jugent acceptable d'utiliser l'IA pour rédiger leurs devoirs, et même un quart des enseignants partagent cet avis. Cela pose des questions éthiques cruciales : copier-coller est-il tricher ? Utiliser l'IA sous supervision ou pour des traductions est-il acceptable ? La réponse n'est pas simple et nécessite un débat ouvert.
Propositions et Solutions
Pour encadrer ces usages, plusieurs solutions sont proposées. Plutôt que d'interdire l'IA, il est suggéré de fixer des règles pour une utilisation responsable. Des innovations pédagogiques peuvent également être explorées, comme la création de situations de concurrence professionnelle ou l'utilisation de détecteurs d'IA.
Conclusion
En conclusion, bien que l'étude présente des limites, elle souligne un besoin urgent de régulation. Une charte institutionnelle pourrait fournir un cadre pour une utilisation éthique.
OCTO TALKS : 4 Tech Trends du Software Engineering.pdfOCTO Technology
En cette année 2024 qui s’annonce sous le signe de la complexité, avec :
- L’explosion de la Gen AI
-Un contexte socio-économique sous tensions
- De forts enjeux sur le Sustainable et la régulation IT
- Une archipélisation des lieux de travail post-Covid
Découvrez les Tech trends incontournables pour délivrer vos produits stratégiques.
Le Comptoir OCTO - Équipes infra et prod, ne ratez pas l'embarquement pour l'...OCTO Technology
par Claude Camus (Coach agile d'organisation @OCTO Technology) et Gilles Masy (Organizational Coach @OCTO Technology)
Les équipes infrastructure, sécurité, production, ou cloud, doivent consacrer du temps à la modernisation de leurs outils (automatisation, cloud, etc) et de leurs pratiques (DevOps, SRE, etc). Dans le même temps, elles doivent répondre à une avalanche croissante de demandes, tout en maintenant un niveau de qualité de service optimal.
Habitué des environnements développeurs, les transformations agiles négligent les particularités des équipes OPS. Lors de ce comptoir, nous vous partagerons notre proposition de valeur de l'agilité@OPS, qui embarquera vos équipes OPS en Classe Business (Agility), et leur fera dire : "nous ne reviendrons pas en arrière".
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...OCTO Technology
Par Nicolas Bordier (Consultant numérique responsable @OCTO Technology) et Alaric Rougnon-Glasson (Sustainable Tech Consultant @OCTO Technology)
Sur un exemple très concret d’audit d’éco-conception de l’outil de bilan carbone C’Bilan développé par ICDC (Caisse des dépôts et consignations) nous allons expliquer en quoi l’ACV (analyse de cycle de vie) a été déterminante pour identifier les pistes d’actions pour réduire jusqu'à 82% de l’empreinte environnementale du service.
Vidéo Youtube : https://www.youtube.com/watch?v=7R8oL2P_DkU
Compte-rendu :
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)Laurent Speyser
(Conférence dessinée)
Vous êtes certainement à l’origine, ou impliqué, dans un changement au sein de votre organisation. Et peut être que cela ne se passe pas aussi bien qu’attendu…
Depuis plusieurs années, je fais régulièrement le constat de l’échec de l’adoption de l’Agilité, et plus globalement de grands changements, dans les organisations. Je vais tenter de vous expliquer pourquoi ils suscitent peu d'adhésion, peu d’engagement, et ils ne tiennent pas dans le temps.
Heureusement, il existe un autre chemin. Pour l'emprunter il s'agira de cultiver l'invitation, l'intelligence collective , la mécanique des jeux, les rites de passages, .... afin que l'agilité prenne racine.
Vous repartirez de cette conférence en ayant pris du recul sur le changement tel qu‘il est généralement opéré aujourd’hui, et en ayant découvert (ou redécouvert) le seul guide valable à suivre, à mon sens, pour un changement authentique, durable, et respectueux des individus! Et en bonus, 2 ou 3 trucs pratiques!
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Systèmes d'Exploitation - chp4-gestion disque
1. Gestion du Disque
Structure, Algorithmes d’ordonnancement sur le disque
Dr. Ghada GASMI- Dr. Lilia SFAXI Slide 1
Systèmes d’Exploitation
2ème Année (GL-RT-IIA-IMI)
2. Disques Magnétiques
• Plats rigides couverts de matériaux d ’enregistrement
magnétiques
§ Surface du disque divisée en pistes (tracks) qui sont divisées
en secteurs
§ Le contrôleur disque détermine l’interaction logique entre l’unité
et l’ordinateur
Dr. Ghada GASMI- Dr. Lilia SFAXI Slide 2
Disque
3. Ordonnancement sur le Disque
• Problème: utilisation optimale du matériel
§ Réduction du temps total de lecture du disque
§ Étant donnée une file de requêtes de lecture sur le disque, dans quel ordre
les exécuter?
• Paramètres à prendre en considération:
§ Temps de positionnement (seek time):
o Le temps pris par l’unité disque pour se positionner sur le cylindre désiré
§ Temps de latence de rotation
o Le temps pris par l ’unité de disque qui est sur le bon cylindre pour se positionner sur le
secteur désiré
§ Temps de lecture
o Le temps nécessaire pour lire la piste
• Le temps de positionnement est normalement le plus important, donc il
est celui que nous chercherons minimiser
Dr. Ghada GASMI- Dr. Lilia SFAXI Slide 3
Disque
4. File d’Attente Disque
• Dans un système multiprogrammé avec mémoire virtuelle, il y’aura
normalement une file d’attente pour l ’unité disque
• Dans quel ordre choisir les requêtes d’opérations disques de façon à
minimiser les temps de recherche totaux?
• Nous étudierons différentes méthodes par rapport à une file d ’attente
arbitraire:
98, 183, 37, 122, 14, 124, 65, 67
• Chaque chiffre est un numéro séquentiel de cylindre
• Il faut aussi prendre en considération le cylindre de départ: 53
• Dans quel ordre exécuter les requêtes de lecture de façon à minimiser
les temps totaux de positionnement cylindre?
• Hypothèse simpliste: un déplacement d‘1 cylindre coûte 1 unité de
temps
Dr. Ghada GASMI- Dr. Lilia SFAXI Slide 4
Disque
5. Premier Entré, Premier Sorti (FIFO)
Dr. Ghada GASMI- Dr. Lilia SFAXI Slide 5
Disque
Mouvement total:
640 cylindres = (98-53)+(183-98)+…
En moyenne: 640/8 = 80
6. Shortest Seek Time First (SSTF)
Dr. Ghada GASMI- Dr. Lilia SFAXI Slide 6
Disque
Mouvement total: 236 cylindres
En moyenne: 236/8 = 29.5
7. Algorithme de l’Ascenseur (SCAN)
Dr. Ghada GASMI- Dr. Lilia SFAXI Slide 7
Disque
• La tête balaie le disque dans une direction, puis dans la direction opposée, etc. en
desservant les requêtes quand elle passe sur le cylindre désiré
§ Pas de Famine
Mouvement total: 208 cylindres
En moyenne: 208/8 = 26
8. Algorithme de l’Ascenseur Circulaire (C-SCAN)
Dr. Ghada GASMI- Dr. Lilia SFAXI Slide 8
Disque
• Problèmes du SCAN
§ Peu de travail à faire après le renversement de direction
§ Les requêtes seront plus denses à l’autre extrémité
§ Arrive inutilement à zéro
• C-SCAN
§ Retour rapide au début (cylindre 0) du disque au lieu de renverser la
direction
§ Hypothèse:
o Le mécanisme de retour est beaucoup plus rapide que le temps de visiter les
cylindres
o Comme si les disques étaient sous forme de cercle
• C-LOOK
§ Même idée, mais au lieu de retourner au cylindre 0, retourner au premier
cylindre qui a une requête.
9. C-LOOK
Dr. Ghada GASMI- Dr. Lilia SFAXI Slide 9
Disque
Mouvement total:
sans retour: 153 cylindres
vec retour: 322 cylindres
Le coût réel sera entre les deux,
car le retour est rapide
10. Références
Dr. Ghada GASMI- Dr. Lilia SFAXI Slide 10
• Mona Laaroussi, Les systèmes d’exploitation, Cours INSAT, 2009