Evaluation universitaire AI TELUQ 2024.pdf

L’évaluation universitaire
à l’ère de l’IA :
défis et opportunités
ALEX ANDRE LAFLAMME ET MATHIEU PLOURDE
J O U R NÉ E D E F O R M ATIO N S U R L’ I NT ELLIG ENC E A R T I FICIE LLE - S P P TU
29 FÉVRIER 2024
1
2024 LAFLAMME ET PLOURDE

Qui sommes-nous ?
MATHIEU PLOURDE
B.A.V. (2000), M.B.A. (2006),
M.A. (2019)
Conseiller en pédagogie
universitaire/
Conseiller à l’innovation
Faculté des sciences de l’administration
Université Laval
mathieu.plourde@fsa.ulaval.ca
ALEXANDRE LAFLAMME
B.E.S. (2006)
Conseiller en pédagogie
universitaire
Centre de services en TI et
en pédagogie (CSTIP)
Université Laval
alexandre.laflamme@cstip.ulaval.ca
/in/mathieuplourde
/in/alexandre-laflamme-3482a796/
2

Mise en garde
Nous sommes des conseillers
en pédagogie universitaire, pas
des experts en évaluation ou
en intelligence artificielle.
3

Ordre du jour
4
• Introduction : Qu’est-ce que l’IA
générative ?
• Zone de contrôle et d'influence
• Activité : Analyse des risques
• Conclusion et ressources additionnelles

Page d’atterrissage
5
Diapositives, notes collaboratives, Miro :
bit.ly/ai-teluq2024

Qu’est-ce que
l’IA générative ?
UNE COURTE EXPLICATION
6

Génération de textes
Generative AI exists because of the transformer, Financial Times (12 septembre 2023).
https://ig.ft.com/generative-ai/
7

Génération de contenu
•Texte
• Microsoft Conversation Bing (Copilot pour Edge)
• Gemini- gemini.google..com
• ChatGPT - chat.openai.com
• Groq - groq.com/
•Images et visuels
◦ Dall-E - chat.openai.com
• Stable Diffusion - stablediffusionweb.com
• Midjourney - midjourney.com
• Tome - tome.ai
•Recherche
• Consensus - consensus.ai
• Elicit - elicit.com
• Trinka - trinka.ai
• Paperpal - paperpal.ai
• Scite ai - scite.ai
• Scholarcy - scholarcy.com
2024 LAFLAMME ET PLOURDE 8

IA générative
9
OpenAI Sora All Example Videos, disponible sur Youtube.
https://youtu.be/TU1gMloI0kc?si=ut0beOPRR6rMwKQM&t=290
• Exemples de types d'applications:
• Cyberattaque
• Hypertrucages (Deepfakes)
• Auto-diagnostique(p.ex. Santé)
The Unseen Grade, chanson générée à l’aide d’une requête par Mathieu Plourde.
https://app.suno.ai/song/a8279529-bacb-4d64-b0ff-db73dca6da6c/

L’IA générative et la tricherie

Zone de contrôle et d’influence
Inquiétude
Influence
Contrôle
11

6 raisons courantes d’inconduite dans le
milieu universitaire
13
• Manque d’intérêt pour le contenu
• Manque de compétences
• Malentendu
• Manque d’intérêt pour l’enseignant.e
• Tolérance de l’inconduite
• Stress

Le déficit de
confiance
« Dans notre monde hyperconnecté,
laconfiancenumériqueest
absolumentessentielle.
Cependant, la valeur de la plupart
des innovationstechnologiques
nous est présentée dansune
période de méfiance–
ce qu’on appelle un déficit de
confiance.»
Dr. Kelly Page, ASU Digital Trust Summit, 17 octobre
2023

Activité
ANALYSE DES RISQUES
15

Analyse des risques des activités d'évaluation:
exemple
16

Analyse des risques des activités d'évaluation
17
• Individuellement (10 minutes)
• Sous-groupes (15 minutes)
• Retour en grand groupe (10 minutes)

Activités d’évaluation
RISQUE MOINDRE
Évaluation formative
Pondération faible
En présentiel
Sous surveillance
Temps accordé limité
RISQUE PLUS ÉLEVÉ
Évaluation sommative
Pondération élevée
À distance
Sans surveillance
Temps accordé long
18
Voir : Gérin-Lajoie et al. (2020)

If generative IA can create the outputs that
you're used to use to assess learning, you
have to look at assessment differently.
- Mairead Pratschke (2024)

20
https://nell-associes.com/blog/pourquoi-utiliser-la-version-revisee-de-la-taxonomie-de-bloom/
Voir : Storey (2022) et Munn (2023)

Évaluation de/pour l’apprentissage
ÉVALUATION DE L’APPRENTISSAGE
• Observation et écoute de l’apprenante ou
de l’apprenant durant l’activité
d’évaluation.
• Dans un environnement authentique et
contrôlé.
• Livrable qui démontre l’atteinte de la
compétence, jugée par une personne
experte.
ÉVALUATION POUR L’APPRENTISSAGE
• L’apprenante ou apprenant travaille
conjointement avec des outils d’IA
générative pour :
• Générer des synthèses ;
• Révéler ses angles morts ;
• L’idéation ;
• La rédaction ;
• La correction orthographique ;
• Générer des artéfacts (images, vidéos,
documents, musique, diapositives, etc.).
21
Voir : Liu & Bridgeman (2023)

Divulgation/détection
• On ne peut prouver le plagiat par l’IA
générative que si la personne étudiante
ne l’avoue.
• Il n’est pas dans l’intérêt de la personne
étudiante de l’avouer, car l’institution ne sera
pas capable de le prouver hors de tout doute.
• Il n’est pas dans l’intérêt de la personne
enseignante de débuter une procédure
perdue d’avance.
• Le déploiement d’outils de détection de l’IA
crée des faux positifs.
23

Le cygne noir (Black Swan Event)
• Les modèles de langage (LLM)
étaient généralement conservés
comme secret corporatif.
• OpenAI, en lançant un outil
grand public, est venu
chambouler l’équilibre.
• S’en est suivi une course à
l’appropriation des terres (land-
grab) par les GAMMA.
26

The future is already here – it's just not
evenly distributed.
William Gibson

Conclusion
ET QUELQUES RESSOURCES
ADDITIONNELLES
28

29
Pratschke, 2023

Le milieu manquant
30
“The missing middle” (Daugherty and Wilson, 2018, p.8).

Ungrading et Specs grading
DÉNOTATION (UNGRADING)
Si on enlève la pression des notes, on enlève
aussi l’incitatif à tricher, on remet l’emphase
sur l’apprentissage.
Références : Kohn (2018),Stommel (2023)
NOTATION PAR SPÉCIFICATIONS (SPECS
GRADING)
En indiquant dès le départ les critères
d’acceptabilité et la note associée, on laisse la
personne étudiante décider de sa note en
fonction de sa motivation dans le cours.
Références : MarkServa et al. (2021), Mercier
(2023)
32

Littératie de l’IA
33
Sources : Mills (2023), Anders (2023), Stanford University (2024)

Mise en action
34
Inquiétude
Influence
Contrôle
Comment vais-je me tenir à jour ?
À qui dois-je parler ? Comment
bâtir mon argumentaire ?
Que vais-je changer dans ma
pratique ?

Ressources additionnelles à explorer
• Université Laval (2024). Consultation de la communauté
universitaire sur l’intelligence artificielle générative et
l’enseignement. https://www.enseigner.ulaval.ca/ressources-
pedagogiques/principes-directeurs-ia
• Plourde, M. (2023). Carte conceptuelle des outils IA.
https://coggle.it/diagram/ZC11CkGwolWecHfm/t/ia-ai
• Lepage, A., & Roy, N. (2023). Une recension des écrits de
1970 à 2022 sur les rôles de l’enseignant et de l’intelligence
artificielle dans le domaine de l’IA en éducation . Médiations
Et médiatisations, (16), 9-29, 30.
https://doi.org/10.52358/mm.vi16.304
• Holmes, W., & Tuomi, I. (2022). State of the art and practice
in AI in education. European Journal of Education,
n/a(n/a). https://doi.org/10.1111/ejed.12533
35

Source : Lez, Dubé & Beaulieu (2023)

Trame de fond
• Formation et sensibilisation
• Intégration pédagogique
• Évaluation et critique
• Promotion de l’éthique
• Collaboration et partage
• Adaptation et flexibilité
Voir : Miao & Holmes (2023).

Bibliographie/Médiagraphie
• (n.d.). Be My Eyes.RetrievedNovember6,2023, fromhttps://www.bemyeyes.com/
• (n.d.). Generative ArtificialIntelligence.Universityof Michigan.RetrievedNovember6,2023,from https://genai.umich.edu/
• (n.d.). Student Guide for AIUse. AI for Education.RetrievedNovember6,2023,from https://www.aiforeducation.io/ai-resources/student-
guide-ai-use
• [Waymark].(2023, May10). The Frost:Part One (AI-generatedfilm)[Video]. Youtube. https://www.youtube.com/watch?v=IgPvoPBrlTE
• A. F.E. (n.d.). Student Guide for AIUse. Google Docs.RetrievedNovember6,2023, from
https://docs.google.com/presentation/d/1IbEBckhoOPKRWKQovCVL43-552rF4tlK/edit#slide=id.g28cd987cbf7_0_1298
• Anders,B. (2023, August28). AI Literacyand PromptEngineering [Video]. Youtube. https://youtu.be/4HKl47hwh-A?si=GfNJziyLa-MqPE-A
• Bertram Gallant,T.(2023) Crafting Your GenAI & AI Policy:A Guide for Instructors.
https://docs.google.com/presentation/d/1miPTdRU8YN0JBc_zcLLr1KIhLxIkZu6xx1155zebXJo/edit#slide=id.g285c2d55a4e_7_25
• Covey, S. R. (2020). The 7 habitsof highlyeffective people:powerfullessons inpersonalchange.NewYork:Simon & Schuster.
• Daugherty,P. R., & Wilson,H. J. (2018). Human+ Machine:Reimagining Workin the Age of AI. HarvardBusinessReviewPress.
• Davis,A. (2024,January 18). A newcollaborationwithOpenAIchartsthe future of AI in highereducation.https://news.asu.edu/20240118-
university-news-new-collaboration-openai-charts-future-ai-higher-education
40

• Eaton, S.E. (2023, July 12). 6 principesdel’après-plagiatà l’èredel’IA. Le CollimateurUQAM.RetrievedNovember6,2023,fromhttps://collimateur.uqam.ca/collimateur/6-
principes-de-lapres-plagiat-a-lere-de-lia/
• Everett,R. M. (2003).Diffusion of Innovations. New York: FreePress.
• Fortier,A. (22 août 2023). ChatGPT - la vérité, le faux etles hallucinations d’une intelligence artificielle. https://www.linkedin.com/pulse/chat-gpt-la-
v%25C3%25A9rit%25C3%25A9-le-faux-et-les-hallucinations-dune-alain-fortier/
• Fortier,A., Jabagi,N. etPlourde, M. (11 janvier2024) Au-delà duplagiat: Explorerle potentiel pédagogiquedel’intelligence artificielle générative.
https://sites.google.com/view/appac2024-ia/accueil
• Gartner,Inc. (2023). HypeCycleforArtificial Intelligence [Diagramme].
• Gérin-Lajoie, S.,Beaupré,J.,Contamines,J.,Hébert,M.-H. etPaquette-Côté, K. (2020).L’évaluation des apprentissagesen 20 questions. Manuscritnon publié. Version Juin 2020.
• Holmes,W., & Tuomi, I. (2022).State of the art andpracticein AI in education. European Journal of Education, n/a(n/a).https://doi.org/10.1111/ejed.12533
• Kohn, A. (2018).Punished byRewards:The Trouble with Gold Stars,Incentive Plans, A’s,Praise,and Other Bribes.Boston: Houghton Mifflin. https://www.alfiekohn.org/punished-
rewards/
• Lepage, A., & Roy,N. (2023). Unerecension desécrits de 1970 à 2022 sur les rôles de l’enseignant etde l’intelligence artificielle dans le domainedel’IA en éducation . Médiations
Et médiatisations,(16), 9-29,30. https://doi.org/10.52358/mm.vi16.304
• Lez, A., Dubé, E. et Beaulieu, M. (2023).Évaluer à l’èredesIA : un guide deréflexion.Servicedesoutien à la formation,UniversitédeSherbrooke.
https://www.usherbrooke.ca/ssf/enseignement/intelligence-artificielle/evaluation
41

• Liu, D., & Bridgeman, A. (2023, July 12). What to do about assessments if we can’t out-design or out-run AI?
Teaching@Sydney. Retrieved November 6, 2023, fromhttps://educational-
innovation.sydney.edu.au/teaching@sydney/what-to-do-about-assessments-if-we-cant-out-design-or-out-run-ai/
• Miao, F., & Holmes, W. (2023). Guidance forgenerative AI in education and research (p. 44). UNESCO.
https://unesdoc.unesco.org/ark:/48223/pf0000386693
• Miller, M. (2023). It’s time to rethink “plagiarism” and“cheating”. Ditch that Textbook. https://ditchtthattextbook.com
• Mills, A. (2023, October 17). Generative AI Activities forthe Writing & Language Classroom. Google Docs. Retrieved
November 6, 2023, fromhttps://docs.google.com/presentation/d/1IbEBckhoOPKRWKQovCVL43-
552rF4tlK/edit#slide=id.g28cd987cbf7_0_1298
• Munn, Y. (2023). La taxonomie de Bloomrevisitée pour un apprentissage significatif à l’ère de l’IA. Le Carrefour UQAM.
https://enseigner.uqam.ca
• Page, K. (2023, October 17). ASU Digital Trust Summit.
• Pires, F. (2023, November 2). Video Game Created EntirelyWith ChatGPT, DALL-E 3, and Midjourney. Tom's Hardware.
https://www.tomshardware.com/software/video-game-created-entirely-with-chatgpt-dall-e-3-and-midjourney
• Plourde, M. (2024). Carte conceptuelle des outils IA. https://coggle.it/diagram/ZC11CkGwolWecHfm/t/ia-ai
42

• Potter, R. (2023). Using AI with Positive Intentionality [Infographique].
• Pratschke, B. M. (2023). Generativism: the new hybrid. Computers and Society. https://doi.org/10.48550/arXiv.2309.12468
• Serva, M., Convery, A., & Bullough, A. (2021). Motivational Tiered Assessment: A New Grading Approach for Motivating
Information Systems Students. Communications of the Association for Information Systems, 49(1), 639–658.
https://doi.org/10.17705/1cais.04934
• Stanford University (2024). Classroom-Ready Resources About AI For Teaching (CRAFT). https://craft.stanford.edu/
• Stommel, J. (2023, April 6). What is Ungrading?: A Q&A. https://www.jessestommel.com/what-is-ungrading/
• Université Laval (2024). Consultation de la communauté universitaire sur l’intelligence artificielle générative et l’enseignement.
https://www.enseigner.ulaval.ca/ressources-pedagogiques/principes-directeurs-ia
• Université Laval (2024). Outil de diagnostic IA et évaluation universitaire. https://view.genial.ly/65bbfb333c8bac001595c48e
• Verma, P. (2023, August 13). Professors have a summer assignment: Prevent ChatGPT chaos in the fall. Washington Post.
https://www.washingtonpost.com/technology/2023/08/13/ai-chatgpt-chatbots-college-cheating/
• Visual Storytelling Team & Murgia, M. (2023, September 12). Generative AI exists because of the transformer. Financial Times.
https://ig.ft.com/generative-ai/
43

Evaluation universitaire AI TELUQ 2024.pdf

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Evaluation universitaire AI TELUQ 2024.pdf

Similaire à Evaluation universitaire AI TELUQ 2024.pdf (20)

Plus de Mathieu Plourde

Plus de Mathieu Plourde (20)

Dernier

Dernier (14)

Evaluation universitaire AI TELUQ 2024.pdf