L'évaluation universitaire à l'ère de l'IA : défis et opportunités

L’évaluation universitaire
à l’ère de l’IA :
défis et opportunités
ALEXANDRE LAFLAMME ET MATHIEU PLOURDE
ATELIER PRÉ-COLLOQUE DE L’ADMÉE - 8 NOVEMBRE 2023
1
2023 LAFLAMME ET PLOURDE - BIT.LY/ADMEE-IA

Qui sommes-nous ?
MATHIEU PLOURDE
B.A.V. (2000), M.B.A. (2006),
M.A. (2019)
Conseiller en pédagogie
universitaire/
Conseiller à l’innovation
Faculté des sciences de l’administration
Université Laval
mathieu.plourde@fsa.ulaval.ca
ALEXANDRE LAFLAMME
B.E.S. (2006)
Conseiller en pédagogie
universitaire
Centre de services en TI et
en pédagogie (CSTIP)
Université Laval
alexandre.laflamme@cstip.ulaval.ca
/in/mathieuplourde
/in/alexandre-laflamme-3482a796/
2

Mise en garde
Nous sommes des conseillers
en pédagogie universitaire, pas
des experts en évaluation ou
en intelligence artificielle.
3

Ordre du jour
4

Qu’est-ce que
l’IA générative ?
UNE COURTE EXPLICATION
5

Génération de textes
Generative AI exists because of the transformer, Financial Times (12 septembre 2023).
https://ig.ft.com/generative-ai/
6

Génération de visuels
Quelques technologies disponibles :
◦ Images :
• DALL-E 3 (intégré dans Bing Chat)
• Midjourney
• Stable Diffusion
◦ Vidéo :
• D-id
• Runway
• HeyGen
• Autres applications :
• Diapositives
• Musique
• Hypertrucages (Deepfakes)
7
Waymark, The Frost: Part One (AI-generated film), disponible sur Youtube.
https://youtu.be/IgPvoPBrlTE?si=hhNBinzMVnwicmDK

Brise-glace
8

Page d’atterrissage
bit.ly/admee-ia
9

Brise-glace
10

Brise-glace
11

Activité 1
ANALYSE DE SENTIMENT VS IA
12

Questionnements par rapport à l’IA en
évaluation
13
• Remue-méninges et top-3 en sous-groupes (10 minutes)
• Retour en grand groupe (5 minutes)

Zone de contrôle et d’influence
Inquiétude
Influence
Contrôle
14
• Cercles d'influence en sous-groupes (5 minutes)

Activité 2
ANALYSE DES RISQUES
15

Analyse des risques des activités d'évaluation
16
• Analyse des risques en sous-groupes (15 minutes)

17

Activités d’évaluation
RISQUE MOINDRE
Évaluation formative
Pondération faible
En présentiel
Sous surveillance
Temps accordé limité
RISQUE PLUS ÉLEVÉ
Évaluation sommative
Pondération élevée
À distance
Sans surveillance
Temps accordé long
18

19

Divulgation/détection
• On ne peut prouver le plagiat par l’IA
générative que si la personne étudiante
l’avoue.
• Il n’est pas dans l’intérêt de la personne
étudiante de l’avouer, car l’institution ne sera
pas capable de le prouver hors de tout doute.
• Il n’est pas dans l’intérêt de la personne
enseignante de débuter une procédure
perdue d’avance.
• Le déploiement d’outils de détection de l’IA
crée des faux positifs.
20

Littératie de l’IA
21

22

Évaluation de/pour l’apprentissage
ÉVALUATION DE L’APPRENTISSAGE
• Observation et écoute de l’apprenante ou
de l’apprenant durant l’activité
d’évaluation.
• Dans un environnement authentique et
contrôlé.
• Livrable qui démontre l’atteinte de la
compétence, jugée par une personne
experte.
ÉVALUATION POUR L’APPRENTISSAGE
• L’apprenante ou apprenant travaille
conjointement avec des outils d’IA
générative pour :
• Générer des synthèses ;
• Révéler ses angles morts ;
• L’idéation ;
• La rédaction ;
• La correction orthographique ;
• Générer des artéfacts (images, vidéos,
documents, musique, diapositives, etc.).
23

Pause
Crédit photo : CC By Mathieu Plourde, 2023. Littoral de Bathsheba, Barbade. 24

Activité 3
LES RÈGLEMENTS, POLITIQUES ET
PRATIQUES
25

Les règlements, politiques et pratiques
26
• Activité sous-groupes (20 minutes)

27

Activité 4
PROJECTION DANS LE FUTUR
28

Le cigne noir (Black Swan Event)
• Les modèles de langage (LLM)
étaient généralement conservés
comme secret corporatif.
• OpenAI, en lançant un outil
grand public, est venu
chambouler l’équilibre.
• S’en est suivi une course à
l’appropriation des terres (land-
grab) par les GAFAM.
29

Vous
êtes ici.
30

Exercice de vision
31
• Exercice de vision sous-groupes (15 minutes)

The future is already
here – it's just not
evenly distributed.
William Gibson
32
Outils IA pour la communauté à
University of Michigan.

Conclusion
ET QUELQUES RESSOURCES
ADDITIONNELLES
33

34
Pratschke (2023)

35

Le milieu manquant
36
“The missing middle” (Daugherty and Wilson, 2018, p.8).

37

Le déficit de confiance
« Dans notre monde hyperconnecté, la confiance numérique est
absolument essentielle.
Cependant, la valeur de la plupart des innovations technologiques
nous est présentée dans une période de méfiance –ce qu’on appelle
un déficit de confiance. »
Dr. Kelly Page, ASU Digital TrustSummit, 17 octobre 2023
38

Ungrading et Specs grading
UNGRADING
Si on enlève la pression des notes, on enlève
aussi l’incitatif à tricher, on remet l’emphase
sur l’apprentissage.
Références : Alfie Kohn, Jessie Stommel
SPECS GRADING
En indiquant dès le départ les critères
d’acceptabilité et la note associée, on laisse la
personne étudiante décider de sa note en
fonction de sa motivation dans le cours.
Référence : Mark Serva et al.
39

Mise en action
40
Inquiétude
Influence
Contrôle
Comment vais-je me tenir à jour ?
À qui dois-je parler ? Comment
bâtir mon argumentaire ?
Que vais-je changer dans ma
pratique ?

Questions, commentaires, contenus ?
MATHIEU PLOURDE
mathieu.plourde@fsa.ulaval.ca
ALEXANDRE LAFLAMME
alexandre.laflamme@cstip.ulaval.ca
/in/mathieuplourde
/in/alexandre-laflamme-3482a796/
41
bit.ly/admee-ia

Ressources additionnelles à explorer
• Vachon-Savary, M.-È. (2023). IA générative et ChatGPT.
https://www.youtube.com/watch?v=SQXlfKfDF_Y
• Plourde, M. (2023). Carte conceptuelle des outils IA.
https://coggle.it/diagram/ZC11CkGwolWecHfm/t/ia-ai
• Lepage, A., & Roy, N. (2023). Une recension des écrits de
1970 à 2022 sur les rôles de l’enseignant et de l’intelligence
artificielle dans le domaine de l’IA en éducation . Médiations
Et médiatisations, (16), 9-29, 30.
https://doi.org/10.52358/mm.vi16.304
• Holmes, W., & Tuomi, I. (2022). State of the art and practice
in AI in education. European Journal of Education,
n/a(n/a). https://doi.org/10.1111/ejed.12533
42

Bibliographie/Médiagraphie
(n.d.).Be My Eyes. RetrievedNovember 6, 2023, from https://www.bemyeyes.com/
(n.d.).GenerativeArtificial Intelligence. University of Michigan. RetrievedNovember 6, 2023, from https://genai.umich.edu/
(n.d.).Student Guidefor AI Use. AI for Education. RetrievedNovember 6, 2023, from https://www.aiforeducation.io/ai-resources/student-guide-ai-use
[Waymark]. (2023, May 10). The Frost: Part One (AI-generated film) [Video]. Youtube. https://www.youtube.com/watch?v=IgPvoPBrlTE
A. F. E. (n.d.).StudentGuide for AI Use. Google Docs. RetrievedNovember 6, 2023, from https://docs.google.com/presentation/d/1IbEBckhoOPKRWKQovCVL43-
552rF4tlK/edit#slide=id.g28cd987cbf7_0_1298
Covey, S. R. (2020). The 7 habits of highlyeffective people:powerfullessons in personal change. New York: Simon & Schuster.
Daugherty, P. R., & Wilson, H. J. (2018).
Human + Machine: Reimagining Work in the Age of AI. Harvard Business Review Press.
Eaton, S. E. (2023, July 12). 6 principesde l’après-plagiatà l’ère de l’IA. Le Collimateur UQAM. RetrievedNovember 6, 2023, from https://collimateur.uqam.ca/collimateur/6-principes-de-lapres-
plagiat-a-lere-de-lia/
Everett, R. M. (2003). Diffusionof Innovations. New York: Free Press.
Gartner, Inc. (2023). Hype Cycle for Artificial Intelligence[Diagramme].
Kohn, A. (2018). Punished by Rewards: The Trouble with Gold Stars, IncentivePlans, A’s, Praise, and Other Bribes. Boston: HoughtonMifflin.https://www.alfiekohn.org/punished-rewards/
Liu, D., & Bridgeman, A. (2023, July 12). What to do about assessments if we can’t out-design or out-run AI? Teaching@Sydney. RetrievedNovember 6, 2023, from https://educational-
innovation.sydney.edu.au/teaching@sydney/what-to-do-about-assessments-if-we-cant-out-design-or-out-run-ai/
43

Bibliographie/Médiagraphie
Miller, M. (2023). It’s time to rethink “plagiarism” and “cheating”. Ditch that Textbook. https://ditchtthattextbook.com
Mills, A. (2023, October 17). Generative AI Activities for the Writing & Language Classroom. Google Docs. Retrieved November 6, 2023, from
https://docs.google.com/presentation/d/1IbEBckhoOPKRWKQovCVL43-552rF4tlK/edit#slide=id.g28cd987cbf7_0_1298
Munn, Y. (2023). La taxonomie de Bloom revisitée pour un apprentissage significatif à l’ère de l’IA. Le Carrefour UQAM. https://enseigner.uqam.ca
Page, K. (2023, October 17). ASU Digital Trust Summit.
Pires, F. (2023, November 2). Video Game Created Entirely With ChatGPT, DALL
-E 3, and Midjourney. Tom's Hardware. https://www.tomshardware.com/software/video-game-
created-entirely-with-chatgpt-dall-e-3-and-midjourney
Potter, R. (2023). Using AI with Positive Intentionality [Infographique].
Pratschke, B. M. (2023). Generativism: the new hybrid.Computers and Society. https://doi.org/10.48550/arXiv.2309.12468
Serva, M., Convery, A., & Bullough, A. (2021). Motivational Tiered Assessment: A New GradingApproach for MotivatingInformationSystems Students. Communicationsof the Association for
InformationSystems, 49(1), 639–658. https://doi.org/10.17705/1cais.04934
Stommel, J. (2023, April 6). What is Ungrading?: A Q&A. https://www.jessestommel.com/what-is-ungrading/
Verma, P. (2023, August 13). Professors have a summer assignment: Prevent ChatGPT chaos in the fall. WashingtonPost. https://www.washingtonpost.com/technology/2023/08/13/ai-chatgpt-
chatbots-college-cheating/
Visual Storytelling Team &Murgia, M. (2023, September 12). Generative AI exists because of the transformer. Financial Times. https://ig.ft.com/generative-ai/
44

L'évaluation universitaire à l'ère de l'IA : défis et opportunités

Recommandé

Recommandé

Contenu connexe

Plus de Mathieu Plourde

Plus de Mathieu Plourde (20)

Dernier

Dernier (14)

L'évaluation universitaire à l'ère de l'IA : défis et opportunités