L’évaluation universitaire à l’ère de l’IA : défis et opportunités

L’évaluation universitaire
à l’ère de l’IA :
défis et opportunités
ALEXANDRE LAFLAMME ET MATHIEU PLOURDE
ATELIER PRÉ-COLLOQUE DE L’ADMÉE - 8 NOVEMBRE 2023
1
2023 LAFLAMME ET PLOURDE - BIT.LY/ADMEE-IA

Qui sommes-nous ?
MATHIEU PLOURDE
B.A.V. (2000), M.B.A. (2006),
M.A. (2019)
Conseiller en pédagogie
universitaire/
Conseiller à l’innovation
Faculté des sciences de l’administration
Université Laval
mathieu.plourde@fsa.ulaval.ca
ALEXANDRE LAFLAMME
B.E.S. (2006)
Conseiller en pédagogie
universitaire
Centre de services en TI et
en pédagogie (CSTIP)
Université Laval
alexandre.laflamme@cstip.ulaval.ca
/in/mathieuplourde
/in/alexandre-laflamme-3482a796/
2

Mise en garde
Nous sommes des conseillers
en pédagogie universitaire, pas
des experts en évaluation ou
en intelligence artificielle.
3

Ordre du jour
4

Qu’est-ce que
l’IA générative ?
UNE COURTE EXPLICATION
5

Génération de textes
Generative AI exists because of the transformer, Financial Times (12 septembre 2023).
https://ig.ft.com/generative-ai/
6

Génération de visuels
Quelques technologies disponibles :
◦ Images :
• DALL-E 3 (intégré dans Bing Chat)
• Midjourney
• Stable Diffusion
◦ Vidéo :
• D-id
• Runway
• HeyGen
• Autres applications :
• Diapositives
• Musique
• Hypertrucages (Deepfakes)
7
Waymark, The Frost: Part One (AI-generated film), disponible sur Youtube.
https://youtu.be/IgPvoPBrlTE?si=hhNBinzMVnwicmDK

Page d’atterrissage
bit.ly/admee-ia
8

Activité 1
ANALYSE DE SENTIMENT VS IA
9

Questionnements par rapport à l’IA en
évaluation
10
• Remue-méninges et top-3 en sous-groupes (10 minutes)
• Retour en grand groupe (5 minutes)

Zone de contrôle et d’influence
Inquiétude
Influence
Contrôle
11
• Cercles d'influence en sous-groupes (5 minutes)

Activité 2
ANALYSE DES RISQUES
12

Analyse des risques des activités d'évaluation
13
• Analyse des risques en sous-groupes (15 minutes)

14

Activités d’évaluation
RISQUE MOINDRE
Évaluation formative
Pondération faible
En présentiel
Sous surveillance
Temps accordé limité
RISQUE PLUS ÉLEVÉ
Évaluation sommative
Pondération élevée
À distance
Sans surveillance
Temps accordé long
15
Voir : Gérin-Lajoie et al. (2020)

16

Divulgation/détection
• On ne peut prouver le plagiat par l’IA
générative que si la personne étudiante
ne l’avoue.
• Il n’est pas dans l’intérêt de la personne
étudiante de l’avouer, car l’institution ne sera
pas capable de le prouver hors de tout doute.
• Il n’est pas dans l’intérêt de la personne
enseignante de débuter une procédure
perdue d’avance.
• Le déploiement d’outils de détection de l’IA
crée des faux positifs.
17

Littératie de l’IA
18

19

Évaluation de/pour l’apprentissage
ÉVALUATION DE L’APPRENTISSAGE
• Observation et écoute de l’apprenante ou
de l’apprenant durant l’activité
d’évaluation.
• Dans un environnement authentique et
contrôlé.
• Livrable qui démontre l’atteinte de la
compétence, jugée par une personne
experte.
ÉVALUATION POUR L’APPRENTISSAGE
• L’apprenante ou apprenant travaille
conjointement avec des outils d’IA
générative pour :
• Générer des synthèses ;
• Révéler ses angles morts ;
• L’idéation ;
• La rédaction ;
• La correction orthographique ;
• Générer des artéfacts (images, vidéos,
documents, musique, diapositives, etc.).
20
Voir : Liu & Bridgeman (2023)

Pause
Crédit photo : CC By Mathieu Plourde, 2023. Littoral de Bathsheba, Barbade. 21

Activité 3
LES RÈGLEMENTS, POLITIQUES ET
PRATIQUES
22

Les règlements, politiques et pratiques
23
• Activité sous-groupes (20 minutes)

24

Activité 4
PROJECTION DANS LE FUTUR
25

Le cygne noir (Black Swan Event)
• Les modèles de langage (LLM)
étaient généralement conservés
comme secret corporatif.
• OpenAI, en lançant un outil
grand public, est venu
chambouler l’équilibre.
• S’en est suivi une course à
l’appropriation des terres (land-
grab) par les GAFAM.
26

Vous
êtes ici.
27

Exercice de vision
28
• Exercice de vision sous-groupes (15 minutes)

The future is already
here – it's just not
evenly distributed.
William Gibson
29
Outils IA pour la communauté à
University of Michigan.

Conclusion
ET QUELQUES RESSOURCES
ADDITIONNELLES
30

31
Pratschke (2023)

32

Le milieu manquant
33
“The missing middle” (Daugherty and Wilson, 2018, p.8).

34

Le déficit de confiance
« Dans notre monde hyperconnecté, la confiance numérique est
absolument essentielle.
Cependant, la valeur de la plupart des innovations technologiques
nous est présentée dans une période de méfiance –ce qu’on appelle
un déficit de confiance. »
Dr. Kelly Page, ASU Digital TrustSummit, 17 octobre 2023
35

Ungrading et Specs grading
UNGRADING
Si on enlève la pression des notes, on enlève
aussi l’incitatif à tricher, on remet l’emphase
sur l’apprentissage.
Références : Kohn (2018), Stommel (2023)
SPECS GRADING
En indiquant dès le départ les critères
d’acceptabilité et la note associée, on laisse la
personne étudiante décider de sa note en
fonction de sa motivation dans le cours.
Référence : Mark Serva et al. (2021)
36

Mise en action
37
Inquiétude
Influence
Contrôle
Comment vais-je me tenir à jour ?
À qui dois-je parler ? Comment
bâtir mon argumentaire ?
Que vais-je changer dans ma
pratique ?

Questions, commentaires, contenus ?
MATHIEU PLOURDE
mathieu.plourde@fsa.ulaval.ca
ALEXANDRE LAFLAMME
alexandre.laflamme@cstip.ulaval.ca
/in/mathieuplourde
/in/alexandre-laflamme-3482a796/
38
bit.ly/admee-ia

Ressources additionnelles à explorer
• Vachon-Savary, M.-È. (2023). IA générative et ChatGPT.
https://www.youtube.com/watch?v=SQXlfKfDF_Y
• Plourde, M. (2023). Carte conceptuelle des outils IA.
https://coggle.it/diagram/ZC11CkGwolWecHfm/t/ia-ai
• Lepage, A., & Roy, N. (2023). Une recension des écrits de
1970 à 2022 sur les rôles de l’enseignant et de l’intelligence
artificielle dans le domaine de l’IA en éducation . Médiations
Et médiatisations, (16), 9-29, 30.
https://doi.org/10.52358/mm.vi16.304
• Holmes, W., & Tuomi, I. (2022). State of the art and practice
in AI in education. European Journal of Education,
n/a(n/a). https://doi.org/10.1111/ejed.12533
39

Bibliographie/Médiagraphie
(n.d.).Be My Eyes. RetrievedNovember 6, 2023, from https://www.bemyeyes.com/
(n.d.).GenerativeArtificial Intelligence.University of Michigan. Retrieved November 6, 2023, from https://genai.umich.edu/
(n.d.).StudentGuide for AI Use. AI for Education.RetrievedNovember 6, 2023, from https://www.aiforeducation.io/ai-resources/student-guide-ai-use
[Waymark]. (2023, May 10). The Frost: Part One (AI-generatedfilm) [Video].Youtube. https://www.youtube.com/watch?v=IgPvoPBrlTE
A. F. E. (n.d.).StudentGuide for AI Use. Google Docs. Retrieved November 6, 2023, from https://docs.google.com/presentation/d/1IbEBckhoOPKRWKQovCVL43-552rF4tlK/edit#slide=id.g28cd987cbf7_0_1298
Covey, S. R. (2020). The 7 habitsof highly effectivepeople: powerfullessons in personal change.New York: Simon & Schuster.
Daugherty, P. R., & Wilson, H. J. (2018).
Human+ Machine: ReimaginingWork in the Age of AI. Harvard BusinessReview Press.
Eaton, S. E. (2023, July 12). 6 principesde l’après-plagiatà l’ère de l’IA. Le Collimateur UQAM. Retrieved November 6, 2023, from https://collimateur.uqam.ca/collimateur/6-principes-de-lapres-plagiat-a-lere-de-lia/
Everett, R. M. (2003). Diffusionof Innovations.New York: Free Press.
Gartner, Inc. (2023). Hype Cycle for ArtificialIntelligence[Diagramme].
Gérin-Lajoie, S., Beaupré, J., Contamines, J., Hébert, M.-H. et Paquette-Côté, K. (2020). L’évaluation des apprentissages en 20 questions. Manuscrit non publié. Version Juin 2020.
Kohn, A. (2018). Punishedby Rewards:The Troublewith Gold Stars, IncentivePlans,A’s, Praise, and Other Bribes. Boston: Houghton Mifflin. https://www.alfiekohn.org/punished-rewards/
Liu, D., & Bridgeman, A. (2023, July 12). What to do aboutassessmentsif we can’t out-designor out-runAI? Teaching@Sydney.Retrieved November 6, 2023, from https://educational-
innovation.sydney.edu.au/teaching@sydney/what-to-do-about-assessments-if-we-cant-out-design-or-out-run-ai/
40

Bibliographie/Médiagraphie
Miller, M. (2023). It’s time to rethink “plagiarism” and “cheating”. Ditch that Textbook. https://ditchtthattextbook.com
Mills, A. (2023, October 17). Generative AI Activities for the Writing & Language Classroom. Google Docs. Retrieved November 6, 2023, from
https://docs.google.com/presentation/d/1IbEBckhoOPKRWKQovCVL43-552rF4tlK/edit#slide=id.g28cd987cbf7_0_1298
Munn, Y. (2023). La taxonomie de Bloom revisitée pour un apprentissage significatif à l’ère de l’IA. Le Carrefour UQAM. https://enseigner.uqam.ca
Page, K. (2023, October 17). ASU Digital Trust Summit.
Pires, F. (2023, November 2). Video Game Created Entirely With ChatGPT, DALL
-E 3, and Midjourney. Tom's Hardware. https://www.tomshardware.com/software/video-game-
created-entirely-with-chatgpt-dall-e-3-and-midjourney
Potter, R. (2023). Using AI with Positive Intentionality [Infographique].
Pratschke, B. M. (2023). Generativism: the new hybrid.Computers and Society. https://doi.org/10.48550/arXiv.2309.12468
Serva, M., Convery, A., & Bullough, A. (2021). Motivational Tiered Assessment: A New GradingApproach for MotivatingInformationSystems Students. Communicationsof the Association for
InformationSystems, 49(1), 639–658. https://doi.org/10.17705/1cais.04934
Stommel, J. (2023, April 6). What is Ungrading?: A Q&A. https://www.jessestommel.com/what-is-ungrading/
Verma, P. (2023, August 13). Professors have a summer assignment: Prevent ChatGPT chaos in the fall. WashingtonPost. https://www.washingtonpost.com/technology/2023/08/13/ai-chatgpt-
chatbots-college-cheating/
Visual Storytelling Team &Murgia, M. (2023, September 12). Generative AI exists because of the transformer. Financial Times. https://ig.ft.com/generative-ai/
41

L’évaluation universitaire à l’ère de l’IA : défis et opportunités

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à L’évaluation universitaire à l’ère de l’IA : défis et opportunités

Similaire à L’évaluation universitaire à l’ère de l’IA : défis et opportunités (7)

Plus de Mathieu Plourde

Plus de Mathieu Plourde (20)

Dernier

Dernier (20)

L’évaluation universitaire à l’ère de l’IA : défis et opportunités