L’enseignement est une association d’activités complexes, notamment la planification, la recherche de contenus, l’enseignement, la préparation de travaux et d’examens, l’accompagnement et la correction. De telles responsabilités peuvent engendrer une grande charge de travail pour les personnes enseignantes. Cependant, l’usage de certains outils peut permettre de réaliser des tâches plus rapidement, laissant alors plus de temps à la personne enseignante pour d’autres activités telles que l’accompagnement des personnes étudiantes. L’usage d’outils d’intelligence artificielle en est un bon exemple, notamment dans le domaine de l’évaluation (University of Melbourne, 2024).

Dans ce dossier thématique, nous nous penchons sur l’utilisation de l’IA générative dans la création d’outils d’évaluation.

Quel outil d’intelligence artificielle choisir?

Les outils d’IA générative sont nombreux et diversifiés et l’UQAC ne limite pas l’utilisation à un outil particulier, vous laissant le choix selon vos besoins. Pour vous guider dans cette réflexion, le Carrefour de l’enseignement et de l’apprentissage vous propose des fiches descriptives sur différents outils d’IA. En tenant compte de vos objectifs, de vos attentes et des principes de l’institution, notamment en matière de protection, de propriété et d’hébergement des données, vous serez certainement en mesure de faire un choix éclairé. 

Une fois l’outil choisi, vous pourrez explorer ses nombreuses applications : création de contenu, planification de séances, ou encore accompagnement dans la production d’outils d’évaluation, ce dernier aspect étant au cœur de ce dossier thématique.

Les outils d’IA générative (IAg) offrent de nombreuses possibilités et sont aujourd’hui largement accessibles. Cependant, toutes les personnes qui les utilisent n’obtiennent pas toujours les résultats escomptés. Ces différences s’expliquent par la nécessité de formuler des invites (prompts) suffisamment claires et précises pour que l’IAg produise un contenu pertinent. Le projet LiteratIA propose une vidéo pour vous aider à améliorer vos questions posées à ChatGPT en structurant le contexte afin d’obtenir des réponses plus précises. Aussi, les suggestions ci-dessous illustrent des exemples d’invites claires et spécifiques permettant d’obtenir des réponses optimales de l’IA générative.

Attention

Selon l’IAg utilisée et la date de son utilisation, il se peut que les réponses obtenues diffèrent ou que des adaptations doivent être effectuées pour arriver aux résultats escomptés.

Utiliser l’IAg pour créer des questions à intégrer dans Moodle ou Wooclap

Si vous souhaitez utiliser l’IAg pour créer des questionnaires à choix multiples (QCM) que vous pourrez ensuite exporter dans Moodle ou Wooclap, vous devez utiliser une invite qui explicitera clairement votre intention. De plus, pour que les QCM produites répondent à vos besoins, vous devez partager vos attentes de manière détaillée. 

Les échanges entre la personne utilisatrice et l’outil d’intelligence artificielle générative suit généralement une certaine logique. Dans le cas de la création de QCM, on peut s’attendre à la séquence suivante : 

  1. La personne utilisatrice soumet une invite à l’IAg;
  2. L’IAg répond en indiquant qu’elle attend un texte;
  3. La personne utilisatrice soumet un texte à l’IAg;
  4. L’IAg produit les questions dans le format décrit par la personne utilisatrice.

Voici un exemple d’échanges entre une personne et ChatGPT :

Génère 2 questions à choix multiples, à sélection unique. Chaque question contient 4 possibilités de réponses dont une seule est indéniablement vraie. Les autres étant indéniablement fausses, mais plausibles. Je veux que le résultat soit dans un format XML pouvant être importé dans Moodle. Attends que je te donne un texte avant de procéder.

Il est possible de constater que les questions ayant été générées contiennent du code informatique. C’est grâce à ce format que vous pourrez exporter le résultat de votre requête dans Moodle.

Ainsi, lorsque les questions générées vous conviendront, vous devrez enregistrer la sortie dans un fichier texte (NotePad ou TextEdit) avec l’extension XML. Si demandé, vous devez choisir UTF-8.

Importer le QCM produit par l’IAg dans la banque de questions de Moodle

Lorsque les QCM ont été extraites, il sera possible de les importer dans la plateforme Moodle. 

Télécharger la procédure →

Les QCM générées par l’IAg sont désormais dans votre banque de questions. Lorsque ceci est fait, vous pourrez les exporter dans Wooclap.

Importer des questions Moodle dans Wooclap

Lorsque les QCM ont été extraites, il sera possible de les importer dans la plateforme Wooclap.

Télécharger la procédure →

Analyser ses questions à choix multiples (QCM) à l’aide de l’IAg

Les outils d’intelligence artificielle générative peuvent permettre de simplifier  la tâche des personnes enseignantes en réalisant une première analyse des questions à choix multiples. Toutefois, rien n’est à prendre pour acquis : l’humain se doit de toujours être le dernier maillon de la chaîne lorsque l’on crée avec l’IA puisque c’est le seul doté de capacités d’analyse et de jugement (Direction de l’apprentissage et de l’innovation pédagogique, 2024; Peters, 2024). 

Ainsi, si vous utilisez l’IAg pour analyser des QCM, vous pouvez: 

  1. Analyser des énoncés
  2. Analyser des choix de réponses proposés.
Étape 1- Vérification des énoncés

Dans le but de faciliter la démarche, nous vous proposons une invite qu’il vous sera possible de copier et de coller dans l’outil d’IAg de votre choix. Prenez en considération que vous devrez peut-être y apporter des modifications en fonction de vos besoins personnels ou des résultats générés par l’IAg.

Pour vérifier l’énoncé d’une QCM, vous pouvez utiliser l’invite suivante:

  1. Proposer des phrases syntaxiquement correctes.
  2. Écrire les énoncés sans termes vagues ou indices qui facilitent ou oriente vers la réponse.
  3. Présenter clairement un problème dans l’énoncé sous forme d’une affirmation ou d’une question contenant au moins un verbe.
  4. Rédiger l’énoncé de façon la plus concise possible et inclure les éléments essentiels à sa compréhension.
  5. Soumettre une seule notion par item à la réflexion de la personne étudiante.
  6. Formuler l’énoncé sans demander un jugement de valeur ni une appréciation de la personne étudiante.
  7. Formuler l’énoncé de telle sorte qu’il y ait seulement une réponse bonne possible. 
  8. Regrouper dans l’énoncé, les éléments communs aux solutions proposées.
  9. Éviter de formuler des énoncés dont les réponses sont basées sur des détails insignifiants.
  10. Termes à éviter dans les énoncés: Des adverbes qui expriment une généralisation trop absolue pour être correcte comme: tous, toujours, invariablement, aucun, jamais, rien, systématiquement, totalement, absolument. Les énoncés qui les contiennent sont plus probablement faux; des adverbes qui expriment une restriction comme: au contraire, des termes tels que habituellement, souvent, généralement, parfois, quelquefois, quelques, la plupart, certains. Les énoncés qui les contiennent sont, quant à elles, plus probablement vraies; Des expressions ambiguës telles que : fréquemment, grandement, en règle générale, probablement, à un haut degré, souvent, etc. Les énoncés qui les contiennent sont plutôt ambiguës. 

Attends que je te pose une question avant de procéder.

Après m’avoir donné ta réponse, demande à analyser une autre question.

Étape 2 – vérification des solutions proposées

Toujours dans le but de faciliter l’utilisation de l’outil d’IAg de votre choix dans ce contexte, nous vous proposons une invite que vous pouvez copier et coller. Il vous est possible de la modifier en fonction de vos besoins et selon les résultats que vous obtiendrez.

Pour vérifier les solutions proposées d’une QCM, vous pouvez utiliser l’invite suivante:

Je te demande de vérifier les énoncés proposés d’une QCM et de proposer des reformulations. Utilise les règles suivantes: 

  1. Éviter les termes « absolus » et « restrictifs »;
  2. Assurer l’exactitude de la solution correcte: La (ou les) bonne(s) réponse(s) est (sont) incontestablement exacte(s);
  3. Garantir l’homogénéité des solutions proposées: La solution correcte ne doit pas être systématiquement plus longue, ni plus explicite, ni plus complète, ni mieux construite que les autres solutions;
  4. Renforcer la crédibilité des distracteurs: Les distracteurs doivent être plausibles, mais incontestablement faux. Ils devraient également présenter la même probabilité d’être choisis (éviter les réponses par élimination);
  5. S’assurer de l’indépendance syntaxique: Les solutions proposées ne peuvent être liées les unes aux autres par des expressions du type : au contraire, en plus, etc.;
  6. S’assurer de l’indépendance sémantique: Il faut éviter que des  solutions proposées ne soient synonymes ou imbriquées, mais aussi qu’elles ne s’excluent mutuellement. Deux propositions qui se contredisent ne peuvent être toutes les deux correctes, ce qui réduit le nombre de leurres réels;
  7. Éviter de répéter dans les solutions correctes des termes identiques à ceux de l’énoncé;
  8. Présenter les solutions proposées dans un ordre logique;
  9. S’assurer que la position de la solution correcte n’est pas toujours la même;
  10. Utiliser le même degré de technicité du vocabulaire dans toutes les solutions proposées;
  11. Certains termes sont à éviter: tous, toujours, jamais, aucun, rien, systématiquement.

Attends que je te pose une question avant de procéder.

Après m’avoir donné ta réponse, demande à analyser une autre question.

En suivant ces étapes, vous avez sûrement été en mesure de repérer certaines incohérences ou certains éléments à modifier dans les QCM. N’oubliez pas de vérifier vous même le produit de cette démarche : bien que les outils d’IAg soient assez perfectionnés, ils ne sont pas parfaits et peuvent laisser passer des erreurs. La vigilance demeure de mise et une relecture s’avère nécessaire avant le partage des contenus générés.

Créer une grille d’évaluation à échelle descriptive en utilisant l’IAg

Les outils d’intelligence artificielle générative peuvent non seulement nous aider à créer des questionnaires et des exercices, mais ils peuvent également nous aiguiller dans la création d’outils de correction, notamment en ce qui concerne les grilles d’évaluation à échelle descriptive.

Les grilles d’évaluation à échelle descriptive permettent de porter un jugement évaluatif sur un produit, un processus ou un propos, tout en en facilitant la rétroaction et en favorisant l’autoévaluation des étudiant(e)s. Elles permettent d’encadrer la subjectivité inhérente à la tâche d’évaluation.

Créer une grille d’évaluation à échelle descriptive est un processus qui peut s’avérer complexe et exigeant. Cela peut prendre un certain temps et nécessiter des ajustements réguliers. En revanche, malgré sa complexité, cet exercice peut s’avérer extrêmement utile dans le cadre d’une stratégie d’évaluation notamment pour évaluer des travaux longs, des présentations orales, des rapports de laboratoire, des analyses de cas, etc. En résumé, il est important de prendre le temps nécessaire pour créer une grille d’évaluation précise et adaptée à la situation afin de maximiser les bénéfices de ce processus.

Afin de faciliter la création d’une telle grille, il est possible d’utiliser les IAg. Pour ce faire, il est conseillé de donner quelques informations importantes à l’outil avant de débuter. Nous vous suggérons donc d’avoir en tête une idée bien définie de vos attentes par rapport à la grille de correction. Par la suite, vous pourrez utiliser les outils d’IAg pour vous soutenir dans la création de votre outil.

Partie 1 : Élaborer les critères d’évaluation et les indicateurs

La création d’une grille de correction exige une grande précision : il faut que les personnes étudiantes soient en mesure de bien comprendre les éléments sur lesquels elles seront évaluées. Ainsi, pour que l’outil d’intelligence artificielle générative puisse créer des grilles qui répondent à vos attentes, il sera nécessaire de lui soumettre des consignes très précises. Pour vous aider dans ce processus, vous pouvez utiliser l’invite suivante:

Voici les 5 étapes pour élaborer une grille d’évaluation à échelle descriptive : 1. Cerner et formuler les critères d’évaluation; 2. Établir les indicateurs pour chaque critère; 3. Déterminer le nombre de niveaux de performance et les nommer; 4. Rédiger les descripteurs pour chacun des critères; 5. Déterminer le nombre de points pour chaque niveau et le seuil de réussite. Déterminer aussi la méthode de calcul (la moyenne, l’addition de chaque ligne, etc.).

Concernant l’étape 1 : 

  • Entre 3 et 6 critères; 
  • Les critères sont en lien avec les objectifs d’apprentissage;
  • Les critères sont formulés à la positive;
  • Les critères cherchent à évaluer le travail et non l’étudiant (éviter la formulation “l’étudiant sera capable de…”);
  • Il y a indépendance entre les critères;
  • Les critères peuvent permettent d’évaluer les 3P (processus, propos, produit);
  • Les critères doivent idéalement commencer par un nom;
  • Les critères d’évaluation devraient toujours comporter une ou des qualités en lien avec le processus, le produit ou le propos. Afin de faire ressortir les qualités, il est suggéré de les mettre en italique ou en gras; 
  • Les critères ne devraient pas comprendre les termes « capacité de »;
  • Les critères ne sont pas des phrases complètes, ils contiennent quelques mots importants (objet et qualité).

Concernant l’étape 2 : 

  • Les indicateurs sont les éléments observables de chaque critère. C’est ce qui permet de mesurer ou d’observer la ou les qualité(s) attendue(s) d’un critère; 
  • Les indicateurs concernent le travail et non l’étudiant (éviter la formulation « l’étudiant sera capable de…»).

Attends ma consigne pour la suite.

Rédige des critères d’évaluation et les indicateurs qui me permettront d’évaluer ce travail. Pour chaque critère élaboré, précise s’il évalue le propos, le processus ou le produit. [Insérer l’énoncé de travail]

Plusieurs exemples de devis de travaux sont disponibles ici et pourront inspirer dans la création d’un travail.  

Une fois les critères d’évaluation et les indicateurs bien formulés, il vous sera possible d’aller encore plus loin dans la création de la grille, notamment en demandant à l’IAg de générer les descripteurs pour chacun des critères.

Partie 2 : Rédiger les descripteurs pour chacun des critères

Avant de rédiger les descripteurs, il faut choisir le nombre de niveaux de performance et les nommer. Il est suggéré de choisir entre 3 et 6 niveaux de développement et qu’ils soient les mêmes pour tous les critères.

Exemples de niveaux selon Leroux et ses collaborateurs (2015) : 

  • Débutant | novice | Intermédiaire | compétent | Maître | Expert
  •  Non observable | Émergent | En progression | Révélateur | Manifeste
  •  Très peu développé | Peu développé | Acceptable | Assuré | Marqué
  •  À développer | En développement | Développement assuré | Au-delà des attentes
  •  Insuffisant | Minimal | Moyen | Supérieur
  •  En deçà de la compétence | Compétent | Au-delà de la compétence
  •  Faible | Moyen | Élevé

Une fois cette étape faite, il est possible d’utiliser l’invite suivante pour que l’IAg propose des descripteurs pour les critères :

Je continue le travail d’élaboration d’une grille d’évaluation à échelle descriptive. J’ai choisi les niveaux suivants à l’étape 3 : [insérer ici les niveaux de développement souhaités]

Attends ma consigne pour la suite.

Concernant l’étape 4 : 

  • Il faut rédiger un descripteur par niveau;
  • Il faut faire une ligne de descripteurs par critère;  
  • Il est suggéré de commencer par le plus haut niveau;
  • Les descripteurs doivent être qualitatifs et concerner le travail et non l’étudiant (éviter la formulation : l’étudiant …); 
  • Les descripteurs doivent faire ressortir la progression des apprentissages entre les différents niveaux.

Propose des descripteurs pour les critères sélectionnés. Donne le résultat dans un tableau avec une colonne les critères, une colonne pour les indicateurs et une colonne par descripteur. 

Certaines version payantes permettent de télécharger un document Word directement.

Les descripteurs étant maintenant bien définis, vous pourrez créer un document de travail pour compléter la grille vous-même.

Partie 3 : Finaliser la grille

L’outil d’IAg vous a permis de créer un canevas de base pour votre grille d’évaluation à échelle descriptive.  Celle-ci peut maintenant être copiée et collée dans un document Word, ce qui facilitera le reste des étapes. 

Pour compléter votre grille, vous devez déterminer le nombre de points que vous accorderez à chaque niveau ainsi que le seuil de réussite. Ces informations devraient être ajoutées à la grille. Il faut aussi déterminer la méthode de calcul (la moyenne, l’addition de chaque ligne, etc.).

Il est aussi suggéré de procéder à la mise en forme de la grille afin de s’assurer de la facilité de son utilisation. Il est également conseillé de faire lire la version finale à une personne externe pour s’assurer de la compréhension de la grille. 

Il peut être intéressant de peaufiner la grille avec une personne conseillère pédagogique.

Pour prendre rendez-vous

L’humain doit être le dernier maillon de la chaîne puisque c’est lui qui a les capacités d’analyse, de jugement et d’opinion.

Martine Peters

(Direction de l’apprentissage et de l’innovation pédagogique, 2024)

L’IA au profit de l’évaluation : qu’en est-il de la correction?

ATTENTION

Certains outils d’intelligence artificielle libres d’accès peuvent offrir la possibilité de corriger rapidement les travaux des personnes étudiantes. Par contre, les enjeux éthiques liés à cette pratique sont importants : est-ce une pratique conforme aux principes d’éthique en éducation que de laisser une machine attribuer une note? La personne enseignante serait-elle en mesure de justifier la note grâce à ses propres observations et en fonction des critères d’évaluation qu’elle a elle-même établis? Il faut également prendre en considération les enjeux légaux puisque les travaux produits par les personnes étudiantes leurs appartiennent : il s’agit de leur propriété intellectuelle et il est nécessaire d’avoir leur consentement pour les partager dans les outils d’IA (Direction de l’apprentissage et de l’innovation pédagogique, 2024; University of Toronto, 2023).

Aussi, Martine Peters, dans un article de la Direction de l’apprentissage et de l’innovation pédagogique (2024), mentionne que l’évaluation se doit d’être réalisée par la personne enseignante puisque c’est la seule ayant la capacité d’analyse permettant d’offrir des rétroactions étoffées et réellement adaptées aux capacités des personnes étudiantes d’un groupe. De plus, la chercheure mentionne que la personne enseignante est la seule qui sera réellement en mesure de constater l’évolution des individus et de réaliser des interventions en fonction des observations réalisées tant lors de la correction des travaux qu’en classe.

 

Pour citer ce dossier thématique :
Carrefour de l’enseignement et de l’apprentissage. (2024). L’intelligence artificielle: un outil d’accompagnement dans la production de matériel d’évaluation formative. Carrefour de l’enseignement et de l’apprentissage de l’UQAC. https://www.uqac.ca/carrefour/ia_outil_eval_form/

 

Pour aller plus loin
Références

Bakaras, A. (2023). ChatGPT- Un (puissant) outil de plus à notre disposition. Eductive. https://eductive.ca/ressource/chatgpt-un-puissant-outil-de-plus-a-notre-disposition/ 

Direction de l’apprentissage et de l’innovation pédagogique. (2024). IA… Pour intégrité académique. HEC Montréal. https://enseigner.hec.ca/ia-pour-integrite-academique/ 

Leroux, J. L., Groupe de recherche en évaluation des apprentissages au collégial et Association québécoise de pédagogie collégiale. (2015). Évaluer les compétences au collégial et à l’université : un guide pratique. Association québécoise de pédagogie collégiale. 

University of Melbourne. (2024). Using AI to enhance assessment. Assessment, AI and Academic Integrity. https://melbourne-cshe.unimelb.edu.au/ai-aai/home/ai-assessment/using-ai-to-enhance-assessment 

University of Toronto. (2023). Generative Artificial Intelligence in the Classroom: FAQ’s. Office of the Vice-Provost. https://www.viceprovostundergrad.utoronto.ca/16072-2/teaching-initiatives/generative-artificial-intelligence/