Ce n’est pas instinctif comme réalisation, mais c’est pourtant vrai. L’IA ne donne pas toujours la meilleure réponse possible. Elle donne souvent la plus facile ou la plus rapide pour elle. L’IA prend des raccourcis qui compromettent la qualité des réponses à vos requêtes ou vos questions. C’est important de le savoir et de le comprendre. Ça change toute notre perspective d’utilisation de l’IA. À tout le moins, ça le change tout pour moi comme enseignant et chercheur…
Voici un exemple qui pourrait vous faire réfléchir! (En même temps, c’est un bon exemple d’utilisation de stratégies de « prompting » ou d’ingénierie de la requête qui permettent d’aller plus loin avec l’IA!)
Posons le contexte…
J’ai pris une pause de ce que je faisais depuis 36 heures (alternance entre des réunions et relecture d’un mémoire) pour me changer les idées et commencer à préparer le matériel pour le cours de maitrise que je donnerai à l’automne. Il s’agit d’un sujet spécial sur l’IA qui a pour objectif principal de
permettre à chaque étudiant de réfléchir à la place que l’IA doit prendre en éducation et en recherche afin de clarifier sa posture personnelle.
Plus spécifiquement, les étudiants qui choisiront de suivre mon cours devront:
Apprendre à utiliser divers outils d’intelligence artificielle (IA) choisis par l’enseignant;
Explorer plusieurs enjeux associés à la montée de l’usage de l’IA en éducation;
Expérimenter l’IA en tant qu’outil d’aide à la pratique, à la recherche, à l’analyse, à la réflexion et plus encore;
Se positionner par rapport à la place à accorder à l’IA en recherche.
En début de session, je veux leur faire découvrir des stratégies ou des conseils à appliquer pour formuler de meilleurs prompts et pour mieux utiliser l’IA. Comme je ne sais pas à quel niveau ils sont au départ et qu’ils auront à utiliser des outils d’intelligence artificielle de manière intensive dans le cadre du cours et à se positionner à ce sujet, ça me semble fondamental.
Si vous avez lu mes derniers billets, vous savez que le « prompting » est un sujet auquel je réfléchi assez régulièrement. Je me sentais capable de rédiger par moi-même un guide avancé ou une série de conseils, mais j’ai décidé d’utiliser l’un de mes assistants. Cette fois, j’ai exclusivement travaillé avec Gemini. Pourquoi? Aucune raison. Copilot (mon autre assistant) aurait aussi bien convenu pour cette tâche.
Commençons par une erreur que j’aurais dû être capable d’éviter…
J’ai commencé par un prompt assez complet en deux parties principales. Je décrivais d’abords le contexte: Cours de maitrise, étudiants gradués qui ne sont pas experts en recherche ni en IA. Je lui ai rappelé qu’il avait contribué à la réflexion entourant la rédaction du plan de cours et la préparation de certains éléments d’évaluation.
Contexte: Je donne un cours de maitrise à propos de l'utilisation de l'IA en recherche l'automne prochain. Les participants seront des étudiants gradués en sciences de l’éducation. Certains sont enseignants ou conseillers pédagogiques. Tu m'as d'ailleurs aidé à réfléchir et à formuler le plan de cours et certains éléments liés à l'évaluation. Le premier élément important dans ce cours sera pour eux d’apprendre à formuler de bons prompts.La seconde partie du prompt décrivait la tâche à faire. Elle la présentait globalement d’abord, puis détaillait les étapes que je voulais qu’il suive.
Tâche : tu vas m’aider à formule une liste de conseils pour formuler de bons prompts. Les conseils doivent être appuyés par des exemples. Il faut les présenter en ordre de croissance, du plus basic au plus complexe. Comme c’est un cours de maitrise et que les attentes à la fin du cours sont élevées, les conseils doivent couvrir le très simple jusqu’au très complexe. Dresse d’abord une liste de conseils pour débutants appuyé par une série d’exemples. Bonifie ensuite cette liste de conseil en pensant à un utilisateur expérimenté, toujours en ajoutant des exemples. Finalement, élabore une troisième liste pour le niveau expert.Il y avait plusieurs bonnes choses dans ce prompt de départ, mais dès que j’ai vu sa réponse apparaître, j’ai su que je venais de faire une erreur de « presque débutant »! D’abord, je ne lui avais pas assigner de persona ou de rôle. Ensuite, le format de sortie n’était pas très précis. J’avais bien implanté une stratégie inspirée par la chaîne de pensée (Chain-of-Thought), mais je n’avais pas pensé à ajouter de la place pour qu’il me questionne ou me demande des précisions AVANT de commencer. Conséquemment, à aucun point il n’allait inverser les rôles et prendre un peu de contrôle sur le processus. Je n’avais pas non plus défini les fondements et le cadre théorique, il avait donc utilisé ses « croyances » ou ses présupposés sans que je puisse orienter le tout.
La réponse de l’IA était bonne. Assez pour que je réalise en trois secondes que j’avais mal utilisé mon assistant. Elle respectait la structure à trois niveaux que j’avais demandé et les conseils étaient de bons conseils. La preuve? J’ai tout de suite réalisé que j’avais mal travaillé!
Mais était-ce une excellente réponse? Était-ce la meilleure que l’IA pouvait me fournir?
Non!
Temps de réellement exploiter les capacités de mon assistant!
Et je me suis remis au travail.
J’ai ouvert Word et j’ai copié mon premier prompt pour le modifier.
J’ai d’abord annoncé à Gemini que l’on recommençait (dans la même conversation) et j’ai ajouté un persona.
On va recommencer et je vais utiliser certaines des stratégies que tu proposes et que j’ai oublié de mettre en pratique.Persona : Je veux que tu joues le rôle d’un expert IA ou d’un consultant très compétent en rédaction de requêtes pour IA.J’ai ensuite poser le contexte. Pas de changements ici. Ça me semblait suffisant.
Pour la tâche, le début est identique: une description globale de la tâche et du produit attendu. Pour la suite, tout change!! J’ai en effet choisi lui dire ce qui était important pour moi et de forcer une certaine posture en lui indiquant que, dans le contexte, l’esprit critique, le soucis des biais et du positionnement théorique sont très importants. Ensuite, je ne voulais pas qu’il se lance tout de suite dans la production mais plutôt qu’il me questionne pour aller chercher toutes les informations qu’il juge utiles pour réussir la tâche en lui précisant bien d’attendre ma réponse après chaque question.
Tâche : tu vas m’aider à formuler une liste de conseils pour formuler de bons prompt. Les conseils doivent être appuyés par des exemples. Il faut les présenter en ordre de croissance, du plus basic au plus complexe. À la fin, j’aimerais proposer à mes étudiants une progression de conseils qu’ils pourront expérimenter et ajouter à leur bagage de compétences au fil du trimestre. Comme c’est un cours de maitrise et que les attentes à la fin du cours sont élevées, les conseils doivent couvrir le très simple jusqu’au très complexes. Comme ce sont tous d’aspirants chercheurs, l’esprit critique est important, le soucis des biais et du positionnement théorique aussi. Ne génère pas la liste tout de suite. Tu vas me poser toutes les questions utiles à la conception de la liste qui conviennent à mon cours. Chaque fois que tu me poseras une question, attends la réponse avant de passer à l’étape suivante. Gemini m’a ensuite posé trois questions…
Il m’a d’abord amené à préciser le type d’outils et de données que nous allions manipulés. Je lui ai expliqué que nous utiliserons Notebook LM (un RAG et un LLM) et des outils comme Consensus et Scopus AI (outil pour fouiller des base de données bibliographiques et des LLM).
Gemini voulait ensuite savoir dans quelle mesure il était important pour moi que les conseils intègrent explicitement des théories ou des cadres conceptuels propres aux sciences de l’éducation ou si je voulais que les conseils guident les étudiants pour qu’ils soient en mesure d’introduire eux-mêmes les cadres théoriques souhaités dans des prompts? J’ai choisi la seconde option. Considérant mes objectifs pédagogiques et l’hétérogénéité des étudiants, c’était la seule vraie option selon moi.
La question suivante m’a forcé à préciser la place que je voulais accorder à la détection des biais des modèles eux-mêmes ou à la vérification de la représentativité des sources trouvées ? Je lui ai indiqué que c’était très important en citant quelques petits scandales récents en recherche liés à l’utilisation de l’IA.
Et c’est tout!
Ensuite il s’est lancé dans une assez longue réflexion (pour lui) et m’a proposé une série de conseils présentée en 3 niveaux, avec des exemples. Surtout, cette liste de conseils est bien mieux adaptée à mon cours!
Au final, j’ai changé cinq lignes… Que cinq lignes… Mais le résultats était très différent!
Mais ce n’est pas encore ma preuve que l’IA ne nous donne pas toujours la meilleure réponse possible!
L’étape la plus importante!
En vérité, je n’ai même pas lu la réponse de l’IA quand il me l’a affichée. Pendant qu’il travaillait, j’étais déjà à la tâche en train de rédiger mon prochain prompt. Je voulais le forcer à faire une analyse comparative de ses deux propositions. Dans un premier temps, il devait isoler les différences et m’expliquer ce qui a forcé ces changements. Dans un deuxième temps, il devait isoler les constantes (ce qui ne changeait pas) et m’expliquer pourquoi.
Gemini m’a alors, entre autres, expliqué qu’il avait décidé de s’inspirer de Bloom… Je ne lui avais pourtant pas demandé de le faire… Alors pourquoi?
Sa réponse est presque choquante!
Il a choisi Bloom parce que c’est un cadre fréquent dès que l’on parle d’éducation et de niveau ou de progression. Ensuite, Gemini m’a expliqué que c’est un cadre simple et structurant. C’était un « déclenchement automatique ». Dans ses propres mots:
C’était le choix de la facilité : un cadre passe-partout.
Ce n’était donc pas la meilleure réponse qu’il pouvait me donner. C’était la réponse la plus facile…
Avez-vous déjà devinez la suite?
La suite? Elle est évidente…
Quelles autres alternatives aurais-tu pu considérer (au moins 2 alternatives) et pourquoi ces alternatives auraient peut-être été de meilleures alternatives?À partir du moment où Gemini expliquait avoir fait le choix de la facilité, je voulais savoir quel aurait été le choix de la qualité!
Il m’a offert trois choix. Lui en préfère deux, mais le troisième est aussi très bon selon lui.
1. Le modèle des quadrants de la littératie numérique de Sharpe et Beetham
Ce modèle décrit comment un étudiant s’approprie les technologies en enseignement supérieur à travers quatre étapes progressives : Accès (avoir les outils) – Compétences (savoir les utiliser) – Pratiques (les intégrer dans ses tâches) – Identité (se définir à travers et avec l’outil).
- Pourquoi c’eût été une meilleure alternative : Au lieu de mesurer la complexité de la tâche (Bloom), on mesure l’intégration de l’IA dans l’identité de chercheur de l’étudiant.
- Le niveau 1 devient l’acquisition des compétences techniques.
- Le niveau 2 devient la modification des pratiques de recherche (dialoguer, tester des hypothèses).
- Le niveau 3 devient le positionnement critique et épistémologique, où l’étudiant développe sa propre éthique et son identité de chercheur à l’ère de l’IA.
2. La théorie de l’instrumentation de Pierre Rabardel
Rabardel distingue l’artefact (l’outil technologique brut, le LLM) et l’instrument (l’artefact combiné avec les schèmes d’utilisation développés par l’humain). La progression repose sur l’instrumentalisation (le sujet adapte l’outil à ses besoins) et l’instrumentation (l’outil transforme les structures cognitives du sujet).
- Pourquoi c’eût été une meilleure alternative : C’est le cœur même de ce que vous vivez et de ce que vous voulez leur transmettre (« sauter des étapes »).
- Le niveau 1 serait l’instrumentalisation de base (utiliser l’IA pour ce qu’elle sait faire).
- Le niveau 2 et 3 montreraient comment le dialogue avec l’IA transforme la structure de pensée de l’étudiant, le forçant à devenir plus critique, à mieux problématiser et à affiner ses concepts. On sort de la simple technique pour aller vers la métacognition.
3. La matrice de la pensée critique de Paul et Elder
Ce modèle académique décompose la pensée critique en éléments universels (but, question, information, concepts, postulats, implications) et en critères de qualité (clarté, précision, rigueur, profondeur, étendue, logique).
- Pourquoi c’eût été une meilleure alternative : C’est l’option idéale pour répondre à votre postulat fondateur sur la vigilance face aux biais. Au lieu de structurer les prompts selon la complexité informatique, on les aurait structurés selon les exigences de la pensée critique.
- Le niveau 1 aurait visé la clarté et la précision des données extraites de NotebookLM.
- Le niveau 2 aurait visé l’exploration des postulats et des points de vue alternatifs (l’avocat du diable).
- Le niveau 3 aurait ciblé la profondeur et la logique du croisement théorique et la détection des biais du modèle.
Et c’est là que j’en suis…
Je dois choisir, avant de lui demander de recommencer sa liste de conseils!
Selon vous, lequel produira la meilleure liste de conseils pour mon cours?