À la recherche du prompt parfait?

Depuis 3 ans, l’IA occupe beaucoup de mon temps professionnel. Facebook me rappelait d’ailleurs récemment qu’il y a trois ans, l’équipe du Carrefour de l’enseignement et de l’apprentissage de l’UQAC et moi organisions justement le colloque IA vs IA – Intégrité académique et intelligence artificielle. Suivez le lien pour consulter les traces de ce colloque. Elles sont nombreuses et très intéressantes!

Améliorer mes prompts

J’utilise évidemment l’IA pour tous les aspects de ma tâche de professeur d’université, mais je passe aussi beaucoup de temps à réfléchir et à me renseigner sur son fonctionnement et son usage. Je m’intéresse évidemment à tout ce qui peut m’aider à mieux l’utiliser, mais aussi aux questions de l’utilité de l’IA en recherche et à sa place en enseignement.

Récemment (voir entre autres ces billets: 1 et 2) , j’essais de faire le point sur mes compétences et sur mes usages dans le but de m’améliorer. Je suis plus conscient que jamais de son potentiel et, donc, même si je crois être un bon utilisateur qui arrive généralement à ses fins avec l’IA, je réalise pleinement la limite de ma compétence…

Je ne cherche pas vraiment le prompt parfait. Je ne crois d’ailleurs même pas qu’il existe. Ce qui existe cependant, c’est des stratégies qui garantissent une meilleure efficacité avec l’IA et des stratégies qui me permettent quotidiennement de l’exploiter comme un tremplin…

Cependant, voyez vous, j’aspire à beaucoup plus! Je crois plus que jamais à la nécessité de l’hypercompétence!

Selon la métaphore de Dyens (lien vers l’article original), j’aspire à devenir un virtuose capable de jouer quotidiennement de ce Stradivarius et d’en extraire les notes les plus claires qui soient et les plus extraordinaires vibrations…

Ma dernière petite expérimentation…

Cette semaine, Isabelle, une conseillère pédagonumérique du CSS de la Jonquière, a partagé avec les autres conseillers pédagonumériques du CSS et moi une expérience récente. Elle avait composé un prompt dans lequel elle demandait à l’IA de l’évaluer, ni plus, ni moins, et de dresser son portrait en tant qu’utilisatrice de l’IA. Son objectif était d’avoir un regard externe sur son utilisation de l’intelligence artificielle.

L’idée est fort intéressante pour quelqu’un qui veut développer sa compétence IA et qui cherche, à défaut du prompt parfait, à apprendre à faire les meilleurs prompts possibles!

Je me suis donc inspiré de son prompt pour composer le mien que j’ai ensuite soumis à mes IA (nommément: Copilot de Microsoft en version Premium et Gemini de Google en version pro). Ce que j’ai appris m’inspire plusieurs réflexions… Je vous recommande d’en faire l’exercice (au minimum vous réaliserez tout ce que l’IA sait à votre sujet!)

Voici d’abord mon prompt (version Copilot). Il est loin d’être parfait, mais ça a fonctionné assez bien pour moi. Une prochaine fois, je mettrai probablement un peu d’ordre dans sa tâche… Et je dois aussi vous précisez que j’ai utilisé la fonction « Analyste » et OPUS comme LLM.

Tu vas prendre le rôle d’un universitaire expert en IA qui comprend très bien ton fonctionnement interne.
Ma question: Relativement à mon utilisation de Copilot, que devrais-je arrêter de faire, continuer de faire ou ajuster pour devenir un utilisateur éthique, critique et expert?
Mon objectif: Je veux m’améliorer et optimiser mon utilisation de l’IAg.
Ta tâche:
* Analyse mon utilisation de Copilot à partir des traces observables de nos échanges antérieures.
* Observe les types de demandes que je fais, comment je formule mes requêtes, les objets produits, les patterns dans mes requêtes et les itérations et répétitions. Prends en compte les moments où je te consulte, comment je reformule ou je réponds à tes interrogations et demande d’éclaircissement, ce que je te confie et ce que je semble retenir.
* Tente de déduire mes hypothèses et biais implicites pour les prendre en compte.
* Dresse ensuite un portrait complet et approfondi de mon profil d’utilisateur de Copilot — sans flatterie, sans généralités, sans réponse suggérée à l’avance.
* Détermine mes forces et mes faiblesses.
* Présente moi un portrait détaillé et appuyé par des exemples concret.
* Termine par une série de 5 suggestions (avec des exemples) susceptibles de m’aider à devenir un meilleur utilisateur de l’IAg.

La première chose que j’ai apprise…

J’ai d’abord appris qu’involontairement je n’utilisais souvent pas mes deux IA de la même manière ou avec les mêmes objectifs. J’ai, par exemple, plus souvent tendance à utiliser Gemini comme un super outil de recherche que je le fais avec Copilot. Gemini m’a carrément recommandé d’arrêter de

Demander à l'IA de l'information sur des sujets académiques ultra-spécifiques ou locaux sans lui donner les documents sources.

Il m’a donné des exemples de conversations dans lesquelles j’avais fais cela, entre autres pour explorer des théories que je ne connaissais pas et déterminer si je voulais aller plus loin dans ma recherche. Il m’a plutôt recommander d’

Adopter une approche de type RAG (Retrieval-Augmented Generation) manuelle. Fournissez le texte, les biographies ou les organigrammes exacts dans le prompt avant de demander l'analyse.

Cette stratégie devrait me permettra d’éviter des erreurs potentielles et des biais importants pour le travail d’un professeur ou d’un chercheur.

Et moi qui répète souvent de ne pas traiter l’IA comme un autre outil de recherche… Et vlan dans les dents Giroux!

Mon profil selon Gemini

Selon Gemini, je suis un « Méthodologue Rigide ». L’analyse de mes clavardages et de mes demandes de livrables

révèle un profil d'expert-concepteur à forte charge méthodologique. Vous n'utilisez pas l'IA pour déléguer votre pensée, mais pour matérialiser, tester ou accélérer des structures conceptuelles complexes. Vous traitez l'IA à la fois comme un assistant de recherche, un compilateur de données et un outil de prototypage visuel ou textuel.

Selon Gemini, je suis constamment en tension entre la recherche d’une précision absolue (propre aux sciences quantitatives) et la nature probabiliste de l’IAg…

J’ai aussi appris que je devrais plus souvent utiliser mes connaissances théoriques en éducation pour pratiquer le prompting métacognitif! En effet, on peut orienter l’IA et la forcer à réfléchir d’une certaine manière et à critiquer ses propres biais éthiques et pédagogiques pour générer de meilleurs livrables. Utilisant l’exemple d’un clavardage lié à la conception d’un nouveau cours sur l’IA, Gemini m’a ainsi proposé une exemple de prompt augmenté par des stratégies métacognitives:

Nous allons structurer le module 3 de mon cours sur l'éthique de l'IA. Avant de me proposer un plan de cours, analyse les biais éthiques potentiels d'une vision technocentrique de ce sujet et explique-moi comment le modèle UTAUT peut nous aider à anticiper les résistances des étudiants. Présente d'abord cette réflexion critique, puis propose le plan.

Notez que dans cet exemple, Gemini propose aussi d’utiliser l’injection de savoir (il propose un cadre théorique particulier) pour mieux baliser le travail de l’IA.

Parmi mes forces, il semble que je transfère plusieurs de mes compétences académiques à l’utilisation de l’IA. J’aurais, par exemple, souvent le réflexe de baliser mes requêtes en utilisant des cadres théoriques ou conceptuels robustes et bien définis. Ensuite j’ai le réflexe de contextualiser mes requêtes géographiquement, sociologiquement, politiquement, etc. Cela oriente le travail de l’IA et évite des banalités. Finalement, je serais très critique et rapide à identifier les incohérences, les biais ou les hallucinations et à refuser les réponses et artefacts compromis. En gros, pour Gemini, je ne subis pas l’IA, je la pilote!

En lien avec la première chose que j’ai appris décrite plus haut… J’avais l’impression de bien utiliser Gemini comme « miroir à réfléchir » lorsque j’explorais de nouvelles théories ou des sujets inconnus, mais il semble que j’aie un biais implicite par rapport à l’outil de Google.

Le biais du déterminisme : Vous abordez parfois le LLM comme une base de données relationnelle classique ou un moteur de recherche traditionnel. Vous attendez de lui qu'il connaisse d'emblée des micro-faits locaux ou des affiliations institutionnelles spécifiques, oubliant qu'il fonctionne par prédiction statistique de jetons (tokens).

Toujours selon Gemini, j’ai une autre faiblesse importante à corriger. J’accepterais trop facilement l’effet « boite noire ».

Lors de la création de jeux de données complexes pour vos étudiants (simulations ANOVA ou régressions linéaires), vous demandez la production de bases de données, mais vous challengez rarement l'IA sur la méthode sous-jacente qu'elle utilise pour générer le bruit ou la variance de ces données. Vous validez le résultat final, mais moins le processus stochastique générateur.

Récemment j’ai souvent pris l’habitude de questionner l’IA sur les biais et les croyances implicites cachés derrière ses réponses. Je vais donc continuer, mais je crois que je vais aussi me mettre à questionner la méthode et les stratégies ayant menées à ces réponses. Adieu le gain de temps, parce ce ne sera pas court comme processus! Mais pour la qualité, l’alignement théorique et conceptuel et la profondeur, j’anticipe déjà des gains!

En lien avec l’exemple précédent, Gemini me suggère ceci comme exemple de prompt pour challenger la méthode:

Génère un jeu de données de $N=150$ pour tester une ANOVA à mesures répétées dans un contexte technopédagogique. Cependant, avant de me donner le tableau de données, fournis-moi le code de simulation exact (les lois de distribution sous-jacentes, les moyennes fixées et le niveau de bruit injecté) afin que je puisse valider scientifiquement la distribution de tes données.

Mon profil selon Copilot

Pour Copilot, j’ai un profil assez typique, bien que déjà avancé sur certains plans.

Mes traces révèleraient un usage fortement « méta » et instrumental. J’utilise surtout Copilot pour:

* concevoir des dispositifs (agents, rétroaction automatisée, accompagnement à la lecture scientifique)
* structurer des idées pédagogiques ou de recherche
* simuler des rôles experts (comme ici)

L’hypothèse implicite qui semble guider mon utilisation de Copilot est que l’IA est un outil d’ingénierie pédagogique et cognitive, plus qu’un objet d’étude en soi. J’ai donc uns posture d’orchestration plus qu’un posture d’exploration critique fine… Selon Copilot, ce serait cohérent avec les travaux sur l’IA comme partenaire cognitif et il m’a fourni une référence. C’est un concept que je n’ai pas encore exploré… J’ai bien trouvé des articles du chercheur mentionné par Copilot et des travaux le citant. Reste à l’explorer. on a reparlera peut-être dans un prochain billet!

En lien avec mon usage instrumental de Copilot, il semble que j’adopte une forte orientation solutionniste. Je lui demande souvent:

* comment créer un agent…
* comment optimiser…
* comment améliorer…

Je suivrais souvent un pattern de conception de solution et selon lui je ne passe pas suffisamment de temps à conceptualiser et à problématiser. Évidemment, il ne sait pas que j’utilise une autre IA. Malgré cela, il a probablement raison, j’ai tendance à choisir mon assistant IA en fonction de la tâche.

Comme Gemini, Copilot me reproche d’avoir une confiance implicite en l’IA et de ne pas assez questionner ses processus. Je me trouvais pourtant déjà fort critique… Il faut croire que je peux l’être encore plus! Par exemple, dans le cas présent, je devrais me questionner sur les stratégies déployées par l’IA pour arriver à ces conclusions à mon sujet… Il me met en garde contre un risque de délégation cognitive trop importante. C’est un risque qui inquiète bien des enseignants, des parents et des chercheurs à propos des jeunes. C’est un gros risque et la recherche documente déjà des impacts réels. Je le prends donc en note et je vais faire attention!

Au moment d’écrire ces lignes, j’ai demandé à Copilot comment il était arrivé à dresser mon portrait. Sa démarche est intéressante. Voici la réponse courte (image suivante). Notez que la réponse longue fait plusieurs pages, quelle est détaillée étape par étape et qu’elle compte de nombreux exemples. Considérant le contexte et mon objectif, ça me satisfait comme méthode, mais peut-être que la prochaine fois j’ajusterai mon prompt pour lui proposer une stratégie définie.

Qu’est-ce que je vais faire avec toutes ces infos et celles que j’ai gardées pour moi?

Je conserve ces conversations dans un petits fichiers. Pour les prochains jours, je vais consulter ces conversations avant de rédiger des prompts. Je ne le ferai surement pas tout le temps, mais chaque fois que je me lancerai dans une tâche plus lourdes ou importantes.

Mon objectif?

Mieux utiliser les outils mis à ma disposition et développer des compétences que je pourrai mobiliser au profit des étudiants qui s’inscriront à mon cours de maitrise sur l’IA!