Pour cette deuxième phase de test, je vais d’abord m’intéresser aux méthodes de recherche utilisées par les 33 sources (j’ai enlevé la source qui était présente en double!). La première phase, si vous ne l’avez pas lu, est ici.
Ma première requête est basique et assez large. Mon prompt n’est pas très élégant ni bien structuré… Mais pour commencer, ça devrait pouvoir servir de fondation à cette séance de travail et d’exploration des sources.
Analyse les sources et crée un tableau décrivant le type de recherche. Le tableau doit inclure le nombre de sources qui utilisent chaque type de méthode.
Première constatation, les tableaux se ressemblent au niveau des catégories créées, mais Notebook LM fourni un peu plus d’information décrivant chaque catégorie créée. Notebook a créé moins de catégories, mais il a réussi à y classer toutes les sources. Student Spaces a eu besoin que je lui confirme quoi faire avec les fichiers incertains ou « ambiguës » (2 prompts supplémentaires) et même dans ce cas, il n’a pas su prendre de décision. Par défaut, Notebook LM me fourni un lien vers chaque sources classées dans une catégorie. Ce lien prend la forme habituel d’un chiffre cliquable. Simple, pas très beau, mais parfois efficace. Cela permet parfois de vérifier le travail de l’IA. Notebook LM devrait par contre améliorer la précision de ces lien, souvent ils ne pointe que vers le début de l’article… Student Spaces, de son côté, me fournit quelques liens pour ouvrir certains articles, mais pas vers toutes les sources de la catégorie… Pas très pratique pour qui veut être critique!
| Notebook LM (33 sources catégorisées) | Student Spaces (27 sources catégorisées – plusieurs placées dans 2 catégories) |
| Études transversales (Cross-sectional) (17) Études utilisant des sondages ou des questionnaires à un moment unique pour évaluer les corrélations entre la médiation parentale et l’usage des écrans | Études transversales (cross‑sectional) (18) Données mesurées à un seul point temporel |
| Revues systématiques (5) Synthèses rigoureuses de la littérature existante, portant sur l’influence parentale, la santé mentale des adolescents ou l’usage problématique d’Internet | Revues systématiques / méta‑analyses (3) Synthèse structurée d’études publiées |
| Études qualitatives (4) Recherches basées sur des entretiens semi-dirigés ou des groupes de discussion (focus groups) pour explorer les perceptions et les contextes socioculturels des familles | Qualitatives (entretiens, focus groups) (3) Données textuelles / entretien / analyse thématique |
| Études longitudinales / prospectives (3) Études suivant des participants sur plusieurs vagues ou années pour observer l’évolution des comportements et les relations de cause à effet à long terme | Longitudinales / prospectives (4) Suivi sur plusieurs temps (cohortes) |
| Méthodes mixtes (2) Études combinant des phases quantitatives (sondages) et qualitatives (entretiens approfondis) pour une analyse multidimensionnelle | Études mixtes (quant + qual) (2) Combinaison de méthodes quantitatives et qualitatives |
| Essais contrôlés randomisés (ECR) (1) Étude d’intervention évaluant l’efficacité d’un programme communautaire auprès de pères d’origine latino | Essais randomisés contrôlés (RCT) (2) Intervention assignée aléatoirement |
| Énoncés de position / Revues de littérature Document de synthèse basé sur une revue de la littérature pour émettre des recommandations cliniques (ex: Société canadienne de pédiatrie) (1) | |
| Enquêtes / sondages (survey) (6) Recueil déclaratif via questionnaire (peut être cross‑sectional) | |
| Analyses secondaires / revues narr. / rapports (4) Analyses de données existantes ou rapports non systématiques | |
| Ambiguïtés (métadonnées insuffisantes) (6) Fichiers dont la méthode n’a pas pu être identifiée clairement |
J’ai donc poursuivi en demandant à chaque outil:
Tu vas jouer le rôle d'un professionnel de recherche expérimenté, lire chaque article et me faire une courte synthèse de la méthode déployée par les auteurs.
Présente le résultat de ton analyse dans un tableau à deux colonnes. La colonne 1 présente le titre de l'article et la colonne 2 présente ta courte synthèse de la méthode.
Les deux outils ont « réussi » la tâche, mais Notebook LM s’en tire définitivement mieux.
Notebook LM présente un tableau avec toutes les entrées. Par contre, la première colonne présente les noms des auteurs et l’année de publication plutôt que le titre de l’article. Pour chaque article, une synthèse brève (3-4 lignes) de la méthode est présentée avec, comme à son habitude des liens vers les passages pertinents ou le début des articles concernés pour nous aider à valider. Honnêtement, ces liens ne pointent pas toujours à des endroits pertinents de l’article et ça m’agace…
Student Spaces n’a pas réussi à analyser tous les articles. Il n’a pas, non plus, réussi à extraire tous les titres. En fait, si le titre n’était pas dans le nom du fichier ou dans ses métadonnées, il n’a pas su le trouvé.
Student Spaces a aussi moins bien réussi à comprendre la nature de la méthode présentées dans les articles. Par exemple, il décrit l’article de Xu (2015) comme une analyse quantitative secondaire alors que le résumé dit clairement qu’il s’agit d’une recension systématique. Notebook LM n’est pas parfait non plus, mais il a mieux réussi.
Pour terminer ce deuxième test, j’ai demandé aux deux outils:
Garde le rôle de professionnel de recherche. Analyse les sources et fais-moi la liste des recommandations émises par les chercheurs en regard de la méthode à déployer dans de futures recherche ou des éléments auxquels il faut faire attention en lien avec la méthode dans de futurs projet.
Les deux outils ont répondu un peu différemment. Notebook LM a fait une synthèse en créant des catégories alors que j’avais demandé une liste. Student Spaces a, pour sa part, vraiment fait une liste, mais sans réel classement… Au final, le travail de Notebook LM est complet mais moins précisément exact par rapport à ma requête. Student Spaces a un petit avantage ici.
J’ai ensuite demandé à chaque outil, à partir de la fenêtre de clavardage, de transformer sa dernière réponse en infographie. Student Spaces a catégorisé le contenu et créé le texte qui pourrait composé une éventuelle infographie. Mais il ne semble pas pouvoir faire d’infographie à partir de la fenêtre de clavardage. D’ailleurs, même dans les outils d’études on ne peut pas lui demander de préparer une infographie. Ici, donc, la comparaison est un peu malhonnête considérant cette limite d’Adobe Student Spaces. Notebook LM, pour sa part, a facilement réussi cette tâche.
Au final, pour ce second test, Notebook LM sort encore gagnant. Par moment je me demande si Student Spaces arrive vraiment à lire tous les PDF et toutes les images que j’ai téléversés. Dans un prochain test je comparerai plus attentivement les outils du studio de Notebook LM et les outils d’études de Student Spaces.
E bonus, voici l’infographie de Notebook LM concernant les recommandations méthodologiques pour les futures recherches à propos des parents et des écrans.
