CasusNO

Tiens, je lisais ce matin un article dans le New York Times particulièrement déprimant sur la prévalence de la triche avec les LLM dans les universités américains et l'échec pédagogique que ça représente : https://nymag.com/intelligencer/article/openai-chatgpt-ai-cheating-education-college-students-school.html. Ça correspond malheureusement bien avec ce que je peux observer depuis deux ans.

Une ritournelle qui revient pas mal est que si ChatGPT/Copilot/Claude/whatever est aussi efficace que prétendu, alors on n'a plus besoin de dev juniors par exemple. Sauf que les profils seniors n'apparaissent pas par magie : il faut faire pour apprendre, faire faire ne suffit pas. Donc si on arrête de faire gagner en expérience, tout particulièrement sur les fondamentaux, qui va porter l'expertise dans 10 ans ? Mais bon, ce discours est inaudible pour beaucoup de raisons, à commencer par le fait que le capitalisme n'a qu'un intérêt limité à former des individus autonomes.

Morningkill a écrit : ↑jeu. mai 08, 2025 10:21 pm Pour moi, en dev (et d'ailleurs le concept vendu par github copilot), on est dans une situation de pair programming avec l'IA. Et bon, que je sois avec un humain ou une IA, bah c'est normal que mon pair se plante de temps en temps.
Mais bon, on l'a déjà dit non ?

Mettre un LLM sur un pied d'égalité avec un humain dans cette équation fait déjà partie du problème à mon sens. Mais oui, sûrement on tourne en rond, on n'est pas d'accords et je rebondis seulement sur les anecdata, parce que je trouve qu'il y a une forte dissonance cognitive entre dire « moi ça m'aide » alors que les premières études au global sont au mieux mitigées.

Altay a écrit : ↑ven. mai 09, 2025 12:39 am Tiens, je lisais ce matin un article dans le New York Times particulièrement déprimant sur la prévalence de la triche avec les LLM dans les universités américains et l'échec pédagogique que ça représente : https://nymag.com/intelligencer/article/openai-chatgpt-ai-cheating-education-college-students-school.html. Ça correspond malheureusement bien avec ce que je peux observer depuis deux ans.

Du coup, faut savoir : c'est si nul l'IA que ca aide a rien, ou c'est si bon que ca permet de tricher avec succés ?
(pocketé ton article pour plus tard, merci -en le feuilletant rapidement, je tique sur "avant les gens payaient une misère des indiens pour tricher pour eux", y a un côté anti-exploitation humaine de l'IA qu'on oublie aussi.

Après, je suis d'accord qu'avec l'IA on a ouvert une boite de Pandore .. mais c'est trop tard, c'est déjà fait.
Et si en plus on accorde crédit aux prophètes nous parlant de véritable AGI dans les 5 ans...

Une ritournelle qui revient pas mal est que si ChatGPT/Copilot/Claude/whatever est aussi efficace que prétendu, alors on n'a plus besoin de dev juniors par exemple. Sauf que les profils seniors n'apparaissent pas par magie : il faut faire pour apprendre, faire faire ne suffit pas. Donc si on arrête de faire gagner en expérience, tout particulièrement sur les fondamentaux, qui va porter l'expertise dans 10 ans ? Mais bon, ce discours est inaudible pour beaucoup de raisons, à commencer par le fait que le capitalisme n'a qu'un intérêt limité à former des individus autonomes.

Mais tu ne peux pas à la fois dire l'IA c'est nul, et l'IA c'est mieux qu'un junior...
De plus, ton anecdata montre bien que l'IA n'est en tout cas pas parfaite et qu'il faut qu'un humain travaille "à l'ancienne" pour contrer cela et / ou aller au dela des limites de l'IA, donc il y aura des moments d'apprentissages pour l'humain.
En extrapolant, ca va faire la différence entre les paresseux et les non motivés, qui ne saisiront pas ces instants, et les bons et consciencieux (ce qui, quelque part, est déjà le cas depuis qu'on a le copier / coller, a minima)

Mettre un LLM sur un pied d'égalité avec un humain dans cette équation fait déjà partie du problème à mon sens.

Mais je dirai jamais à Copilot "faut qu'on se depeche la, ma femme a fait à manger".. ou lui montrerait un de mes chats à la visio.
Et je suis plus patient et plus précis avec un humain - même s'il faut que je fasse gaffe la dessus (mais ca, c'est un problème personnel que j'avais déjà avant les LLMs)

Mais oui, sûrement on tourne en rond, on n'est pas d'accords et je rebondis seulement sur les anecdata, parce que je trouve qu'il y a une forte dissonance cognitive entre dire « moi ça m'aide » alors que les premières études au global sont au mieux mitigées.

C'est bien pour ca que je les avais marqué en tant que tel.
A noter aussi que dans l'aide apporté il y a aussi plus que de la productivité immédiate / basique, mais aussi un certain confort/plaisir mental (pas sur d'avoir le bon mot)

Incidemment, j'ai peut etre l'air sarcastique sur les contradictions IA trop fort / trop nulle, mais c'est ma position actuelle (au gros doigt mouillé) :
l'IA est suffisamment fort pour être une aide précieuse d'une qualité moyenne (ou passable), mais pas suffisamment forte pour aller au dela, et donc ne peut donc pas vraiment remplacer les humains si on veut de la qualité (1)

Et si l'IA ne progresse plus (parceque mur technologique ou économique), c'est déjà pas mal ce qu'on a la. (2)

(1) autrement dit, pour reprendre un exemple que j'avais vu : l'IA peut faire une affiche de fête de village meilleur que la plupart des bénévoles pour ce type de boulot (on écarte le cas du retraité qui était lead designer dans une agence de pub parisienne avant de finir ses jours dans le lot & garonne ), mais ca ne vaudra jamais le travail d'un pro consciencieux - mais pour une fête de village, on n'auraitpas payé un pro.
(2) la encore, j'ai l'impression de me répéter - ce que je deteste - mais je ne sais plus si je l'ai déjà dit ici ou ailleurs

Sur le sujet de l'IA appliquée au code, je suis en partie étonné qu'elle ne soit pas plus efficace.
Et je me dis que c'est sans doute parce que les LLM ne sont sans doute pas les modèles les plus pertinents pour ce genre de sujet.

Forcément, il fallait que çà arrive : "Clippy, la renaissance - Le trombone légendaire revient en mode IA" (à noter que çà tourne en local, pas d'usage d'API en ligne)
https://korben.info/clippy-renaissance- ... gique.html

Morningkill a écrit : ↑ven. mai 09, 2025 7:50 am Du coup, faut savoir : c'est si nul l'IA que ca aide a rien, ou c'est si bon que ca permet de tricher avec succés ?

Tu auras bien de la peine à trouver un de mes posts où je dis « l'IA c'est nul ». Par contre je crois réellement que l'utilité de l'apprentissage automatique et des LLM est bien plus réduit que ce que l'on croit et est en réalité contrainte à des applications très étroites.

Pour le reste, il faut lire l'article. L'enseignement consiste en grande partie à demander à des élèves de faire des tâches dont le produit final n'a pas d'intérêt. Quand tu résous un exercice de mathématique, ce n'est pas parce que l'enseignant⋅e a besoin de savoir combien de pommes il faut acheter pour faire cinq tartes, c'est pour apprendre le processus. Utiliser ChatGPT pour contourner l'acte de faire est antinomique avec l'apprentissage, au même titre que copier/coller un article de Wikipédia dans une dissertation ou utiliser Wolfram Alpha pour calculer une intégrale. Les LLM ont juste industrialisé la possibilité de court-circuiter l'acte pédagogique en arrivant automatiquement au produit qui sera évalué. Et c'est problématique parce que le système éducatif est construit autour de l'évaluation du résultat, avec l'hypothèse que si le résultat est juste alors le procédé a été appliqué correctement et donc l'apprentissage a été réalisé.

Donc oui, ChatGPT peut être bon pour résoudre des problèmes d'école sans pour autant être particulièrement utile dans la vraie vie. Après tout, c'est déjà une plainte récurrente des élèves que les exercices qu'on leur demande de faire ne leur serviront jamais plus tard.

Morningkill a écrit : ↑ven. mai 09, 2025 7:50 am (pocketé ton article pour plus tard, merci -en le feuilletant rapidement, je tique sur "avant les gens payaient une misère des indiens pour tricher pour eux", y a un côté anti-exploitation humaine de l'IA qu'on oublie aussi.

Les jeux de données utilisés pour entraînés des gros modèles n'apparaissent pas ex nihilo. On continue à payer des gens à la tâche, notamment dans des petits pauvres, pour annoter des données : https://theconversation.com/ai-is-a-mul ... rce-240568. Ça n'a pas du tout allégé le fardeau de l'exploitation des micro-travailleurs, au contraire.

Morningkill a écrit : ↑ven. mai 09, 2025 7:50 am Mais tu ne peux pas à la fois dire l'IA c'est nul, et l'IA c'est mieux qu'un junior...

Comme je disais, je ne dis pas que l'IA c'est nul. En revanche, ce qui m'intéresse c'est d'avoir des métriques quantitatives qui permettent d'évaluer les modèles. Mon point étant que la majorité des gens prétendent que les LLM permettent monts et merveilles sans jamais apporter de preuves. Par conséquent, les deux affirmations suivantes peuvent être vraies en même temps :

• le marché au global pense que les LLM sont meilleurs que des devs juniors et cesse d'en recruter,
  
• les LLM n'améliorent pas significativement la productivité des projets informatiques toutes choses comprises.
  

À long terme, la dépendance à des LLM pour des raisons de facilité va poser des problèmes majeurs parce que les gains promis ne seront jamais réalisés, mais qu'en plus les impacts cognitifs négatifs pourraient avoir des conséquences sur toute une génération.

Morningkill a écrit : ↑ven. mai 09, 2025 8:58 am (1) autrement dit, pour reprendre un exemple que j'avais vu : l'IA peut faire une affiche de fête de village meilleur que la plupart des bénévoles pour ce type de boulot (on écarte le cas du retraité qui était lead designer dans une agence de pub parisienne avant de finir ses jours dans le lot & garonne [img]data:image/gif;base64,R0lGODlhDwAPALMOAP/qAEVFRQAAAP/OAP/JAP+0AP6dAP/+k//9E///////xzMzM///6//lAAAAAAAAACH5BAEAAA4ALAAAAAAPAA8AAARb0EkZap3YVabOGRcWcAgCnIMRTEEnCCfwpqt2mHEOagoOnz+CKnADxoKFyiHHBBCSAdOiCVg8KwPZa7sVrgJZQWI8FhB2msGgwTXTWGqCXP4WBQr4wjDDstQmEQA7[/img] ), mais ca ne vaudra jamais le travail d'un pro consciencieux - mais pour une fête de village, on n'auraitpas payé un pro.

Et à côté de ça, ton bénévole, qui si ça se trouve prend du plaisir à faire de l'art graphique, n'a rien appris. Et le jour où il y aurait quand même eu le budget pour payer un⋅e pro, pourquoi s'embêter vu qu'on a déjà ChatGPT pour le faire à moindre coût ? Je trouve ce recours systématique déprimant. Pour faire un parallèle en grossissant le trait, si un jour où ChatGPT devient meilleur MJ que moi, ça m'attristerait pas mal que mes potes préfèrent jouer avec un LLM plutôt qu'avec moi.

Altay a écrit : ↑ven. mai 09, 2025 12:45 pm Je trouve ce recours systématique déprimant. Pour faire un parallèle en grossissant le trait, si un jour où ChatGPT devient meilleur MJ que moi, ça m'attristerait pas mal que mes potes préfèrent jouer avec un LLM plutôt qu'avec moi.

C'est malheureusement, je crois, toute la logique de la modernité, qui consiste à inventer des dispositifs techniques pour se passer le plus possible du contact avec de l'humain, parce que "l'humain", c'est trop cher, et aussi trop risqué.

La preuve en est, par exemple, qu'il n'y a plus guère de domestiques (remplacés par l'électroménager), et plus trop de bourreaux (il n'est pas idiot de penser que la peine de mort a été abolie dans nos contrées aussi en rapport avec son aspect "humain"). Oui, bon, je plaisante…
 

D'ailleurs Zuckerberg le dit: sous peu, la plupart des amis de la plupart des gens seront des IA, alors…

https://www.wsj.com/tech/ai/mark-zucker ... e-0bb04de7

Pour s'éloigner un instant de la dimension crépusculaire du sujet (même si je partage la plupart des craintes et réserves émises ici), voici un petit retour sur quelques tests récents qui m'ont plutôt impressionnés (modestement impressionnés, rien de décoiffant).

Je n'ai jamais utilisé l'IA dans le domaine du JdR, sauf pour 3-4 images d'illustration pour mes parties en club. Du coup j'ai voulu essayer de tester si les IA de chat (en l’occurrence le dernier ChatGPT gratuit) "comprenaient" assez bien le domaine du JdR pour pouvoir être utiles à quelque chose.

J'ai donc donné à manger à ChatGPT le "Manuel des Joueurs" de mon petit jeu Minidonjon. Je n'ai pas fait ça par egotrip mais parce que, pour faire tenir les règles sur une feuille A4, j'avais à l'époque utilisé un style télégraphique assez imbitable (en plus, ces règles sont de moi, donc pas de soucis de copyright). Il faut dire que même un être humain pourrait avoir du mal à interpréter certaines parties.

Je lui ai quand même précisé que c'était des règles de jeu de rôle simplistes et ambiguës, que je lui demandais d'essayer de les comprendre et que je lui poserai des questions dessus par la suite.

Ensuite je lui ai posé deux problèmes :
1. Me créer un personnage guerrier de niveau 1.
2. Imaginer une situation où ce guerrier serait amené à surmonter 1 ou 2 épreuves en milieu sauvage et m'expliquer comment le MJ demanderait au joueur de passer ces épreuves.

Eh bien les réponses ont été quasi-parfaites. Il m'a créé le personnage parfaitement, en utilisant très bien les différents éléments (certains à peine expliqués) pour créer un personnage complet (notamment la façon de tirer les scores de caractéristiques, que même mes joueurs on un peu de mal à comprendre parfois ) et il a très bien compris le mécanisme de résolution des actions, en faisant appel aux bons jets, bonnes capacités, bons modificateurs. La seule erreur qu'il a commise est sur le jet avec désavantage, où il a cru que "prendre le plus mauvais résultat" voulait dire "prendre le plus petit", alors que c'est l'inverse vu que mon jeu est en roll-under. Mais il m'a suffit de lui expliquer l'erreur pour qu'il la prenne en compte sans problème.

Je ne vois pas encore comment je peux me servir de ce niveau de compréhension (je veux dire que je n'ai pas actuellement de "besoin" dans ce sens), mais cette IA simule apparemment suffisamment bien la compréhension des mécanismes de JdR pour pouvoir être utile dans ce domaine sans craindre trop d'hallucinations ou de gloubiboulga. Par exemple, le jeu précise que le joueur a 100 pa à dépenser pour acheter son équipement, mais c'était impossible à faire vu que la liste d'équipement est sur la 2ème feuille que je ne lui avais pas fournie. Il a très bien esquivé le piège en suggérant un équipement de base standard mais en précisant qu'il ne pouvait pas faire mieux en l'absence de liste d'équipement.

On voit aussi très bien, dans sa façon de clarifier ou de reformuler certaines règles, qu'il pioche dans un certain corpus de connaissance sur le sujet du JdR qui ne peut clairement pas être déduit des règles que je lui ai fournies. Néanmoins, les clarifications et reformulations sont pertinentes.

Une chose cependant à laquelle il faut faire attention quand on est embarqué dans la conversation avec l'IA, c'est de ne pas juste répondre "oui", ou "oui, vas-y", ou "oui, fais comme tu le suggères" quand on répond à une de ses question. Il a une tendance à ne pas se rappeler ce qu'il a suggéré et à ne pas appliquer le oui à la bonne chose. Il faut répondre carrément "oui, refait le jet en changeant de capacité", ou quelque chose comme ça, en rappelant bien ce qu'il a suggéré.

Mais bon, d'une manière générale, j'ai trouvé sa manipulation de règles de jeu de rôle plutôt convaincante.

Interessant, j'ai jamais joué avec l'"attach" de chatgpt.

Dans ce genre de demande plus technique que "roleplay", j'avais demandé de me faire l'évolution d'un personnage de Fallout2D20 sur dix niveaux (ca me gonflait que le mj nous tannait "faut bien réflechir a ce que vous voulez devenir, et faire les bons choix a chaque niveau", c'est plus du tout mon kiff ca), et c'etait pas mal - j'avoue n'avoir pas vérifié pour voir s'il avait pas mélangé avec les jeux vidéos, ce qu'on pourrait lui excuser vu les similitudes des deux

Tu pourrais essayer notebooklm de google, qu'est spécifiquement concu pour raisonner sur un ensemble de document que tu lui fournis.
je lui avait fait manger quelques scénarios de terres des dragons, il avait su me proposer des liens entre eux sympas (rien d'exceptionnel hein, mais c'était cohérent et correct)

Mouais alors notebooklm appliqué au JdR, ça m'a donné ça :

fafnir a écrit : ↑mer. févr. 12, 2025 10:06 am Un exemple récent de mon côté sur l'IA google notebooklm (à base de données des carrières pour Brigandyne) :
 Affiche les chiffres de la profession inquisiteur
 
Voici les chiffres associés à la profession d'Inquisiteur, tels qu'ils apparaissent dans les sources :•COM (Commandement) : 2 •CNS (Connaissance) : 2 •DIS (Discernement) : 2 •END (Endurance) : 2 •FOR (Force) : 2 •HAB (Habileté) : 0 •MAG (Magie) : 2 •MVT (Mouvement) : 1 •PER (Perception) : 3 •SOC (Social) : 0 •SRV (Service) : 2 •TIR (Tir) : 2 •VOL (Volonté) : 4 Ces chiffres représentent les valeurs pour chaque compétence de l'Inquisiteur . La somme de ces valeurs est de 27.

 recompte la somme des chiffres de la profession inquisiteur
 
Les chiffres de la profession Inquisiteur sont les suivants:•COM (Commandement) : 2 •CNS (Connaissance) : 2 •DIS (Discernement) : 2 •END (Endurance) : 2 •FOR (Force) : 2 •HAB (Habileté) : 0 •MAG (Magie) : 2 •MVT (Mouvement) : 1 •PER (Perception) : 3 •SOC (Social) : 0 •SRV (Service) : 2 •TIR (Tir) : 2 •VOL (Volonté) : 4 La somme de ces valeurs est 27 

Les chiffres de la profession inquisiteur sont les suivants : 2 2 2 2 2 0 2 1 3 0 2 4, correct ?

Oui, les chiffres de la profession Inquisiteur sont bien 2 2 2 2 2 0 2 1 3 0 2 2 4 

alors 2+2+2+2+2+0+2+1+3+0+2+2+4 = 24. La somme n'est pas de 27
 
Il semble y avoir une erreur dans le calcul de la somme des chiffres de la profession Inquisiteur.•Vous avez correctement listé les chiffres : 2 2 2 2 2 0 2 1 3 0 2 2 4 [voir conversation précédente].•Si nous additionnons ces chiffres, le résultat est effectivement 25 et non 24 ou 27. (2 + 2 + 2 + 2 + 2 + 0 + 2 + 1 + 3 + 0 + 2 + 2 + 4 = 25)Dans notre conversation précédente, j'avais calculé une somme de 27, ce qui est incorrect [voir conversation précédente]. J'avais également indiqué que la somme des valeurs de l'inquisiteur était de 27 [voir conversation précédente], ce qui est une erreur.Le total des valeurs pour la profession Inquisiteur est donc de 25.

Altay a écrit : ↑ven. mai 09, 2025 12:39 am Tiens, je lisais ce matin un article dans le New York Times particulièrement déprimant sur la prévalence de la triche avec les LLM dans les universités américains et l'échec pédagogique que ça représente : https://nymag.com/intelligencer/article/openai-chatgpt-ai-cheating-education-college-students-school.html. Ça correspond malheureusement bien avec ce que je peux observer depuis deux ans.

D'ailleurs, des régionaux de l'étape :

"L’IA a immédiatement été intégrée dans la scolarité des élèves pour tricher et s’économiser du travail", nous explique Sylvain, 43 ans, professeur de philosophie dans le secondaire à Besançon (Doubs)

Je repense pas mal au concept de pédagogie inversée (je ne suis pas sur du terme), de faire les exercices à l'école et demander aux élèves de réviser le cours chez eux (par opposition a la normale  cours en classe, devoir à la maison) qui serait peut etre une façon de contrer l'ia.

@Morningkill on parle plutôt de classe inversée plutôt que de pédagogie inversée.
Dans la structure où j'étais prof on pratiquait ainsi : chez eux, les élèves lisent le cours et regardent des vidéos (en vrai, le plus souvent, ils font ça dans les transports mais c'est pas grave). En cours le prof les fait bosser avec des exercices d'application ou d'approfondissement. Perso, j'avais souvent dans ma boîte à capsules vidéos des trucs courts hyper condensés pour ceux qui n'avaient rien fait. Et oui je vois très bien l'exo où tu fais bosser un élève avec une IA avec différents prompts.

Orlov a écrit : ↑lun. mai 12, 2025 10:37 am @Morningkill on parle plutôt de classe inversée plutôt que de pédagogie inversée.
Dans la steucture où j'étais prof on pratiquait ainsi : chez eux, les élèves lisent le cours et regardent des vidéos (en vrai, le plus souvent, ils font ça dans les transports mais c'est pas grave). En cours le prof les fait bosser avec des exercices d'application ou d'approfondissement. Perso, j'avais souvent dans ma boîte à capsules vidéos des trucs courts hyper condensés pour ceux qui n'avaient rien fait. Et oui je vois très bien l'exo où tu fais bosser un élève avec une IA avec différents prompts.

ah, je savais que je me trompais de terme.

T'es sarcastique sur la derniere phrase ?

Moi j'étais vraiment sincère, je pensais a des exercices en classe fait a l'ancienne...

Morningkill a écrit : ↑lun. mai 12, 2025 10:52 am

Orlov a écrit : ↑lun. mai 12, 2025 10:37 am @Morningkill on parle plutôt de classe inversée plutôt que de pédagogie inversée.
Dans la steucture où j'étais prof on pratiquait ainsi : chez eux, les élèves lisent le cours et regardent des vidéos (en vrai, le plus souvent, ils font ça dans les transports mais c'est pas grave). En cours le prof les fait bosser avec des exercices d'application ou d'approfondissement. Perso, j'avais souvent dans ma boîte à capsules vidéos des trucs courts hyper condensés pour ceux qui n'avaient rien fait. Et oui je vois très bien l'exo où tu fais bosser un élève avec une IA avec différents prompts.

ah, je savais que je me trompais de terme.

T'es sarcastique sur la derniere phrase ?

Moi j'étais vraiment sincère, je pensais a des exercices en classe fait a l'ancienne...

Pas du tout ironique. Typiquement tu laisse les élèves préparer le cours avec chatgpt en filant différents prompt, l'un deux présente ce qu'il a obtenu, les autres complètent, le prof corrige et on élabore la trace écrite en commun.
C'est 100 pour cent un exercice à l'ancienne, la même chose que tu ferais par exemple dans une correction de composition.