Les IA : qui sont-elles ? Quels sont leurs réseaux ?

[Rui]

Mais du coup s'il n'a pas de réponse il va souvent "inventé" une réponse pour être en capacité de répondre.

De ce que j'ai compris, il invente à chaque fois une réponse, il ne pioche pas dans un réservoir de réponses qu'il aurait collecté (les réponses récupérées ici et là servent à construire le modèle de langage, mais ne font pas partie dudit modèle). Non ?

Il construit une réponse en se basant sur un "nuage" de référence par rapport à ta demande.
C'est bien pour cela que tu DOIS limiter sont "nuage" pour pas qu'il pioche dans des ressources qui n'existe pas.

[cdang]

@Rui : l'image que j'en ai, c'est un peu comme une courbe de réponse d'un système : genre pour une résistance électrique, on applique plusieurs valeurs de tension U, on mesure l'intensité I que l'on obtient, on a ainsi des point (U, I) qui forment une droite (la courbe de réponse) et dont on extrait la valeur qui nous intéresse : R = U/I. Quand on utilise le composant, on n'a qu'une seule valeur R, on n'a ni la courbe, ni les points expérimentaux.

Donc de ce que j'ai compris du deep learning : on a des paramètres de fonctionnement (l'équivalent de R) établis à partir de données (l'équivalent des couples (U, I)), mais on n'a plus du tout les données initiales. J'ai peut-être mal compris, hein, et alors merci de me dire où je pèche.

Donc à aucun moment on ne sait à quelle donnée initiale on se réfère, ni même si une donnée correspond au cas traité (pour reprendre l'image de la résistance électrique : on utilise R dans le cas d'un signal sinusoïdal alors que la valeur a été établie en régime continu) tout simplement parce que les données initiales ne font pas partie du modèle.

[Dr Hiatus]

(...)
https://trustmyscience.com/crise-financ ... n-experts/


Si on peut même pas compter sur les IA pour gérer rationnellement les marchés maintenant.
Ça me donne l'impression de deux escroqueries qui peuvent pas cohabiter

Les établissements financiers utilisent déjà de très nombreux outils de machine learning qui sont déjà utilisés pour la prévision d'évolution des marchés financiers et en trading haute fréquence. Utiliser un modèle de langage comme GPT pour « assister les traders » me semble être tout au plus un gadget et j'ai du mal à voir en quoi cela précipiterait un krach.

A priori, le problème anticipé c'est que les établissements utilisent ces outils sans bien les comprendre, donc sont voués à prendre des décisions mal informées.
Voir l'article, je suis certainement moins fiable que la personne au départ de l'info, à savoir Gary Gensler, qui préside le SEC (l'agence fédérale U.S de contrôle des marchés financiers).

[Nolendur]

@Rui : l'image que j'en ai, c'est un peu comme une courbe de réponse d'un système : genre pour une résistance électrique, on applique plusieurs valeurs de tension U, on mesure l'intensité I que l'on obtient, on a ainsi des point (U, I) qui forment une droite (la courbe de réponse) et dont on extrait la valeur qui nous intéresse : R = U/I. Quand on utilise le composant, on n'a qu'une seule valeur R, on n'a ni la courbe, ni les points expérimentaux.

Donc de ce que j'ai compris du deep learning : on a des paramètres de fonctionnement (l'équivalent de R) établis à partir de données (l'équivalent des couples (U, I)), mais on n'a plus du tout les données initiales. J'ai peut-être mal compris, hein, et alors merci de me dire où je pèche.

Donc à aucun moment on ne sait à quelle donnée initiale on se réfère, ni même si une donnée correspond au cas traité (pour reprendre l'image de la résistance électrique : on utilise R dans le cas d'un signal sinusoïdal alors que la valeur a été établie en régime continu) tout simplement parce que les données initiales ne font pas partie du modèle.

C'est ça, l'image est pertinente. Forcément simpliste, d'autant plus que les devs de l'IA ne nous disent pas tout ce qu'ils mettent dedans pour corriger et enrichir le modèle, mais pertinente.

[Rui]

@Rui : l'image que j'en ai, c'est un peu comme une courbe de réponse d'un système : genre pour une résistance électrique, on applique plusieurs valeurs de tension U, on mesure l'intensité I que l'on obtient, on a ainsi des point (U, I) qui forment une droite (la courbe de réponse) et dont on extrait la valeur qui nous intéresse : R = U/I. Quand on utilise le composant, on n'a qu'une seule valeur R, on n'a ni la courbe, ni les points expérimentaux.

Donc de ce que j'ai compris du deep learning : on a des paramètres de fonctionnement (l'équivalent de R) établis à partir de données (l'équivalent des couples (U, I)), mais on n'a plus du tout les données initiales. J'ai peut-être mal compris, hein, et alors merci de me dire où je pèche.

Donc à aucun moment on ne sait à quelle donnée initiale on se réfère, ni même si une donnée correspond au cas traité (pour reprendre l'image de la résistance électrique : on utilise R dans le cas d'un signal sinusoïdal alors que la valeur a été établie en régime continu) tout simplement parce que les données initiales ne font pas partie du modèle.

Sauf que ton modèle est basé sur des datas réelles et non pas sur des datas inventées. L'IA essaie de construire une réponse avec des éléments qui permettent d'avoir la note maximale et pour ce faire comble les trous. Donc elle pioche dans son nuage de "connaissance" (Janvier 2022 je crois aujourd'hui pour ChatGPT4) et vue que le résultat n'est pas satisfaisant (Par ce que la base d'apprentissage ne fournirait pas une réponse satisfaisante compte tenue du mode d'apprentissage) elle comble avec des éléments pour faire monter cette note.

Attention c'est de la vulgarisation à outrance ce que je dis.

Donc en gros elle fait une réponse 1 la confronte a son algo de notation de réponse trouve que la réponse n'est pas satisfaisant donc elle construit la réponse qui semble la plus cohérente par rapport à son état de connaissance pour monter la note. Un biais du mode d'apprentissage de l'IA.

[I bring bad luck]

Personnellement j'ai déjà été confronté à plusieurs reprises, directement ou indirectement, aux problèmes d'hallucinations de l'IA, sans que j'ai rien demandé.

J'utilise de temps en temps un site appelé HiNative qui permet de poser des questions de langue à des "native speakers". Mais depuis quelque temps, la première réponse est fait par une IA... qui raconte n'importe quoi. Plus grave, pour peu que la question ait été un peu spécifique (c'est-à-dire pas déjà posée 1000 fois sur divers forums), la réponse pourrie de l'IA va se retrouver en tête des recherches Google si tu fais une recherche avec une question plus ou moins similaire.

Il y a quelques semaines un de mes fils devait rendre un travail à la fac, rédigé à trois avec d'autres étudiants qui lui avaient été imposés (il ne pouvait pas choisir avec qui il allait travailler). Il a travaillé comme un âne, comme l'une des autres -- mais le 3e type a attendu la veille au soir pour pondre la partie dont il était chargé. C'était visiblement du ChatGPT à peine arrangé : toutes les références étaient inventés (faux titres d'articles, pourtant assez convaincants...), et quelques phrases étaient louches. Le pire... c'est que c'est passé comme une lettre à la poste. Ils ont eu une bonne note. 

[Altay]

A priori, le problème anticipé c'est que les établissements utilisent ces outils sans bien les comprendre, donc sont voués à prendre des décisions mal informées.

Ce qui est déjà un problème pour le trading HFT.

L'IA essaie de construire une réponse avec des éléments qui permettent d'avoir la note maximale et pour ce faire comble les trous. Donc elle pioche dans son nuage de "connaissance" (Janvier 2022 je crois aujourd'hui pour ChatGPT4) et vue que le résultat n'est pas satisfaisant (Par ce que la base d'apprentissage ne fournirait pas une réponse satisfaisante compte tenue du mode d'apprentissage) elle comble avec des éléments pour faire monter cette note.

La fonction objectif des grands modèles de langage est de prédire correctement le prochain token (~le prochain mot) d'une phrase. Donc ChatGPT ne pioche pas vraiment dans un nuage de connaissance, mais plutôt on sélectionne le mot qui semble être le plus probable selon le modèle pour continuer la séquence. Et on estime quels sont les mots les plus probables à partir du corpus. Donc si tu entraînes ChatGPT sur un corpus de textes où les gens répondent "1515" à la question "Quand a eu lieu la bataille de Waterloo ?" 90% du temps, et bien ChatGPT répétera la même bêtise car le modèle n'a aucune notion de factualité ou de vérité.

C'est exactement pour cette raison que les modèles de langage « hallucinent » : si la bonne réponse n'est pas la plus probable, l'algorithme de sélection du mot suivant va générer une phrase qui semble correcte en surface (car relativement probable), même si elle est factuellement fausse.

Le fonctionnement n'est pas très différent de l'algorithme qui suggère le mot suivant sur les smartphones, juste entraîné sur des corpus nettement plus grands.

[Dr Hiatus]

A priori, le problème anticipé c'est que les établissements utilisent ces outils sans bien les comprendre, donc sont voués à prendre des décisions mal informées.

Ce qui est déjà un problème pour le trading HFT.

Oui. Donc là, le directeur de la SEC semble anticiper des usages plus nombreux, avec sans doute un facteur multiplicateur des décisions erronées entre les suggestions des IA et les décisions du périphérique situé entre la chaise et le clavier.

Et ce que dit entre autres la page wikipedia, c'est les robots de trading HFT ont déjà abouti à des mini-krachs, parce qu'ils amplifient des tendances. Je suppose qu'on corrige à mesure, mais accélérer un système sensible au chaos et aux paris, je sais pas, c'est un frisson qui n'est pas payé que par le propriétaire du robot...

[Cryoban]

Le pire... c'est que c'est passé comme une lettre à la poste. Ils ont eu une bonne note. 

C'est bien ça le plus triste...

[I bring bad luck]

Le pire... c'est que c'est passé comme une lettre à la poste. Ils ont eu une bonne note. 

C'est bien ça le plus triste...

Disons que l'enjeu était mince. Ce n'était pas un dossier de maîtrise, ni une thèse, ni même un rapport final de quoi que ce soit, juste un petit boulot à pondre en début de 3e année. Pas assez important probablement pour que le jury passe du temps à vérifier les références ou passe le travail dans un logiciel anti-fraude. 
En revanche je peux te dire qu'au cas où, mon fils a soigneusement gardé trace de tous les mails et documents échangés avec le truandeur...

[Qui Revient de Loin]

Bref, c'est formateur, tant sur l'utilité de l'IA pour travailler, sur son utilité pour truander (et donc le besoin de vérifier), que sur le fonctionnement des jurys.

[Tybalt (le retour)]

Glaze et Nightshade sont deux outils qui offrent des moyens de protection et de contre-attaque aux artistes dont les images sont pompées par les IA. Glaze permet à l'artiste de "masquer" son style pour éviter qu'il soit copié par une IA une fois son image en ligne. Nightshade, de son côté, vise à faire dysfonctionner les IA en les amenant à enregistrer qu'une image représente autre chose que ce qu'elle représente vraiment. Nightshade sera bientôt open source.
Source : MIT Technology Review

[cdang]

Donc elle pioche dans son nuage de "connaissance" (Janvier 2022 je crois aujourd'hui pour ChatGPT4)

Toujours pas. Elle ne pioche pas dans un nuage de connaissance, elle pioche dans un modèle fabriqué à partir d'un nuage de connaissance. Le nuage de connaissance n'est pas stocké.

Pour présenter les choses de manière différente : si le fonctionnement se base sur le contenu de tout le Web accessible, il faudrait que le centre de données (data center) dans lequel tape l'IA soit aussi gros que tout l'Internet, bref doubler le nombre de serveurs juste pour une IA.

[Rui]

Donc elle pioche dans son nuage de "connaissance" (Janvier 2022 je crois aujourd'hui pour ChatGPT4)

Toujours pas. Elle ne pioche pas dans un nuage de connaissance, elle pioche dans un modèle fabriqué à partir d'un nuage de connaissance. Le nuage de connaissance n'est pas stocké.

Pour présenter les choses de manière différente : si le fonctionnement se base sur le contenu de tout le Web accessible, il faudrait que le centre de données (data center) dans lequel tape l'IA soit aussi gros que tout l'Internet, bref doubler le nombre de serveurs juste pour une IA.

Je vous ai dit que je vulgarisais. Et le nuage de connaissance dont je parle ce n'est pas les datas en temps que tel mais bien le nuage de pondération qui sert à la prediction de réponse pour savoir quel est la meilleur réponse/mot a mettre pour répondre au prompt de l'utilisateur.

Vue qu'il n'y a pas de réponses dans les datas qui ont servie a constituer le nuage alors la réponse va être extrêmement aléatoire car celle généré va compléter la phrase pour avoir une note "acceptable" en fonction des pondérations mis a ce qui est constituer comme réponse valide.

Si on indique que quand il n'a pas la réponse il peut ne pas répondre c'est qu'en fait on ne considère pas une partie des mots qui n'ont pas un nombre de points suffisant pour avoir un score valide. (encore une fois je vulgarise)

[cdang]

Si on indique que quand il n'a pas la réponse il peut ne pas répondre

Sauf qu'il ne peut pas savoir qu'il n'a pas la réponse car il n'a pas gardé les données d'origine (on reboucle).