Merci à Lê de Science4All pour sa relecture et sa contribution ! Un point sur lequel il me suggère d’insister et pour lequel je n’ai pas eu le temps d’ajouter une note de bas de page : on peut imaginer que les prochaines générations de ChatBot ne chercheront plus seulement à prédire ce qu’un humain écrirait, mais de plus en plus à prédire ce que les correcteurs humains préfèrent (parmi les trucs qu’il prédit qu’un humain écrirait). C’est déjà assez nettement le cas avec GPT-3.5 qui est entraîné à éviter certains sujets comme on l’a vu dans la vidéo.

Merci aussi à Raphaël Millière dont vous pouvez aller lire l’article ici.
On en avait discuté en visio il y a un moment, et j’ai renoncé à inclure des extraits de notre discussion dans la vidéo car cela aurait beaucoup compliqué le montage (et en plus on ne pouvait pas encore parler de ChatGPT vu que ce n’était pas encore sorti), mais en tout cas je le remercie d’avoir pris ce temps !

Merci aussi à toutes celles et ceux qui m’ont accompagné pendant les lives où je testais Cedille ou ChatGPT (certains des tests que je fais dans cette vidéo m’ont été directement inspiré par le chat de ces lives).

L’article que je mentionne sur GPT-3 jouant aux échecs.

David de ScienceEtonnante me fait remarquer que tous les modèles de langage n’ont pas été entraînés à faire seulement de la prédiction de prochain mot (ou prochain token pour être exact, ce qui est un peu moins qu’un mot) ; par exemple certains comme BERT de Google sont aussi entraînés à compléter des « textes à trou » (des textes dont 15% des tokens sont cachés). Ceci dit, les modèles GPT sont bien entraînés à la prédiction de prochain token.

Enfin, je me fais à moi-même la remarque suivante : il y aurait sur les modèles de langage bien d’autres choses à dire qui touchent davantage à la philosophie, typiquement sur les questions éthiques, ou sur le rapport au langage et à l’intelligence. Mais le truc c’est que pour ne pas dire n’importe quoi quand on aborde ces sujets, c’est important déjà de bien comprendre de quoi on parle : que sont les modèles de langage et de quoi sont-ils vraiment capables ? Donc c’est surtout sur ce point que j’ai voulu insister dans cette vidéo parce qu’il me semble important de l’éclaircir pour éviter de tomber dans des fantasmes (typiquement des fantasmes sur la conscience des chatbots). Si ça vous intéresse que j’approfondisse le sujet maintenant que je l’ai débroussaillé, j’y reviendrai peut-être dans une autre vidéo ! Dites-moi en commentaire si ça vous dit !

Sommaire

0:00 – Intro – Qu’est-ce que ChatGPT ?
2:49 – À quoi les modèles de langage sont-ils entraînés ?
6:10 – Test : où l’on voit que ça ne RÉPOND pas, ça PRÉDIT
10:04 – Mais quand on parle de sujets sensibles…
11:42 – Lê sur l' »éducation » des modèles de langage
14:25 – Lê présente Tournesol
16:51 – ChatGPT : transformer un modèle de langage en chatbot
17:33 – Le problème de Blake Lemoine : un chatbot conscient ?
21:30 – ChatGPT prétend répondre correctement…
24:07 – Mais ChatGPT n’est pas du tout fiable.
27:05 – La machine à bullshit
30:13 – ChatGPT peut-il surpasser l’intelligence humaine ?
33:14 – Quand un modèle de langage joue aux échecs…
36:19 – Outro