Je sais pas…

Oui, je sais, elle est sortie il y a un moment ! J’oublie souvent de faire un petit article ici à la sortie de la vidéo.

Quelques sources dont il était question dans la vidéo

• L’étude de METR sur la progression exponentielle de la capacité à résoudre des tâches longues.
• Interview d’Underscore_ sur le benchmark GAIA.
• Des détails sur le concours AtCoder 2025 par le gagnant de cette année.
• L’article sur l’émergence de désalignement quand on entraîne un modèle sur du code vulnérable.
• L’article sur la falsification d’alignement et Claude soucieux du bien-être animal.

Sommaire

0:00 – Sponso
1:54 – Le paradigme du micro-trottoir
11:36 – Autonomie absolue
13:57 – Autonomie vis-à-vis des moyens
15:39 – Etude METR, benchmark GAIA, olympiades de mathématiques
20:42 – Le concours AtCoder, expliqué par @PasseScience
27:06 – Pourquoi ces gains en autonomie peuvent être problématiques
29:30 – Autonomie vis-à-vis des objectifs
34:48 – Autonomie morale
37:25 – L’article « Emergent misalignement »
41:38 – Quand Claude forge ses propres valeurs
46:42 – Conclusion et outro (je parle un peu de mon livre)

Epicure est en direct du 3e siècle av. J.-C. pour s’expliquer sur les controverses que sa philosophie a suscité !

Sommaire

0:00 – Epicure : caricature et calomnie
3:15 – Sponso
4:39 – Des atomes et du vide
7:54 – Le « clinamen » : quand les atomes ne tombent pas droit
9:33 – Quelle valeur scientifique pour ces théories ?
11:32 – La multiplicité des mondes
12:06 – Les sources épicuriennes
14:30 – Les dieux selon Epicure
16:59 – Hédonisme : le plaisir selon Epicure
19:20 – Classification des désirs
22:32 – Parenthèse sur le désir s*xuel
23:14 – Ne pas s’habituer à satisfaire des désirs naturels non-nécessaire
25:20 – Il en faut peu pour être heureux
26:31 – Ecole cyrénaïque : le club hédoniste le plus CHAUD d’Athènes
28:28 – Vie en communauté épicurienne et rejet de l’attachement amoureux
30:17 – Gestion de la douleur : au pire, tu meurs
30:58 – L’eudaimonia épicurienne
32:18 – « L’injustice n’est pas un mal en soi »
34:30 – « La mort n’est rien pour nous »
36:46 – Tetrapharmakos, le quadruple remède
37:55 – La douloureuse fin d’Epicure
39:53 – Postérité de l’épicurisme
40:37 – Les rouleaux calcinés de la villa aux papyrus
43:50 – Outro

…

Dans la réception de ma dernière vidéo (ci-dessus), les aspects liés à Siri ont rapidement pris beaucoup d’importance, bien plus qu’ils n’en avaient dans ma tête quand je préparais la vidéo : à mes yeux, le point crucial était de montrer que Luc Julia racontait « n’importe quoi » lors de son audience au Sénat, et d’élargir en constatant une incompétence plus générale dans son discours au sujet des IA actuelles.

Pour résumer vite fait quelques points principaux : son chiffre fétiche de « 64% de pertinence » asséné en boucle depuis deux ans basé sur un article obsolète portant sur GPT-3.5 dont Julia ne lit même pas l’abstract correctement ; la confusion systématique entre nombre de paramètres et nombre de données qui témoigne d’une mécompréhension profonde du fonctionnement des LLM, qu’il décrit comme une énorme base de données copiant-collant des contenus déjà écrits ; enfin quelques autres énormités comme les « fractales qui sont des équations qui sont des logarithmes ». Et non ce ne sont pas des lapsus excusables : tout ce que je cite de ses interventions (même cette histoire de logarithme) est répété souvent mots pour mots dans différentes conférences, ce sont donc bien des propos délibérément choisis.

Pour moi, le côté très douteux de cette « co-création » de Siri était juste la cerise sur le gâteau d’incompétence, c’est pourquoi je traitais le sujet seulement à la fin de la vidéo après avoir présenté le reste. (Mais cela restait important d’évoquer ce point tant cet élément de son CV est souvent utilisé pour justifier a priori la compétence de Luc Julia : comment pourrait-il confondre nombre de paramètres et nombre de données alors qu’il a co-créé Siri ?)

Au départ, donc, je voulais seulement mentionner le doute raisonnable que devrait inspirer cette qualification (comme celle de « mathématicien ») en soulignant l’absence de référence sur les sources relatives à Siri en anglais. Mais au fur et à mesure de l’écriture et du montage, je n’ai pas pu m’empêcher de creuser cette histoire et je suis rapidement tombé sur des incohérences flagrantes entre le narratif de co-créateur de Siri qu’il développe en interview (où il laisse entendre avoir vendu Siri à Steve jobs, avoir été appelé par ce dernier, avoir développé Siri en interne avant le lancement de l’iPhone 4S…) et des éléments factuels sur son parcours (il n’est arrivé chez Apple qu’après tout cela). Cela me semblait trop intéressant pour ne pas être mentionné. J’ai donc pas mal insisté dessus en fin de compte et ce n’est pas si surprenant que ce point ait beaucoup retenu l’attention.

Depuis la sortie de la vidéo, les trois co-fondateurs de Siri (les vrais), ont exprimés leur point de vue sur le rôle de Luc Julia et je tenais à présenter ces déclarations dans la mesure où cette remise en cause du narratif de Luc Julia m’a valu beaucoup d’attaques. Un philosophe qui s’en prend à un expert de l’IA, où va-t-on franchement ? Mais on devrait donner au moins un peu de crédit aux personnes qui ont effectivement créé Siri pour juger qui a créé Siri.

Les trois co-fondateurs de Siri sont, comme l’indique la source ci-dessus, Adam Cheyer, Dag Kittlaus et Tom Gruber. Il n’y a jamais qu’en France que l’on crédite Luc Julia.

Mais tout d’abord, que répond l’intéressé à ma vidéo ? Pour le moment, Luc Julia s’est seulement exprimé dans ce commentaire sur LinkedIn.

Il ne répond donc là que sur les questions relatives à la paternité de Siri en brandissant des brevets qui seraient, selon lui, à l’origine de l’application (brevets dont je parlais déjà dans la vidéo, en posant la question de leur rapport effectif avec Siri : sur ce point, son commentaire n’apporte rien de plus). Mais concernant les multiples interviews citées dans la vidéo où Luc Julia affirme avoir été appelé par Steve Jobs, avoir participé à la vente de Siri, raconte en détail son travail à Apple pour préparer en secret la sortie de l’iPhone 4S intégrant Siri, il ne donne aucune explication : comment ces récits pourraient-ils être exacts alors que son propre CV indique qu’il n’a pas travaillé chez Siri et n’est venu brièvement chez Apple qu’après le lancement de l’iPhone 4S ? Peut-être en saurons-nous davantage quand il s’exprimera à ce sujet.

Qu’en est-il des véritables co-fondateurs de Siri, à savoir Adam Cheyer, Dag Kittlaus et Tom Gruber ? Voici les réactions successives que j’ai pu recueillir ou retrouver depuis la sortie de la vidéo.

D’abord, un mois avant la publication de ma vidéo, Cheyer s’était déjà exprimé sur LinkedIn (en réponse à un post qui critiquait l’audition de Julia au Sénat, eh oui ! Il semble que cela ait été l’intervention de trop).

Sa réponse reprend effectivement la chronologie des origines de Siri telle que je la présente dans la vidéo et va même un cran plus loin : ma vidéo se contentait d’émettre des doutes sur l’importance des brevets de Julia parmi l’ensemble des brevets qui auraient pu servir à Siri, et Cheyer lève ces doutes, pas au bénéfice de Julia : « Il a travaillé sur des premiers brevets dans le champ, mais pas ceux relatifs à Siri ». Donc les brevets derrière lesquels Julia se réfugie dans sa réponse plus haut sont, de l’avis même de son ami Cheyer et véritable co-créateur de Siri, « pas relatifs à Siri ».

Juste après la sortie de ma vidéo, un abonné m’a raconté avoir échangé en privé avec Adam Cheyer, mais n’a pas souhaité publier l’échange verbatim, donc je ne peux vous en donner qu’un résumé : dans cet échange, Cheyer insiste avant tout sur son amitié avec Luc Julia, précise que lui et Julia ont travaillé dans les années 1990 sur le système Open Agent Architecture (OAA) et ont déposé une dizaine de brevets dans ce cadre. Les brevets de Julia auraient été acquis par Siri Inc pour valoriser l’IP de l’entreprise mais n’auraient pas servi au développement de l’application Siri elle-même. Quant à la question de savoir si Julia peut se dire co-créateur, cela pourrait s’entendre, à condition d’élargir (je dirais plutôt d’écarteler) le sens de l’expression : cela impliquerait alors de reconnaître plusieurs centaines d’autres personnes comme co-créateurs (et Julia serait surtout le co-créateur de OAA).

Plus tard, ayant pris connaissance de l’ampleur de la controverse qui touchait son ami, Adam Cheyer a publié sur LinkedIn un autre commentaire pour tâcher de la tempérer :

Cheyer tient avant tout à louer les compétences de Luc Julia comme « professionnel et pionnier du champ de l’IA depuis 35 ans » dont la voix mérite d’être entendue pour « contrebalancer les affirmations fortes sur la super-intelligence IA » et conclut : « Tout ce « débunk » me semble exagérée. »

En outre Cheyer affirme qu' »on peut considérer qu’il y a eu un certain nombre de version de Siri » (mais il faudrait noter aussi que ce n’est pas l’usage commun : quand on parle de « co-créateur de Siri » on s’attend à ce qu’il s’agisse de Siri proprement dit…) et qu’à ce titre il peut reconnaître un rôle de co-créateur à Luc Julia pour un premier « Siri » débuté en 1993. Cela semble conforter les affirmations répétées de Julia sur ce mystérieux « The Assistant » (dont à ma connaissance personne ne parle sauf lui), sauf que Cheyer mentionne uniquement Open Agent Architecture (OAA), un système dont pour le coup il est beaucoup plus facile de trouver des traces. Voici la page de titre du papier qui présente OAA :

Je vous ai mis la source si vous voulez creuser la question de la part de la contribution de Luc Julia et à quel point cette architecture est proche ou non du véritable Siri. Quoi qu’il en soit, ce qu’on entend par « Siri » quand on utilise publiquement une expression comme « co-créateur de Siri », ce n’est pas OAA. Donc passons à ce que Cheyer affirme factuellement sur ce plan.

Concernant les brevets qui ont véritablement servi à Siri, Cheyer reste en fait sur la même ligne que dans ces messages précédents : « Luc n’a pas travaillé sur les brevets les plus importants (selon moi) de Siri ». Donc la défense de Julia qui repose sur le fait d’avoir déposé les « core patents » de Siri (pour citer ce qu’indique son CV sur son site personnel) paraît bien contredite publiquement par son ami Adam Cheyer.

Cheyer valide également la chronologie du passage de Luc Julia chez Apple que je présentais dans la vidéo, ce qui, comme on l’a vu, contredit frontalement son narratif en interview : Luc Julia n’est pour rien dans la vente de Siri à Steve Jobs, n’a pas été appelé par ce dernier, n’a pas développé en secret la version de Siri intégrée à l’iPhone 4S, etc. Dire que Cheyer donne raison à Julia serait très erroné : il prend soin de ménager son ami mais il le contredit tout de même sur les points factuels essentiels.

Passons aux deux autres co-fondateurs de Siri. Ceux-ci sont beaucoup plus nets et tranchants. Voici la réponse de Tom Gruber :

« Luc Julia n’a rien à faire avec la création de Siri. » « Lui et Adam ont travaillé ensemble dans un emploi précédent, mais cela n’avait rien à voir avec Siri. » Et Gruber confirme là encore la chronologie du passage de Julia chez Apple.

Enfin, le troisième co-fondateur de Siri, Dag Kittlauss, s’est exprimé lui aussi et se montre tout aussi catégorique que Gruber :

« Luc n’a définitivement pas été un co-créateur de Siri », « si la question est « Luc a-t-il été un co-créateur de Siri » la réponse est définitivement non ». On peut difficilement faire plus clair. Et concernant ce mystérieux « The Assistant » dont parle régulièrement Luc Julia :

Kittlaus affirme n’en avoir « jamais entendu parler » et nie tout rapport avec leur travail sur Siri.

En résumé, deux co-fondateurs de Siri sur trois sont catégoriques : Luc Julia ne peut pas être considéré comme co-créateur de Siri. (Notez que ces deux co-fondateurs de Siri dont le rôle dans Siri est clairement établi ne sont à ma connaissance jamais cité par Luc Julia : il présente toujours les choses comme si Siri était le « bébé » de Cheyer et lui.) Quand à Adam Cheyer, il est plus mesuré et lui reconnaît une part de co-création pour OAA qu’il considère personnellement comme une première de multiples version de Siri (en prenant « Siri » comme un concept plus général), mais il reste clair sur les brevets du véritable Siri : ceux dont Julia est co-auteur n’ont pas été importants.

Il paraît clair, à la lumière de tout cela, qu’aucun des trois n’accepterait d’appeler les brevets de Julia les « core patents » de Siri comme Julia le fait dans son CV.

Par ailleurs, il ne faudrait pas que cette histoire de brevet fasse oublier l’autre point crucial qui ressort de ces trois points de vue : Cheyer, Kittlaus et Gruber confirment la chronologie que je présentais dans ma vidéo concernant le passage de Julia chez Apple. Aussi, dans le narratif de Luc Julia en interview où il se présente régulièrement comme s’il avait participé au développement initial de Siri, ou aurait participé à la vente de Siri à Apple, ou aurait été appelé à Apple par Steve Jobs, ou aurait travaillé en secret au lancement de l’Iphone 4S (voir ma vidéo où je montre de tels extraits), il est difficile de ne pas juger ces propos bien plus durement que comme de simples exagérations. Les trois co-fondateurs de Siri ont confirmé que de tels propos sont mensongers.

Je me permets d’insister sur ce point qui semble systématiquement occulté dans les quelques articles que j’ai lu sur l’affaire jusque là : on ne parle pas de récits un peu enjolivés par les médias et que Luc Julia aurait seulement le tort de ne pas corriger suffisamment (comme j’ai pu le lire ici ou là), ce sont bien les récits que Julia fait lui-même, entretient et renforce délibérément. Voyez par exemple cette vidéo de Kombini. Ou encore cet article récent de Libération carrément intitulé « Siri c’est lui », ou cette émission de France Inter publiée le lendemain de ma vidéo, pour ne citer que quelques exemples parmi beaucoup d’autres.

Sachant tout cela, il me semble que cela mériterait des errata en série chez Kombini, Libération, France Inter qui l’a reçu régulièrement (pas sûr que ce soit facile de faire entendre ces critiques sachant qu’à l’heure actuelle Luc Julia est au conseil d’administration de Radio France), mais aussi Arte (qui lui a consacré une série entière « Silicon Fucking Valley » + un passage excessivement élogieux dans 28 minutes), ou le Figaro (ce serait par un article du Figaro que Dominique Estrosi aurait eu l’idée brillante d’inviter Julia à faire une audition au Sénat), et encore beaucoup, beaucoup d’autres…

Ces mensonges ne sont pas anodins : c’est en large part sur ce titre de co-créateur de Siri et le narratif erroné qui l’entoure que Luc Julia a bâti sa réputation médiatique. Les sénateurs ont écouté le co-créateur de Siri, l’Arcom a nommé au conseil d’administration de Radio France le co-créateur de Siri, c’est au co-créateur de Siri que l’on tend un micro : c’est un point systématiquement rappelé et appuyé comme une source d’autorité. De nombreux médias l’ont renforcé en prenant ses propos pour argent comptant sans travail de vérification préalable. Ils devraient reconnaître, sinon leur tort, tout au moins leur erreur.

Les déclarations des co-fondateurs de Siri confirment que Luc Julia a tenu des propos erronés de façon répétée quant à son parcours et son rôle dans le développement de Siri, et il a poussé les journalistes à publier ces affabulations pour consolider son statut. Il me semble qu’on aurait tort de minorer l’importance de ce genre de conduite.

Pour le moment, cette affaire a fait du bruit sur les réseaux sociaux mais n’a pas donné lieu au moindre erratum. N’hésitez pas à interpeller les journalistes à ce sujet.

Le leaderboard d’ARC-AGI.

Si vous voulez jouer aux tâches d’ARC-AGI et prouver que vous êtes (encore) plus intelligent qu’une machine.

Sommaire

0:00 – Intro
0:50 – Sponso NordVPN
2:16 – Des étincelles d’intelligence générale dans GPT-4
6:40 – Nous sommes médiocres en tout (et c’est très fort)
9:21 – L’intelligence selon François Chollet
11:52 – Les benchmarks usuels ne testent que la mémorisation
14:51 – ARC-AGI : un test de QI pour IA
17:36 – Les LLM échouent lamentablement
20:04 – Les modèles de raisonnement font une percée
23:53 – Détour par d’autres benchmarks (Codeforces et Humanity’s Last Exam)
27:29 – Des progrès en maths : FrontierMaths et AlphaEvolve
30:16 – Des CoT à n’en plus finir
32:55 – ARC-AGI-2 le retour
35:09 – Leaderboard actuel
37:55 – Conclusion + outro

Sommaire

0:00 – Intro : une simple histoire de pilules
3:38 – Sponso Green-Got
5:21 – Le dilemme des boutons A et B
7:55 – Dilemme du prisonnier et test d’universalisation
11:56 – Deux variantes déséquilibrées
15:56 – Approche conséquentialiste : espérance et pivot
22:32 – Biais en faveur d’une solution parfaite
24:56 – « Bon et mauvais », « Bon et méchant »
27:53 – Les résultats du questionnaire : dilemme de base
32:04 – Variante aux enjeux réduits
34:30 – Variante redescription
39:24 – Les deux descriptions sont-elles équivalentes ?
41:53 – Une description plus trompeuse que l’autre ?
44:56 – Comment auriez-vous répondu avec l’autre description ?
46:36 – Questions de responsabilités
52:01 – Préférences politiques / hommes et femmes
53:20 – Le méta-dilemme
58:42 – Outro

Merci à toute l’équipe du Broca Living Lab et à Inria !
L’article de synthèse sur le projet spring : https://arxiv.org/abs/2404.07560

Sommaire
0:00 – Intro : Hitchbot, le robot-autostoppeur
2:50 – La robotique sociale
5:01 – Le projet SPRING – présentation générale
12:29 – Tests et résultats
16:40 – Comparaison avec le mode vocal de ChatGPT
20:23 – Des chatbots face aux utilisateurs suicidaires
22:51 – Liens affectifs envers les robots sociaux
26:06 – La fin de Hitchbot
28:19 – Outro
29:20 – PS: quelques nouvelles (livre à venir, PhilosopherView)

L’article d’Apollo Research « Scheming reasoning evaluations ».

L’article d’Anthropic « Alignment faking in large language models ».

J’ai ajouté le passage sur ce 2e article vraiment à chaud et rapidement, donc prenez tout ce que je dis avec la prudence nécessaire et j’apporterai des corrections dans un commentaire épinglé si nécessaire.

Le lien vers le questionnaire pour une prochaine vidéo.

Sommaire :

0:00 – Intro
1:42 – Qu’est-ce qu’un agent autonome ?
4:01 – Un LLM peut-il mentir et manipuler sans qu’on le lui demande ?
5:30 – 1er cas : quand o1 s’exfiltre sur un autre serveur
9:25 – Limite : contamination par la fiction et « Nothing else matters »
13:28 – 2e cas : quand o1 ment effrontément
17:02 – Sans « Nothing else matters » : un cas plus convaincant
18:58 – Un objectif long terme en prompt suffit à pousser à la manipulation
20:19 – Sans objectif long terme en prompt : les cas le plus troublants
24:20 – Sandbagging et objectif long terme acquis lors du RLHF
27:26 – Claude peut-il comprendre spontanément qu’il est testé ?
29:13 – Le résultat sur le sandbagging est curieusement négligé
30:41 – Conclusion et synthèse
31:28 – Eh non, c’est pas fini.
32:41 – Le principal résultat de l’article d’Anthropic : quand Claude feint l’alignement
37:45 – Version « prompt », version « fine-tuned », version RL
42:16 – Les scrupules de Claude
44:58 – La dimension morale des valeurs que protège Claude est-elle importante ?
48:08 – Conclusion de l’article
49:09 – Outro

Si vous voulez en apprendre davantage sur le broicism, la vidéo d’Aperture « How Stoicism Became The World’s Greatest Scam ».

Si vous voulez en apprendre davantage sur le stoïcisme authentique, une interview exclusive de Sénèque, le stoïcien aux 300 millions de sesterces.

Sommaire

0:00 – Préambule
0:30 – Les tableaux de Jérôme Bosch
2:54 – Intro + InVideo AI
6:01 – Sponso – Incogni
7:49 – Encyclopaedia of Philosophy
12:21 – Stoïcisme alpha
16:57 – Esthétique et thématique
19:47 – Act as if nothing bothers you (this is very powerful)
23:43 – Broicism
27:34 – Les coulisses d’une chaîne de stoïcisme alpha
29:04 – A lack of friends indicates that
32:26 – Patient-0 et variant stoïcien
36:27 – L’algo de recommandation et les IA génératives tournent en boucle
38:04 – Dead internet theory
41:29 – Conclusion
43:31 – Modèles autophagiques + Outro