Métacognition et World Models : ce qui reste quand les réponses sont gratuites

Bon, c'est pas la même musique que d'habitude parce que vous essayez un peu un nouveau format.

Alors franchement j'ai passé du temps à réfléchir à des formats que voulais faire dans la troisième saison.

C'est pas ça que je en train d'enregistrer.

Là ici ce qui se passe concrètement c'est que je suis en train d'écrire un article de vulga scientifique technique pour We Love Devs qui parle principalement de système 1,

système 2 qui parle de...

des world model en fait.

En fait ça parle des world model de Yann Lequin et en fait il y a tout un pan dedans qui est plutôt psychologie par les sciences cognitives.

Alors c'est des sciences qui sont pas vraiment des sciences parce qu'il a pas d'expérience, il a pas de p-value etc.

C'est plus des...

comment ça s'appelle ?

Ce serait plus de littérature à ce niveau là.

Mais bon voilà il y a des gens qui ont réfléchi là-dessus, qui ont écrit là-dessus, y a de la littérature scientifique dessus.

Et en fait, moi ce je trouve intéressant, si vous voulez, question que je me pose, c'est...

si on peut externaliser auprès d'OpenAI et si on peut externaliser auprès de chat GPT, de Claude etc la capacité de réflexion sous forme de token HT.

Quelle est la valeur du système 2 qui est le système d'analyse ?

Quelle est la valeur de la métacognition qui est une autre compétence ?

En fait voilà, comme j'ai peu ce sprisme RH, j'ai envie d'analyser ça, de réfléchir à ça en tout cas.

J'ai pas de réponse, je vais poser plus de questions que de réponses mais je vais vous apporter dans cette réflexion des auteurs qui

donnent des définitions, qui donnent des concepts pour enrichir la réflexion.

On est vraiment sur un épisode qui devrait quand même vous prendre un peu d'énergie cognitive.

voilà, si c'était simple à comprendre, si c'était un épisode qui s'adressait à tout le monde, j'aurais juste fait un post-LinkedIn.

Là, on est sur des choses compliquées, donc accrochez-vous.

Ou alors mettez un bookmark sur l'épisode et vous l'écouterez plus tard.

et là pour reprendre quelque chose d'un peu plus chill entre deux mais voilà, en tout cas il faut faire un peu le tri, l'épisode là il est pas pour tout le monde, il faut avoir

envie de réfléchir à la psychologie, au mode de cognition et d'utiliser des analogies avec le monde de l'IA et la vie des développeurs pour y arriver quoi bon c'est la fin de la

musique, c'est bien c'est la fin de l'intro, je vais pouvoir démarrer

J'ai devant moi, alors ça c'était le bloc 0, je crois il a 16 ou 17 blocs dans mes notes.

On va pouvoir y aller doucement, ça fera 16 ou 17 chapitres sur le podcast.

Et puis moi je peux en vacances après.

Donc je suis plutôt large devant moi.

Bon alors le premier bloc, le premier sujet c'est le faux débat entre le système 1 et le système 2.

Système 1 et système 2, vient de la psychologie effectivement.

a quatre ou cinq auteurs qui en parlent.

Souvent, c'est un domaine de science qu'on appelle le dual thinking.

Le premier auteur, il expliquait un truc comme le raisonnement rapide, le raisonnement lent.

Souvent, l'exemple qu'on donne, c'est par exemple, si vous demandez à quelqu'un dans la rue, vous le prûnez un petit peu, genre il est en train de marcher, vous le choquez, vous

lui dites, la Terre, met combien de temps à faire le tour du soleil dans une journée ?

Il va te répondre 24 heures.

ensuite, va faire...

Oh, attends, je une bêtise là.

Ah, mais ça, c'est...

Non, non, en fait, la Terre, tourne autour du soleil en une année.

Donc, c'est un peu comme la question que vous posez au LLM avec les voitures.

La question, c'est quoi ?

Je dois laver ma voiture, le car wash est à 50 mètres, est-ce que j'y vais à pied ou en voiture ?

Le fait de poser une question bête, votre système 1, part tout de suite.

sur la réponse intuitive.

système 1 du coup, rapide et lente, c'est insuffisant, mais l'intuition associée au système 1, c'est une bonne chose, c'est un bon réflexe, c'est ok.

La littérature, décrit ça, c'est qu'il a les deux systèmes, c'est-à-dire qu'au moment où tu dis « Ah attention, je suis en train de faire une bêtise », ça c'est le système 2 qui

vient corriger ce que le système 1 vient faire.

Le système 1, il affirme avec beaucoup de confiance en soi.

et le système 2 vient mettre du doute, il vient critiquer, vient...

Alors la relecture c'est un sujet, je vais faire un chapitre complet sur la relecture, mais il vient analyser en tout cas, vient réfléchir.

du coup, alors ce qui est intéressant c'est que Ian Lockin et ses confrères du monde des LLM c'est nul.

ils résument le truc en disant que les LLM sont coincés dans le système 1, ce qui est un petit peu faux parce que la majorité des modèles aujourd'hui ont ce qu'on appelle un mode

thinking où ils se relisent les uns les autres, vois c'est un raisonnement en multi étages, ils écrivent des raisonnements et ils critiquent leur propre raisonnement et

ensuite ils écrivent le résultat de leur raisonnement en réponse en streaming.

Bon, c'est des modèles, comment expliquer, ça reste des modèles

Le sujet c'est ça, est-ce qu'ils font semblant de faire du système 2 ou est-ce qu'ils font vraiment du système 2 ?

Est-ce que savoir se relire, ça suffit à faire du système 2 ou pas ?

Ça c'est un peu un truc dans lequel je vais entrer dans le détail un peu plus tard.

Et notamment en fait ce flou, alors déjà il faut le dire, le truc de dire moi mon système il va faire du système 2, mon IA va faire du système 2 alors que autres ne que du système

1, c'est un peu une façon de dire les autres sont débiles, moi je suis intelligent.

C'est la version ingénieur IA de...

t'as un V8, moi j'ai un V12.

C'est la comparaison que la voiture a atteignée, je l'ai connu derrière, crois que la V8 c'est cool en fait.

Mais voilà, c'est un peu la comparaison de...

t'as un processeur que 4 coeurs, moi j'ai un processeur 8 coeurs quoi.

Un peu plus à la vanne, plus à la vibe.

Ah t'es encore en 4G, bah moi je veux faire la cinquième génération.

Mais la version IA anthropomorphiste.

Bon et ensuite du coup, il faut voir aussi que dans le raisonnement humain, il manque un truc à ce niveau là.

Pour moi, c'est la métacognition et il a des auteurs, je vais étudier plus tard les auteurs.

Il y a des auteurs sur la métacognition, notamment Fleming.

Il y a des auteurs sur le dual thinking, Thompson, Madame Thompson.

Je vais revenir un peu sur les deux.

Mais du coup, la problématique que je voudrais poser ou le sujet de réflexion que je veux vous proposer, admettons que...

On est trois compétences, on est trois niveaux.

On a le système 1 qui fait le raisonnement intuitif, le système 2 qui prend du recul en mode oulala attention on est en train de rouler tout droit là, mais il des virages en

fait.

Et un autre truc qui s'appelle la métacognition qui est la capacité à se rendre compte qu'on est en train de foncer droit dans le mur et qu'il faut activer le système 2 pour

tourner.

ça marche plutôt bien genre système 2 c'est les virages, système 1 c'est les lignes droites, la méta cognition c'est réfléchir à quand est-ce qu'il faut tourner ou pas.

Franchement l'analyse marche plutôt bien.

Ces trois compétences là sont plus ou moins musclées, il des gens qui sont très intelligents, qui sont capables de faire du système 1 très vite, qui jouent aux échecs en

système 1 complet par exemple et qui vont activer très peu leur système 2 parce que la système 1 est très bon pour reconnaître des patternes.

La reconnaissance de pattern, la reconnaissance de schéma, c'est système 1.

Quand vous faites les problèmes aux échecs et que vous vous entraînez pour résoudre les échecs plus vite, vous êtes vraiment en train de faire un gros système 1 très musclé.

On peut être très très intelligent, avoir un très gros système 1 et pour autant avoir une méta cognition du lâcher.

Et c'est là où d'ailleurs le QI est nul à chier comme mesure parce que le QI ne mesure pas la capacité de métacognition.

Le QI peut se résumer à la velocité, une espèce de puissance de charge d'un système 1 combiné à un système 2.

C'est forcément...

En fait, truc, c'est c'est un peu comme regarder la performance d'une voiture en regardant que la performance du moteur est de son turbo.

La métagonisation c'est le châssis, c'est la capacité à tourner après les virages, c'est le confort du volant etc.

Et le résultat de la machine, la performance de la machine, reste la combinaison des trois.

Et du coup dans une société où on peut acheter externalisé auprès d'open AI, d'anthropique etc.

l'achat de système 1 et l'achat de simi système 2 ou d'assistance au système 2, quelle est la valeur du système 2, quelle est la valeur du système 1, quelle est la valeur de la

métacognition quoi ?

C'est peu le sujet que je voudrais aborder.

Bon alors pour rentrer dans le truc, l'un des premiers auteurs donc Valérie Thompson je pense, j'ai juste mis Thompson dans mes notes mais je crois que c'est une femme qui

s'appelle Valérie.

Elle a introduit un sujet qui s'appelle le feeling of rightfulness.

Après si on enlève, genre beaucoup d'années d'études d'englès, des voyages à l'étranger et tout pour en arriver là.

C'est l'intuition, le sentiment de justesse en français, serait la bonne traduction.

Alors l'intuition, on a dit que c'était du système 1 et c'est toujours juste.

Mais en fait, ce système 1, nourrit un sentiment de justesse, c'est-à-dire qu'il est en train de réfléchir à est-ce que

Est-ce que j'ai raison ou pas ?

En fait, le système 1, c'est sa façon d'évaluer si...

C'est marrant parce que le feeling of rightness, elle le décrit déjà comme une valeur de méta cognition.

D'ailleurs, c'est une valeur qui ressemble un peu à un scalaire, c'est des gradients.

faut imaginer vraiment une échelle qui fait moins, moins, Ouh là, ouh je ne pas très sûr de moi.

Ah, plus, plus, plus.

Je suis très, sûr de moi.

Donc le feeling of rightness, c'est vraiment genre...

l'assertivité de ton raisonnement.

C'est vraiment ce sujet là.

D'ailleurs, moi j'ai toujours eu ce sujet là, c'est que quand je m'exprime, j'ai toujours l'air méga sûr de moi.

Et les gens qui travaillent avec moi, ont pris l'habitude souvent de double-checker tout ce que je dis.

Et j'ai appris à le dire de manière très explicite.

Attends, là suis sûr de moi à 98%, je plutôt sûr de moi à 70 % à ce niveau là.

Ce feeling of rightness, c'est un peu le truc qui te...

C'est ça, quand j'étais dans la situation d'avant, décris, ouh attends, je suis en train de dire une bêtise.

C'est le feeling of rightness qui vient de faire, clac clac clac, trois crans du dessous et des pastilles tout rouges.

Ou alors, j'ai répondu à une réponse plausible, et en fait j'ai associé à ça un feeling of rightness qui dit, en fait je suis très très sûr de moi, réponse là, typiquement j'ai dit

365 jours, ensuite j'ai fait, attends il a 1.25 normalement.

Donc je l'ai enlevé, je 364.25, fais, c'est plutôt 305.25.

Vu que j'ai changé d'avis trois fois, mon feeling of rightness, il n'arrivera plus à passer en vert.

C'est l'idée, c'est que le feeling of rightness nous permet de doser, c'est un peu le mécanisme qui permet de doser combien de temps on met à réfléchir.

Aujourd'hui, on utilise un LLM, on met un modèle plus moins gros, on active le mode thinking, on donne une durée au mode thinking, il peut décider lui-même

du temps à investir.

Grosse ou merdeau, le temps se transforme en tokens quand on utilise des LLM.

Le temps, je mets à réfléchir, ça devient des tokens, un nombre de tokens à brûler.

Ça c'est l'idée.

Fingertrackness.

Pour le blog d'après, c'est un blog où on va parler de la code review.

Alors imaginez vraiment, je trouve que le système 1, système 2 et la métacognition, je trouve que c'est un bon exemple sur la code review en tout cas.

Des fois tu ouvres la paire un peu, tu regardes le code et tout.

En plus il te manque du contexte sur la feature et tout.

Tu regardes le code et fais bof.

Looks good to me, LGTM, tu mets en commentaire et tu mets un pouce en tout valide la paire.

fait, c'est vraiment comment tu exerces, comment tu mets le Finger of Lightness de Thompson en application.

Le cycle system A

et la correction du système 2.

L'étape d'après, comment expliquer ?

L'étape d'après, ce serait de se dire, attends, vas-y, je vais me forcer à utiliser mon système 2 et je vais essayer de réfléchir.

Donc là, moi, je me vois tout de suite avec un papier, un crayon.

y a probablement plein de gens qui vous disent, oui, utiliser du papier, du crayon, ça aide à réfléchir.

Concrètement, c'est parce que quand on commence à faire des dessins, etc., on passe en système 2, ça l'active.

où j'avais pas besoin de papier crayon pour activer votre système de jeu, c'est plutôt un life hack.

Je pense que les gens en 2050 nous regarderont comme si on était des hommes de Neandertal à essayer de démolir Skin pour faire ça.

Mais bon, pas.

Mais oui, je m'imagine en train de faire des schémas, d'essayer de réfléchir à ce que le bloc de code fait, à son utilité, à qui va le relire ensuite.

Est-ce que dans ce contexte-là, c'est bien la feature qu'on voulait ?

Et du coup, tu te dis, j'ai lu le code, il m'a l'air bien, ça me suffit.

Ça, c'est vraiment le truc où tu normalement, tu devrais déclencher, attend.

Non, là, faut que j'active le système 2.

J'essaie de réfléchir.

le code, il est en français, il est en anglais, ce genre de choses là.

Des fois, vous aurez une sensation de petit frottement.

Un petit truc en mode, ouh là, attends, ça n'a pas l'air très conventionnel tout ça.

En fait, c'est un autre auteur qui l'introduit, c'est Wim de Neyce.

Vim de Neis ou Vim de Nes.

Probablement un nom flamand que je ne pas prononcer.

J'habite depuis dix ans à Lille, je ne sais toujours pas prononcer le nom flamand et on fait de notre mieux.

OK, on fait de notre mieux.

En fait, le Vim de Nes, ce frottement qu'a introduit l'auteur, c'est la notion d'un conflit.

Tu sais pas ce qui ne pas, mais il a un truc qui cloche.

Tu sens que tu es en train de faire une bêtise.

Tout comme j'ai la sensation, vois, le curseur de...

suis en train de une bêtise sur la durée de la révolution terrestre autour du soleil.

Hop là, j'ai activé mon curseur de bêtise.

Tu sais pas encore ce que c'est.

Et ce qui est intéressant dans l'écrit de Wim Denees, c'est que cette sensation-là, on n'est pas dans un niveau de métacognition.

On est déjà dans un niveau de monitoring, c'est-à-dire que c'est un mécanisme qui permet de surveiller si j'ai assez réfléchi à la question ou pas.

Mais ce n'est pas de la métacognition encore.

de dire que...

Il y a des auteurs qui expliquent que la métacognition, c'est la capacité à réfléchir, la capacité à observer son propre raisonnement, c'est le monitoring et le contrôle, c'est la

capacité à switcher du système 1 au système 2.

Voilà, de manière générale.

Mais en fait le monitoring, existe toujours.

Il y a ces mécanismes de monitoring qui existent toujours de est-ce que je suis en train de réfléchir assez et Vin de Nays il met le truc dessus, c'est la notion de conflit entre

est-ce que ce truc là il m'a l'air normal ou pas ?

D'ailleurs, un sujet vous pouvez l'avoir, il a des gens qui sont plus ou moins forts en mode attends mais pourquoi est-ce que on achète des béquilles neuves à chaque fois sur

prescription à la pharmacie plutôt que de rester des béquilles usagées vu que c'est toujours des trucs en lustre et peu quoi.

Personne qui dit que c'est pas normal ça aujourd'hui, j'ai un copain qui vraiment fait ça ce matin et je trouve ça très très drôle.

Ça c'est vime de Nice là, on pourrait optimiser quand même non ?

Et ce système-là ne nécessite pas d'avoir une métacognition développée.

Le déplacement de la valeur avec les LLM.

Aujourd'hui je pense que les LLM sont quand même capables d'un minimum de système 2.

C'est qu'à minima, les LLM sont capables de nous assister dans notre système 2.

C'est sûr qu'ils produisent des réponses de manière assez instantanée, de manière assez plausible, systématiquement.

Et d'ailleurs, fait qu'ils rajoutent en dessous les modèles d'hier en vantent des réponses, il faut vérifier les réponses.

Ils rappellent que c'est du système 1, systématiquement.

Mais en même temps, d'un autre côté, il nous propose de regarder Mythos, dans la fiche technique de Mythos, il a des poèmes de mythos écrits à propos de lui-même.

Il y a beaucoup de modèles qui parlent d'eux-mêmes et de leur capacité, du fait qu'il a une fin du monde à chaque conversation.

On a l'impression qu'ils font la métacognition.

tout cas, ils imitent des humains qui se posent des questions sur leur existence quand on leur demande rien.

Ça serait galop.

Donc les LLM, industrisent la production de réponses.

Si dans un monde où les LLM deviennent largement assistés, assistables, enfin largement accessibles, c'est à que les tokens ne pas chers, du coup, veut dire que la métacognition

finalement, c'est le truc qui a le plus de valeur et qui n'est pas automatisable.

Le pilotage, il y a un coup caché.

Si vous avez déjà fait ça, vous êtes déjà arrivé de bosser avec des LLM toute la journée.

En plus, généralement, en as un qui fait un truc, l'autre qui fait l'autre toutes les trois minutes.

Toutes les trois minutes, il en un qui bloque.

te remets dans le contexte de celui-là, de pourquoi est-ce qu'il est bloqué, tu faisais quoi comme feature, etc.

Tu ressors, viens...

Donc, tu as le truc qui est claqué.

Et c'est aussi parce que, en fait, quand on travaillait ce mot LLM, fait, le gros du travail, c'était...

de l'analyse simple quoi.

C'était quand même vraiment genre je prends le temps de réfléchir puis maintenant j'en ai pour une heure à le faire quoi.

Là maintenant on est obligé de réfléchir tout le temps.

Il faut imaginer alors si vous avez fait du chien de traîneau en fait dans un chien de traîneau il a des chiens de vent qui sont un peu plus intelligents et qui sont capables

d'entiper les virages un peu système 2 ce sont les huskies, les mignons huskies et derrière à des gros chiens qui vont très vite ce sont les malamutes.

Parce que les huskies, comme ils sont pas très gros, ils ont un peu du mal à gérer les démarrages quoi.

Les marrages en côte, le ski pas ouf.

Malamute, costaud, costaud et puis ils courent tout droit quoi.

Sauf que les chiens quand ils courent, ont toujours peur d'un truc, c'est de se prendre le traîneau dans le Donc ils ont besoin de savoir que le muncher est en train de, pied près,

la pédale, il est prêt à freiner.

Donc le muncher, écarte les pieds, il met les deux pieds sur le ski et il une grosse mâchoire qui freine le traîneau mieux.

Donc il faut qu'il touche un petit peu tout le temps le truc.

pour que les chiens soient rassurés sur le fait qu'il va freiner.

Et là en fait le LLM lui c'est vraiment genre un husky malamute, genre plus un malamute d'ailleurs tout seul, qui court vraiment tout droit comme un con.

Et puis t'entends il fait merde il un virage on l'a raté là non ?

Ou alors il le voit pas d'ailleurs, t'es obligé de vérifier, attends vas-y est toutes les trois mutes, il est en train de se taper un mur ou pas là ?

Donc t'as vraiment l'impression d'avoir passé par rapport à avant, t'as un système qui bien équilibré qui est le tien d'ailleurs, où tu appuies sur le frein

avec parcimonie, là t'as vraiment l'impression que tu passes ton temps à faire des freinages d'urgence.

Et voilà, en fait, c'est épuisant de passer son temps à freiner sur des gens qui vont trop vite et qui se tapent des murs et qui s'arrêtent pas tout seuls.

Si vous avez cette sensation-là, ça s'explique cognitivement.

Comment différencier le système 2 de la métacognition ?

Le système 2 est vraiment dans l'analyse.

Il va créer du raisonnement.

Le système 1 crée du raisonnement intuitif aussi, du raisonnement linéaire.

Le système 2 crée la rupture dans le raisonnement du système 1.

crée de l'analyse.

Le système 2, c'est le labyrinthe, c'est le fait de résoudre le labyrinthe.

Alors que le système 1, c'est comment je cours tout droit dans un couloir.

La méta cognition, c'est le fait de sortir de ce point de vue là, de sortir du labyrinthe, de regarder par dessus.

De décider si on est en train d'activer système 1, système 2.

De vérifier qu'on est bien en train de gérer les virages correctement.

De vérifier en fait là.

La métacognition, d'ailleurs, quand on présente en TCC, c'est présenté comme la capacité à avoir un regard critique sur son comportement, sur ses pensées, sur ses mécanismes

cognitifs en a posteriori ou dans le moment.

C'est-à-dire qu'au début, tu t'entraînes à le faire a posteriori, tu utilises les colonnes de bec, des outils, etc.

pour réanalyser une situation a posteriori.

Et puis, une fois que tu as appris à faire régulièrement, tu le fais de manière automatique et en temps réel.

Tu apprends à trouver des mécanismes.

il a des mécanismes pour se sortir de situation, pour avoir le temps de réfléchir, tu fais un peu de stratégie sociale pour ça quoi.

Et la métacognition dans la littérature sur la cognition en général, c'est quand même plus le contrôle et le monitoring de vérifier qu'on est bien en train de réfléchir, qu'on a

pris assez de temps pour réfléchir ou pas quoi.

C'est un peu plus pragmatique.

J'espère qu'après ça c'est bien clair pour vous les différences entre SM2 et SM et métacognition parce que pour moi il y avait quand un moment où je commençais à avoir des

doutes sur le sujet.

Je vais boire un coup, on est à 22 minutes de je parle.

Si vous étiez en train d'arriver quelque part, d'aller quelque part, allez peut-être arriver bientôt.

22 minutes, c'est pas mal, là, il a 5-6 minutes de trajet.

Restez avec moi, on est au point 9 sur 16.

Le cas de la relecture.

Alors moi, quand j'étais à l'école, je faisais beaucoup de fautes d'orthographe dans mes dictées, dans mes écrits, dans mes essais, dans tous mes documents, etc.

J'en fais toujours autant aujourd'hui, je n'inquiète pas.

Ça en fout mes collègues aussi.

Et alors pourquoi ?

Parce qu'en fait l'effort de relecture il est quand vraiment chiant.

Parce qu'en fait quand t'es en train de te relire c'est une tâche qui est assez monotone.

Le système 2 il trouve ça chiant, enfin il a besoin de péter un labyrinthe quoi.

Mais là en fait pour te relire t'es obligé de sortir du système 1, d'activer ton système 2 mais vraiment pour aller nulle part d'intéressant quoi.

Le système 2 c'est ok si tu dois résoudre comment est-ce qu'on fait un trajet compliqué entre un point A et un point B.

là t'arrêtes pas de le demander, en gros t'es obligé d'activer ton système 2 pour aller jusqu'à la fin de la phrase à chaque fois et vérifier si les accords sont bien faits, etc.

Et tu lui fais juste des petits arrêts, des petits stops quoi.

C'est vraiment l'équivalent de...

J'ai envie de te dire c'est une Ferrari pour aller en ville mais franchement l'idée elle est pas trop mal.

Si système 1 c'est un vélo...

Tu es en train d'essayer une voiture pour aller en ville parce que tu es en train de faire que des arrêts, des marées, d'utiliser le start-stop tout le temps.

Quand tu le TDAH en plus, c'est vraiment plus difficile parce que la tâche n'a aucune gratification.

Moi, trouve qu'il une photo d'orthographe ou pas, le texte est intelligent quand même.

C'est hyper épuisant de réactiver tout le temps ton système 2 à chaque phrase.

On tient un texte avec des milliers de mots ou des centaines ou des dizaines de milliers de mots.

fait, c'est ça.

donc là, le truc intéressant, c'est que le fait, si tu es en train de te relire et que tu n'arrêtes pas de te repasser en mode lecture automatique, tu passes de relecture à lecture

sans vainque exprès.

Ça, parce que ton système 2, il s'est désactivé et tu es repassé en système 1.

Et la métacognition, c'est le fait de vérifier que tu encore en système 2.

Donc tu te rends compte, tu « ah merde, fait, j'ai arrêté de me relire, je suis reparti dans la lecture, je suis repassé en mode lecture 1

Ok, à quel moment j'ai décroché, tac, je reprends Et ça, c'est la métacoinition qui te permet de faire ça.

La métacoinition, vraiment ce truc là qui permet de faire...

Oula, attention, on a changé de vitesse de lecture, on a changé de façon de regarder le texte, tac, on reprend avant.

Et du coup, on vous a peut-être déjà donné le trick de relire ton texte une phrase par phrase en partant de la fin au début.

Ça, effectivement, c'est...

ça t'empêche de passer en mode lecture, ça t'empêche de t'activer ton système 1 et ça t'oblige à activer ton système 2 sur des textes qui n'ont pas de sens entre quoi.

Alors un autre cas vécu que vous avez peut-être pu voir c'est le flow.

Le flow des développeurs.

Le flow des développeurs.

Alors c'est quoi le flow ?

Si vous ne connaissez pas le flow vous en avez peut-être déjà entendu parler.

Le flow c'est un peu un état mystique qui est connu dans la littérature autour du flow des développeurs.

où à priori le dev est très concentré, il arrive à produire une quantité de extraordinaire.

Aujourd'hui il y a même tout ce qui est getDX ou DX où on essaie de protéger le flow des développeurs.

dit qu'il faut éviter les interrompre quand ils sont en train de se concentrer.

Il éviter de leur mettre des réunions tout le temps parce sinon ils n'ont pas la place de se concentrer.

Moi je trouve que le flow ça vient quand même d'un truc qui vachement...

motivé par la dopamine.

À chaque fois qu'on a des boucles de feedback très proches, d'avoir, on fait un commit.

Moi, quand je fais un commit, je suis content.

J'ai écrit mon code, j'ai marqué l'histoire de mon projet.

Quand tu fais du TDD, tu as tes voyants qui passent au vert à chaque fois, tac tac tac.

Et ça, m'aiderait vraiment à rentrer en flow.

Le LLM il a niqué ça.

Franchement le LLM il me prend mon flow.

Moi je kiffais avant de passer 5 heures de ma journée en flow.

Je me sens rincé mais je suis content.

Maintenant en fait je regarde le LLM faire son flow tout seul.

Il le fait moins véant.

Bon ça c'est l'épisode d'avant.

En fait, du coup, tu rends dans une autre sorte de flow.

Le flow serait un bon dosage entre système 1 système 2, où tes constantes feelings of rightfulness ou de sensations de conflit sont relativement stables.

tu une sensation d'être dans le juste qui est assez forte tout le temps et tu la sensation de faire quelque chose de normal ou de ne pas être dans le conflit qui est assez faible du

début à la fin.

Et en fait, as besoin de doser ce niveau d'assertivité cognitive pour continuer sur ton flow.

Moi, j'ai aussi l'impression que la dopamine est importante parce que sinon je serais en flow quand je serais en train de relire mon texte.

le punchline, le flow, c'est quand tu n'as pas besoin de te surveiller en permanence.

En fait, c'est ça.

Si ton...

Si ton système 1, ton système 2 et tes constantes sont bien dosées, fait, tu n'actives pas ta métacoignition parce que tu as l'impression que tu as la sensation de rouler sur

l'autoroute.

Donc, tu n'as pas besoin d'activer ta métacoignition.

Tu peux faire confiance à ton système 1, système 2 qui vont basculer, rebasculer l'un l'autre gentiment et tu pas distrait par les choses donc tu es en flot.

Ouais, le plaisir c'est important, le plaisir c'est ça qui nous donne la dopamine et la méta cognition c'est le sujet.

du coup, je vous disais quand on utilise les LLM, fait, c'est eux qui sont en flot et nous on est en train de les surveiller tout le temps.

Et c'est pour ça que c'est beaucoup plus fatiguant aussi.

Voilà, vous ai parlé de la TCC, je vous ai parlé de la méta cognition.

Alors c'est vrai que faire, enfin, aller en thérapie, aller voir un psy, etc.

Ça permet de remplacer, enfin ça permet de...

permet de développer la méta cognition parce que, de générale, l'exercice d'une séance, un exercice méta cognitif en soi.

va réfléchir à son comportement, va réfléchir à ce qu'on a fait, réfléchir à comment on a pensé, qu'est qu'on aurait pu avoir comme pensée alternative.

Le fait de réfléchir à ce que tu aurais pu penser à la place de cette pensée que tu as eu dans le moment présent permet à ton cerveau de se restructurer pour que, fois d'après, il

aille sur la pensée alternative que tu as envisagée, éviter de reproduire les mêmes schémas tout le temps.

Parlons des schémas une autre fois.

Voilà, l'idée de développer une métacognition, aussi d'être capable d'accueillir ses émotions aussi au-delà de sa cognition.

Mais il aussi le fait de ne plus obéir automatiquement à ses pensées, mais d'être capable de les observer à posteriori, c'est bien, de les critiquer à posteriori, de pouvoir les

manipuler en temps réel ou de retrouver une maîtrise de ses émotions.

Un des premiers défauts, un des premiers trucs, a des gens très intelligents, comme, enfin, je vais dire comme moi, mais...

Quel abus, quel abus de dire ça.

voilà, enfin moi-même, j'avais beaucoup de ruminations avant.

Les ruminations, c'est quoi ?

C'est quand mon cerveau, il reste coincé le soir à réfléchir un truc, est-ce que j'aurais dû faire ça, est-ce que j'aurais dû faire ci, est-ce que j'aurais dû faire ça ?

En fait, les ruminations, c'est juste mon cerveau qui brûle du gaz, mais qui brûle du gaz sans jamais s'arrêter.

Et la métacognition, quand tu la développes correctement,

Est-ce que ça veut dire que déjà arrivé ?

Quelqu'un vous dit que je n'arrive pas à dormir le soir, je n'arrête pas de réfléchir à des trucs.

Et tu lui réponds, mais tu sais que ça ne à rien de réfléchir à ces trucs-là.

Et tu lui réponds, mais je n'arrive quand pas à m'arrêter.

Ça, c'est la métacognition.

Parce que tu sais que ça ne à rien de réfléchir à ça, mais tu n'arrives pas à t'arrêter.

Vous voyez, le monitoring, le fait de pouvoir s'observer ne donne pas forcément du contrôle.

Et c'est ça le propos d'ailleurs de Fleming, je pense.

le monitoring et le contrôle sont importants, le monitoring et le contrôle c'est vraiment deux choses et la metacognition c'est le fait d'être capable de travailler les deux.

Bon mon copain JEPA, alors JEPA c'est un world modeler.

Les world model c'est des modèles d'IA qui conçoivent le monde autour d'eux.

Il y a plein de caractéristiques, c'est un système complexe quand même.

Et il a une littérature qui s'appelle les modèles JEPA, sont des propositions d'architecture qui sont des world model.

Les JEPA existaient concrètement avant les World Models.

JEPA 3 est vraiment un schéma, un fonctionnement qui fonctionne dans la conception des World Models.

On pourrait imaginer des architectures alternatives à JEPA, sachant que le JEPA est plus une solution.

Le World Models est plus un problème qu'on veut résoudre.

C'est Yann Lequin qui parle des World Models beaucoup en ce moment, mais JEPA existait avant Yann Lequin.

J'ai pas à la base, des modèles qui analysent des images et donc il a notamment ce qu'on appelle un compresseur encodeur de la d'observation.

à qu'aujourd'hui, les LLM sont relativement pas capables de comprendre des images ou des vidéos parce qu'ils analysent tout ce qu'il y a sur une image ou une vidéo sans réduire un

espace latent.

Alors les espaces latents, c'est quoi ?

Imaginons T.

Tu rentres dans une grande pièce où il a une soirée style année 50.

a 500 personnes dans cette pièce.

Ton cerveau va rapidement voir.

y a Elon Musk là-bas, il Bidule, machin.

Je sais pas si j'écris votre rêve.

Mais il a un jardin à gauche, etc.

Mais grosso m****, ton cerveau va pas observer le visage des 100 personnes pour essayer de comprendre comment ils se sentent, etc.

Le cerveau va se dire, il y a du monde.

et il a des gens importants et les gens sont bien habillés et il a du champagne.

En fait, le fait de réduire l'ensemble des détails de la scène à quelques faits comme ça, c'est ça qu'on appelle des espaces latents.

Donc l'exemple que je donne, que j'écris dans l'article, par exemple, c'est LLM, va observer chaque grain d'herbe pour dire que chaque grain d'herbe et il va dire que tous

les grains d'herbe penchent vers la gauche.

La réduction de l'encodeur en un espace latent c'est bah y'a du vent.

Y'a du vent.

Et il va vers la gauche de l'image.

Et c'est pour ça que sans les espaces latents les LLM ou les systèmes d'intelligence sexuelle sont pas capables de s'entraîner sur des images ou sur des vidéos et pour autant

un enfant il a pas lu de livres à l'âge de 4 ans et c'est beaucoup plus de choses qu'un LLM parce que il été capable d'apprendre en regardant les choses autour de lui.

Il a été capable de réduire ses concepts.

assez rapidement à des choses simples.

pour ça qu'il arrive à comprendre facilement ce que c'est une baleine alors qu'il n'a jamais vu de baleine et le LLM n'a jamais vu de baleine non plus pourtant et c'est toutes

les caractéristiques possibles d'une baleine.

Mon fils ne sait pas combien pèse une baleine par exemple mais il sait que les baleines c'est Je sais pas si ça banalise la notion d'espace latent on est incroyable quoi.

Alors dans les modèles de GEPA il y a un truc qui ressemble enfin il y a un truc qui est rigolo c'est les

c'est qu'ils ont des scalaires.

Donc ils ont des scalaires d'évaluation, ils ont un scalaire par exemple critique.

Le scalaire critique en gros, donc imaginons on a réduit tout ce que le LLM voit autour, enfin tout ce que JEPA voit du monde autour de lui, il le réduit dans des espaces latents.

Donc les espaces latents c'est vraiment une matrice simplifiée de caractéristiques de son environnement.

C'est le monde, le modèle du monde.

ça, les espaces latents c'est la façon de vectoriser en quelque chose de simple.

mathématiquement ou informatiquement, le monde autour de lui.

Et ensuite, il va imaginer comment ces espaces latents vont évoluer.

Donc s'il a compris qu'il du vent, dans le monde d'après, peut y avoir plus de vent, il peut y avoir moins de vent.

J'ai joué le vecteur, il peut aller plus ou moins.

C'est un peu comme ça ça fonctionne.

Ou le vent, peut changer, etc.

Donc il va y avoir un composant dans le j'ai pas qui va imaginer tous les espaces latents possibles et toutes les combinaisons d'espaces latents possibles.

On retourne, on retourne dans un truc où il a des milliards et des millions de possibilités.

Ensuite, il a un critique qui va dire attends ce futur là, il n'est vraiment pas désirable.

S'il a plus de vent, c'est chiant pour faire du vélo.

Il y a aussi un scalaire de confiance.

Est-ce que le vent va augmenter ou réduire ?

En fait, le scalaire de confiance dit cette version du monde, est plus ou moins probable.

Il y a un scalaire d'efforts aussi.

Par exemple, si je veux...

à faire du vélo, va expliquer, il va avoir un scalaire d'efforts qui va évaluer le fait que pour y aller, faut faire plus de vélos.

C'est relou de faire plus de vélo quoi.

Donc on va peut-être pas y aller en vélo, on va peut-être prendre la voiture parce que dans un monde où il a plus de vent, machin, je crois, le critique il a dit attends s'il a

plus de vent et je suis à vélo, c'est pénible quoi.

Donc c'est un système simplifié vraiment avec trois signaux ou quatre signaux des fois.

ce que je trouve marrant c'est qu'il n'y a pas le feeling of frightfulness, il a pas non plus le critère de conflit de...

Vime de Nes, c'est quoi ?

Le nom de l'auteur, je l'ai dit tout à l'heure.

Vime de Nes.

Il n'y a pas ces scalaires-là, ce dot scalaire, mais c'est marrant parce qu'il a quand une anthropomorphisation, je trouve des mécanismes.

Encore une fois, Lya n'est pas capable de ressentir le monde autour d'elle, donc elle va faire un modèle mathématique du monde autour d'elle.

elle va évoluer tous les futures, les scorez, etc.

Alors les LLM ont cette assurance apparente.

Le LLM sont, d'après Yann Lecain, toujours bloqués en système 1, ils vont tout temps tout droit, vont tout le temps dans le truc, etc.

C'est un peu simplifié de dire que c'est juste le système 1, parce qu'en fait la réponse de dire, Claude, il a un mode thinking, il scrolle lui-même, C'est vrai que c'est déjà un

système 2 en soi.

Mais ce qui est sûr, c'est qu'en fait le feeling of rightfulness, ce Scalera Lab métacognitif, le LLM, on n'a aucun.

Il faudrait qu'il le matérialise en écrivant.

Si on lui disait de générer du texte et d'évaluer à chaque étape de son raisonnement son feeling of rightfulness, franchement déjà, on aura un truc statistiquement instable.

Ce serait probabiliste, son feeling of rightfulness.

D'ailleurs si vous faites, moi je fais l'exercice assez souvent quand je lui demande d'évaluer trois ou quatre scénarios, de me dire lequel est le plus probable.

Franchement tu peux relancer les préditions quatre, cinq fois.

Il te fait quand même quatre ou cinq scénarios tous similaires mais les probas elles sont assez variables.

Je vous ai dit qu'il y avait de l'anthropomorphisme et moi il me saoule carrément cet anthropomorphisme.

Les scalaires, vous ai le critique, le coût d'effort, etc.

Donc c'est plus énergie, genre combien j'utilise de ressources pour imaginer les espaces latents parce que sinon je vais imaginer des futurs complètement inimaginables.

On a tendance du coup à dire voilà ça c'est un scalaire qui représente la flemme.

le critique qui évalue est-ce que ces mondes sont dangereux ou pas, ce serait l'anxiété des humains.

le problème, je ne pas, je n'ai pas réussi à déterminer en lisant la littérature si est-ce que les gens qui conçoit ces systèmes là, sont anthropomorphistes et du coup ils ont

copié, enfin ils essaient de copier des raisonnements chez les humains, de les reproduire chez les machines.

alors que déjà chez les humains, ce sont des choses ne sont pas scientifiquement validées ou vérifiées.

Ou est-ce que c'est les gens qui regardent les systèmes informatiques tels qu'ils ont été créés et qui projettent dessus leurs émotions, les émotions des humains et qui entrent au

pommorfisant ?

Mais dans les deux cas, ça me saoulant.

Le critique, ce n'est pas une conscience.

Le score de coût, le score d'énergie, ce pas de l'anxiété.

C'est des scalaires mathématiques.

Et d'ailleurs, la notion

Même le feeling of rightfulness, n'est pas exactement un scalar mathématique, c'est plutôt un gradient.

C'est plus comme s'il avait des étages.

Et on n'a pas tous les mêmes étages et la métacognition nous permet de travailler sur la caractérisation de ces étages-là.

Bon on revient à un participe calcul versus discernement, j'y reviens sur ce truc là, l'externisation des hard skills.

C'est ça l'idée, je revoyais une vidéo un peu parodique où il y avait un modèle, un model de, un trader qui fait un entretien et il reçoit le gars en entretien et il dit ok bah du

coup t'as fait des maths, c'est quoi le cosinus d'un mouvement brownien ?

t'as besoin de vérifier ?

Ok, bon bah ça va pas le faire alors.

Et cette idée là de la question d'un mouvement brownieur, alors c'est vrai que si fais du trading c'est utile de le connaître, de connaître la réponse à cette question là, savoir

ou moins savoir que c'est la formule d'Hito et qu'il une équation stochastique.

Moi je pense que ça me paraît pertinent.

Mais bon dans l'absolu, j'éminite, les trouve en deux minutes.

La compétence est plutôt effectivement le pilotage du système, la capacité à faire du discernement, à prendre des décisions en temps réel.

le sujet aujourd'hui, c'est qu'on rend le calcul, le raisonnement, exténuisable, raisonnable.

Par contre, discernement, ça, on ne sait toujours pas l'exténuiser.

Et honnêtement, si vous avez déjà essayé de confier des capacités de discernement à des IA.

Je vous en crois, je vraiment en retester.

Posez la question du car wash à tous vos modèles de langage et vous comprendrez, parce que franchement même des modèles 100B, 100B c'est quand même un truc, une carte graphique avec

100GB de VRAM quasiment.

J'ai des modèles de 7B qui tournent dessus en moins que ça, j'ai des modèles 35B, généralement je suis déjà à 25GB, j'imagine un 100B c'est 80GB de VRAM.

Mais voilà, enfin c'est quand même des...

80 GB de VRAM c'est quand même...

Enfin, il imaginer une carte graphique avec 64 GB de VRAM, c'est 10 000 euros quand même.

Donc un modèle 100B, c'est quand même 10 à 20 fois, si c'est pas 100 fois plus petit que Sheldj Pt ou Clodopus quoi.

Donc, faut...

C'est-à-dire quand vous...

Quand vous...

posez une question à Clodopus, la quantité de ressources informatiques qui sont nécessaires, même si on le fait travailler que 10 secondes, qui sont nécessaires à ça, si

vous imaginez c'est vraiment genre...

l'équivalent de 150 000 euros de carte graphique quoi.

Si on le met en euros.

Et puis maintenant on imagine alors 150 000 euros de carte graphique c'est quand même un frigo de carte graphique quoi.

Tout ça pour répondre à une question simple de, est-ce qu'on prend la voiture pour aller au car wash ou pas ?

Ça, c'est le bail qui me rend un peu fou.

C'est-à-dire que si vous utilisez un peu moins ça, vous utilisez juste une grosse carte graphique ou deux, c'est-à-dire un modèle A100B, mais il n'est pas capable de répondre à

cette question-là correctement.

C'est le discernement qui devient la feature la plus utile en entreprise et plus la capacité de réflexion.

Et là, honnêtement, sur le discernement, fait, on a quand même beaucoup moins zégo dans la société.

A priori, tu sois né en haut ou en bas de l'échelle sociale, as accès à des livres qui te permettent d'étudier les sciences de l'ingénieur, etc.

Par contre, la régulation émotionnelle, c'est nécessaire à la métacognition, parce que si tu pas régulé émotionnellement, tu as du mal à faire preuve de discernement.

Et là, on voit déjà comment les bourgeois

quand ils font du ton policing en disant attention là tu as le droit d'être en colère mais enfin tu as droit d'avoir tu peux peut-être raison mais t'es en colère donc on t'écoute

pas.

Ça c'est du ton policing bourgeois, c'est un réflexe énergien, de dire attend vas-y on est en colère, ça veut dire que les émotions sont pas régulées, on est pas en train de prendre

une bonne décision.

En fait c'est parce que c'est plus facile d'avoir tes émotions régulées quand tu vis dans un château, si je vous fais l'image.

C'est plus facile de gérer ton anxiété quand t'as pas peur d'être mis à la rue à la fin du mois.

Plus facile de régler ton anxiété quand tu sais comment tu vas payer tes courses.

Tout ça est même vraiment beaucoup plus facile.

Il a les gens qui pas besoin de travailler.

c'est plus facile de réguler tes émotions, de travailler ta métacognition quand tu es moins stressé par la vie quotidienne, par le capitalisme.

Et puis en plus, ce n'est pas comme si à l'école on avait des cours sur comment gérer ses émotions, comment les gérer, comment les réguler, etc.

En plus, si on avait des cours, ce serait vraiment chelou parce que des choses normalement qu'on ne pas en cours.

Sauf si, sauf les autistes qui vont faire des ateliers, on propose des ateliers aux autistes pour qu'ils apprennent à réguler leurs émotions comme les autres, pour qu'ils

arrêtent d'embêter les autres avec leurs émotions.

Arrêtez d'embêter les autres avec vos émotions, ?

Cours de filtrage.

encore filtré et régulé.

C'est un masque social, ce n'est pas un mécanisme de métacognition.

J'arrive à la fin de l'aise au mort.

Je ne vous ai pas donné de réponse.

Je fais que remarquer qu'il y a les trois mécanismes.

Si quelqu'un vous parle de système 1 et système 2, franchement, méfiez-vous quand même que le dual thinking, il a beaucoup de littérature qui se contredit, qui dit que c'est...

Ils sont à peu près tous...

Le suivant dit toujours que le précédent était assez imprécis.

Généralement, système 1, système 2, un peu insuffisant.

La métalconie est quand même un peu plus ancrée en littérature.

Aujourd'hui, l'accès aux réponses, l'accès à des réponses plausibles, ce démocratisme, peut-être que demain, les tokens ont coûté super cher.

Et on va se rendre compte qu'avoir des humains qui répondent aux questions, c'est quand vachement moins cher.

Qu'il vaut mieux donner des lucides à un humain que...

Brûler du pétrole pour faire tomber des data centers.

Franchement, peut-être que ce monde là va exister, on ne pas.

Un monde solar punk.

Incroyable.

Avec des humains qui utilisé la place de chefs de GPT et on leur parle comme on parle à chefs de GPT.

Incroyable.

Un turc mécanique.

Pour l'instant, le monde est saturé de réponses.

Il n'y a pas de soucis.

Et du coup, la rareté, reste le pilotage et la lucidité.

Lucidité, c'est un mot que j'utilise tout temps dans le podcast.

Et rappelez-vous qu'on n'est pas tous égaux en termes de lucidité.

Ça prend plus d'efforts à certains de le développer qu'à d'autres.

Prenez le temps de travailler cette compétence-là.

Moi je pense qu'effectivement on pourra toujours louer des réponses ou trouver un centralien.

La blague, les X ils disent ça sert à rien d'apprendre à coder, tu peux toujours payer un centralien pour le faire.

La blague marche toujours.

Ça sert à rien d'apprendre les sciences de l'ingénieur, ça sert à rien d'apprendre les réponses par cœur, tu peux les retrouver sur internet, tu peux les retrouver dans le

Gémini ou tu peux payer un centralien pour te les donner.

Par contre, la capacité de discernement, capacité de réflexion, la capacité à prendre des décisions éclairées et lucides, ça sera toujours quelque chose qui sera compliqué à

remplacer.

Et n'imaginez pas que c'est juste l'appareil des CEOs ou des chefs d'entreprise ou des C-level de corporate à tous les niveaux de l'entreprise.

a besoin de gens qui prennent des décisions lucides parce que je ne pas, est-ce que je vais à cette réunion ou pas ?

Une question qui demande beaucoup de lucidité à mon sens.

Est-ce que c'est utile vraiment cette réunion ?

Vraiment énormément de lucidité.

Vous en avez pas compte comment il a des gens qui ne prennent pas de lucidité là-dessus.

Voilà.

Bon j'avais marqué dans mon script que je ferais 20 à 30 minutes selon le rythme et les digressions.

Bon je suis à 48 minutes, j'ai dû faire pas mal de discrétions en même temps j'avais beaucoup de choses à raconter.

Dites moi si vous êtes arrivé au bout du format déjà, ça m'intéresse à voir.

Est-ce que ce format un peu food for thought, la matière à penser, est-ce que ça vous va Moi j'aime bien.

J'ai l'impression que j'avais commencé déjà à un épisode ou deux sur ce système là, j'avais déjà fait un...

Un épisode sur ce modèle, le premier, pense, c'était celui sur les futurs désirables et l'impact du numérique sur la société.

Je ne sais pas pourquoi je baille alors que c'est le matin.

Je me suis dit que j'allais enregistrer mes podcasts le matin plutôt que le soir pour éviter de bailler.

en fait, je baille quand même, je ne sais pas.

Je pense que l'activité, fait de ne pas bouger, de rester devant le micro, comme ça qui me déclenche des baillements.

Si vous ne vous en doutez qu'une chose, c'est ce truc là de « est-ce que je m'arrête trop tôt ?

» « Est-ce que j'ai assez réfléchi ?

» Est-ce que je devrais pas réfléchir un peu plus ?

» Se poser ces questions là, c'est déjà faire preuve de métal cognition.

Essayer de faire l'effort de changer de système 1 à système 2, c'est déjà reprendre du contrôle, je trouve, dans un monde où...

Claude fait notre travail à place.

Passer du système 1 à système 2, c'est reprendre le contrôle et faire une chose que les machines ne savent pas faire.

Let's go !

Les sensations que vous avez aussi, d'avoir raison, de ne pas avoir raison, De détecter qu'un truc est anormal, etc.

C'est une bonne piste pour commencer à tirer la métacognition.

Une des premières choses que vous pouvez faire pour développer la métacognition, c'est probablement d'apprendre à les doser, d'apprendre à les mesurer, d'apprendre à travailler

ce gradient-là, en tout cas de mieux le sentir ou d'être...

peut-être plus conscient déjà de ces gradients pour ensuite apprendre mieux, prendre plus de capacité à interpréter.

Finalement, le gradient, finger of rightfulness, c'est un signal.

ce que vous allez faire de signal là, ça, relève de la métacognition.

Et comment vous le ressentez, comment vous l'écoutez, ça, relève de la métacognition.

J'ai essayé de réfléchir pour prendre après, de reprendre la main sur la capacité de réflexion.

dans un monde où il suffit d'acheter des tokens pour réfléchir quoi.

Amusez-vous bien.

Est-ce que je mets une chanson sortie ?

Alors, qu'est-ce que j'ai qu'un bruit ?

Je vous propose celui-ci.

Allez.

pour reprendre le contrôle de vos pensées et de vos moyens de réflexion.

À bientôt !