Les pyramides de tokens

On construit des pyramides électriques pour produire des tokens mais la valeur n'apparaît qu'après.

Quand quelqu'un transforme ces tokens en travail réel.

Il ne me parlait pas d'intelligence, on parle de travail.

Le sujet c'est ces pyramides.

Est-ce que dans 10 ans, on regardera les data centaureiens comme on regarde aujourd'hui les pyramides de Keops ?

Ce n'est pas vraiment des trucs inutiles, c'est des monuments énormes qui étaient rationnels à leur époque et aujourd'hui on regarde et on essaie de comprendre ce qu'ils

voulaient faire avec.

Ils ont été construits autour d'une croyance collective, y a des gens qui sont mis à construire ça comme une pyramide, comme une bulle ou quoi.

Et je pense que dans 10 ans, on va regarder ce truc là, on dire mais putain mais ça servi à quoi ?

On s'est fait chier, pourquoi tu vois ?

Le seul sujet c'était de ce podcast, que j'enregistre un petit peu rapidement encore une fois.

Je juste un peu déchaîné puisque le week-end m'a fatigué et il y a trop d'actualités en même temps.

Alors on fait le tri, c'est parti.

Bon le premier truc, moi, dont je voulais parler.

C'est annonces là Chousse France, donc SoftBank qui annonce à investir avec Schneider Electric pour 5 gigawatts de data center pour l'IA en France.

alors le sujet, si vous n'avez pas suivi l'actu, je vous aide à rattraper, c'est que de manière générale, la France comme elle a de la puissance électrique installée et pilotable

en plus des énergies renouvelables, on a grosso merdo un peu plus d'une dizaine de gigawatts de capacité de capacité électrique en trop.

Et ça, les hyperscalers l'avaient remarqué depuis longtemps, c'était un peu à qui sera le premier à shooter pour installer ces data centers-là.

Alors c'est Sauvement qui fait le shoot et il prend Schneider Electric pour faire les installations.

Il y aura a priori une première tranche avec 3 data centers, enfin 3,5 gigawatts d'installation, 35 milliards je pense que c'est 75 pour l'ensemble du projet.

Et ce sera dans le Nord, ce sera sur la côte flamande.

Il aura notamment un CITAD INKERK.

Alors c'est cool, ça va créer un peu d'emploi, des emplois qualifiés.

Mais il faut qu'on se rend compte que même que 5 gigawatts, c'est 5 turbines nucléaires, 5 centrales nucléaires, c'est une infrastructure qui est beaucoup plus importante dans nos

sociétés qu'une autoroute par exemple, ou probablement comparable à un aéroport en termes de centre dans la société.

Donc il faut que pour cet investissement là, la valeur créée elle soit à côté quoi.

Alors c'est bien parce que on a un peu la réponse de c'est quoi le produit en croix dans l'interview d'Arthur Mench.

Alors Arthur Mench il a été reçu à l'Assemblée nationale comme il était avec des députés, il a parlé français et c'était vraiment intéressant.

Et Grosso Merdo il fait un produit en croix, voilà il dit voilà chez Mistral on dépense en plus de notre masse salariale 10%.

en token, c'est-à-dire que pour un ingénieur à 100 000 euros il dépense 10 000 euros par an en token chez Mistral quoi.

Et lui il pense que l'ensemble des infrastructures vont dépenser, enfin l'ensemble des entreprises européennes vont dépenser 10 % de leur masse salariale en plus en IA et ça

fait un marché qui vaut 1 trillion.

Le produit en croise ça c'est un marché adressable avec une basse à entrée qui est énorme parce qu'il faut entrer notre premier modèle.

et tu ne pas l'attaquer, tu peux pas le toucher, est vraiment imprenable.

Moi je trouve que c'est en même temps impressionnant de simplicité d'expliquer ce marché-là.

Et quand on se dit qu'il a un marché de 1 trillion en Europe sur la production, sur la transformation de cette électricité-là en token, 75 milliards d'investissement pour des

data centers en France, finalement c'est un peu peanuts.

Oh...

Moi ce qui me rend un petit peu fou c'est de dire que ces tokens c'est le fait de transformer de l'électricité en intelligence, en une forme d'intelligence quoi.

Le token voilà il remplace une tache mais en même temps en fait il y a quand même beaucoup de use case aujourd'hui on va brûler du token pour un truc qui méritait pas de brûler des

tokens dans un premier temps quoi.

C'est pas parce qu'en fait on a brûlé des tokens qu'on a créé de la valeur en face.

Ça prouve vraiment juste qu'on a brûlé des tokens.

Alors il y a aussi l'annonce autour des CPU de Nvidia.

Alors ça, mais c'est incroyable comment les journalistes grands publics se sont emparés du truc en nous disant qu'on allait faire descendre la puissance du cloud dans l'ordinateur

de travail, etc.

Alors ces processeurs-là qui s'appellent des GBU10, ils ont effectivement des CUDA.

Alors si tu utilises Pitorch ou des logiciels CUDA, etc.

C'est cool, t'es content d'avoir un processeur qui peut l'utiliser parce qu'aujourd'hui quand tu utilises un...

un logiciel de NDA, qui a l'accélération CUDA encore une fois, et que tu utilises sur un Mac ou un Mac mini, bah tu l'as pas.

Tu tire vraiment pas la puissance du matériel, donc franchement dans certains cas ce serait intéressant, mais vaut mieux le comparer à un Apple Silicon, donc c'est une

architecture onéfiée, avec en plus à côté la capacité d'utiliser quelques coeurs CUDA.

C'est peut-être, en termes de puissance de calcul, on est largement supérieurs à ce que fait les Snapdragon avec du DTPU, et surtout on a

Le kit de développement CUDA qui permet d'avoir toutes les applications qui ont l'habitude de travailler sur CUDA et qui fonctionnent tout de suite.

vraiment, le dev kit pour CUDA, vraiment ce qui fait aujourd'hui que ton Ollama va aller beaucoup plus vite sur une architecture Blackwell ou sur une architecture NVIDIA.

Donc c'est intéressant pour ça, mais on n'est pas en train de ramener la capacité de calcul.

Ils nous disent qu'on va pouvoir mettre des modèles 200B, faire tourner un modèle 200B sur l'ordinateur.

Moi j'y suis pas, franchement on a toujours pas de RAM, un modèle 200B ça consomme peut-être au moins 100GB de VRAM et honnêtement on a toujours pas les moments d'avoir de

la RAM.

Si tu veux 100GB de DDR5 aujourd'hui dans ton ordinateur, il faut tu sois prêt à claquer plusieurs milliers d'euros quoi.

Je pense que c'est entre 1000 et 2000 euros.

C'est le seul truc qui me fait halluciner.

Le stockage est devenu cher aussi, les SSD quasiment 1000 balles pour un SSD 4T de bonne qualité.

Bref.

On n'y est pas.

Mais c'est Gadget.

Le truc aussi qu'il y avait dans l'interview de Mistral qui m'a rendu fou, dans l'interview de Arthur Omens qui m'a rendu fou, c'est qu'il dit voilà, en fait quand un

développeur est seul, est...

si il se met à l'Uselia, il va aller beaucoup plus vite comme s'il avait une équipe autour de lui.

Mais du coup, il a des problèmes qui enlèvent plus du management.

Moi ça m'en fout.

Comparer un dev qui bosse avec 8 agents Claude à un manager, c'est une malgré.

C'est un contremaître, il fouette ses esclaves.

Mais dans l'absolu, on lui demande juste de préciser.

En plus, il précise rarement précisément ce qu'il veut.

C'est genre il a qui doit deviner ce qu'il voulait, C'est pas vraiment ça.

fait, c'est à que ce serait pas déprimant s'il n'y avait pas vraiment beaucoup de gens en France qui voyaient le management comme ça.

C'est à dire que le management pour ces gens c'est de petits chefs, c'est dire aux gens ce qu'ils doivent faire, si c'est bien fait, si c'est de la À ce truc là, le développeur du

manager d'agents ça m'a tapé quoi.

Anthropic qui nous dit que la croix est...

que...

Anthropic qui fait son IPO.

en fait c'est fascinant parce que...

En fait, a deux ans, on disait qu'Anthropiq allait se faire manger par AWS parce que c'était un peu le précaré d'AWS.

Et là, ça s'accélérait super vite.

Ils ont annoncé qu'ils utilisaient le datacentre de XAI parce que XAI a des datacentres gigantesques, mais pas d'utilisation à mettre dessus.

Donc pourquoi pas.

Et là, maintenant, du coup, ils ont bien surfé sur la vibe comme Coamitos, modèle frontière qui va changer le monde d'Internet.

et il se libère complètement d'AWS en le rendant vraiment complètement facultatif.

Et là, il y a eu l'IPO de SpaceX qui était relativement drôle vu que Elon Musk va récupérer son argent que s'il envoie 1 million de personnes sur Mars.

là encore, ont fait 1 million x 1 million, ça fait un trigger de Valo.

En disant que s'il a 1 million de personnes qui achètent un billet pour Mars qui coûte 1 million de dollars, ça fait un marché à un trigger encore.

Les produits en croix sont marrants.

Mais ouais, cette IPO, elle est à surveiller surtout qu'il y aura l'IPO d'OpenAI ensuite et clairement ça va être le moment où Wall Street va triche, on va dire, est-ce qu'il a

une bulle ou pas quoi.

Bon, avec tout ce qu'il a eu sur les SPAC, le Special Purpose V-Recro SPV.

C'est vrai que les marchés publics ont l'habitude quand même d'acheter des bulles.

Et en soit d'ailleurs le fait que SpaceX embarque XEI dedans, c'est déjà un peu une bulle parce qu'il a quand même vachement bourré des conneries dans SpaceX, la...

Finalement la fusée a pas mal de choses dans ses valises qui ont un peu à l'avoir quoi.

Donc il est en train de revendre à Wall Street le Twitter qu'il acheté à la casse quoi.

Bon alors...

Le retour au réel que j'ai bien tapé, c'était Linus Torvald avec son point sur les remontées de sécurité.

En fait c'est marrant parce qu'il y a eu en même temps Modisa et Firefox qui montraient qu'ils avaient fait 350 tickets de plus au lieu d'une quarantaine sur la partie sécu sur

ce mois-ci, qui donnait l'impression que c'était Mythos qui avait trouvé plein de failles de sécurité et qui avait eu beaucoup de tickets qui avaient été fermés.

Et juste deux jours après, l'Innustor Val qui est envoyé sur la mailing list comme quoi, il y a beaucoup trop de gens qui font des emails complètement claqués sur la mailing list

privée de sécurité, alors qu'en fait, ils ont juste généré un compte rendu sans ajouter aucune valeur avec l'IA.

Ce qui explique, c'est que si tu as utilisé ton IA pour trouver une faille de sécurité et que tu as généré un rapport avec une IA,

en fait, tu créé aucune valeur parce qu'il y forcément un autre humain qui a utilisé une IA pour faire le même rapport, qui a trouvé la même faille avant.

Et en fait, si tout monde fait ça, de générer du contenu et de se balancer la tronche sans ajouter aucune valeur, et ben en fait, on crée plus de charge mentale aux autres, on

ajoute plus de complexité aux autres, parce qu'on est en train de leur pourrir le cerveau, on est en train de brain-fight, on fray les autres, sans ajouter de valeur quoi.

Donc ouais, le token ici c'est une matière première mais aujourd'hui tout le monde a accès.

Tout le monde a accès au token comme tout le a accès à l'essence.

Donc en vrai, le fait que tu aies utilisé des tokens plus ou moins bien, c'est pas une preuve que tu as créé de la valeur.

Tu ne peut-être pas remplacé par un IA mais tu seras remplacé par quelqu'un de moins intelligent que toi qui a utilisé des tokens aussi.

Il y a un sujet là aussi de manière générale dans le token maxing aujourd'hui tu vas avoir des boîtes qui essaient d'utiliser le plus de tokens possible mais en fait si les dades

ils utilisent des tokens par millions sans créer aucune valeur en face c'était juste de l'électricité des ressources cramées pour rien et là le chantier pharaonic il va être

fantastique en tendance à se compte que la valeur ajoutée elle était nulle à chier Bon et alors le truc moi qui me fait vraiment me donner l'impression que tout ça c'est rien c'est

Pour aller voir l'article sur les World Model qui est sur Wheel of Death maintenant.

Le but de l'article, en plus je l'ai écrit il a un mois environ, j'ai publié les podcasts entre temps, j'ai publié notamment le podcast sur Système 1, Système 2 et Métacognition un

peu après la rédaction de l'article.

L'article est là pour but sur Wheel of Death, est là pour but d'expliquer ce que c'est le World Model, un n'importe qui qui bosse dans la tech même s'il n'est pas développeur, même

s'il n'est pas informaticien.

Et en fait, le fait de mettre en perspective ce qu'un world model pourrait faire, qu'un LLM ne sait pas faire, ça permet de voir qu'il vraiment énormément de use case aujourd'hui

où on balance un LLM qui va donner un résultat médiocre, pas prédictible, et qui va cramer énormément de tokens pour rien, là où un world model pourrait le faire.

Donc en vrai,

Si vous voulez le refaire très vite, les worldmodels sont meilleurs partout où il a un système critique.

C'est-à-dire que le fonctionnement assez basique d'un worldmodel, c'est d'avoir ce qu'on appelle un encodeur ou un compresseur, c'est-à-dire un outil logiciel informatique qui va

conceptualiser ce qu'il a autour du modèle, qui va conceptualiser le monde.

Donc au lieu de regarder chaque grain d'herbe pour en déduire qu'il du vent,

il va juste retenir en mémoire il y a du vent et l'air bel bouge du coup l'air bel bouge et ça ça devient un vecteur de son monde réel et donc s'il a plus ou moins de vent bah le

le vecteur augmente ou baisse ensuite du coup il va générer des prédictions donc est-ce qu'il peut y avoir plus de vent est-ce que le vent peut changer de sens est-ce que le vent

peut peut baisser aussi et en fait il va essayer de scorer un peu tous ces mondes possibles pour essayer d'anticiper si ce monde se réalise ou voilà savoir lequel est le

plus dangereux pour lui ou non

Donc un world model, peut aussi apprendre les stratégies de manière générale qui ont été adoptées.

Donc si par exemple, je ne pas, tu en train de faire du cerf-volant et tu as un world model qui à côté de toi en train de faire du cerf-volant et regarde comment tu fais, il

voit que le vent a augmenté et que toi tu as tiré sur la corde à droite.

Il va tirer sur la corde à droite aussi parce qu'il va avoir retenu très rapidement que quand toi tu es un humain, tu vois le monde qui a changé et tu as réagi comme ça.

Et donc il va réagir comme ça, il voit que le monde s'est amélioré.

Il va retenir que quand...

quand lui modifie son vecteur, fait il a amélioré le monde pour lui aussi.

Ça faut imaginer qu'aujourd'hui, on parle par exemple d'avoir des IA qui pilotent des avions, etc.

C'est pas possible avec un LLM, parce qu'un LLM il va juste sortir un compte rendu de comment il a écrasé l'avion au sol ou comment l'avion a été détruit par la cible ennemie.

Et si t'es un agent ou une automatisation ennuitaine, il va t'envoyer une équipe avec un...

avec des softeurs en mer pour aller récupérer la RAM dans le cockpit.

Donc ça c'est pas possible avec des LLM, par contre avec un World Model c'est possible.

Les World Model ils ont une durée d'entraînement, ils s'entraînent en visuel.

S'il a un pilote qui...

Enfin, si un World Model regarde les vidéos d'un pilote qui a piloté pendant des heures et des heures des heures, il va piloter de la même façon que lui.

Et c'est ça le truc fascinant, c'est que...

artilleur par exemple, il manipule une pièce d'artillerie.

Peut-être qu'ils sont une équipe de 5 bonhommes à manipuler une pièce d'artillerie.

Demain, sur une pièce d'artillerie, il a un world model qui va gérer le tir, qui va gérer les placements.

Peut-être qu'on va pouvoir diviser par deux le nombre de personnes.

Peut-être qu'au lieu d'être à 3 ou 4 personnes sur une pièce de tir, il n'y aura plus qu'une seule personne qui gère la pièce.

Pour gérer quand il a plus d'obus, pour remettre dans le truc.

Peut-être qu'il y aura une pièce de tir qui sera manipulée par des humains et il en aura 9 à côté qui seront manipulées par...

à haut modèle chacun qui sont en train de regarder ce que fait les humains sur la première pièce de tir quoi.

Donc là il y a quand beaucoup plus de potentiel parce que c'est des systèmes qui sont capables de prendre des décisions de manière claire et sans consommer toutes les

ressources de la terre.

Parce que c'est un peu ça.

Quand j'ai vu l'interview de Leanne Lequin où il dit oui, bah finalement les LLM sont pertinents que quand l'intelligence est un sous-domaine du langage, c'est vrai quand même

qu'il y a plein de...

J'ai du mal à m'imaginer ce que ça pouvait être un monde où l'intelligence n'est pas un sous-domaine du langage.

Mais en fait dans le sport il y en a plein.

Pourquoi est-ce que à ce temps relâche j'ai fait un smash, pourquoi à ce temps relâche j'ai lifted ma balle, peut-être que je parlais de ping-pong, peut-être que je parlais de

squash.

En fait tout ça c'est des décisions que ton cerveau prend à une vitesse, micro seconde et ça c'est de l'intelligence aussi.

Et on l'a fait peut-être en copiant.

Alors tu vas nous dire voilà c'est tellement la micro-intelligence que c'est de l'intuition, c'est de l'intelligence fine, c'est de la analyse fine.

Mais en fait le model est capable d'apprendre tout ça alors que reproduire cette intelligence fine aujourd'hui avec de l'IA ça prend des années, des années, ça prend des

centaines d'heures de travail quoi.

Et les LM permettent d'avoir un résultat rapidement mais qui est souvent insatisfaisant et on a du mal à aller plus loin au résultat là.

Bref, fait, il y a beaucoup de gens qui vont opposer les World Models et qui vont opposer les LLM.

Moi, j'ai plus l'impression que, ouais, en fait, faut dire, les LLM nous ont mis une baffe.

Donc, si t'as eu l'impression, que les LLM, c'était une tape derrière la nuque qui t'a fait te relever, te redresser sur ton ordinateur.

Franchement, les World Models, ça va être Chuck Norris qui te met le pied dans la figure.

C'est un coupier retourné de Jean-Claude Van Damme.

Franchement uh ça va vraiment vraiment changer beaucoup plus de choses et si t'as l'impression que ta boîte a eu son business model qui était mis en danger par l'arrivée

des LLM et de l'IA générative, les world model ça va vraiment renverser l'industrie, ça va renverser des points entiers de notre société.

Demain une caisse ça peut être géré par un world model, tu demandes à un LLM de gérer une caisse, il va générer n'importe quoi comme ticket, il va te facturer des trucs que t'as

pas commandé.

il va finir la fin ton ticket de caisse, va te dire que tu aurais dû commander ça, tu le facturer, tu dis « ah mais j'ai pas pris de bananes ».

« Ah mais t'as pris des oran, j'ai des patates, pourquoi t'as pris de bananes ?

» Vous voyez l'aberration C d'utiliser des LLM dans des use case où ils n'ont pas besoin d'être ?

Si là je vous dis, si un LLM pour gérer une caisse ou un magasin, ça vous paraît aberrant, dites-vous quand même qu'il a 80 % des use case des LLM dans les entreprises où c'est

juste pas la bonne solution quoi.

Voilà, ça c'est mon truc.

Je me dis que si...

Là aujourd'hui on est hyper enthousiastes sur les LLM, c'est incroyable, c'est fantastique, effectivement on les utilise tous les jours et il a des problèmes de capacité

et on a peur que l'économie s'effondre et il y peut-être un marché qui vaut un milliard de dollars, un trillion de dollars.

Mais en fait ça se trouve dans 5-10 ans, on va regarder tout ça comme c'était complètement caduque et on va se dire que on a investi 75 milliards dans ces projets-là, 100 milliards,

150 milliards.

Il faut se rendre compte que l'investissement qu'on fait dans les LLM aujourd'hui dans les data sentrières, c'est 10 à 15 fois les investissements qui sont faits en termes de

vitesse d'investissement.

On investit 10 fois plus vite dans cette stack IA que ce qu'on a investi dans le cloud.

Ça va vraiment super vite les montants qu'on investit.

On espère vraiment qu'il un marché fantastique en face.

Et on n'en est pas sûr encore aujourd'hui qu'il en ait un.

Et le pari il est quand même vraiment énorme aujourd'hui.

Je dis pas qu'il une bulle, mais le pari est énorme.

Bon moi je suis à Lille, qu'on foute un datacent de 3 gigawatts à Dunkerque, je m'en fous un petit peu mais...

Mais ouais, probablement que demain on ira visiter ces trucs là comme si c'était des pyramides, on fera le Durbex dedans en se disant, tain c'est marrant t'as vu, il y a une

époque où ce GPU là il coûtait plus de centaines, plusieurs centaines de millions d'euros.

Centaines de milliers de ronds, c'est génial.

Bref, voilà, merci beaucoup.

Bon, je fais un peu moins de podcasts en ce moment parce que je travaille très très beaucoup le mois de mai.

a des jours fériés et tout ça.

Et puis, je suis content, j'ai démarré des nouveaux clients au mois de mai.

Du coup, c'est chouette.

J'ai pas mal de travail en juin.

Le travail chez Le Long Coin est intéressant aussi, donc c'est chouette.

Et si ça vous intéresse, pouvez chercher Emil Indice sur les plateformes de podcasts.

J'enregistre normalement à cette heure-ci, là pendant le dessin de ma fille, j'enregistre des podcasts sur des podcasts sur...

ça s'appelle ?

Podcasts pour les enfants.

fait mon fils il a défoncé mais toutes les histoires, toutes les enquêtes, toutes les histoires d'enquêtes pour enfants qu'il sur Spotify, que ce soit des podcasts ou des

livres audio, du coup je me suis dit que j'allais lui en refaire des nouveaux que j'écris moi-même.

Alors généralement j'essaie de trouver l'intrigue avec lui.

Par exemple il dit « ah moi je veux un monstre

qui marche sur l'eau.

Ok, j'ai essayé de un indice.

Voilà, c'est fun.

Il y a déjà plus de centaines de personnes qui ont écouté des épisodes de ce truc là.

J'ai fait une vingtaine d'épisodes aussi déjà.

Donc ça me prend du temps mais c'est fun, c'est un bon projet.

Et oui j'utilise de l'IA pour générer des jaquettes, j'utilise l'IA pour générer des histoires et tout.

Mais je ne pense pas que vous vous direz que c'est de l'AI Slop pour autant.

Je suis quand pas graphiste.

à la fin de journée je suis toujours pas graphiste mais c'est mieux que si j'avais fait moi-même les découvertures quand même.

Voilà voilà bon bah amusez bien, amusez vous bien, envoyez des messages, envoyez des fleurs, des pommes de terre et tout ça.

Les commentaires que vous mettez sur les plateformes je les lis toujours et je toujours content.

Les gens qui m'envoient des feedbacks sur Instagram en DM vous aident queers aussi.

Et voilà amusez vous bien la fin de l'année le mois de juin c'est dur il a plein de choses profitez bien.

Moi je serai à la 5-onf.

à la fin du mois.

Je serai pas à Vivatec, je serai à la synconfe.

Donc hésitez pas regarder ce qui se fait du côté de la synconfe, c'est très très chouette ce qu'a organisé Graven.

Il y aura des gens sympas et l'ambiance est toujours très très cool.

Allez à bientôt !