Le théorème de complétude de Solomonoff 🌶️

Dans un article de 1997, Solomonoff affirme que son induction, "ça marche". Cette vidéo présente le théorème qui l'a amené à conclure cela.

Cette vidéo est l'épisode 36 de la série sur le bayésianisme :
#Bayes #science #Épistémologie

La formule du savoir (mon 1er livre) :
Le fabuleux chantier (mon 2e livre, avec El Mahdi El Mhamdi) :
Turing à la plage (mon 3e livre, avec Rachid Guerraoui) :

Moi en podcast avec Mr Phi :

[le_scienceall]

Pour une introduction assez différente aux grandes idées de Solomonoff, je vous recommande aussi ces extraits de notre podcast Axiome, où j'explique en quoi l'induction de Solomonoff clarifie le paradoxe de Bertrand.

Bonus. Ça vous donne un exercice à la maison : en quoi la complétude de Solomonoff résout-elle aussi le paradoxe du grue ?

[FlorentTavernier]

Trop bien !!
J'espère que le programme qui génère notre univers est assez simple pour que les progrès en ML nous permettent d'approcher au mieux ses règles

[salla-kane]

C'est tellement frustrant d'avoir le sentiment d'être en face d'une mine d'or d'information de qualité, s'obstinait à le regarder plusieurs fois (ma 2 ème lecture) et de n'y comprendre que dalle ! Comme dirai l'invité de Mrphi qui ressemble à Astier, je suis cognitivement clos au théorème de complétude de Solomonoff 😅. Sinon très bon travail comme toujours.

[fazegamega]

C'est fou que tu sois capable de parler de contenu de niveau master 2+ (je pense que solomonoff était clairement un truc très spécialisé à l'X) et pourtant avoir autant d'audience ! Bravo :)

[hervemeriaux]

Merci Lê pour cette présentation de Solomonoff. Bien que foncièrement bayésien "puisque la formule marche (presque) toujours en induction", je reste perplexe sur son potentiel épistémologique universel... Exemple : selon Bayes il est hautement probable que le soleil brillera encore demain puisque chaque journée écoulée depuis quelques milliards d'années a conforté, et quasiment "prouvé", qu'il en sera ainsi demain et de plus en plus sûrement au fil des jours à venir. Pourtant les astrophysiciens nous affirment qu'il s'éteindra dans quelques milliards d'années, faute de carburant thermonucléaire. Il s'agit aussi d'une quasi-certitude étayée, ici, par la déduction.
Taleb, considéré comme le meilleur essayiste du monde par beaucoup, fils spirituel du génial mathématicien Mandelbrot, nous explique aussi dans "Antifragile" que seul le temps valide ce qui marche, ce qui est une attitude très bayésienne. Nous devons donc nous méfier des innovations soi-disant révolutionnaires tant qu'elles n'ont pas été sélectionnées par un darwinisme technologique ou social. Mais Taleb a aussi démontré dans "Le hasard sauvage", "Le cygne noir", puis dans "Le risque silencieux" (ouvrage très mathématique téléchargeable gratuitement), que des événements rares mais extrêmes, balaient régulièrement nos certitudes, ce qui n'est ni gaussien, ni bayésien. Ces accidents imprévisibles créent les changements historiques majeurs : la météorite du Yucatan, la peste noire qui a tué 40% des européens, les éruptions volcaniques islandaises qui ont affamé notre pays et provoqué la Révolution française, la COVID, et le dérèglement climatique qui nous tuera bien plus vite que l'extinction de notre soleil...
Il existe donc un véritable paradoxe entre les "certitudes bayésiennes et de Solomonoff", forts séduisantes à court terme, et la réalité de long terme. Par analogie, c'est comme comparer la physique de Newton à celle d'Einstein : les deux fonctionnent très bien, mais à des échelles différentes... Parfois je me demande si la formule de Bayes ne nous enferme pas dans un biais cognitif très sophistiqué. Ton éclairage mathématique et épistémologique est donc très bien venu, Lê. Merci encore.

[CamilleKaze]

J'ai pas tout compris de la démonstration j'ai compris à quel point le théorème est fort. Démontrer une épistémologie c'est ouf en vrai. Merci pour cet épisode !
Est-ce que dans un épisode suivant tu vas discuter d'à quel point c'est faisable en pratique, d'appliquer l'induction de Solomonoff ?

[Ricocossa]

Ah alors ça ça me plait! Il faudra que j'aille revoir les autres vidéos pour les résultats intermédiaires, mais c'est vraiment un coup de maître ce théorème.

[etsan]

Ah enfin cet épisode ! Super, merci Lê et M. Solomonoff :D

[Beck-Gaël-Ph.D-Rapper-Bipolar]

🙏 pour la passion ❤️‍🔥 et la pédagogie dont tu fais preuve en transmettant avec brio tout ces fragments de savoir !
Encore une fois 🙏 et 💪🧐

[stratosleydonne]

Une des plus belles vidéo de cette année ...
Bravo.

[FrX]

Mec tu as un niveau de savoir et de maîtrise des sujets assez hallucinant !! GG

[WeonxWeonx]

Merci, je suis super excité par cette vidéo j'ai trop hâte ! Le rasoir d'Hockam je m'en souvenais avec ton livre donc j'ai pas été émerveillé à nouveau mais là j'ai vraiment hâte

[JulioJ]

Alors là bravo !!! 👏
C'est la première fois que je ne comprends *ABSOLUMENT PAS UN MOT* à une vidéo !! Nada ! Zob ! Quedchi ! Walou ! 🤣🤣🤣

Par contre j'ai quand même bien rigolé !!! Surtout à deux moments :
1 - _"pour les matheux parmis vous"_ Ah bon parce que c'est censé être accessible si on n'a pas de doctorat en math 🤔🤣
2 - _"si ce que je vous dis ne vous parle pas ne vous inquiétez pas, c'est pas si important que ça"_ alors celle-là elle me rassure et c'est la seule que je vais retenir pour pouvoir dormir tranquille ce soir !!🤣🤣🤣

Lê t'as vraiment l'art de nous faire se sentir pour des sacrés nullos !🤣

[marinricros]

Maintenant que tu mets plus d'outro, tu peux mettre les crédits musicaux en description ou un truc du genre ? La première et la dernière sont vachement cools
Merci pour ton travil ! :D

[laurent]

Après les bons vendeurs de voiture, les bons vendeurs de théorème, quelle introduction ^^ Si on m'avait vendu certaines connaissances ainsi je m'en serais rappelé à vie à ne pas en douter.

[mikail]

J'en suis à bac +5 spécialisé en mathématiques des donnés, ça fait 2 ans que je mange du Bayes et des proba et pourtant j'ai compris 1 dixième du contenu. Est ce que les autres commentaires font semblant ou alors sont ils tous des génies ?

[Zrthustr]

"[...] alors que j'étais en train de me noyer dans de sombres lectures en épistémologie et en machine learning [...]"
Hé mais... c'est moi ça !
J'ai bien envie de lire Solomonoff du coup, merci !

[yann]

bonjour. Merci pour ce chouette épisode ! il me semble que c’est assez proche du cadre PAC-Bayes, non ? En PAC-Bayes, on se munit d’un prior arbitraire, comme ici, et on converge plus ou moins vite selon la valeur de la KL au prior, comme ici aussi. Plus globalement, je crois que les idées de Solomonov n’ont pas disparues et ont beaucoup diffusées dans la théorie statistique de l’apprentissage (ex: le SRM, le MDL, l’apprentissage sans regret), même s’il est (injustement) très rarement cité

[sand]

J'ai compris les 5 premieres minutes, c'est déjà pas mal Lol

[crashteens]

Du coup, si j'ai tout bien suivi, cette vidéo est en soit une alternative à la p-value parce-qu'elle montre qu'avec des rapports de vraisemblance on finira toujours pas tomber sur la bonne hypothèse avec un nombre infini de données, alors qu'avec une p-value on rejettera indéfiniment l'hypothèse à ne pas rejeter ?