La rétropropagation (backprop) | Intelligence artificielle 43

Le succès des réseaux de neurones semblent s'expliquer essentiellement par leur capacité à se prêter à la descente de gradient. Et ça, ça vient d'un algorithme en particulier : l'algorithme de rétropropagation, aussi appelé backpropagation ou backprop.

La formule du savoir (mon livre) :
A Roadmap for the Value-Loading Problem

Moi en podcast avec Mr Phi :

[signalgouv]

Je sais pas pourquoi je m'acharne a regarder toutes tes vidéos alors que je comprend pas la moitié de ce qui est dit
J'imagine que c'est parce que Lê est super passionnant quand il parle

[Fangh]

Merci beaucoup pour cette épisode ! On reviens enfin à des épisodes où on doit se casser la tête et être vraiment concentré. C'est ce que je préfère dans tes épisodes. Où on apprends de nouvelles choses !

[alexidesvignesnouvel]

J'adore vraiment tes vidéos mais des fois j'ai du mal a tout comprendre et quand tu donne un exemple concret comme ici ou bien que tu fait un parallèle concret je trouve que l'on comprend beaucoup mieux. En tout cas merci d'être là pour nous apprendre tout ça!

[baptistepiguet]

Je t'aime mec, ça fait plus d'une semaine que je cherche à savoir comment les réseaux de neurones ajustent leurs modèles prédictifs

[Fumeal]

Wouhou, mon commentaire à encore été pris !! Je laisse la place aux autres ce coup-ci, mais je commente quand même pour l'algo Yt ;)

[augustinfrancotte]

C'est une vidéo excellente ! Bravo Lê ! C'est vraiment très clair.

[guillaumegarnier]

tu as une double page sur toi et la formule de bayers dans science et vie, bravo ^^

[我妻由乃-vq]

Trop bien la vidéo! Ca faisait longtemps une vidéo Science4All un peu plus épicer.

[colinpitrat]

J'ai enfin lu ton papier. Il est super intéressant et maintenant j'ai plein de références à creuser :)

Si i'ai bien compris, la partie 3 propose d'estimer la moralité des actions de l'IA en se basant sur la façon dont le monde extérieur évolue en fonction des décisions de l'IA (donc une approche conséquentialiste, ce qui me va tout à fait). Là où ça cloche à mon avis, c'est que la corrélation entre les actions de l'IA et l'évolution du monde seront faibles et qu'en plus il y'aura en général un délai important (tu parles de l'étape n et n+1 comme si il n'y avait pas d'autre décision prise entre).

Si l'IA tue un enfant mais qu'au même moment un armistice est signé, elle considèrera son action bonne ? Et inversement si elle décide de sauver un enfant mais qu'une guerre est déclarée elle considèrera son action mauvaise ? Et si elle décide de baisser les taux d'intérêt (ce qui n'aura pas d'effet immédiat) mais qu'au même moment une centrale nucléaire explose ?

Du coup, à moins que j'ai raté quelque chose, il me semble nécessaire d'ajouter un problème à ta liste: identifier les liens de causalité entre les décisions de l'IA et les évènements qui se produisent dans le monde.

[Paulolenantais]

merci pour toutes ces videos, tu m'aides vraiment !!

[etienneverpin]

Il y a un élément supplémentaire quni d'un point de vue bayésien, fait douter de la réalité de la démonstration proposée sur la conjecture de Riemann, c'est l'âge du capitaine. Je me souviens avoir lu une citation de Laurent Schwartz, dans laquelle, pour expliquer les baisses de capacités liées à l'âge, il nous disait qu'à vingt ans il espérait résoudree problème de Riemann, ; dans la quarantaine, il espérait lire une telle démonstration, et qu'au moment où il parlait, vers la fin de sa vie, il espérait juste apprendre qu'il existait une preuve.
Cela me parait peu crédible qu'un homme de 89 ans puisse faire une telle avancée en science, et en mathématique particulièrement.

[yjan]

Est-ce que tu serais chaud pour nous faire un follow-up de la preuve de l'hypothèse de Riemann dans les futures vidéos ? J'ai cherché quelques infos mais ça n'est pas toujours clair ...

[alexidesvignesnouvel]

J'ai une petite question tu as expliqué comment modifier concretement le biais du neurone qui est alors égal a l'erreur c'est a dire l'urgence a corriger le neurone mais pour les synapse je n'ai pas vu concretement comment on calculait l'urgence et comment on modifiait le poids en conséquence ?

[nicolasdavid]

Salut ! Est-ce que tu pourrais nous parler un peu plus de cette fonction d'activation non-linéaire des neurones ? Comment la choisit-on ? Pourquoi n'est-elle pas considérée comme un paramètre modifiable du réseau ?

[kaoutarelhaloui]

Bonjour, Merci pour vos vidéos. Pour un problème de régression avec des réseaux de neurones, peut ont appliquer une pénalité/donner plus d'importance pour des données particuliers (par exemple à proximité de 0) lors de l'entrainement ?, autrement tolérer moins de fautes sur les prédictions de ces données là ?

[KA-klws]

Est il possible de trouver des minimaux locaux avec un algorithme de colonies d'abeille dans le cadre de réseaux neuronaux en backpropagation ? Je pense que ces algorithmes demandent beaucoup de temps de calcul surtout pour beaucoup de dimensions mais je voulais tout de même savoir si ca se faisait en pratique.

[theoi]

C'est génial comme truc les réseaux de neurones! Mais comment ça marche entre le hardware et le software?

parce que si ces neurones fonctionnent selon une formule prédéfinis, est-ce qu'il ne suffit pas simplement de modifier cette formule pour pirater (ou du moins crasher) le reseau?

[romainbajoit]

C'est quand même ambitieux de tenter d'expliquer la backpropagation en 9min57. C'est l'algorithme qui a permis aux réseaux neuronaux d'être utiliser et est considéré comme un des plus importants de l'AI alors pourquoi ne pas passer un peu plus de temps dessus ? Il n'est pas compliqué à comprendre mais peut être compliquer à expliquer .. surtout en si peu de temps :(

La vidéo est très bien mais manque de clareté à mon goùt, tu as l'air si pressé d'en finir avec :D
(J'ai quand même mis un pouce dans les airs et tiens à te faire remarqué que ton contenu est quand même d'un niveau incroyable dans le domaine de YouTube !<3)

[BigToinE]

Et du coup pour l'HR s'en est où ? X)

[nonoroberto]

Un épisode hardcore sur la retropropagation des neurones serait possible ? Pitié !