# 1/4 Méthode de Descente de Gradient:Principe Générale, son Algorithme avec illustration Graphique

Plan

Principe de la méthode de Descente de Gradient (DG)
Algorithme de la méthode DG
Domaines d’utilisation de la DG
Illustration graphique
Exemple d’Application
Régression linéaire
Relation entre la méthode de Descente de Gradient et Régression
Linéaire

Exemple : Notre objectif est de minimiser la fonction coût f par rapport à x avec :
f(x) = x² -x + 1 ;
Donc notre problème d’optimisation sans contrainte est:
PO (sans contraintes) = {█("min 𝑓(𝑥) =x²− 𝑥 + 1 " @@"x ∈" 〖 ℝ〗^(𝒏 ) )┤

f est une fonction à une seule variable
f est continue
f est convexe ----- elle a un seul optimum global



Illustration géométrique de la fonction f : Le cas d’une minimisation( figure empruntée à [7] )

Nous nous intéressons à la conception de méthodes numériques pour la recherche des points x ∈ 〖 ℝ〗^(𝒏 ) qui réalisent le minimum d’une fonction f : 〖 ℝ〗^(𝒏 ) → 〖 ℝ〗^ .
Soient les données de base:

f : 〖 ℝ〗^(𝒏 ) → 〖 ℝ〗^ : Une application continue, convexe, différentiable.
x ∈ 〖 ℝ〗^(𝒏 ) : Vecteur solution ou variable ou inconnue de dimension n.
d ∈ 〖 ℝ〗^(𝒏 ) : Vecteur direction de dimension n.
α ∈ [0,1] : Un pas de déplacement (hyper-paramètre).
L'algorithme de la descente de gradient ( Gradient Descent ) est un algorithme d'optimisation qui permet de converger vers le minimum de n'importe quelle fonction Convexe.
La dérivée directionnelle donne des informations sur la pente de la fonction f dans la direction d.
En particulier, La dérivée d donne des informations sur la pente de la fonction à une variable: d = ∇f (x) = f’(x)
– si ∇f (x) 0, alors f est croissante dans la direction d.
– si ∇f (x) 0 (ou −∇f (x) 0 L’opposé du gradient ), alors f est
décroissante dans la direction d.
Dans ce dernier cas, on dira que d est une direction de descente de f.

[amrounesalah]

Je vous remercie chaleureusement pour le partage de la vidéo. Madame, votre prestation est vraiment exceptionnelle, et cela ne peut que vous honorer. Merci encore une fois. Yaadik Essaha Estada.

[pythonholic]

استاذة عندي سؤال فوحد تمرين ممكن مساعدة؟