DLRL Summer School 2022 - Animesh Garg - Off-Policy Learning: Online, Offline & Data Augmentation

«Animesh Garg - Canada CIFAR AI Chair, the Vector Institute; Assistant Professor, University of Toronto.

"This tutorial-style session will first introduce off-policy reinforcement learning. Thereafter, we will discuss the advantages and challenges of this class of RL algorithms. We will then talk about how to perform use off-policy RL in an offline setting and finally we will talk about role of data augmentation in off-policy estimation for continuous control. And using motivating examples from robotics, we will end with an overview of open problems using structured inductive biases in RL."

Animesh Garg is a Canada CIFAR AI Chair at the Vector Institute, an assistant professor at the department of computer science. He leads the Toronto People, AI, and Robotics (PAIR) research group at the University of Toronto. Garg is also a research scientist at NVIDIA Research in machine learning for robotics. Garg’s research focuses on machine learning algorithms for perception and control in robotics. He aims to enable generalizable autonomy through efficient robot learning for long-term sequential decision making. The principal technical focus lies in understanding representations and algorithms to enable simplicity and generality of learning for interaction in autonomous agents. He actively works on applications of robot manipulation in industrial and healthcare robotics.

----
Différentes facettes de l’apprentissage hors stratégie : en ligne, hors ligne, et l’amplification des donnée

Animesh Garg - Chaires en IA Canada-CIFAR, l’Institut Vecteur; professeur adjoint, University of Toronto.

« Cette séance de type tutoriel présentera d’abord l’apprentissage par renforcement hors stratégie. Ensuite, nous discuterons des avantages et des enjeux de cette classe d’algorithmes d’apprentissage par renforcement. Nous parlerons ensuite de la façon d’utiliser l’apprentissage par renforcement hors stratégie dans un cadre hors ligne et, enfin, nous parlerons du rôle de l’amplification de données dans l’estimation hors stratégie pour le contrôle continu. En utilisant des exemples motivants tirés de la robotique, nous terminerons par un aperçu des problèmes ouverts utilisant des biais inductifs structurés dans l’AR. »

Animesh Garg est titulaire d’une chaire en IA Canada-CIFAR à l’Institut Vecteur et professeur adjoint à l’Université de Toronto. Il dirige un groupe de recherche sur les gens, l’IA et la robotique (PAIR Lab) à l’Université de Toronto. Il est également chercheur pour NVIDIA dans le domaine de l’apprentissage automatique pour la robotique.

Ses recherches portent sur les algorithmes d’apprentissage automatique dans les domaines de la perception et du contrôle en robotique. Garg souhaite généraliser l’autonomie des robots grâce à un apprentissage automatique pour la prise de décisions séquentielles ayant des conséquences à long terme. Le point central de son travail est la compréhension des représentations et des algorithmes qui permettent de simplifier et de généraliser l’apprentissage des interactions chez les agents autonomes. Il travaille activement sur les applications de la manipulation des robots en robotique industrielle et médicale.