Alex Robotics
Intro DAP Guide Notes Vidéos
sky

GRO860 Guide

Guide du cours

Cette section présente les liens vers le matériel et les livrables semaines par semaines:

Semaine Matériel Exercises Livrables

1

25 Août

Introduction

Formulation du problème: fonction de coût, contraintes, politique, etc.

  • Lectures = Notes chapitre 1
  1. C.1.1
  2. C.1.2
  3. C.1.3
  4. C.1.4 : Learn to fly with PPO
C.1.5 : Fonction de coût pour un pendule

2

8 Sept

Programmation dynamique

  • Lectures : Notes chapitre 2
  1. C.2.3 : Thermostat optimal
  2. C.2.4 : Chemin le plus court dans un graphe
C.2.1 : Navigation optimale dans un graphe

3

15 Sept

Commande stochastique

  • Lectures = Notes chapitre 3 et 4
  1. C.3.2 Gestion d'une diva à l'opéra
  2. C.4.1 Commande minimax pour tic-tac-toe
  3. C.3.3 Stratégie optimale aux échecs
C.3.1 Loi de commande pour une suspension active

4

22 Sept (AM!)

Équation de Bellman et algorithmes

  • Lectures = Notes chapitres 5 et 7
  1. C.6.2 : Algorithme d'itération de valeur
  2. C.6.3 : Évaluation d'une politique
C.6.1 Gestion optimale d'un barrage

5

29 Sept (AM!)

Solution LQR

  • Lectures = Notes chapitre 6
  1. C.5.2 Équation HJB et solution LQR
  2. C.5.3 Implémentation python
C.5.1 Solution LQR par programmation dynamique

6

6 Oct (AM!)

Apprentissage par renforcement (Q-learning)

  • Lecture = Notes chapitre 8
  1. C.7.3 From DP to Q-learning
  2. C.7.4 Q-learning avec des échantillons
 C.7.1 Q-learning pour une navigation optimale

7

27 Oct

Approximation de fonctions

  • Lecture = Notes section 8.5 et chapitre 9
  1. Retour sur C.5.1
  2. C.7.5
  3. C.7.6
C.7.2 Q-learning avec approximation de fonctions

8

3 Nov

Implémentation

  1. C.8.2
C.8.3 : Classe Gym pour votre projet

9

10 Nov

À venir!

  • À venir!:
  1. À venir!
  2. À venir!
  3. À venir!
 Définition de projet (1 page)

10

17 Nov (AM!)

À venir!

  • À venir!:
  1. À venir!
  2. À venir!
  3. À venir!
 Examen

11

24 Nov

À venir!

  • À venir!:
  1. À venir!
  2. À venir!
  3. À venir!
 -

12

1 Déc

À venir!

  • À venir!:
  1. À venir!
  2. À venir!
  3. À venir!
 -

13

8 Déc

À venir!

  • À venir!:
  1. À venir!
  2. À venir!
  3. À venir!
 Présentation des projets et code source

Ressources

Notes (Alex)
Vidéos (Alex)
Vidéos de David Silver
Livre de Dimitri P. Bertsekas
Livre de Sutton et Barto