Alex Robotics
sky

GRO860 Guide

Guide du cours

Cette section présente les liens vers le matériel et les livrables semaines par semaines:

Semaine Matériel Exercises Livrables

1

26 Août

Introduction

Formulation du problème: fonction de coût, contraintes, politique, etc.

  • Lectures = Notes chapitre 1
  1. C.1.1
  2. C.1.2
  3. C.1.3
  4. C.1.4 : Learn to fly with PPO
C.1.5 : Fonction de coût pour un pendule

2

3 sept

Programmation dynamique

  • Lectures : Notes chapitre 2
  1. C.2.3 : Thermostat optimal
  2. C.2.4 : Chemin le plus court dans un graphe
C.2.1 : Navigation optimale dans un graphe

3

9 sept

Commande stochastique

  • Lectures = Notes chapitre 3 et 4
  1. C.3.2 Gestion d'une diva à l'opéra
  2. C.4.1 Commande minimax pour tic-tac-toe
  3. C.3.3 Stratégie optimale aux échecs
C.3.1 Loi de commande pour une suspension active

4

16 sept

Équation de Bellman et algorithmes

  • Lectures = Notes chapitres 5 et 7
  1. C.6.2 : Algorithme d'itération de valeur
  2. C.6.3 : Évaluation d'une politique
C.6.1 Gestion optimale d'un barrage

5

23 sept (AM!)

Solution LQR

  • Lectures = Notes chapitre 6
  1. C.5.2 Équation HJB et solution LQR
  2. C.5.3 Implémentation python
C.5.1 Solution LQR par programmation dynamique

6

30 sept

Apprentissage par renforcement (Q-learning)

  • Lecture = Notes chapitre 8
  1. C.7.3 From DP to Q-learning
  2. C.7.4 Q-learning avec des échantillons
C.7.1 Q-learning pour une navigation optimale

7

7 octobre

Approximation de fonctions

  • Lecture = Notes section 8.5 et chapitre 9
  1. Retour sur C.5.1
  2. C.7.5
  3. C.7.6
C.7.2 Q-learning avec approximation de fonctions

8

28 octobre

Implémentation

  1. C.8.2
C.8.3 : Classe Gym pour votre projet

9

4 Nov

À venir!

  • À venir!:
  1. À venir!
  2. À venir!
  3. À venir!
Définition de projet (1 page)

10

11 Novembre

À venir!

  • À venir!:
  1. À venir!
  2. À venir!
  3. À venir!
Examen

11

18 Novembre

À venir!

  • À venir!:
  1. À venir!
  2. À venir!
  3. À venir!
-

12

25 Novembre

À venir!

  • À venir!:
  1. À venir!
  2. À venir!
  3. À venir!
-

13

2 Décembre

À venir!

  • À venir!:
  1. À venir!
  2. À venir!
  3. À venir!
Présentation des projets et code source

Ressources