Aperçu des sections

  • L'objectif du cours est de se familiariser avec plusieurs formalismes numériques largement utilisé en Intelligence Artificielle. Un accent particulier est mis sur les "Chaînes de Markov" et les "Processus Décisionnels de Markov".
    On montrera comment ces formalismes permettent de modéliser, pour expliquer, prédire, simuler ou émuler des systèmes. On regardera aussi comment apprendre et valider un modèle à partir d'observations sur un système.

  • Rappels sur les probabilités

    Revoir les notions de probabilités jointes, conditionnelles. Les variables aléatoires, le calcul d'une espérance. Comment modéliser un phénomène avec des variables aléatoires. Comment mesurer la pertinence d'un modèle.

  • Réseaux Bayésiens

    Comprendre comment modéliser "efficacement" un phénomène en utilisant les réseaux bayésiens. L'idée principale est de tenir compte des dépendances entre les variables. Notion de vraissemblance.

  • Chaînes de Markov

    Comprendre comment modéliser "efficacement" un phénomène en utilisant les chaînes de Markov. L'idée principale est de modéliser un processus dynamique sans mémoire.

  • Chaînes de Markov Cachée

    A venir (merci à vous).

    • Classe JAVA pour manipuler des HMM, certains procédures sont à compléter.

  • Processus Décisionnels de Markov

    Qu'est qu'un Processus Décisionnel de Markov (PDM ou MDP) ? Comment l'utiliser pour choisir ses décisions ?

    Liens avec l'apprentissage par renforcement.

    • Processus Décisionnels de Markov en Intelligence Artificielle (Groupe PDMIA, Edité par O. Sigaud et O. Buffet, Hermès éditions) - Chap 1.

    • Matériel pour la 2ème séance sur les MDP et Apprentissage par Renforcement.

    • Exemple très simple en Java de calcul de Fonction de valeur pour un MDP.

    • Des données pour s'exercer à l'apprentissage par renforcement