Contenu du cours

Voici la liste des sujets et concepts qui pourront faire l'objet de questions dans l'examen final.

Pour toute question concernant ces sujets, n'hésitez pas à poser une question sur le forum de discussion du cours!

Tous les sujets avant l'intra
Voir la liste ici

Concepts fondamentaux (3)

• Définition des valeurs / vecteurs propres d'une matrice.
• Définition de la décomposition en valeurs / vecteurs propres d'une matrice symétrique.
• Lien entre les valeurs / vecteurs propres et le déterminant, la trace, le rang, l'inverse et la propriété "définie positive" d'une matrice.

Formulation probabiliste (2,3)

• Lien entre les valeurs / vecteurs propres d'une matrice de covariance et la forme de la fonction de densité d'une loi gaussienne.
• Obtention de la loi marginale d'une gaussienne.
• Calcul de la loi conditionnelle d'une gaussienne.

Mélange de gaussiennes

• Définition du modèle de mélange de gaussiennes
• Explication de comment on suppose que les données ont été générées dans un mélange de gaussiennes.
• Lien entre le mélange de gaussiennes et l'approche probabiliste générative en classification.
• Description du problème de partitionnement en général.
• Utilisation d'un mélange de gaussiennes pour le partitionnement.
• Probabilité marginale de l'entrée dans un mélange de gaussiennes.
• Description des étapes E et M pour un mélange de gaussiennes.
• Description générale du fonctionnement de l'algorithme EM, dans sa façon d'optimiser la log-vraisemblance des données.
• Lien entre les hyper-paramètres du mélange de gaussiennes et sa capacité.
• Problèmes possibles avec l'algorithme EM (optima locaux, problème mal défini).
• Définition de la fenêtre de Parzen.

Réduction de dimensionnalité

• Définition du problème de la réduction de dimensionnalité.
• Motivation pour faire de la réduction de dimensionnalité (visualisation de données, combattre la malédiction de la dimensionnalité).
• Description des concepts de dimensionnalité intrinsèque et de variété.
• Calcul d'une réduction de dimensionnalité basée sur l'ACP (versions de base, centrée ou centrée et normalisée).
• Lien entre les valeurs / vecteurs propres de la matrice de covariance et la variance d'une projection.
• Calcul de la reconstruction (ou décompression) d'un vecteur sous l'ACP.
• Lien entre les valeurs propres de la matrice de covariance et l'erreur de reconstruction.
• Description des étapes de l'ACP à noyau.
• Calcul du centrage d'un noyau.
• Sélection d'hyper-paramètres pour la réduction de dimensionnalité.

Combinaison de modèles

• Description de la combinaison de différents algorithmes d'apprentissage (en régression et en classification).
• Description du bagging.
• Description de la génération d'un ensemble de données bootstrap.
• Description générale des propriétés du bagging (condition pour que le bagging aide de façon optimale).
• Description général du concept du boosting.
• Calcul des étapes de l'algorithme AdaBoost.
• Identification de la perte optimisée par AdaBoost et description générale de comment AdaBoost l'optimise.
• Distinction entre les cas où le bagging est plus prometteur de ceux où le boosting est plus approprié.

Apprentissage bayésien

• Description générale de l'approche par apprentissage bayésien et lien avec les concepts de :
  • Probabilités a priori sur les modèles.
  • Probabilités des données étant donné un modèle.
  • Probabilités a posteriori des modèles.
• Avantages de l'apprentissage bayésien.
• Définition de la régression linéaire bayésienne.
• Progression des probabilités a posteriori des modéles lorsque la quantité de données augmente.
• Définition générale de la loi prédicitve a posteriori.
• Propriété d'un processus gaussien.
• Prédiction et variance prédictive de la régression basée sur un processus gaussien.