Hugo Larochelle

IFT 725 (Automne 2012)

Annonces

[03/12/2012]
Les notes des présentations sont disponibles.

[25/11/2012]
Les notes du devoir 3 sont disponibles.

[29/10/2012]
Les notes du devoir 2 sont disponibles.

[12/10/2012]
Le devoir 3 est disponible.

[07/10/2012]
Les notes du devoir 1 sont disponibles.

[21/09/2012]
Le devoir 2 est disponible.

[31/08/2012]
Les prochains cours auront lieu les vendredis, de 8h30 à 11h30, au D4-1023

[28/08/2012]
Premier cours:
31 août, 9h-12h, au D4-2024.

[27/08/2012]
Le devoir 1 est disponible.

[20/08/2012]
La séance d'information sera le 27 août, à 13h00, au D4-2025.

[13/08/2012]
Bienvenue au cours IFT 725!

Contenu du cours

Pour toute question concernant le contenu, n'hésitez pas à poser une question sur le forum de discussion du cours!

Considérez également vous inscrire au cours Neural Networks for Machine Learning, donné par Geoffrey Hinton et offert par Coursera.

Date	Contenu du cours
VE 31/08	Introduction et révision mathématique - Lectures obligatoires - [questions de lecture] \| Diapositives: [pdf] [html] Mise à niveau apprentissage automatique: pages 1 à 16 et 27 à 33 de ma thèse de doctorat Mise à niveau en calcul différentiel: pages 28 à 46 et 61 à 62 des diapositives sur l'apprentissage automatique du cours IFT 615 Mise à niveau en algèbre linéaire: révision du cours d'Andrew Ng Mise à niveau en probabilités: révision du cours d'Andrew Ng Mise à niveau en statistiques: chapitre 3 des notes de cours de William Faris Mise à niveau en échantillonnage: Pages 20 à 31 de la thèse de doctorat de Iain Murray Mise à niveau Python: tutoriel Python MLPython: tutoriel sur la librairie d'apprentissage automatique - Lectures suggérées - The Matrix Cookbook de Kaare Brandt Petersen et Michael Syskind Pedersen (excellente référence, à consulter régulièrement) Sections 7.1, 7.2, 7.3 et 7.10 du livre The Elements of Statistical Learning de Trevor Hastie, Robert Tibshirani et Jerome Friedman Sections 18.2.1, 18.2.2 et 18.3 du livre Natural Image Statistics de Aapo Hyvärinen, Jarmo Hurri et Patrik Hoyer Section 19 du livre Natural Image Statistics Diapositives de révision par Sam Roweis - Matériel multimédia suggéré - Vidéos du cours Machine Learning de Andrew Ng sur l'apprentissage automatique [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] Vidéos du cours Machine Learning de Andrew Ng sur l'algèbre linéaire [1] [2] [3] [4] [5] Présentation What is Machine Learning de Neil Lawrence Présentation Markov Chain Monte Carlo de Iain Murray
VE 07/09	Réseau de neurones à propagation avant - Lectures obligatoires - [questions de lecture] \| Diapositives: [pdf] [html] Section 1, 2 et 3 de la description des réseaux de neurones par Adam Salvail-Bérard Section 11.3 du livre The Elements of Statistical Learning Pages 16 à 23 de ma thèse de doctorat Pages 1 à 7 des diapositives du cours de Pascal Vincent sur les réseaux de neurones Section 3.1 du livre Natural Image Statistics - Lectures suggérées - Articles développant le lien entre avec les réseaux de neurones biologiques pour développer de nouveaux réseaux artificiels: Quadratic Polynomials Learn Better Image Features de James Bergstra, Guillaume Desjardins, Pascal Lamblin et Yoshua Bengio Deep Sparse Rectier Neural Networks de Xavier Glorot, Antoine Bordes et Yoshua Bengio - Matériel multimédia suggéré - Vidéos du cours Machine Learning de Andrew Ng sur les réseaux de neurones [1] [2] [3] [4] [5] [6] [7]
VE 14/09	Rétropropagation des gradients et optimisation - Lectures obligatoires - [questions de lecture] \| Diapositives: [pdf] [html] Mise à niveau optimisation: section 18.6 du livre Natural Image Statistics Sections 4, 5 et 6 de la description des réseaux de neurones par Adam Salvail-Bérard Sections 11.4, 11.5 et 11.6 du livre The Elements of Statistical Learning Notes de cours de Yoshua Bengio sur l'optimisation à base de gradient dans les réseaux de neurones Sections 2, 3.3.1 et 4.1 de Practical Recommendations for Gradient-Based Training of Deep Architectures de Yoshua Bengio - Lectures suggérées - Articles discutant plusieurs trucs pour entraîner des réeaux de neurones artificiels: Efficient BackProp de Yann LeCun, Léon Bottou, Geneviève Orr et Klaus-Robert Müller Practical Recommendations for Gradient-Based Training of Deep Architectures de Yoshua Bengio Articles explorant des techniques d'optimisation plus sophistiquées pour entraîner des réseaux de neurones: Deep learning via Hessian-free optimization de James Martens Fast Exact Multiplication by the Hessian de Barak Pearlmutter Topmoumoute online natural gradient algorithm de Nicolas Le Roux, Pierre-Antoine Manzagol et Yoshua Bengio Notes générales sur l'optimisation sur de gros jeux de données (un excellent résumé de plusieurs méthodes): Notes on Big-n Problems de Mark Schmidt - Matériel multimédia suggéré - Vidéos du cours Machine Learning de Andrew Ng sur l'entraînement de réseaux de neurones [1] [2] [3] [4] [5] [6] [7]
VE 21/09	*Champs markoviens conditionnels (Conditional Random Fields) - inférence* - Lectures obligatoires - [questions de lecture] \| Diapositives: [pdf] [html] Pages 1 à 42 du tutoriel An Introduction to Conditional Random Fields de Charles Sutton et Andrew McCallum - Lectures suggérées - Section 8.3 et 8.4 du livre Pattern Recognition and Machine Learning de Christopher M. Bishop Section 8.1 et 8.2 du livre Pattern Recognition and Machine Learning - Matériel multimédia suggéré - Vidéos du cours Probabilistic Graphical Models de Stanford sur les champs markoviens conditionnels: facteurs (factors) champs/réseaux markoviens (Markov networks) [12] [3] champs markoviens conditionnels (conditional random fields) paramétrisation des facteurs [1] [2] belief propagation/sum product [1] [2] [3] [4] [5] max product [1] [2] Tutoriel de Charles Elkan
VE 28/09	*Champs markoviens conditionnels (Conditional Random Fields) - apprentissage* - Lectures obligatoires - [questions de lecture] \| Diapositives: [pdf] [html] Page 43 jusqu'à la fin du tutoriel An Introduction to Conditional Random Fields de Charles Sutton et Andrew McCallum - Lectures suggérées - Articles discutant des variantes non-linéaires (avec neurones cachés) des champs markoviens conditionnels: Conditional Neural Fields de Jian Peng, Liefeng Bo et Jinbo Xu Neural conditional random fields de Trinh-Minh-Tri Do et Thierry Artière Article précurseur des champs markoviens conditionnels: Gradient-Based Learning Applied to Document Recognition de Yann LeCun, Léon Bottou, Yoshua Bengio and Patrick Haffner Articles sur des modèles alternatifs aux champs markoviens conditionnels: *Structured Perceptron:* Discriminative Training Methods for Hidden Markov Models: Theory and Experiments with Perceptron Algorithms de Michael Collins *Structured SVM:* (Online) Subgradient Methods for Structured Prediction de Nathan Ratliff, Andrew Bagnell et Martin Zinkevich [video] Article décrivant diverses approches pour tenir compte de la fonction d'erreur selon laquelle le modèle est évalué: Loss-sensitive Training of Probabilistic Conditional Random Fields de Maksims Volkovs, Hugo Larochelle et Rich Zemel - Matériel multimédia suggéré - Vidéo du cours Probabilistic Graphical Models de Stanford sur l'entraînement de champs markoviens conditionnels [1] [2] [3] Présentation Structured Linear Models de Fernando Pereira
VE 05/10	Semaine libre
VE 12/10	*Machine de Boltzmann restreintes (Restricted Boltzmann Machines)* - Lectures obligatoires - [questions de lecture] \| Diapositives: [pdf] [html] Section 1.4 (excepté la section 1.4.2) du rapport Learning Multiple Layers of Features from Tiny Images de Alex Krizhevsky Sections 5.1 à 5.3 de Learning Deep Architectures for AI de Yoshua Bengio Rapport technique A Practical Guide to Training Restricted Boltzmann Machines de Geoffrey Hinton - Lectures suggérées - Articles évaluant plusieurs approches pour entraîner un modèle avec constante de normalisation: Inductive Principles for Restricted Boltzmann Machine Learning de Benjamin Marlin, Kevin Swersky, Bo Chen et Nando de Freitas Noise-contrastive estimation: A new estimation principle for unnormalized statistical models de Michael Gutmann et Aapo Hyvärinen Articles sur différentes extensions de la machine de Boltzmann restreinte: Classification using Discriminative Restricted Boltzmann Machines de Hugo Larochelle et Yoshua Bengio [video] Learning to Represent Spatial Transformations with Factored Higher-Order Boltzmann Machines de Roland Memisevic et Geoffrey Hinton Factored 3-Way Restricted Boltzmann Machines for Modeling Natural Images de Marc'Aurelio Ranzato, Alex Krizhevsky et Geoffrey Hinton [video] Sparse deep belief net model for visual area V2 de Honglak Lee, Chaitanya Ekanadham et Andrew Ng Rectified Linear Units Improve Restricted Boltzmann Machines de Vinod Nair et Geoffrey Hinton Rate-coded Restricted Boltzmann Machines for Face Recognition de Yee Whye Teh et Geoffrey Hinton Unsupervised Models of Images by Spike-and-Slab RBMs de Aaron Courville, James Bergstra et Yoshua Bengio [video] Articles sur des techniques avancées d'échantillonnage: Section 30.1 du livre Information Theory, Inference, and Learning Algorithms de David MacKay Learning in Markov Random Fields using Tempered Transitions de Ruslan Salakhutdinov Parallel Tempering for Training of Restricted Boltzmann Machines de Guillaume Desjardins, Aaron Courville, Yoshua Bengio, Pascal Vincent et Olivier Delalleau Learning Deep Boltzmann Machines using Adaptive MCMC de Ruslan Salakhutdinov - Matériel multimédia suggéré - Présentation Deep Learning with Multiplicative Interactions de Geoffrey Hinton sur plusieurs variantes de machine de Boltzmann restreintes
VE 19/10	Autoencodeurs - Lectures obligatoires - [questions de lecture] \| Diapositives: [pdf] [html] Section 5 et Appendix C de Exploring Strategies for Training Deep Neural Networks de Hugo Larochelle, Yoshua Bengio, Jérôme Louradour et Pascal Lamblin Sections 7 à 7.2.3 de Representation Learning: A Review and New Perspectives de Yoshua Bengio, Aaron Courville et Pascal Vincent Article Extracting and Composing Robust Features with Denoising Autoencoders de Pascal Vincent, Hugo Larochelle, Yoshua Bengio et Pierre-Antoine Manzagol [video] Article Contractive Auto-Encoders: Explicit Invariance During Feature Extraction de Salah Rifai, Pascal Vincent, Xavier Muller, Xavier Glorot et Yoshua Bengio - Lectures suggérées - Article théorique démontrant qu'une couche non-linéaire n'est pas nécessaire pour obtenir la meilleure erreur de reconstruction: Auto-Association by Multilayer Perceptrons and Singular Value Decomposition de Hervé Bourlard et Yves Kamp Articles sur différentes extensions d'autoencodeurs: Deep Learning using Robust Interdependent Codes de Hugo Larochelle, Dumitru Erhan et Pascal Vincent Semi-supervised Learning of Compact Document Representations with Deep Networks de Marc'Aurelio Ranzato et Martin Szummer [video] Large-Scale Learning of Embeddings with Reconstruction Sampling de Yann Dauphin, Xavier Glorot et Yoshua Bengio [video] On Nonparametric Guidance for Learning Autoencoder Representations de Jasper Snoek, Ryan Adams et Hugo Larochelle Gradient-based learning of higher-order image features de Roland Memisevic
VE 26/10	*Réseaux profonds (Deep learning)* - Lectures obligatoires - [questions de lecture] \| Diapositives: [pdf] [html] Article Exploring Strategies for Training Deep Neural Networks de Hugo Larochelle, Yoshua Bengio, Jérôme Louradour et Pascal Lamblin Article A Fast Learning Algorithm for Deep Belief Nets de Geoffrey Hinton, Simon Osindero et Yee Whye Teh Article Reducing the dimensionality of data with neural networks de Geoffrey Hinton et Ruslan Salakhutdinov - Lectures suggérées - Article détaillé sur les réseaux profonds: Learning Deep Architectures for AI de Yoshua Bengio Évaluations expérimentales de l'apprentissage de réseaux profonds: An Empirical Evaluation of Deep Architectures on Problems with Many Factors of Variation de Hugo Larochelle, Dumitru Erhan, Aaron Courville, James Bergstra et Yoshua Bengio Why Does Unsupervised Pre-training Help Deep Learning? de Dumitru Erhan, Yoshua Bengio, Aaron Courville, Pierre-Antoine Manzagol, Pascal Vincent et Samy Bengio Diverses alternatives pour l'apprentissage non-supervisé vorace des couches cachées d'une réseau profond: Deep Learning via Semi-Supervised Embedding de Jason Weston, Frédéric Ratle et Ronan Collobert [video] Deep Learning from Temporal Coherence in Video de Hossein Mobahi, Jason Weston et Ronan Collobert Kernel Methods for Deep Learning de Youngmin Cho et Lawrence Saul Slow, Decorrelated Features for Pretraining Complex Cell-like Networks de James Bergstra et Yoshua Bengio D'autres types de réseaux de neurones profonds, qui ne sont pas feed-forward: Deep Boltzmann Machines de Ruslan Salakhutdinov et Geoffrey Hinton [video] Learning Deep Energy Models de Jiquan Ngiam, Zhenghao Chen, Pang Wei Koh et Andrew Ng [video] - Matériel multimédia suggéré - Présentation Learning Deep Hierarchies of Representations de Yoshua Bengio, donnée à Google Tutoriel Deep Belief Nets de Geoffrey Hinton
VE 02/11	*Codage parcimonieux (Sparse coding)* - Lectures obligatoires - [questions de lecture] \| Diapositives: [pdf] [html] Sections 1 à 4 de l'article Efficient sparse coding algorithms de Honglak Lee, Alexis Battle, Rajat Raina et Andrew Ng Pour en savoir plus sur le Lagrangien: sections 5.1.1 à 5.1.5 du livre Convex Optimization de Stephen Boyd et Lieven Vandenberghe Sections 1 et 2 de l'article Learning Fast Approximations of Sparse Coding de Karol Gregor et Yann LeCun Article Self-taught Learning: Transfer Learning from Unlabeled Data de Rajat Raina, Alexis Battle, Honglak Lee, Benjamin Packer et Andrew Ng Article Emergence of simple cell receptive field properties by learning a sparse code for natural images de Bruno Olshausen et David Field - Lectures suggérées - D'autres algorithmes apprenant une représentation parcinomieuse: Fast Inference in Sparse Coding Algorithms with Applications to Object Recognition de Koray Kavukcuoglu, Marc'Aurelio Ranzato et Yann LeCun Independent Component Analysis (ICA): Independent Component Analysis: Algorithms and Applications de Aapo Hyvärinen et Erkki Oja Reconstruction ICA: ICA with Reconstruction Cost for Efficient Overcomplete Feature Learning de Quoc Le, Alexandre Karpenko, Jiquan Ngiam et Andrew Ng K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation de Michal Aharon Michael Elad et Alfred Bruckstein Large-Scale Feature Learning With Spike-and-Slab Sparse Coding de Ian Goodfellow, Aaron Courville et Yoshua Bengio Variantes de codage parcimonieux: Exponential Family Sparse Coding with Applications to Self-taught Learning de Honglak Lee, Rajat Raina, Alex Teichman et Andrew Ng Proximal Methods for Sparse Hierarchical Dictionary Learning de Rodolphe Jenatton, Julien Mairal, Guillaume Obozinski et Francis Bach Apprentissage en ligne de codage parcimonieux: Online Dictionary Learning for Sparse Coding de Julien Mairal, Francis Bach, Jean Ponce et Guillermo Sapiro [video] - Matériel multimédia suggéré - Tutoriel Sparse Methods for Machine Learning: Theory and Algorithms Francis Bach de Francis Bach (couvre l'estimation parcimonieuse en général, pas seulement le codage parcimonieux)
VE 09/11	Vision par ordinateur avec réseaux de neurones - Lectures obligatoires - [questions de lecture] \| Diapositives: [pdf] [html] Article What is the Best Multi-Stage Architecture for Object Recognition? de Kevin Jarrett, Koray Kavukcuoglu, Marc'Aurelio Ranzato et Yann LeCun Article Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis de Patrice Simard, Dave Steinkraus et John Platt Article Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations Honglak Lee, Roger Grosse, Rajesh Ranganath et Andrew Ng [video] Section 1.1 à 1.3.3 et Appendix A du rapport Learning Multiple Layers of Features from Tiny Images de Alex Krizhevsky - Lectures suggérées - Résumé de la neurophysionomie du cortex visuel: Section 2.3 de la thèse de James Bergstra Analyse de l'utilisation de filtres aléatoires: On random weights and unsupervised feature learning de Andrew Saxe, Pang Wei Koh, Zhenghao Chen, Maneesh Bhand, Bipin Suresh et Andrew Ng [video] Différentes applications de vision par ordinateur: Scene Parsing with Multiscale Feature Learning, Purity Trees, and Optimal Covers de Clément Farabet, Camille Couprie, Laurent Najman et Yann LeCun Offine Handwriting Recognition with Multidimensional Recurrent Neural Networks de Alex Graves et Jürgen Schmidhuber D'autres approches convolutionnelles: An Analysis of Single-Layer Networks in Unsupervised Feature Learning de Adam Coates, Honglak Lee, Andrew Ng The Importance of Encoding Versus Training with Sparse Coding and Vector Quantization de Adam Coates Andrew Ng [video] Learning Invariant Representations with Local Transformations de Kihyuk Sohn et Honglak Lee [video] Adaptive Deconvolutional Networks for Mid and High Level Feature Learning de Matthew Zeiler, Graham Taylor et Rob Fergus - Matériel multimédia suggéré - Présentation Learning Feature Hierarchies de Yann LeCun
VE 16/11	Traitement automatique de la langue avec réseaux de neurones - Lectures obligatoires - [questions de lecture] \| Diapositives: [pdf-1] [pdf-2] [pdf-3] [pdf-4] [html-1] [html-2] [html-3] [html-4] Article Scholarpedia Neural net language models de Yoshua Bengio Article Hierarchical Probabilistic Neural Network Language Model de Frédéric Morin et Yoshua Bengio Article A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning de Ronan Collobert et Jason Weston Article Parsing Natural Scenes and Natural Language with Recursive Neural Networks de Richard Socher, Jeffrey Pennington, Eric Huang, Andrew Ng et Christopher Manning [video] - Lectures suggérées - D'autres articles sur la modélisation du language avec réseaux de neurones: Recurrent neural network based language model de Tomas Mikolov, Martin Karafiat, Lukas Burget, et Sanjeev Khudanpur Generating Text with Recurrent Neural Network de Ilya Sutskever, James Martens et Geoffrey Hinton [video] [demo] Training Neural Network Language Models On Very Large Corpora de Holger Schwenk et Jean-Luc Gauvain Continuous Space Translation Models with Neural Networks de Le Hai Son, Alexandre Allauzen et François Yvon Modélisation de documents avec réseaux de neurones: Semantic hashing de Ruslan Salakhutdinov et Geoffrey Hinton Replicated Softmax: an Undirected Topic Model de Ruslan Salakhutdinov et Geoffrey Hinton D'autres articles sur l'étiquetage de mots basée sur un réseau de neurones: Natural Language Processing (Almost) from Scratch de Ronan Collobert, Jason Weston, Léon Bottou, Michael Karlen, Koray Kavukcuoglu, Pavel Kuksa [video] Deep Learning for Efficient Discriminative Parsing de Ronan Collobert [video] D'autres algorithmes d'apprentissage efficaces pour données textuelles: Quick Training of Probabilistic Neural Nets by Importance Sampling de Yoshua Bengio et Jean-Sébastien Senécal A Scalable Hierarchical Distributed Language Model de Andriy Mnih et Geoffrey Hinton A fast and simple algorithm for training neural probabilistic language models de Andriy Mnih et Yee Whye Teh Training Restricted Boltzmann Machines on Word Observations de George Dahl Ryan Adams et Hugo Larochelle Large-Scale Learning of Embeddings with Reconstruction Sampling de Yann Dauphin, Xavier Glorot et Yoshua Bengio [video] Apprentissage de représentation des mots: Word representations: A simple and general method for semi-supervised learning de Joseph Turian, Lev Ratinov et Yoshua Bengio Multi-View Learning of Word Embeddings via CCA de Paramveer Dhillon, Dean Foster et Lyle Ungar Joint Learning of Words and Meaning Representations for Open-Text Semantic Parsing de Antoine Bordes, Xavier Glorot, Jason Weston et Yoshua Bengio Improving Word Representations via Global Context and Multiple Word Prototypes de Eric Huang, Richard Socher, Christopher Manning et Andrew Ng Variantes du recursive neural network: Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions de Richard Socher, Jeffrey Pennington, Eric Huang, Andrew Ng et Christopher Manning Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase Detection de Richard Socher, Eric Huang, Jeffrey Pennington, Andrew Ng et Christopher Manning Semantic Compositionality through Recursive Matrix-Vector Spaces de Richard Socher, Brody Huval, Christopher Manning et Andrew Ng - Matériel multimédia suggéré - Tutoriel Deep Learning in Natural Language Processing de Ronan Collobert et Jason Weston Tutoriel Deep Learning for NLP (without Magic) de Richard Socher, Yoshua Bengio et Christopher Manning
VE 23/11	Présentations orales
VE 30/11	Présentations orales