Participation au forum (10 points)
Tout au long de
la session, un forum de discussion est mis à la disposition
des étudiants. À chaque semaine, l'étudiant devra y
participer, en y publiant au moins un message. Ce message peut
être une question liée à la matière de la semaine ou une réponse
à la question d'un autre étudiant.
Un compte-rendu de la participation de chaque étudiant pour chaque
semaine est disponible
ici.
Devoirs (devoirs 1 et 2 = 14 points, devoir 3 = 18 points)
Pour toute question concernant les devoirs, n'hésitez pas à poser une question
sur le forum de discussion du cours!
Projet d'application d'un réseau de neurones (30 points)
En plus des 3 devoirs, l'étudiant doit également proposer
et accomplir un projet d'application d'un réseau de
neurones.
La définition du projet doit être faite en concertation
avec le professeur. Un exemple de
projet pourrait être la reproduction de certains résultats
d'un article scientifique. Un autre exemple serait
l'application d'un réseau de neurones à un problème lié au
thème de recherche de l'étudiant.
Une proposition de projet
répondant aux questions suivantes doit d'abord être remise:
- Quel réseau de neurones sera utilisé (inclure
une courte description ou un référence vers un article
scientifique) ?
- Qu'est-ce qui sera implémenté par l'étudiant et quel
code sera plutôt emprunté d'ailleurs (par exemple du code obtenu du web) ?
- Quelles expériences seront exécutées et avec quelle
méthode de référence (baseline) seront faites les
comparaisons (la méthode de référence peut être une méthode
très simple) ?
La proposition de projet
doit être remise
au plus tard le 18 novembre.
Le projet devra également faire l'objet d'un rapport final,
devant être
remis au plus tard le 18 décembre. Le
rapport devra présenter l'approche implémentée ainsi
que les résultats obtenus. Dans la mesure du possible, le projet doit être implémenté
en Python et utiliser la libraire
MLPython.
Le code utilisé devra être remis.
Plus de détails sur la grille d'évaluation qui sera utilisée lors
de la correction sont disponibles
ici [
EN].
Les notes des projets sont ici [histrogrammes].
Présentation d'un article scientifique (14 points)
À la fin de la session, chaque étudiant doit faire une
présentation orale suite à la lecture d'un article scientifique
lié aux réseaux de neurones.
La présentation doit durer 20 minutes et sera suivie d'une
période de questions de 5 minutes.
L'étudiant peut choisir lui-même l'article à présenter (en
concertation avec le professeur) ou il peut le choisir
parmi les lectures suggérées de la section
Contenu
ou encore parmi les articles suivants:
-
The Neural Autoregressive Distribution Estimator de
Hugo Larochelle et
Iain Murray [video]
-
The Manifold Tangent Classifier
de Salah Rifai,
Yann Dauphin,
Pascal Vincent,
Yoshua Bengio
et Xavier Muller [video]
-
Connectionist Temporal Classification: Labelling Unsegmented
Sequence Data with Recurrent Neural Networks de
Alex Graves,
Santiago Fernández,
Faustino Gomez
et Jürgen Schmidhuber
-
Two Distributed-State Models For Generating High-Dimensional Time Series
de Graham Taylor,
Geoffrey Hinton et
Sam Roweis
-
Dynamical Binary Latent Variable Models for 3D Human Pose Tracking
de Graham Taylor,
Leonid Sigal,
David Fleet et
Geoffrey Hinton
-
Conversational Speech Transcription Using Context-Dependent Deep Neural Networks
de Frank Seide,
Gang Li et
Dong Yu [video]
-
Building high-level features using large scale unsupervised learning
de Quoc Le,
Marc'Aurelio Ranzato,
Rajat Monga,
Matthieu Devin,
Kai Chen,
Greg Corrado,
Jeff Dean
et Andrew Ng [video]
-
Modeling Temporal Dependencies in High-Dimensional Sequences:
Application to Polyphonic Music Generation and Transcription
de Nicolas Boulanger-Lewandowski,
Yoshua Bengio
et Pascal Vincent [video]
-
Learning a Nonlinear Embedding by Preserving Class Neighbourhood Structure
de Ruslan Salakhutdinov
et Geoffrey Hinton
L'étudiant doit confirmer le choix de son article
auprès du professeur
avant le 18 novembre 2013.
Horaire des présentations
Les notes des présentations sont ici [histrogramme].
Notes finales
Les
notes finales du cours
sont maintenant
disponibles. Les
histogrammes
de notes pour chaque évaluation peuvent aussi être
consultés.
