Machine de Boltzmann restreinte
![](http://upload.wikimedia.org/wikipedia/commons/thumb/a/a5/Restricted_Boltzmann_machine-fr.svg/langfr-260px-Restricted_Boltzmann_machine-fr.svg.png)
Type | Stochastic neural network (en) ![]() |
---|---|
Nom court | (en) RBM ![]() |
Inventeurs | Paul Smolensky, Geoffrey Hinton ![]() |
modifier - modifier le code - modifier Wikidata
En apprentissage automatique, la machine de Boltzmann restreinte (en anglais : restricted boltzmann machine ou RBM) est un type de réseau de neurones artificiels pour l'apprentissage non supervisé.
Une RBM est constituée de deux couches de neurones : une couche visible représentant les variables d'entrée et une couche cachée représentant les variables latentes apprises par le modèle. Les neurones visibles sont connectés aux neurones cachés, sans connexion au sein de chaque couche. Fondés sur des modèles de probabilité, les états des neurones sont déterminés par des probabilités conditionnelles. L'apprentissage se fait par l'algorithme de contrastive divergence (CD), qui ajuste les poids et biais pour minimiser la divergence entre les distributions des données d'entrée et celles générées par le modèle.
La machine de Boltzmann restreinte est couramment utilisée pour estimer la distribution probabiliste d'un jeu de données. Elle a initialement été inventée sous le nom de Harmonium en 1986 par Paul Smolenski[1]. Elle entre dans le cadre des modèles graphiques et des modèles à base d'énergie[2].
Description
La machine de Boltzmann restreinte est en fait un cas particulier de machine de Boltzmann où les neurones d'une même couche sont indépendants entre eux.
Machine de Bolzmann
Dans sa forme la plus simple, une machine de Boltzmann est composée d'une couche de neurones qui reçoit l'entrée, ainsi que d'une couche de neurones cachée.
On définit l'énergie pour une configuration de donnée de la manière suivante :
où :
- est le poids entre le neurone et le neurone ;
- est l'état, , du neurone visible ;
- est l'état du neurone caché ;
- et sont respectivement les biais des neurones et .
La probabilité conjointe d'avoir une configuration est alors donnée par[3] :
avec :
- la fonction d'énergie définie ci-dessus ;
- une constante de normalisation, qui fait en sorte que la somme de toutes les probabilités fasse 1.
Machine de Bolzmann restreinte
Si l'on suppose que les neurones d'une même couche sont indépendants entre eux, on appelle cette configuration la machine de Boltzmann restreinte.
Apprentissage
La machine de Boltzmann s’entraîne à l'aide d'un apprentissage non supervisé. On cherche à minimiser la log-vraisemblance. La dérivée de la log-vraisemblance donne l'expression suivante :
avec :
- les variables du système (les poids ou le biais) ;
- l'espérance mathématique sur les variables aléatoires et ;
- une valeur du jeu de données ;
- l'énergie définie ci-dessus.
On remarque la présence de deux termes dans cette expression, appelés phase positive et phase négative. La phase positive se calcule aisément pour le biais et pour la matrice des poids.
On obtient alors[4] :
avec h(x) l'état de la couche cachée sachant x donnée par la formule
.
La partie la plus compliquée est de calculer ce qu'on appelle la phase négative. On ne peut pas la calculer directement car on ne connaît pas la constante de normalisation du système. Pour pouvoir effectuer une descente de gradient, on calcule ce que l'on appelle la reconstruction de l'entrée . En effet, les propriétés de symétrie du système permettent de calculer l'entrée estimée par le modèle, il suffit d'appliquer la formule :
avec le biais de la couche cachée de neurones .
De la même manière, on peut recalculer l'état de la couche cachée en réitérant le procédé. Finalement, on peut résumer l'algorithme de descente du gradient ainsi[5] (on parle de l'algorithme de contrastive divergence, couramment abrégé CD-k) :
x <= x(t) h <= W*x + b phasePositive <= -h*Transpose(x) Pour i allant de 1 à k: x = Transpose(W) * h(x) + c h = W*x + b phaseNegative <= -h*transpose(x) gradient <= phasePositive-phaseNegative W <= W + alpha*gradient c <= c + alpha*(x(t)-x) b <= b + alpha*(h(x(t)) - h)
Notes et références
- ↑ (en) Paul Smolensky, David E. Rumelhart (dir.) et James L. McLelland (dir.), Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations, MIT Press, , 194–281 p. (ISBN 0-262-68053-X, lire en ligne), « Chapter 6: Information Processing in Dynamical Systems: Foundations of Harmony Theory ».
- ↑ Tiernan Ray, « EXCLUSIF : Yann LeCun (Meta) explore la frontière énergétique de l'apprentissage profond », sur ZDNet France (consulté le ).
- ↑ Ruslan Salakhutdinov et Geoffrey Hinton, « Deep Boltzmann Machines », dans AISTATS 2009, (lire en ligne [PDF]).
- ↑ « titre inconnu »(Archive.org • Wikiwix • Archive.is • Google • Que faire ?) [PDF].
- ↑ (en) Tijmen Tieleman, « Training restricted Boltzmann machines using approximations to the likelihood gradient », Proceedings of the 25th International Conference on Machine Learning, ACM Press, , p. 1064–1071 (ISBN 978-1-60558-205-4, DOI 10.1145/1390156.1390290, lire en ligne [PDF], consulté le ).
Voir aussi
Articles connexes
v · m | |||||||||
---|---|---|---|---|---|---|---|---|---|
Paradigmes d'apprentissage | |||||||||
Problèmes | |||||||||
Apprentissage supervisé |
| ||||||||
Apprentissage non supervisé et auto-supervisé |
| ||||||||
Métaheuristique d'optimisation | |||||||||
Théorie | |||||||||
Logiciels |
|
Portail des neurosciences
Portail des probabilités et de la statistique
Portail des données
Portail de l'informatique théorique