Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

GIND5439 Systèmes Intelligents Chapitre 6: Réseaux de neurones. 2 GIND5439 Ga

GIND5439 Systèmes Intelligents Chapitre 6: Réseaux de neurones. 2 GIND5439 Gabriel Cormier, Université de Moncton Apprentissage machine Comprend des mécanismes adaptifs qui permettent à un ordinateur: Dapprendre par expérience Dapprendre par exemples Dapprendre par analogie Les capacités dapprentissage peuvent améliorer la performance dun système intelligent au fil du temps. Les deux approches populaires sont: Réseaux de neurones Algorithme génétique 3 GIND5439 Gabriel Cormier, Université de Moncton Quest-ce quun réseau de neurones? Cest un modèle de raisonnement basé sur le cerveau humain. Le cerveau est constitué dun ensemble de cellules nerveuses, ou unités de traitement dinformation, appelés neurones. Cerveau Près de 10 milliards de neurones 60 trillions de connexions, des synapses, entre eux. Un neurone est constitué de: Un corps de cellule, le soma Un nombre de fibres appelés dendrites Un fibre long appelé axone. 4 GIND5439 Gabriel Cormier, Université de Moncton Réseau de neurones biologique Soma Soma Synapse Synapse Dendrites Axon Synapse Dendrites Axon 5 GIND5439 Gabriel Cormier, Université de Moncton Quest-ce quun réseau de neurones? Cest un ensemble de processeurs très simples, appelés neurones. Les neurones sont branchés ensemble à laide de liens pondérés qui passent des signaux dun neurone à un autre. Le signal de sortie est transmis à travers la connexion de sortie du neurone. La sortie se divise en un nombre de branches qui transmettent tous le même signal. Les branches de sortie se terminent à lentrée de dautres neurones dans le réseau. 6 GIND5439 Gabriel Cormier, Université de Moncton Quest-ce quun réseau de neurones? Chaque neurone reçoit un nombre de signaux d’entrée xi à travers ses connexions. Un ensemble de poids réels wi sont utilisés pour décrire la force de la connexion. Le niveau d’activation Σxiwi détermine la force cumulative des signaux dentrée. Une fonction seuil f calcule létat final de la sortie. Ça simule le comportement ON/OFF de neurones réels. 7 GIND5439 Gabriel Cormier, Université de Moncton Quest-ce quun réseau de neurones? Chaque neurone produit une seule sortie. Le signal de sortie est transmis à travers la connexion de sortie du neurone. La connexion de sortie se sépare en un nombre de branches Le même signal se propage sur chaque branche. Les branches de sortie se terminent aux connexions dentrée de dautre neurones. 8 GIND5439 Gabriel Cormier, Université de Moncton Quest-ce quun réseau de neurones? Chaque réseau est aussi caractérisé par des propriétés globales tel que: Topologie du réseau Algorithme dapprentissage Technique dencodage 9 GIND5439 Gabriel Cormier, Université de Moncton Architecture typique dun réseau de neurones. Niveau d’entrée Niveau de sortie Niveau intermédiaire Signaux d’entrée Signaux de sortie 10 GIND5439 Gabriel Cormier, Université de Moncton Équivalences Réseau de neurones biologique Réseau de neurones artificiel Soma Neurone Dendrite Entrée Axon Sortie Synapse Poids 11 GIND5439 Gabriel Cormier, Université de Moncton Neurone McCulloch-Pitts Les entrées sont excitatrices (+1) ou inhibitrices (-1) La fonction dactivation multiplie chaque entrée par son poids correspondant et fait la somme du résultat. Si le résultat est > 0, la sortie du neurone est 1; sinon -1. On a démontré que ces neurones peuvent être construites pour calculer nimporte quelle fonction logique. On a démontré quun système de ces neurones peut produire un modèle informatique complet. 12 GIND5439 Gabriel Cormier, Université de Moncton Le neurone Entrées Poids Sorties Neurone Y x1 x2 xn Y Y Y w2 w1 wn 13 GIND5439 Gabriel Cormier, Université de Moncton Calcul de la sortie Le neurone calcul la somme pondérée des entrées et compare le résultat avec la valeur seuil θ. Si lentrée nette est moins que la valeur seuil, la sortie du neurone est -1. Si lentrée nette est plus grande que la valeur seuil, le neurone est activé et la sortie est +1. La fonction dactivation (ou fonction de transfert) du neurone est: Ce type de fonction est la fonction sign. ∑ = = n i i iw x X 1 ⎩ ⎨ ⎧ θ < − θ ≥ + = X X Y si , 1 si , 1 14 GIND5439 Gabriel Cormier, Université de Moncton Fonctions dactivation Step function Sign function +1 -1 0 +1 -1 0 X Y X Y +1 -1 0 X Y Sigmoid function +1 -1 0 X Y Linear function ⎩ ⎨ ⎧ < ≥ = 0 if , 0 0 if , 1 X X Ystep ⎩ ⎨ ⎧ < − ≥ + = 0 if , 1 0 if , 1 X X Ysign X sigmoid e Y − + = 1 1 X Ylinear= 15 GIND5439 Gabriel Cormier, Université de Moncton Apprentissage dun neurone Est-ce quun seul neurone peut apprendre une tâche? Le Perceptron 1958, Frank Rosenblatt Basé sur le modèle de McCulloch-Pitts Un algorithme dapprentissage qui a produit la première procédure pour entraîner un réseau de neurones. La forme la plus simple dun réseau de neurones. Est constitué dun seul neurone avec des poids ajustables et un limiteur brusque: fonction échelon ou sign. 16 GIND5439 Gabriel Cormier, Université de Moncton Perceptron à un seul niveau, 2 entrées Entrées Seuil x1 x2 Sortie Y ∑ Limiteur brusque w2 w1 Combineur linéaire θ 17 GIND5439 Gabriel Cormier, Université de Moncton Perceptron La somme pondérée des entrées est appliquée au limiteur brusque qui produit une sortie de +1 si lentrée est positive et -1 si lentrée est négative. Le but est de classifier les entrées, les stimuli externes x1, x2, , xn, en lune de deux classes A1 et A2. 18 GIND5439 Gabriel Cormier, Université de Moncton Perceptron Comment le perceptron apprend-t-il sa tâche de classification? On utilise une forme dapprentissage supervisé. De faibles ajustements sont fait aux poids pour réduire la différence entre la sortie réelle et la sortie désirée. Les poids initiaux sont assignés de façon aléatoire, typiquement entre -0.5 et +0.5. Après un essai pour résoudre le problème, un « enseignant » donne le résultat correct. Les poids sont ensuite modifiés pour réduire lerreur. 19 GIND5439 Gabriel Cormier, Université de Moncton Apprentissage du perceptron Si, à une itération p, la sortie réelle est Y(p) et la sortie voulue est Yd(p), alors lerreur est: Litération p représente le pième exemple dentraînement présenté au perceptron. Si lerreur e(p) est positive, il faut augmenter la sortie Y(p) du perceptron; si lerreur est négative, il faut diminuer la sortie. ( ) ( ) ( ) K 3 , 2 , 1 où = − = p p Y p Y p e d 20 GIND5439 Gabriel Cormier, Université de Moncton Règle dapprentissage du perceptron ) ( ) ( ) ( ) 1 ( p e p x p w p w i i i ⋅ ⋅ + = + α Où p = 1, 2, 3, α est le taux dapprentissage, 0 < α < 1 En utilisant cette règle, on peut construire un algorithme dapprentissage pour des tâches de classification. 21 GIND5439 Gabriel Cormier, Université de Moncton Algorithme dapprentissage Étape 1: initialisation On crée les poids initiaux w1, w2, , wn et le seuil θ à des valeurs aléatoires dans lintervalle [-0.5, 0.5]. Rappel: Si lerreur e(p) est positive, il faut augmenter la sortie Y(p) du perceptron; si lerreur est négative, il faut diminuer la sortie. 22 GIND5439 Gabriel Cormier, Université de Moncton Algorithme dapprentissage Étape 2: activation On active le perceptron en y appliquant les entrées x1(p), x2(p), , xn(p), et la sortie voulue Yd(p). On calcule la sortie réelle à litération p = 1. où n est le nombre dentrées du perceptron, et step est une fonction dactivation échelon. ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ θ − = ∑ = n i i i p w p x step p Y 1 ) ( ) ( ) ( 23 GIND5439 Gabriel Cormier, Université de Moncton Algorithme dapprentissage Étape 3: Mise à jour du poids On met à jour le poids du perceptron: où ∆wi est la correction au poids à litération p. La correction au poids est: Étape 4: Prochaine itération (p = p + 1), on retourne à létape 2, et on continue jusquà ce quon converge. ) ( ) ( ) 1 ( p w p w p w i i i ∆ + = + ) ( ) ( ) ( p e p x p w i i ⋅ ⋅ = ∆ α uploads/Ingenierie_Lourd/ l3-cours-reseauneurones-part1 3 .pdf