<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Charles Crouspeyre on Medium]]></title>
        <description><![CDATA[Stories by Charles Crouspeyre on Medium]]></description>
        <link>https://medium.com/@CharlesCrouspeyre?source=rss-266b6ee3f17d------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*bXkK80jBo54iRn94nx1xYA.jpeg</url>
            <title>Stories by Charles Crouspeyre on Medium</title>
            <link>https://medium.com/@CharlesCrouspeyre?source=rss-266b6ee3f17d------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 15:22:19 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@CharlesCrouspeyre/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Comment les Réseaux de neurones récurrents et Long Short-Term Memory fonctionnent]]></title>
            <link>https://medium.com/@CharlesCrouspeyre/comment-les-r%C3%A9seaux-de-neurones-%C3%A0-convolution-fonctionnent-c25041d45921?source=rss-266b6ee3f17d------2</link>
            <guid isPermaLink="false">https://medium.com/p/c25041d45921</guid>
            <category><![CDATA[rnn]]></category>
            <category><![CDATA[lstm]]></category>
            <category><![CDATA[réseau-de-neuronnes]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[apprentissage-profond]]></category>
            <dc:creator><![CDATA[Charles Crouspeyre]]></dc:creator>
            <pubDate>Tue, 10 Oct 2017 01:08:36 GMT</pubDate>
            <atom:updated>2017-10-10T04:26:01.330Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*s_KuynI0TEwZz1-Z.jpg" /></figure><p>Traduit de la vidéo originale de Brandon Rohrer (Senior Data Scientist à Facebook), <a href="https://www.youtube.com/watch?v=WCUNPb-5EYI">“How Recurrent Neural Networks and Long Short-Term Memory Work”</a></p><p>Les applications d’apprentissage automatique ont gagné beaucoup de traction depuis quelques années et ce dans plusieurs catégories:</p><ul><li>Dans l’identification d’images, ou comment identifier une image sur internet comme contenant un chat par exemple, ou similaire;</li><li>Dans la conversion/traduction séquence à séquence, ou comment convertir la parole en un texte et comment passer d’une langue à une autre;</li></ul><p>Les premiers sont réalisés la plupart du temps avec des réseaux neuronaux convolutionnels (dont nous avons déjà parlé dans un article précédent: <a href="https://medium.com/@CharlesCrouspeyre/comment-les-r%C3%A9seaux-de-neurones-%C3%A0-convolution-fonctionnent-b288519dbcf8">“Comment les Réseaux de neurones à convolution fonctionnent”</a>), et les seconds sont realisés avec des réseaux de neurones récurrents, dont en particulier les Long Short-Term Memory — LSTMs — (donc nous allons discuter maintenant).</p><p><strong>Les LSTMs et les problèmes qu’ils résolvent</strong></p><p>Pour donner une exemple concret du fonctionnement des LSTMs considérons la question: Qu’y a-t-il à manger pour le dîner?</p><p>Imaginons que vous ayez la chance d’habiter un appartement avec un colocataire qui adore cuisiner. Tous les soirs, il cuisine soit des sushis, soit des gaufres, soit des pizzas. Vous aimeriez être capable de pouvoir prédire ce qu’il va cuisiner un soir précis afin d’organiser vos autres repas en fonction.</p><p>Pour prédire ce que vous allez avoir à dîner, vous décidez de développer un réseau de neurones. En entrée de ce réseau de neurones, vous passez un ensemble de paramètres tels que le jour de la semaine, le mois, si votre coloc a ou pas un meeting tard dans la journée, …</p><p>Tous ces paramètres ont en commun d’avoir une implication plus ou moins prononcée (mais néanmoins bel et bien existante) sur le menu du soir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*ZM7oR-z1alpNBeys." /></figure><p><strong>Les Réseaux de Neurones</strong></p><p>Avant toute chose, si vos connaissances en matière de réseaux de neurones sont limitées, je vous recommande chaudement de prendre le temps de commencer par les bases avant de poursuivre. Vous trouverez facilement sur Wikipédia des articles vous permettant d’acquérir les notions fondamentales et le jargon nécessaire à la compréhension du reste de l’article.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*9SY4Lyc5mRChBysj." /></figure><p>Si vous préférez ne pas faire cela de suite et n’êtes pas vraiment familiers avec les réseaux neuronaux, imaginez un système de vote: dans le réseau de neurones que nous cherchons à créer, il y a un processus complexe de vote dans lequel chaque paramètre passé en entrée du réseau participe (le jour de la semaine, le mois, …).</p><p>Dans notre exemple, nous entraînons donc le réseau sur des données historiques de ce que l’on a eu pour dîner les fois précédentes afin que le système apprenne à prédire le menu du prochain soir.</p><p>Le problème est que, si l’on nourrit simplement (et naïvement) le réseau de l’ensemble de nos données, le réseau ne fonctionne pas vraiment bien. Malgré le choix réfléchi des paramètres d’entrées et l’entraînement du réseau, on ne parvient pas vraiment à avoir des résultats meilleurs que si nous décidions au hasard du contenu du dîner du soir.</p><p>Comme c’est souvent le cas avec les problèmes complexes d’apprentissage automatique, il nous faut faire une pause et étudier plus longuement les données que nous avons à notre disposition.</p><p>Lorsque nous faisons cela, nous remarquons un pattern: notre coloc fait des pizza, puis des sushis, puis des gaufres, puis à nouveau des gaufres et ainsi de suite, en cycle. Le menu du soir ne dépend donc pas du jour de la semaine ou d’aucun des autres paramètres que nous avons initialement utilisé mais est simplement cyclique.</p><p>Sachant cela, nous pouvons développer un autre réseau de neurones. Dans ce nouveau réseau, les seuls paramètres en entrée qui comptent sont les plats de la veille. Ainsi, nous savons que si nous avons eu de la pizza hier soir à dîner, ce soir, nous aurons donc des sushis. Si c’était des sushis hier, ce sera des gaufres ce soir. Et enfin, si c’était des gaufres hier alors ce sera de la pizza. Cela devient un processus très simple de vote qui a tout le temps raison car le dit coloc est incroyablement consistent.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*t0a-_sVwJ_WXw5h6." /></figure><p>Maintenant, que se passe-t-il si vous êtes absent un soir? Disons que vous êtes sorti hier soir et par conséquent vous ne savez pas ce qu’il y a eu au dîner. Vous pouvez toujours prédire ce qu’il va y avoir ce soir en repensant à ce qu’il y a eu il y a quelques jours, i.e. penser à ce qu’il y a eu il y a quelques jours pour en déduire ce qu’il y a eu hier soir et ainsi, en se basant sur cette prédiction, prédire ce qu’il va y avoir ce soir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*GWm1hD73w00OUOAJ." /></figure><p>Nous nous servons donc non seulement de la valeur réelle de ce qu’il y avait hier mais aussi de la prédiction de ce qu’il y avait.</p><p><strong>Quelques notions de base</strong></p><p>A ce point, il est utile de faire une parenthèse et de parler des vecteurs. Un vecteur est un terme un peu complex qui exprime pourtant quelque chose de très simple: une simple liste de nombres.</p><p>Si, par exemple, je veux décrire la météo d’un certain jour, je peux dire que la température maximum sur cette journée a été de 27 degrés, la température minimale de 12 degrés, la force du vent de 20 km/h, qu’il y a eut une humidité à 83% et 10cm de précipitations. On peut donc stocker toutes ces informations dans une liste de valeurs: notre vecteur. C’est aussi simple que ca.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*uILRTaEvcJUxyjHU." /></figure><p>La raison pour laquelle cette notion de vecteur est utile est que ces derniers — i.e. ces listes de nombres — sont le langage naturel des ordinateurs. Ainsi, si vous voulez avoir une donnée dans un format qui est naturel pour l’ordinateur, facile à traiter, sur lequel on peut facilement faire des opérations, appliquer des modèles statistiques et des modèles de Machine Learning, une liste numérique représente la meilleur façon de faire. Tout est toujours réduit à une liste numérique avant d’être passé à un algorithme.</p><p>On peut aussi avoir un vecteur pour une déclaration du type: il est jeudi. Pour encoder ce type d’information, ce que l’on fait en général est de créer une liste contenant l’ensemble des valeurs possibles, dans ce cas tous les jours de la semaine, et on assigne un nombre à chacune des valeurs. On traverse ensuite la liste et affecte la valeur 0 à chacun élément excepté celui pour le jour actuel. Ce type de format est appelé “one hot encoding”. En pratique, il est très commun de voir de longs vecteurs remplis de zéros avec une seule valeur égale à 1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*IenysGKSAZ6AE_pC." /></figure><p>Cela semble peu efficace mais pour un ordinateur il est beaucoup plus facile de gérer ce type d’information lorsqu’elle est sous forme de “one hot vecteur”, pour prédire le menu de notre dîner, par exemple.</p><p>Pour revenir à notre exemple, on définit donc tout comme etant egal a zero sauf la valeur du plat que l’on prédit pour le dîner. Dans notre cas, imaginons que nous avons des sushis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*EidRC5pHkj2T-IMc." /></figure><p>Maintenant, nous pouvons regrouper nos paramètres d’entrée et de sortie en vecteurs distincts de listes de nombres, ce qui devient un raccourci pratique pour décrire notre réseau de neurones. Ainsi, nous pouvons avoir le vecteur avec la valeur réelle de notre dîner d’hier, le vecteur de notre prédiction pour ce même dîner et le vecteur de notre prédiction du dîner du jour.</p><p>Le réseau de neurone est simplement l’ensemble des connections entre chaque éléments de chacun de ces vecteurs d’entrée vers chacun des éléments du vecteur en sortie.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*-WfyB91Yxj0zO2d4." /></figure><p>Pour compléter notre représentation, nous pouvons également montrer comment la prédiction quant au menu de ce soir sera recyclée: La ligne en pointillée ci-dessous signifie que la valeur est conservée pour un jour et re-utilisée le lendemain pour devenir notre “prédiction de la veille” de demain.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*q_Zl5qJetfKFOlEN." /></figure><p>A partir de cela, nous pouvons voir comment, lorsque nous manquons d’information (si nous avons voyagé les 2 dernières semaines par exemple), nous pouvons malgré tout effectuer une bonne prédiction quant au plat du soir, juste en ignorant la partie relative au plat de la veille et en déroulant le vecteur dans le temps jusqu’au dernier dîner pour lequel nous avons des informations. Il suffit ensuite d’intégrer à nouveau cette information dans le réseau. Une fois déroulé, cela ressemble à l’image suivante (comme vous pouvez le voir, nous pouvons revenir en arrière aussi loin que l’on en a besoin et voir ce qui était au menu d’un soir particulier. Ensuite, il suffit de retracer et rejouer notre enchainement des menus pour ces deux semaines jusqu’à trouver le menu de ce soir).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*48ULUFn_Di5a2EN3." /></figure><p><strong>Pour aller plus loin</strong></p><p>Cette exemple, bien que très simple, nous a aidé à comprendre comment fonctionnent les réseaux de neurones récurrents. Maintenant, afin d’aller un peu plus loin dans le détails de leur compréhension, nous allons travailler avec un nouvel exemple et nous allons écrire un livre pour enfants, dans lequel il y aura des phrases avec un format très simple du type: “Doug appelle Marie.”, “Marie appelle Pierre.” et “Pierre appelle Doug.” et ainsi de suite.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*BWkxODeQBadfvBh_." /></figure><p>Notre dictionnaire est petit et ne contient que les mots: ‘Doug’, Marie, ‘Pierre’, ‘appelle’ et le symbole ‘.’. La tâche de notre réseau de neurones est de rassembler ces mots dans le bon ordre pour en faire un bon livre pour enfant. Pour ce faire, on remplace notre vecteur précédent (contenant nos aliments pour le menu du soir) avec les vecteurs de notre nouveau dictionnaire.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*VytD0ZLdV8rKWD3R." /></figure><p>Ici encore, il s’agit simplement d’une liste de nombres représentant chacun un mot du dictionnaire. Donc par exemple, si Doug est le mot qui a été utilisé le plus récemment, mon nouveau vecteur d’information sera seulement composé de 0 sauf à la position du mot Doug, où il y aura la valeur 1 (comme nous l’avions fait avec notre prédiction du dîner du soir).</p><p>Maintenant, après avoir entraîné ce réseau et lui avoir appris quoi faire, nous nous attendons à voir certains patterns émerger. Par exemple, à chaque fois que l’on voit le mot Marie, Doug ou Pierre et que l’on doit prédire le mot suivant, nous nous attendons à ce qu’il y ait un vote massif pour le mot “appelle” ou le symbole ‘.’ car ces 2 mots sont les seuls présents dans notre dictionnaire pouvant suivre un prénom.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*Bx5q8gPD7KQMGFN8." /></figure><p>Ensuite, de la même manière, à chaque fois que l’on tombe sur le mot “appelle” ou le symbole ‘.’ nous savons qu’un prénom devra suivre et le système apprendra à donner un score très élevé au nom Marie, Doug ou Pierre.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*o8HVmfFeG3m0uXbP." /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*wYNsrNefTcnVP5Bl." /></figure><p>Donc, dans cette forme, cela donne notre réseau de neurones récurrents.</p><p>Par simplifier notre schéma précédent (i.e. juste au dessus), nous prenons les vecteurs et les poids et les regroupons afin de les représenter par par un même symbole, ci-dessous, avec les points et les flèches (i.e. les points et les lignes qui les relient).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*5Y0mgPDXZAIuQlIn." /></figure><p>Le schéma contient également un symbole supplémentaire dont nous n’avons pas encore parlé: Il s’agit d’une fonction d’écrasement qui aide le réseau à bien se comporter.</p><p><strong>La Tangente Hyperbolique</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*GvdCSKGzi5zuuYSK." /></figure><p>L’idée est de passer l’ensemble des résultats des votes réalisés à cette fonction qui les “écrasent”. Par exemple, si une prédiction reçoit un vote total de 0.5, vous dessinez une ligne verticale à cette valeur et là où la ligne croise la courbe, vous dessinez une ligne horizontale jusqu’à l’axe des ordonnées. C’est là que se trouve la valeur écrasée.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*UxM6S5VyLAr-vuel." /></figure><p>Pour les petits nombres (proches de zéro), la version écrasée est assez proche de la version originale mais au fur et à mesure que le nombre croît, le nombre que nous obtenons est de plus en plus proche de 1 (et de la même manière, si vous mettez un grand nombre négatif, alors vous obtiendrez une valeur très proche de -1). Peu importe ce qu’il y a en entrée, vous aurez toujours en sortie un chiffre entre -1 et 1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*oJRBO7yzPvTO1ReL." /></figure><p>Cela aide vraiment en pratique quand, par exemple, vous avez une boucle où la même valeur est manipulée encore et encore, jour après jour. En effet, il est possible que, pendant l’analyse, un vote soit émis 2 fois sur la même chose, la valeur est donc multipliée par 2. Dans ce cas, à chaque fois, le résultat devient 2 fois plus gros et très vite atteint des valeurs astronomiques. En veillant à ce que le résultat soit toujours inférieur à 1 mais supérieur à -1, on peut donc le multiplier autant de fois que l’on souhaite, en passant par cette boucle sans jamais exploser dans une boucle de retour.</p><p><strong>Les limites de notre modèle actuel</strong></p><p>Vous avez peut-être remarqué que notre réseau neuronal, dans son état actuel, est sujet à certaines erreurs. Nous pourrions par exemple obtenir une phrase de la forme: “Doug appelle Doug.” parce que ‘Doug’ vote fortement pour le mot ‘appelle’ qui à son tour vote fortement pour n’importe quel prénom donc potentiellement pour Doug. De même, nous pourrions avoir quelque chose comme Doug appelle Marie appelle Pierre appelle Doug.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*DmA_fzsxmpH7ZXk-." /></figure><p>Parce que chacune de nos prédictions ne regarde que l’étape précédente, le modèle a une mémoire à très court terme et n’utilise pas d’information plus éloignée. Il est donc soumis à ce type d’erreurs. Pour surmonter cela, nous prenons notre réseau neuronal récurrent et nous l’étendons en y ajoutant d’autre éléments supplémentaires.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*t-LHcANuCDVzLC1m." /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*_UlQ5WbEUgXBJiwm." /></figure><p>La partie critique que nous ajoutons ici au milieu est la notion de mémoire. En effet, nous voulons pouvoir nous rappeler facilement de ce qu’il s’est passé il y a de cela plusieurs étapes.</p><p>Pour expliquer comment cela fonctionne, il nous faut d’abord décrire quelques nouveaux symboles que nous allons introduire ici:</p><ul><li>Le premier est une nouvelle fonction d’écrasement (celle représentée avec un fond plat),</li><li>Un autre est représenté par le X dans le cercle,</li><li>Le dernier est représenté par la croix dans le cercle.</li></ul><p>Le symbole avec la croix dans le cercle représente une addition élément par élément. La manière dont cette fonction marche est: vous commencez avec 2 vecteurs de tailles égales, vous traversez chacuns de ces vecteurs et ajoutez le premier élément du premier vecteur au premier élément du second vecteur et la somme devient le premier élément du vecteur de sortie.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*1WZ1TG8_LBtJtzeu." /></figure><p>Ainsi, pour le premier élément: 3 + 6 = 9, ensuite on passe à l’élément suivant: 4 + 7 = 11 … Ainsi, le vecteur de sortie est de la même taille que chacun des vecteurs en entrées — c’est une simple liste de nombres de même taille que les listes en entrées — mais dont la valeur de chaque élément est la somme, element par element, des autres vecteurs.</p><p>Vous aurez aussi probablement compris que le symbole X dans le cercle représente la multiplication élément par élément. Elle fonctionne de la même manière que l’addition mais au lieu d’ajouter les éléments les uns aux autres, nous les multiplions. Ainsi, on a: 3 x 6 = 18; 4 x 7 = 28; … Une nouvelle fois, le vecteur de sortie est de la même taille que chacun des vecteurs en entrées.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*IyF5AiCdIBzGmwGS." /></figure><p>La multiplication élément par élément nous permet de faire quelque chose d’assez sympa: Imaginons que nous ayons un signal qui soit comme un tas de tuyaux et ces tuyaux ont une certaine quantité d’eau qui essaye de couler vers le bas. Dans cet exemple, nous assignons un nombre aux données: 0.8</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*d62kI80q_qSdD0Wp." /></figure><p>Maintenant, sur chacun de ces tuyaux, nous avons un robinet que nous pouvons ouvrir tout du long, fermer sur tout le chemin ou le garder ouvert à certains endroits (par exemple quelque part au milieu) pour laisser ce signal passer ou le bloquer. Donc, dans ce cas, une porte ouverte — i.e. un robinet ouvert — serait un 1 et un robinet fermé serait un 0.</p><p>La façon dont fonctionne la multiplication élément par élément dans le schéma précédent est que l’on prend la première valeur 0,8 que l’on multiplie par 1, on a alors en sortie la valeur 0.8: i.e. le signal passe sans changement et on l’ajoute au vecteur de sortie.</p><p>En ce qui concerne la dernière valeur, on prend 0.8 que l’on multiplie par 0, on a alors en sortie la valeur 0. Ce signal, le signal original, a été effectivement bloqué. On l’ajoute alors au vecteur de sortie.</p><p>Enfin, avec la valeur de gating à 0.5, le signal a été transmis, mais il est plus petit car a été atténué. Le gating nous permet donc de contrôler ce qui passe et ce qui est bloqué. Ce qui est particulièrement utile pour nous.</p><p>Afin de procéder au gating, il est pratique d’avoir une valeur que vous savez toujours entre 0 et 1. Nous allons donc introduire notre nouvelle fonction d’écrasement, représentée avec un cercle qui a la partie basse plate. Cette fonction est une fonction logistique. Elle est très proche de l’autres fonction d’écrasement que nous avons vu auparavant — la tangente hyperbolique — sauf qu’elle est définie juste entre 0 et 1 au lieu de -1 et 1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*IBz6WS6qpJf8sguR." /></figure><p>Maintenant, lorsque nous introduisons tous ces éléments dans notre système, nous avons encore la combinaison de nos prévisions précédentes et de nos nouvelles informations. Ces vecteurs traversent le réseau et nous faisons des prédictions basées sur leurs valeurs. Ces prédictions elles-mêmes traversent le réseau, mais quelque chose d’autre se passe: une copie de ces prédictions est mise de côté pour être utilisée à la prochaine étape — c’est-à-dire la prochaine passe dans le réseau — et certaines d’entre elles sont oubliées grâce à un portail (une gate) qui correspond à la fonction de multiplication dont nous venons de parler. Les prédictions qui ont été mémorisées sont rappelées et sont ajoutées à la prédiction.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*ENkFtkqXLStAbAdb." /></figure><p>Donc, maintenant, nous n’avons pas seulement des prédictions, mais aussi des souvenirs que nous avons accumulés et que nous n’avons pas encore choisi d’oublier. Nous avons aussi un réseau de neurones entièrement distinct qui apprend quand oublier, à partir de quels paramètres décider, quels éléments en particuliers on veut oublier, …</p><p>Ce sont donc des mécanismes très puissant car ils nous permettent de retenir certaines informations aussi longtemps que nous le souhaitons.</p><p>Maintenant, vous avez probablement remarqué que lorsque nous combinons nos prédictions avec nos souvenirs, nous ne voulons pas nécessairement intégrer à chaque fois toutes ces expériences passées dans nos nouvelles prédictions. Nous voulons donc ajouter un filtre supplémentaire pour garder nos souvenirs en mémoire (à l’intérieur) et laisser nos prédictions sortir. Nous ajoutons donc une autre porte pour faire cette sélection.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*ENajIoK99tSRDvEM." /></figure><p>Ce filtre a son propre réseau de neurones — ainsi que son propre processus de vote — afin que nos nouvelles informations et nos prévisions précédentes puissent être utilisées pour voter sur le statut de chacune de nos portes, et que l’on puisse définir ce qui doit être maintenu en interne et ce qui doit passer en tant que prédiction.</p><p>Il faut noter que nous avons aussi introduit une autre fonction d’écrasement: Sachant que nous faisons une addition ici, il est possible d’avoir des résultats supérieurs à 1 ou inférieurs à -1. Nous écrasons donc ces résultats afin de veiller à ce qu’ils ne soient jamais hors de contrôle quand nous cherchons à réaliser une nouvelle prédiction.</p><p>Lorsque nous introduisons de nouvelles prédictions, nous créons beaucoup de possibilités, puis nous collectons celles qui ont de la mémoire au fil du temps et, de toutes ces prédictions possibles à chaque étape, nous n’en sélectionnons que quelques-unes comme prédiction pour cet instant. Chacune de ces actions (quand oublier et quand utiliser notre mémoire) sont appris par un réseau de neurones indépendant.</p><p>La dernière pièce que nous devons ajouter pour compléter notre schéma est une dernière série de portes. Cette série nous permet d’ignorer éventuellement certaines prédictions — i.e. certaines possibilités à mesure qu’elles entrent en jeu. Il s’agit d’un mécanisme d’intention. Cela permet à des éléments qui ne sont pas immédiatement pertinents d’être mis de côté afin qu’ils ne nuisent pas aux prédictions à venir. Une nouvelle fois, ce mécanisme a son propre réseau de neurones, sa propre logistique et sa propre activité de gating (c.f. Schéma ci-dessous).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*bbKMj_exfLrj3CKq." /></figure><p>Maintenant, notre LSTM a beaucoup de composants et de parties qui fonctionnent ensemble. Pour vraiment visualiser comment le tout marche, nous allons prendre un exemple très simple et passer pas à pas à travers chaque composant pour illustrer comment fonctionnent ses pièces.</p><p>Certes, il s’agit d’un exemple un peu simpliste et donc n’hésitez pas à chercher les imperfections et ce qui peut et devrait être amélioré par la suite. Lorsque vous en arriverez à ce point, vous saurez que vous êtes prêt à passer à l’étape suivante.</p><p><strong>De retour à notre livre</strong></p><p>Nous sommes donc en train d’écrire notre livre pour enfants et, dans l’optique de notre démonstration, nous supposerons que le LSTM a été entraîné sur des exemples de livres pour enfants que nous voulons imiter et que tous les votes et les poids appropriés dans ces réseaux de neurones ont été déjà appris. Montrons donc le LSTM en action.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*sxEl3Tr28zCgdvqV." /></figure><p>Jusqu’à maintenant, dans notre histoire, “Marie appelle Pierre. Doug” … alors Doug est le mot le plus récent qui est apparu dans l’histoire et aussi, pas étonnamment pour cette fois, les noms Doug, Pierre et Pierre avaient été prédits comme des options viables. C’est plutôt logique compte tenu du fait que nous venions de finir une phrase par un ‘.’. Ainsi, la nouvelle phrase pouvait commencer avec n’importe quel prénom.</p><p>Une nouvelle information arrive donc dans notre système, il s’agit du mot Doug.</p><p>Nous avons donc notre prévision récente qui est Doug, Marie et Pierre et notre valeur réelle et nous passons ces deux vecteurs ensemble dans les quatre réseaux de neurones (dont nous venons de parler) qui apprennent à faire des prédictions, à ignorer, à oublier et à sélectionner.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*AWldUa6tq3hFbtR5." /></figure><p>Donc, le premier d’entre eux fait des prédictions: Sachant que le mot Doug vient d’être sélectionner, le réseau a appris que le mot ‘appelle’ a une forte probabilité d’être le prochain mot, mais il a aussi appris qu’après avoir vu le mot ‘Doug’ en début de phrase, il ne devrait plus le voir pendant un moment. Donc, il fait une prédiction positive pour le mot ‘appelle’ et une prédiction négative pour le ‘Doug’ se disant: Je ne m’attends pas à voir ‘Doug’ dans un avenir proche. C’est donc pourquoi ‘Doug’ est en noir sur le schéma.</p><p>Cet exemple est tellement simplifié, que nous n’avons pas besoin de considérer les mécanismes d’attention ou ceux qui permettent d’ignorer. Nous les ignorons donc pour l’instant et cette prédiction quant à recommander le mot ’”appelle” au lieu de “Doug” est transmise.</p><p>Aussi, pour des raisons de simplicité, ignorons également à cette étape la notion de mémoire.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*VCyw_n4l2hK2evUt." /></figure><p>Donc ‘appelle’ et ‘Doug’ sont transmis à l’étape suivante.</p><p>Puis, le mécanisme de sélection ayant appris que lorsque le mot le plus récent est un prénom, il est ensuite suivis soit du mot ‘appelle’ soit d’un point ‘.’; le système empêche donc tout autre mot de sortir (aussi, le fait qu’il y ait un vote négatif pour ‘Doug’ permet de le bloquer ici) et le mot ‘appelle’ est envoyé comme prévision pour la prochaine étape.</p><p>Nous avançons donc dans le temps, maintenant, le mot ‘appelle’ est notre mot le plus récent et notre prédiction la plus récente. Elle est transmise à tous les réseaux de neurones et nous obtenons un nouveau jeu de prédictions.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*Rbb7Ryc8ONV-wjVS." /></figure><p>Parce que le mot ‘appelle’ vient d’être produit, nous prédisons maintenant que les mots Doug, Marie ou Pierre pourraient venir ensuite. Ne nous occupons pas pour l’instant des mécanismes d’attention et de ceux permettant d’ignorer et faisons juste avancer nos prédictions.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*6TEJahXOfCEnbuvo." /></figure><p>Maintenant, l’autre chose qui se passe est que notre précédent ensemble de possibilités (le mot ‘appelle’ et non ‘Doug’) que nous maintenions en mémoire a été passé à une porte d’oublis. Maintenant, la porte d’oublis dit: “hey le dernier mot qui est passé était le mot ‘appelle’, que j’ai défini grâce à mon expérience passée, je peux maintenant l’oublier. Je peux oublier que cela s’est passé mais je veux garder néanmoins toutes les prédictions en liens avec les prénoms”. Ainsi le système oublie ‘appelle’ mais retient aussi qu’il ne peut pas voter pour Doug (i.e. qui s’est vu attribuer un vote négatif). Ainsi, lors du prochain vote, nous avons toujours notre vote négatif pour Doug mais aussi un vote positif (puisque Doug fait parti des possibilités de prénoms), donc les deux votes s’annulent mutuellement. Et ainsi, nous avons juste des votes pour Marie et Pierre. Ceux-ci sont donc transmis à l’étape suivante.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*gZ7ygWx2QHEqCu4H." /></figure><p>Notre portail de sélection sait que le mot ‘appelle’ vient d’être choisi et, d’après son expérience, un nom doit être choisi ensuite. Le système calcule donc ses prédictions pour les différents noms et à la prochaine étape, nous obtenons des prédictions sur Marie et Pierre, mais pas sur Doug.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*Rv4r1pGwTyMgcJKi." /></figure><p>Cela évite toute erreur du type “Doug appelle Doug.” ou les autres erreurs que nous avons vues précédemment.</p><p>Ce que cela montre aussi, c’est que la “long short-term memory“ (LSTM) peut regarder deux, trois ou plusieurs autres étapes en arrière et utiliser cette information pour faire de bonnes prédictions sur ce qui se passera ensuite.</p><p>Maintenant, pour être complet, les réseaux de neurones récurrents plus classiques peuvent également regardé plusieurs étapes en arrière, mais ces étapes ne peuvent pas être très nombreuses. Un LSTM peut regarder en arrière sur plusieurs étapes et montrer de supers résultats.</p><p>Ceci est vraiment pratique dans certaines applications concrètes. Si, par exemple, on a un texte dans une certaine langue que l’on veut traduire dans une autre langue, les LSTMs fonctionnent très bien, même si une traduction n’est pas un processus “mots-à-mots” mais un processus “phrase-à-phrase”. Les LSTMs sont capables de représenter les structures grammaticales spécifiques d’une langue, et parviennent à réaliser une traduction en détectant les structures abstraites de chaque langue, simplement en utilisant les différents éléments que nous avons expliqué précédemment.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*_2ra2_3wXo_JKB8l." /></figure><p>Une autre chose que ce type de réseau permet de faire très bien est de convertir un discours audio en texte. Ce type de discours n’est en fait qu’une somme de signaux qui varient dans le temps. Notre LSTM peut donc les prendre et les utiliser pour prédire quel texte (ou plutôt quel mot) vient d’être dit et il peut se servir de sa mémoire (l’historique récent des mots utilisés) pour améliorer ses prédictions quant à ce que doit être le mot suivant.</p><p>Les LSTMs sont en gros particulièrement appropriés pour tout ce qui est lié à une notion de temps, comme c’est le cas de tout ce qui est audio ou vidéo mais aussi robotique et tant d’autres domaines (la robotique par exemple n’est rien de plus qu’un agent qui prend des informations venant d’un ensemble de capteurs et, en se basant sur ces informations, prend une décision sur une action à mener — c’est donc un traitement séquentiel et les actions qui sont menées influencent ce qui sera détecté par la suite, même plusieurs étapes plus tard).</p><h3>En savoir plus</h3><p>Nous ne verrons pas dans cet article les mathématiques qui se cachent derrière les LSTMs mais je vous encourage chaudement à y jeter un oeil, à travers la page <a href="https://en.wikipedia.org/wiki/Long_short-term_memory">Wikipédia associée</a>.</p><p>J’espère que vous aurez aimé cette initiation aux LSTM.</p><p>Je vous recommande chaudement de suivre l’auteur de l’article original pour davantage de ressources concernant le Deep Learning:</p><p><a href="http://brohrer.github.io/index.html">Brandon</a></p><p><a href="https://twitter.com/_brohrer_">@_brohrer_</a></p><p><a href="https://www.facebook.com/DataScienceAndRobots/">Facebook</a></p><p>N’hésitez pas à me contacter également pour toute question ou simplement pour discuter Deep Learning!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c25041d45921" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Comment les Réseaux de neurones à convolution fonctionnent]]></title>
            <link>https://medium.com/@CharlesCrouspeyre/comment-les-r%C3%A9seaux-de-neurones-%C3%A0-convolution-fonctionnent-b288519dbcf8?source=rss-266b6ee3f17d------2</link>
            <guid isPermaLink="false">https://medium.com/p/b288519dbcf8</guid>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[convolutional]]></category>
            <category><![CDATA[reseau-de-neurones]]></category>
            <category><![CDATA[apprentissage-profond]]></category>
            <dc:creator><![CDATA[Charles Crouspeyre]]></dc:creator>
            <pubDate>Mon, 17 Jul 2017 15:14:25 GMT</pubDate>
            <atom:updated>2017-07-19T00:29:39.939Z</atom:updated>
            <cc:license>http://creativecommons.org/licenses/by/4.0/</cc:license>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/900/0*s_KuynI0TEwZz1-Z.jpg" /></figure><p>Traduction de l’article original de <a href="https://twitter.com/_brohrer_">Brandon Rohrer</a> (Senior Data Scientist à Facebook), “<a href="http://brohrer.github.io/how_convolutional_neural_networks_work.html">How Convolutional Neural Networks Work</a>”</p><h3><strong>Aperçu de ce qu’il se passe dans un réseau de neurones à convolution, et pourquoi sont-ils si efficaces.</strong></h3><p>Neuf fois sur dix, quand vous entendez parler des barrières scientifiques qui ont été repoussées grâce à l’application de techniques d’Apprentissage profond (ou Deep Learning en anglais), les réseaux de neurones à convolution sont impliqués. Aussi appelés CNN ou ConvNets, ils constituent les fers de lance de l’Apprentissage profond.</p><p>Aujourd’hui, ils sont même capable d’apprendre à trier des images par catégorie avec dans certains cas, de meilleurs résultats qu’après un triage manuel. S’il y a donc aujourd’hui une méthode qui justifie un engouement particulier, il s’agit donc bien des CNNs.</p><p>Ce qui est particulièrement intéressant avec les CNNs, c’est qu’ils sont également faciles à comprendre, lorsque vous les divisez en leurs fonctionnalités de base.</p><h3><strong>X et O</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/857/0*CsE69mVLxnPi0mh9." /></figure><p>Pour nous aider à comprendre le fonctionnement d’un réseau de neurones à convolution, nous allons nous aider d’un exemple simplifié et chercher à déterminer si une image représente un X ou un O.</p><p>En effet, cet exemple est suffisamment riche pour illustrer les différents principes des CNNs, tout en étant aussi suffisamment simple pour éviter de “s’encombrer” de détails non essentiels.</p><p>Notre CNN n’a qu’une seule tâche à réaliser: chaque fois qu’on lui présente une photo, il doit décider si cette photo représente un X ou un O. Il considère que dans chaque cas, il ne peut y avoir que l’un ou l’autre.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*MrxIfjCibhuBibz8." /></figure><p>Une approche naïve pour résoudre ce type de problème est de sauver une image représentant un X et une image représentant un O et de comparer chaque nouvelle image à ces deux images afin de voir de laquelle elle est la plus proche (i.e. ressemblante).</p><p>Ce qui rend cette tâche complexe est que, pour un ordinateur, une image n’est rien d’autre qu’un tableau de pixels en 2 Dimensions (une sorte d’échiquier géant) avec chaque case contenant un numéro spécifique: Dans notre exemple, un pixel ayant la valeur 1 est un pixel blanc, et -1 est noir.</p><p>Lorsque l’on compare 2 images directement entres elles, s’il y a ne serait-ce qu’un pixel contenant différentes valeurs, alors les images sont considérées comme étant différentes par l’ordinateur.</p><p>Idéalement, nous voudrions être capable de reconnaître un X et un O, même s’ils sont décalés, réduits, pivotés ou déformés dans l’image. C’est là que les CNNs entrent en jeu.</p><h3><strong>Caractéristiques</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*jtfOkswl_0xj-6w4." /></figure><p>Le CNN compare les images fragment par fragment. Les fragments qu’il recherche sont appelés les caractéristiques. En trouvant des caractéristiques approximatives qui se ressemblent à peu près dans 2 images différentes, le CNN est bien meilleur à détecter des similitudes que par une comparaison entière image à image.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/876/0*zDTt4c1vVhvfFqKU." /></figure><p>Chaque caractéristique est comme une mini-image — i.e. un petit tableau de valeurs en 2 Dimensions. Les caractéristiques rassemblent les aspects les plus communs des images. Dans le cas de l’image montrant un X, les caractéristiques définissant les deux diagonales et l’entre-croisement de ces dernières représentent les traits les plus communs d’un X. Ces caractéristiques correspondent probablement aux bras et au centre de toute image d’un X.</p><h3><strong>Convolution</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*laCerWrLFcMlyvs2." /></figure><p>Quand on lui présente une nouvelle image, le CNN ne sait pas exactement si les caractéristiques seront présentes dans l’image ou où elles pourraient être, il cherche donc à les trouver dans toute l’image et dans n’importe quelle position.</p><p>En calculant dans toute l’image si une caractéristique est présente, nous faisons un filtrage. Les mathématiques que nous utilisons pour réaliser cette opération sont appelés une convolution, de laquelle les réseaux de neurones à convolution tiennent leur nom.</p><p>Les mathématiques derrière le principe de convolution ne sont pas bien complexes. Pour calculer la correspondance entre une caractéristique et une sous-partie de l’image, il suffit de multiplier chaque pixel de la caractéristique par la valeur que ce même pixel contient dans l’image. Ensuite, on additionne les réponses et divise le résultat par le nombre total de pixels de la caractéristique. Si les 2 pixels sont blancs (de valeur 1) alors 1 * 1 = 1. Si les deux sont noires, alors (-1) * (-1) = 1. Dans tous les cas, chaques pixels correspondant ont pour résultat 1. De manière similaire, chaque décalages donnent -1.</p><p>Si tous les pixels dans une caractéristique correspondent, alors leur addition puis leur division par le nombre total de pixels donne 1. De la même manière, si aucun des pixels de la caractéristique ne correspond à la sous-partie de l’image, alors la réponse est -1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*73S06iq-v_Y5JbNB." /></figure><p>Pour compléter une convolution, on répète ce processus alignant les caractéristiques avec chaque sous-partie de l’image. On prend alors le résultat de chaque convolution et créé avec un nouveau tableau de 2 Dimensions, basé sur où dans l’image le patch se trouve. Cette map des correspondances est aussi une version filtrée de l’image d’origine. C’est une map indiquant où la caractéristique a été trouvée dans l’image. Les valeurs proches de 1 montrent une forte correspondance, celles proches de -1 montrent une forte correspondance pour le négatif photographique de la fonctionnalité et les valeurs proches de 0 ne correspondent à aucun type.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/642/0*a0j7AIaCX_pJrtZF." /></figure><p>L’étape suivante est de répéter le processus complet de convolution pour chacunes des autres caractéristiques existantes. Le résultat est un ensemble d’images filtrées, dont chaque image correspond à un filtre particulier.</p><p>Il est conseillé de considérer cet ensemble d’opérations de convolutions comme une unique étape de traitement: Dans les réseaux de neurones à convolutions, on appelle cela la couche de convolution, ce qui laisse deviner qu’il y aura par la suite d’autre couches ajoutées à celles-ci.</p><p>Bien que le principe soit relativement simple et l’on puisse facilement expliquer notre CNN au dos d’une serviette, le nombre d’additions, de multiplications et de divisions peut rapidement s’accumuler. En termes mathématiques, elles s’accroissent linéairement avec le nombre de pixels de l’image, avec le nombre de pixels de chaque caractéristique.</p><p>Avec tant de facteurs, il est très facile de rendre ce problème infiniment plus complexe. Il n’est donc pas étonnant que les fabricants de microprocesseurs fabriquent maintenant des puces spécialisées dans le type d’opérations qu’exigent les CNNs.</p><h3><strong>Pooling</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1017/0*M9dewX5fpO1arUBd." /></figure><p>Un autre outil très puissant utilisé par les CNNs s’appelle le Pooling. Le Pooling est une méthode permettant de prendre une large image et d’en réduire la taille tout en préservant les informations les plus importantes qu’elle contient. Les mathématiques derrière la notion de pooling ne sont une nouvelle fois pas très complexe. En effet, il suffit de faire glisser une petite fenêtre pas à pas sur toutes les parties de l’image et de prendre la valeur maximum de cette fenêtre à chaque pas. En pratique, on utilise souvent une fenêtre de 2 ou 3 pixels de côté et une valeur de 2 pixels pour ce qui est de la valeur d’un pas.</p><p>Après avoir procédé au pooling, l’image n’a plus qu’un quart du nombre de ses pixels de départ.</p><p>Parce qu’il garde à chaque pas la valeur maximale contenue dans la fenêtre, il préserve les meilleurs caractéristiques de cette fenêtre. Cela signifie qu’il ne se préoccupe pas vraiment d’où a été extraite la caractéristique dans la fenêtre.</p><p>Le résultat est que le CNN peut trouver si une caractéristique est dans une image, sans se soucier de l’endroit où elle se trouve. Cela aide notamment à résoudre le problème liés au fait que les ordinateurs soient hyper-littéraires.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/689/0*rWYjpJMtYfDrBSJB." /></figure><p>Au final, une couche de pooling est simplement un traitement de pooling sur une image ou une collection d’images. L’output aura le même nombre d’images mais chaque images aura un nombre inférieur de pixels. Cela permettra ainsi de diminuer la charge de calculs. Par exemple, en transformant une image de 8 mégapixels en une image de 2 mégapixels, ce qui nous rendra la vie beaucoup plus facile pour le reste des opérations à effectuer par la suite.</p><h3><strong>Unités Rectifié Linéaire (ReLU)</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*YaBjEWNxlJJoejVq." /></figure><p>Un élément important dans l’ensemble du processus est l’Unité linéaire rectifiée ou ReLU. Les mathématiques derrière ce concept sont assez simples encore une fois: chaque fois qu’il y a une valeur négative dans un pixel, on la remplace par un 0. Ainsi, on permet au CNN de rester en bonne santé (mathématiquement parlant) en empêchant les valeurs apprises de rester coincer autour de 0 ou d’exploser vers l’infinie.</p><p>C’est un outil pas vraiment sexy mais fondamental car sans lequel le CNN ne produirait pas vraiment les résultats qu’on lui connaît.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/568/0*sGqtvqEUoQjamb3G." /></figure><p>Le résultat d’une couche ReLU est de la même taille que ce qui lui est passé en entrée, avec simplement toutes les valeurs négatives éliminées.</p><h3><strong>Apprentissage Profond</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*HWjBSG5tB9XtVEnd." /></figure><p>Vous aurez probablement remarqué que ce que l’on donne en entrée à chaque couche (i.e. des tableaux de 2 Dimensions) ressemble énormément à ce que l’on obtient en sortie (d’autres tableaux de 2 Dimensions). Pour cette raison, nous pouvons les ajouter les uns après les autres comme on ferait avec des Legos.</p><p>Les images brutes sont filtrées, rectifiées et mises en commun pour créer un ensemble d’images rétrécies et filtrées par caractéristiques visibles dans chaque image. Celles-ci peuvent ainsi être filtrées et rétrécies encore et encore. A chaque fois, les caractéristiques deviennent plus grandes et plus complexes, et les images deviennent plus compactes. Cela permet aux couches inférieures de représenter des aspects simples de l’image, tels que les bords et points lumineux. Les couches supérieures quant à elles représentent des aspects beaucoup plus complexes de l’image, tels que des formes et des patterns. Ceux-ci ont tendance à être facilement reconnaissables. Par exemple, dans un CNN entraîné à reconnaître des visages, les couches supérieures représentent des motifs et patterns qui font clairement partie d’un visage (1).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/812/0*Ds0wa5G9m5T_oxZz." /></figure><h3><strong>Couches entièrement connectées</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/657/0*eOpPyVVPU7jTA8gH." /></figure><p>Les CNNs ont une autre flèche dans leur carquois. En effet, les couches entièrement connectés prennent les images filtrées de haut niveau et les traduisent en votes. Dans notre exemple, nous devons seulement décider entre deux catégories, X et O.</p><p>Les couches entièrement connectées sont les principaux blocs de construction des réseaux de neurones traditionnels. Au lieu de traiter les inputs comme des tableaux de 2 Dimensions, ils sont traités en tant que liste unique et tous traités de manière identique. Chaque valeur a son propre vote quant à si l’image est un X ou un O. Cependant, le process n’est pas complètement démocratique. Certaines valeurs sont bien meilleures à détecter lorsqu’une image est un X que d’autres, et d’autres sont bien meilleures à détecter un O. Celles-ci ont donc davantage de pouvoir de vote que les autres. Ce vote est appelé le poids, ou la force de la connection, entre chaque valeur et chaque catégorie.</p><p>Lorsqu’une nouvelle image est présentée au CNN, elle se répand à travers les couches inférieures jusqu’à atteindre la couche finale entièrement connectée. L’élection a ensuite lieu. Et la solution avec le plus de vote gagne et est déclarée la catégorie de l’image.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*TFoomaHKXGaaVcng." /></figure><p>Les couches entièrement connectées, tout comme les autres couches, peuvent être ajoutées les unes à la suite des autres car leur valeur en sortie (une liste de votes) ressemble énormément à leur valeur en entrée (une liste de valeur). En pratique, plusieurs couches entièrement connectées sont souvent ajoutées les unes à la suite des autres, avec chaque couche intermédiaire votant pour des catégories “cachées” fantômes. En effet, chaque couche additionnelle laisse le réseau apprendre des combinaisons chaque fois plus complexes de caractéristiques qui aident à améliorer la prise de décision.</p><h3><strong>Rétropropagation</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/611/0*Z-4PVr6SmhdbjR6F." /></figure><p>Même si notre analyse des CNNs avance bien, il y a toujours quelque chose qui manque: D’où viennent les caractéristiques? Et comment définit-on les poids de nos couches entièrement connectées? S’il fallait tout choisir manuellement, les CNNs serait bien moins populaires qu’ils ne le sont. Heureusement, un concept très important fait ce travail pour nous: la rétropropagation.</p><p>Pour pouvoir faire appel à la rétropropagation, nous devons avoir une collection d’images pour lesquelles nous connaissons déjà la catégorie à sélectionner. Cela veut dire que quelques âmes charitables (et patientes) ont analysés des milliers d’images en amont et ont associés à chacune d’entre elles leur catégorie respective, X ou O.</p><p>On utilise donc ces images avec un CNN qui n’a pas encore été entraîné, ce qui veut dire que chaque pixel de chaque caractéristique et chaque poids de chaque couche entièrement connectée est configurée avec une valeur aléatoire. Apres ca, on commence à passer des images au CNN, une par une.</p><p>Pour chaque image analysée par le CNN on obtient un vote. Le nombre d’erreurs que l’on fait dans notre classification nous renseigne ensuite sur la qualité de nos caractéristiques et de nos poids. Les caractéristiques et poids peuvent ensuite être ajustées de manière à réduire l’erreur. Chaque valeur est augmentée ou diminuée, et la nouvelle valeur de l’erreur de notre réseau est recalculée, à chaque fois. Quel que soit l’ajustement fait, si l’erreur diminue, l’ajustement est conservé.</p><p>Après avoir fait ca, pour chaque pixel de chaque caractéristique, de chaque couche convolutive et pour chaque poids dans chaque couche entièrement connectée, les nouveaux poids permettent d’obtenir une réponse qui marche légèrement mieux pour cette image.</p><p>Ce processus est ensuite répété avec chacune des autres images qui ont un label.</p><p>Les éléments qui n’apparaissent que dans de rares images sont rapidement oubliées, mais les patterns que l’on trouve régulièrement dans un grand nombre d’images sont retenus par les caractéristiques et le poids des connections. Si vous avez suffisamment d’images avec labels, ces valeurs se stabilisent à un ensemble de valeurs qui marche plutôt bien pour un ensemble de cas variés.</p><p>Comme c’est certainement apparent, la rétropropagation est une autre étape de calcul coûteuse et une autre motivation pour le matériel informatique spécialisé.</p><h3><strong>Hyperparameters</strong></h3><p>Malheureusement, tous les aspects des CNNs ne sont pas aussi intuitifs à apprendre et comprendre que ce que nous avons vu jusqu’à présent. Ainsi, il y a toujours une longue liste de paramètres qui doivent être définis manuellement pour permettre au CNN d’avoir de meilleurs résultats.</p><ul><li>Pour chaque couche convolutive, combien de caractéristiques doit on choisir? Combien de pixels doit-on considérer dans chaque caractéristique?</li><li>Pour chaque couche de Pooling, quelle taille de fenêtre doit-on choisir? Quel pas?</li><li>Pour chaque couche entièrement connectée supplémentaire, combien de neurones cachés doit on définir?</li></ul><p>En plus de ces paramètres, il y a aussi d’autres éléments architecturaux de plus haut niveau à considérer: Combien de couches de chaque type doit on inclure? Dans quel ordre? Certains modèles d’apprentissage profond peuvent avoir plus d’une centaine de couches, ce qui rend le nombre de possibilités extrêmement important.</p><p>Avec tant de combinaisons et permutations envisageables, seulement une petite fraction des configurations possibles ont été testées jusqu’à présent. Les différentes conceptions de CNNs sont en général motivées par la connaissance accumulée par la communauté scientifique, avec certains écarts occasionnels permettant des améliorations surprenantes en performances. Et bien que nous ayons présenté les principales briques nécessaires à la construction des CNNs de manière relativement simple et intuitive, il existe un grand nombre de variations et de réglages qui ont été testés et ont permis d’obtenir de très bons résultats, tel que de nouveaux types de couches et des manières plus complexes de connecter les couches entres elles.</p><h3><strong>Au dela des images</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/586/0*oAqI5qw7e5wPh6g6." /></figure><p>Bien que notre exemple avec des X et des O implique l’utilisation d’images, les CNNs peuvent aussi être utilisés pour catégoriser d’autres types de données.</p><p>L’astuce est: quel que soit le type de données que vous traitez, transformez ces données pour les faire ressembler à une image.</p><p>Par exemple, les signaux audio peuvent être décomposé en un ensemble de petits morceaux de durée plus courte et décomposer chacun de ces morceaux par bande de fréquences graves, moyennes, aiguës ou plus encore plus fines. Ceci peut être représenté par un tableau de 2 Dimensions où chaque colonne est un bloc de temps et chaque ligne est une bande de fréquences. Les “pixels” de cette fausse image qui sont proches les uns des autres sont étroitement liés. Les CNNs fonctionne bien dans ces cas précis.</p><p>Les scientifiques ont été particulièrement créatifs. Dans une approche similaire, ils ont notamment adapté des données textuelles pour le traitement du langage naturel et même des données chimiques pour la découverte de médicaments.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/761/0*AGr8K67f3un_FznD." /></figure><p>Un exemple de données particulier qui ne correspond pas à ce type de format est tout ce qui est “données clients”, où chaque ligne d’une table représente un client et chaque colonne représente des informations à propos de cette personne, telles que son nom, son adresse, son adresse email, ses achats et son historique de navigation. Dans ce cas, l’emplacement des lignes et des colonnes n’a pas vraiment d’importance. Les lignes peuvent être ré-arrangées et les colonnes peuvent être ré-ordonnées sans perte d’importance des données. En revanche, réorganiser les rangées et les colonnes d’une image la rende complètement intraitable.</p><p>Une règle générale: si vos données restent aussi exploitable après avoir échangé certaines colonnes entres elles, vous ne pouvez sans doute pas utiliser les réseaux neuronaux convolutionnels. Cependant, si vous pouvez faire en sorte que votre problème ressemble à de la recherche de motifs dans une image, les CNNs peuvent être exactement ce dont vous avez besoin.</p><h3><strong>En savoir plus</strong></h3><p>Si vous souhaitez vous essayer à l’apprentissage profond, vous pouvez trouver un certain nombre d’outils ayant chacun une communauté très active. N’hésitez pas, essayez les! Parmis les plus populaires:</p><ul><li><a href="http://caffe.berkeleyvision.org/">Caffe</a></li><li><a href="https://github.com/Microsoft/CNTK">CNTK</a></li><li><a href="https://en.wikipedia.org/wiki/Deeplearning4j">Deeplearning4j</a></li><li><a href="http://www.tensorflow.org/">TensorFlow</a></li><li><a href="https://en.wikipedia.org/wiki/Theano_%28software%29">Theano</a></li><li><a href="https://en.wikipedia.org/wiki/Torch_%28machine_learning%29">Torch</a></li><li><a href="http://deeplearning.net/software_links/">Many others</a></li></ul><p>J’espère que vous aurez aimé cette initiation aux réseaux de neurones à convolution.</p><p>Je vous recommande chaudement de suivre l’auteur de l’article original pour davantage de ressources concernant le Deep Learning:</p><p><a href="http://brohrer.github.io/index.html">Brandon</a> <a href="https://twitter.com/_brohrer_">@_brohrer_</a> <a href="https://www.facebook.com/DataScienceAndRobots/">Facebook</a></p><p><a href="https://www.linkedin.com/in/ccrouspeyre/">N’hésitez pas à me contacter</a> également pour toute question ou simplement pour discuter Deep Learning!</p><p>(1) <a href="http://web.eecs.umich.edu/%7Ehonglak/icml09-ConvolutionalDeepBeliefNetworks.pdf">Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations, Honglak Lee, Roger Grosse, Rajesh Ranganath, Andrew Y. Ng</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b288519dbcf8" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>