<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Nicolas Risi on Medium]]></title>
        <description><![CDATA[Stories by Nicolas Risi on Medium]]></description>
        <link>https://medium.com/@nicolas.risi1?source=rss-a1948e35264------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*xes_Oy_luaDSoiM4FsSDWg.jpeg</url>
            <title>Stories by Nicolas Risi on Medium</title>
            <link>https://medium.com/@nicolas.risi1?source=rss-a1948e35264------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 12:10:33 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@nicolas.risi1/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[WebScraping de sites avec du Lazy Loading]]></title>
            <link>https://medium.com/data-by-saegus/webscraping-d-images-en-lazy-loading-2e2db7168698?source=rss-a1948e35264------2</link>
            <guid isPermaLink="false">https://medium.com/p/2e2db7168698</guid>
            <category><![CDATA[web-scraping]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[dataops]]></category>
            <category><![CDATA[scraping]]></category>
            <dc:creator><![CDATA[Nicolas Risi]]></dc:creator>
            <pubDate>Mon, 24 Jun 2019 13:38:39 GMT</pubDate>
            <atom:updated>2019-06-24T13:46:15.573Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*n7kEjQFhpD3hCp_U" /><figcaption>Photo by <a href="https://unsplash.com/@siidou_annabi?utm_source=medium&amp;utm_medium=referral">Ahmed Annabi</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><blockquote><strong><em>Avertissement :</em></strong><em> En fonction du site, le webscraping peut amener à ne pas respecter les conditions d’utilisation de celui-ci.</em></blockquote><p>Afin de constituer une base d’apprentissage pour un modèle de machine learning, quoi de mieux que le webscraping lorsqu’il n’existe aucune base déjà constituée pour notre problématique ? Parfois c’est relativement simple, parfois nous pouvons rencontrer quelques difficultés comme le Lazy Loading.</p><p>Le <strong>lazy loading</strong> est une pratique permettant de <strong>différer le chargement des ressources statiques</strong> (principalement images et vidéos), qui ne sont visibles à l’internaute qu’après scroll de sa part.</p><p>En suivant les tutoriaux de base sur le webscraping, nous n’aurons pas accès à la majorité des éléments (soit rien du tout, soit potentiellement un placeholder pour les images), n’ayant eu aucun scroll lors de notre requête GET. C’est encore pire si le site utilise un scrolling infini.</p><p>Ce tutorial a pour but de montrer comment contourner cette problématique en Python.</p><blockquote><strong><em>Note:</em></strong><em> Ceci ne sert qu’à des fins d’apprentissage seulement.</em></blockquote><h3><strong>Packages utilisés</strong></h3><h4><strong>Selenium</strong></h4><p>Simulera un navigateur et toutes ses interactions (indispensable dans notre cas).</p><pre>pip install selenium</pre><blockquote><strong><em>Note : </em></strong><em>Il sera nécessaire d’installer un webdriver pour que Selenium fonctionne dans notre cas. Voici le lien pour installer le webdriver de Chrome :</em><strong><em> </em></strong><a href="http://chromedriver.chromium.org/downloads">http://chromedriver.chromium.org/downloads</a></blockquote><h4>BeautifulSoup</h4><p>Parsera le HTML que nous aurons récupéré.</p><pre>pip install beautifulsoup4</pre><h3>Website avec Lazy Loading</h3><p>Pour ce tutorial, ne pouvant vous donner quelques sites qui utilisent ce principe… je vous ai créé un exemple de site à l’adresse suivante:</p><p><a href="https://nicolasrisi.github.io/scrapping-lazyloading/"><em>https://nicolasrisi.github.io/scrapping-lazyloading/</em></a></p><p>Pour le code source de ce site, vous pourrez le trouver :</p><p><a href="https://github.com/NicolasRisi/scrapping-lazyloading">NicolasRisi/scrapping-lazyloading</a></p><p>En regardant les éléments HTML sur ce site via les outils développeurs du navigateur, vous remarquerez que les &lt;div&gt; apparaissent au fur et à mesure du scroll.</p><h3><strong>Code</strong></h3><p>Entrons dans le vif du sujet et importons les librairies comme il se doit.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/c4251d64c5bdb3e0222d8984e2d5599f/href">https://medium.com/media/c4251d64c5bdb3e0222d8984e2d5599f/href</a></iframe><p>Passons directement à la partie la plus intéressante, créons notre fonction qui récupèrera l’intégralité de la page, après que les images aient été chargées.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d9114c3fd5b2f32c3b39c087fbf35dd8/href">https://medium.com/media/d9114c3fd5b2f32c3b39c087fbf35dd8/href</a></iframe><p>Notre fonction est prête à récupérer l’intégralité de la page avec les éléments que nous voulons extraire. Il ne nous reste plus qu’à parser nos pages pour récupérer nos éléments.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5904cce936f925026ee8d68e692ad947/href">https://medium.com/media/5904cce936f925026ee8d68e692ad947/href</a></iframe><p><strong>Résultat sans Selenium</strong></p><p>Nous n’avons rien du tout. Sans navigateur, le lazy-loading n’aurait chargé aucun des éléments</p><p><strong>Résultat avec Selenium</strong></p><p>Nos print affichent les 30 titres présents sur la page de démo.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2e2db7168698" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-by-saegus/webscraping-d-images-en-lazy-loading-2e2db7168698">WebScraping de sites avec du Lazy Loading</a> was originally published in <a href="https://medium.com/data-by-saegus">Data by Saegus</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Qu’est ce que le DataOps ?]]></title>
            <link>https://medium.com/data-by-saegus/quest-ce-que-le-dataops-5fc411d3f967?source=rss-a1948e35264------2</link>
            <guid isPermaLink="false">https://medium.com/p/5fc411d3f967</guid>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[dataops]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[agile]]></category>
            <dc:creator><![CDATA[Nicolas Risi]]></dc:creator>
            <pubDate>Fri, 15 Feb 2019 00:51:29 GMT</pubDate>
            <atom:updated>2020-07-22T12:21:39.431Z</atom:updated>
            <content:encoded><![CDATA[<h3>Qu’est ce que le MLOps ?</h3><p>Aujourd’hui, les initiatives autour de la donnée se multiplient. Les champs du big data et de la datascience ont amené de nombreux cas d’usages, comme la maintenance prédictive, classification de mail, segmentation client, grâce à la quantité de données disponibles et des derniers modèles statistiques.</p><p>Mais le chemin jusqu’à la <strong>mise en production</strong> est souvent délicat et difficile, si bien que de nombreux projets s’arrêtent au stade du POC (Proof Of Concept). C’est là qu’intervient le MLOps.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8ZhCcr3UYWIwlH_ItofxjQ.jpeg" /><figcaption>Du Proof of concept à la Production</figcaption></figure><p>Le <strong>MLOps est une adaptation des pratiques Agiles</strong>, principalement Devops, utilisées dans le développement de software, au monde de la donnée, du big data.</p><p>La <strong>promesse </strong>est d’<strong>améliorer et d’optimiser le cycle de vie des projets</strong> de datascience, d’analyse de donnée, des produits orientés donnée, tant en terme de rapidité que de qualité.</p><p>En réalisant ces projets plus rapidement, et de meilleure façon, le MLOps permet de <strong>retrouver la confiance des entités métiers</strong> dans les projets orientés données en leur fournissant un <strong>haut niveau de service</strong>. « Confiez-nous des projets, nous les réaliserons de manière rapide et efficace, depuis leur développement jusqu’à leur mise en production». On va d’une part éviter le “shadow IT” ou l’externalisation et d’autre part, augmenter la quantité de projets exploitables et rendre l’entreprise plus « <strong>data driven</strong> ».</p><p>Pour atteindre cet objectif, il est nécessaire de travailler sur <strong>différents axes</strong>: la <strong>culture</strong>, le <strong>technique</strong>, et l’<strong>organisationnel</strong>.</p><h4>L’axe culturel</h4><p>De même que le DevOps, le MLOps est avant tout un changement culturel. On dit souvent « People over process over tools ». Nous allons tenter d’infuser quelques principes comme le Kaizen (culture de l’amélioration continue), la transparence et le partage. C’est d’autant plus important que de nombreux profils sont impliqués dans ces projets. On retrouve le data scientist, le data engineer, la sécurité, la production et le métier… et tous doivent s’accorder pour collaborer autour du projet.</p><h4>L’axe technique</h4><p>Parmi les leviers nous retrouvons des pratiques liées au DevOps:</p><ul><li>Automatisation (CI / CD)</li><li>Tests unitaires</li><li>Bonnes pratiques &amp; normes claires</li><li>Environnements</li><li>Gestion de version</li><li>Starter kit / Boilerplates</li><li>Monitoring</li><li>Scalabilité des services</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YSldAUGcomaljPWXPvtuHw.jpeg" /><figcaption>Cycle DevOps</figcaption></figure><p>Avec néanmoins des <strong>spécificités liées aux projets de datascience</strong>:</p><ul><li><strong>Reproductibilité des résultats</strong></li><li><strong>Monitoring des performances du modèle</strong>, un modèle de prédiction bon aujourd’hui, ne le sera pas forcément demain</li><li><strong>Mise à disposition de modèles</strong>, pour pouvoir utiliser le modèle dans une application, par exemple pour aider un conseiller en agence.</li></ul><h4>L’axe organisationnel</h4><p>Une fois le modèle prédictif en production, il faut pouvoir le <strong>maintenir</strong>, résoudre les bugs quand ils arrivent. La datascience nécessitant des <strong>compétences spécialisées</strong>, l’entière responsabilité des bugs ne peut plus être laissée à une équipe de production. Il faut donc travailler sur l’aspect organisationnel pour redéfinir les rôles et responsabilités, mettre en place une <strong>gouvernance</strong> autour des projets.</p><p>Au-delà de ça, il est nécessaire que tous les acteurs soient mis dans la boucle dès le début du projet, chacun apportant sa pierre à l’édifice. On va chercher à redevenir “<strong>project centric</strong>”.</p><p>Ce sont les 3 principaux axes du MLOps pour garantir la réussite d’un projet data, du développement jusqu’à la mise en production.</p><p>Il m’apparaît important d’évoquer deux autres chantiers qui sont souvent gérés séparément mais sont étroitement liés au MLOps.</p><h4>La gouvernance</h4><p>Pour faire gagner du temps au DataScientist, qui est un des objectifs du MLOps, il est optimal qu’il puisse trouver la <strong>donnée nécessaire à son sujet </strong>et<strong> </strong>sa problématique, de manière simple et efficace. Au lieu d’aller faire le tour des services pour trouver la donnée intéressante, il est plus efficace qu’il puisse explorer la donnée existante, d’une manière qui puisse être <strong>autant technique que fonctionnelle</strong>. Par exemple, chercher toutes les données relatives au concept de paiement client.</p><p>Il est également indispensable avec le <strong>RGPD</strong> qu’il puisse savoir ce qu’il <strong>peut ou ne peut pas utiliser</strong>, dans le cadre de son projet.</p><h4>L’adoption</h4><p>Une fois que l’on a atteint l’objectif d’offrir un haut niveau de service sur les projets data, il est nécessaire de trouver de <strong>plus en plus de cas d’usage</strong>. C’est alors la phase d’<strong>acculturation</strong> et d’<strong>adoption</strong> auprès des entités métiers qui doit commencer. Il faut leur faire retrouver confiance dans les services proposés mais aussi les inspirer.</p><p>C’est indispensable pour réussir à transformer l’entreprise et en faire celle de demain.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fupscri.be%2Fhabmns%3Fas_embed%3Dtrue&amp;dntp=1&amp;url=https%3A%2F%2Fupscri.be%2Fhabmns&amp;image=http%3A%2F%2Fapi.screenshotlayer.com%2Fapi%2Fcapture%3Faccess_key%3Dfe59908dad3baab69ffab249a2224b03%26viewport%3D1024x612%26width%3D1000%26url%3Dhttps%253A%252F%252Fupscri.be%252Fhabmns%253Fscreenshot&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=upscri" width="800" height="400" frameborder="0" scrolling="no"><a href="https://medium.com/media/f0ed8b9e1f14d05681d3c9045f6a186f/href">https://medium.com/media/f0ed8b9e1f14d05681d3c9045f6a186f/href</a></iframe><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5fc411d3f967" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-by-saegus/quest-ce-que-le-dataops-5fc411d3f967">Qu’est ce que le DataOps ?</a> was originally published in <a href="https://medium.com/data-by-saegus">Data by Saegus</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>