<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Nico Mika on Medium]]></title>
        <description><![CDATA[Stories by Nico Mika on Medium]]></description>
        <link>https://medium.com/@ngarnier1?source=rss-67c96c47979c------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*3FqFQ6IPDLG4Z3i5aKNqcg.jpeg</url>
            <title>Stories by Nico Mika on Medium</title>
            <link>https://medium.com/@ngarnier1?source=rss-67c96c47979c------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 09:28:46 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@ngarnier1/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Le coup de pouce d’Airflow pour nos Insights]]></title>
            <link>https://blog.hawk-tech.io/le-coup-de-pouce-dairflow-pour-nos-insights-174f81599fff?source=rss-67c96c47979c------2</link>
            <guid isPermaLink="false">https://medium.com/p/174f81599fff</guid>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[airflow]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[bigquery]]></category>
            <dc:creator><![CDATA[Nico Mika]]></dc:creator>
            <pubDate>Mon, 22 Nov 2021 08:33:41 GMT</pubDate>
            <atom:updated>2021-11-22T14:02:28.206Z</atom:updated>
            <content:encoded><![CDATA[<h3><strong>Introduction</strong></h3><p>Le métier de Hawk implique la manipulation d’une très grande quantité de données. De l’ETL à sa valorisation, nous multiplions les actions sur ces dernières. Certains Insights que nous créons exigent des étapes de calculs préalables au traitement final, qui sont parfois dépendantes entre elles. Nous allons voir comment nous avons répondu à ce cas d’utilisation et pourquoi Airflow nous semblait être une bonne solution.</p><h3>Insights : calculer un Uplift</h3><p>Avant de se lancer corps et âme dans le monde magique d’Airflow, il me semble important de présenter le cas d’utilisation que nous avons choisi pour ce crash test.</p><p>Nous calculons des indicateurs dans le cadre de la fonctionnalité <a href="https://hawk-tech.io/fr/">In-Store-Impact</a> de Hawk tels que :</p><ul><li>Uplift: le pourcentage de visites en plus (ou en moins) que génère une opération publicitaire.</li><li>Visites globales et uniques, regroupées par campagne publicitaire ou par magasin</li><li>Distance médiane parcourue entre le lieu d’exposition à la publicité et la visite du magasin</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*ViMbtNAroAdGmSjKNBiekQ.png" /></figure><p>Ces indicateurs nécessitent des étapes de prétraitement pour nettoyer et mettre en forme la donnée. Notre Data-Warehouse étant BigQuery, la plupart de nos prétraitements sont réalisés via des requêtes BigQuery et les résultats sont enregistrés dans des tables temporaires.</p><p>Prenons l’exemple du calcul d’Uplift, qui mathématiquement se décrit avec la formule suivante :</p><figure><img alt="Formule simplifiée de l’Uplift" src="https://cdn-images-1.medium.com/max/640/1*nRBvSYCYBH-xeYWKc-Y3AQ.png" /></figure><p>Nous obtenons alors un indice décrivant l’impact de la publicité sur les visites en magasin où :</p><ul><li>taux de visite des exposés = Le ratio de personnes parmi la cible qui ont visités le magasin observés après avoir été exposés à la campagne publicitaire</li><li>taux de visite du groupe de contrôle = Le ratio de personnes parmi la cible qui n’ont volontairement pas été exposés à la campagne publicitaire mais qui ont naturellement visités le magasin</li></ul><p>Nous contrôlons également la proportion d’utilisateurs dans les deux groupes afin qu’ils soient un maximum équilibrés (si ce n’est pas le cas, un rééquilibrage est effectué)</p><p>Pour obtenir ces données, plusieurs étapes de prétraitement sont nécessaires :</p><ul><li>Tâche <strong>A</strong>: Récupérer la liste des campagnes dont les métriques d’In-Store Impact doivent être mise à jour</li><li>Tâche <strong>B</strong>: Identifier et regrouper depuis plusieurs sources de données les personnes qui composeront le groupe de contrôle</li><li>Tâche <strong>C</strong>: Isoler les personnes qui ont été exposées à la publicité</li></ul><p><em>ps : j’ai volontairement simplifié le calcul et omis certaines étapes pour se concentrer sur ce qui nous intéresse vraiment : le workflow.</em></p><p>Le prérequis à l’exécution de la tâche <strong>B</strong> est le succès de la tâche <strong>A</strong>, ce qui donne ce workflow très simple :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/160/1*oJK-VHdnfiS4FIMOSvEKAw.png" /></figure><h3>Première approche naïve : les requêtes planifiées de BigQuery</h3><p>Historiquement, nous utilisions le système des <a href="https://cloud.google.com/bigquery/docs/scheduling-queries#console">requêtes planifiées BigQuery</a>. Le principe est simple, nous définissons la requête à exécuter, son occurrence et la table de destination.</p><p>Les requêtes étaient paramétrées de cette manière:</p><ul><li><strong>A</strong>: daily @ 2:30am</li><li><strong>B</strong>: daily @ 3:00am</li><li><strong>C</strong>: daily @ 3:30am</li></ul><p>Vous avez sûrement déjà identifié les limitations de ce système pour notre cas d’utilisation: que se passe-t-il si <strong>A</strong> échoue ou si <strong>A</strong> prend trop de temps ? <strong>B</strong> est exécuté en se basant sur les données périmées de <strong>A </strong>(au mieux de la veille) ou ne s’exécutera pas du tout. Ces requêtes sont planifiées pour se lancer tôt le matin, nous ne pouvons pas intervenir manuellement avant le lancement du calcul de l’Uplift.</p><p>Le gros avantage est que cette technique fonctionne pour les cas nominaux, qu’elle est très rapide à mettre en place et ne nécessite aucune architecture supplémentaire.</p><p>Mais le constat est là, nous manquons de contrôle sur ce workflow qui devient central pour la fonctionnalité In-Store-Impact et il devient compliqué d’être réactif et de délivrer des Insights de qualité dans ce cas-là. Nous devons nous assurer d’exécuter les tâches de manière coordonnée et de pouvoir agir en cas d’échec.</p><h3>La bonne approche : Airflow</h3><h4>Mais c’est quoi Airflow ?</h4><p>L’objectif d’Airflow est simple: offrir une solution pour créer et monitorer des workflows de façon programmatique. Un workflow (flux de travail) est représenté par un DAG (Directed Acyclic Graphs) comportant des tâches à exécuter dépendantes les unes des autres.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*4o_V6RKkNHJ8zNFYN_AAKw.png" /></figure><p>Nous pouvons donc définir, via du code Python, une suite logique d’actions qui s’exécutent sous certaines conditions.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/734/1*haXY9A3mQV4TSOJ21QHSJw.png" /></figure><p>Ce DAG sera lancé de manière récurrente suivant la fréquence choisie. L’interface nous permet :</p><ul><li>d’avoir une vision synthétique des derniers lancements.</li><li>de relancer des tâches dans le passé</li><li>accéder aux logs des tâches</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/844/1*yfnYLyCIwkpcxuf3jFjOsg.png" /></figure><p>Airflow apporte aussi:</p><ul><li>L’intégration dans nos outils CI / CD</li><li>La gestion des tâches (retry automatique, alerting) et de ses dépendances</li></ul><p>Il faut bien garder en tête qu’Airflow n’est pas une solution de streaming de données. En effet, même si Airflow permet l’échange de métadonnées minimes entre les tâches, il ne peut assurer le transfert de données entre elles.</p><h4>Un Airflow managé par AWS ?</h4><p>Nous privilégions les solutions faciles à maintenir, c’est pourquoi l’annonce d’<a href="https://aws.amazon.com/fr/about-aws/whats-new/2021/05/amazon-managed-workflows-for-apache-airflow-mwaa-now-supports-apache-airflow/">Airflow 2.0 autogéré chez AWS</a> (MWAA), a attiré notre attention.</p><p>En plus des améliorations propres à Airflow, cette dernière version managé sur AWS nous permet de définir un maximum de:</p><ul><li>25 workers</li><li>5 schedulers</li></ul><p>Les workers scale automatiquement en fonction de la charge et nous pouvons aussi décider du type d’instances :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/746/1*mQG-_14GzPH0ZwvrTgcerw.png" /></figure><p>Il nous semblait donc intéressant de tester cette solution.</p><h4>Pour notre cas d’utilisation, ça donne quoi ?</h4><p>Nous l’avons vu, Airflow répond à nos besoins de :</p><ul><li>Exécution séquentielle: les DAG permettent de générer un graphique avec des dépendances entre les tâches</li><li>Exécution planifiée: nous pouvons définir une <a href="https://airflow.apache.org/docs/apache-airflow/1.10.1/scheduler.html">récurrence</a> plus ou moins complexe</li><li>Action en cas d’échec: la fonctionnalité de “retry” automatique</li></ul><p>Nous avons donc mis en place ce workflow minimale sur le Airflow managé d’AWS en partant sur une instance <strong><em>mw1.small</em></strong>. Voici notre DAG:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/741/1*PdhGUDuVQWGpXKDKQQ0Hiw.png" /></figure><p>Nous avons configuré ce DAG de façon à ce qu’une tentative supplémentaire se fasse en cas d’échec sur l’une des requêtes BigQuery. Vous remarquerez que nous avons paramétré le délai entre chaque essai à 5 minutes.</p><p>Nous n’avons pas activé l’envoi de mail, car nous préférons gérer nos alertes autrement : MAAW envoie le statut des jobs dans Cloudwatch, et nous construisons des dashboard de monitoring et d’alerting directement dans Grafana, afin d’envoyer des alertes dans #slack.</p><p>Il est aussi possible de corréler fortement le run des DAG grâce au paramètre depends_on_past qui autorisera l’exécution de l’occurrence X uniquement si l’occurrence dernière (X-1) s’est terminée avec succès.</p><pre>default_args = {<br> &quot;start_date&quot;: datetime(2021, 3, 25),<br> &quot;depends_on_past&quot;: <strong>False</strong>,<br> &quot;email_on_failure&quot;: <strong>False</strong>,<br> &quot;email_on_retry&quot;: <strong>False</strong>,<br> &quot;retries&quot;: 1,<br> &quot;retry_delay&quot;: timedelta(minutes=5)<br>}</pre><p>Le DAG se crée grâce à un fichier Python et l’API <a href="https://airflow.apache.org/docs/apache-airflow/stable/tutorial_taskflow_api.html">TaskFlow</a> de Airflow. Nous avons utilisé l’opérateur <a href="https://airflow.apache.org/docs/apache-airflow-providers-google/2.1.0/_api/airflow/providers/google/cloud/operators/bigquery/index.html#airflow.providers.google.cloud.operators.bigquery.BigQueryExecuteQueryOperator">BigQueryExecuteQueryOperator</a> pour communiquer avec l’écosystème BigQuery, il se présente comme ceci:</p><pre>my_task_id = BigQueryExecuteQueryOperator(<br> task_id = &quot;my_task_id&quot;,<br> gcp_conn_id = &quot;google_cloud_connection_id&quot;,<br> use_legacy_sql = False,<br> sql = &quot;<br>   CREATE OR REPLACE TABLE `project.dataset.table` AS (<br>   SELECT * FROM `my_table`<br>   WHERE my_condition)&quot;,<br> location = &quot;EU&quot;,<br> create_disposition = &#39;CREATE_IF_NEEDED&#39;<br> )</pre><p>Nous sommes convaincus par le résultat. La mise en place de ce mécanisme nous a permis d’être plus sereins sur les prétraitements liés aux calculs de l’Uplift. Nous avons réduit les interventions manuelles et intégré ce workflow dans nos processus de développement classique (gitlab, code review, CI / CD).</p><p>La version d’Airflow proposée par AWS est réactive et propose une expérience identique à une version non hébergée. Nous espérons que les versions évoluent rapidement pour suivre les mises à jour d’Airflow qui est actuellement en v 2.2.1 (contre 2.0.2 sur AWS).</p><p>Concernant les tests en local, nous utilisons ce <a href="https://github.com/aws/aws-mwaa-local-runner"><strong>aws-local-runner</strong></a> qui permet de répliquer l’Airflow managé par AWS en local.</p><h4><strong>Pour aller plus loin</strong></h4><p>Nous sommes satisfaits de ce que nous avons mis en place, mais nous voyons des points que nous pouvons encore améliorer:</p><ul><li>Lancer le calcul de l’Uplift depuis Airflow. Il s’agit d’un projet géré sur un <a href="https://docs.aws.amazon.com/AmazonECS/latest/developerguide/clusters.html">Elastic Container Service</a> de AWS, lancé à une heure fixe chaque jour. Nous voulons déclencher la création de l’instance et le lancement du calcul via une tâche Airflow précédée des prétraitements vu plus haut.</li><li>Gestion de la réservation de slot BigQuery. Cette réservation nous permet de passer de la tarification à la demande au forfait, ce qui est particulièrement intéressant dans notre cas d’utilisation récurrent. Nous lançons aujourd’hui la réservation via un CRON, nous voudrions lancer la réservation au début du workflow de l’Uplift et l’arrêter à la fin du traitement.</li></ul><p>Pour ceux qui sont intéressés par le sujet Airflow, je vous recommande la <a href="https://airflow.apache.org/docs/apache-airflow/stable/index.html">documentation officielle</a> qui est très bien écrite.</p><p>Je vous recommande aussi de lire attentivement ce <a href="https://www.astronomer.io/blog/7-common-errors-to-check-when-debugging-airflow-dag">billet</a> qui m’aurait évité de m’arracher les cheveux à comprendre pourquoi mon DAG ne se lançait pas à l’heure définie (spoiler alert: un DAG s’exécutera à la fin du schedule_interval, pas au début ! )</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=174f81599fff" width="1" height="1" alt=""><hr><p><a href="https://blog.hawk-tech.io/le-coup-de-pouce-dairflow-pour-nos-insights-174f81599fff">Le coup de pouce d’Airflow pour nos Insights</a> was originally published in <a href="https://blog.hawk-tech.io/">Hawk | Engineering blog</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>