<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Ryohei Katayama on Medium]]></title>
        <description><![CDATA[Stories by Ryohei Katayama on Medium]]></description>
        <link>https://medium.com/@ryoheikatayama?source=rss-3ec9cf44a2f------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*_MDNa27kKDCjazay.</url>
            <title>Stories by Ryohei Katayama on Medium</title>
            <link>https://medium.com/@ryoheikatayama?source=rss-3ec9cf44a2f------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 01:06:04 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@ryoheikatayama/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[ナウキャストのデータエンジニアリング、まるわかり解説！]]></title>
            <link>https://techblog.finatext.com/nowcast-data-engineering-introduction-a7f643d1276c?source=rss-3ec9cf44a2f------2</link>
            <guid isPermaLink="false">https://medium.com/p/a7f643d1276c</guid>
            <category><![CDATA[data-engineering]]></category>
            <dc:creator><![CDATA[Ryohei Katayama]]></dc:creator>
            <pubDate>Fri, 18 Feb 2022 06:44:19 GMT</pubDate>
            <atom:updated>2022-02-18T06:44:19.027Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Iofr3oM3QFDt1ASCP4VZLA.jpeg" /></figure><p>こんにちは。株式会社ナウキャストでデータエンジニアをしている片山です。<br>この記事では、ナウキャストにおけるデータエンジニアリングについて、僕が過去に採用面接でよく聞かれたことや、よく説明したことをまとめてみました。<br>この記事を通じて、ナウキャストのデータエンジニアリングについて少しでも知っていただけると幸いです！</p><h3><strong>ビッグデータのTwo-sided Platform</strong></h3><p>まずは、ナウキャストの事業について簡単に説明します。</p><p>ナウキャストのミッションは平たく言うと「<strong>オルタナティブデータの利活用を促進すること</strong>」です。イメージとしては「データの商社」に近く、様々な企業様からデータを仕入れ、加工/分析し、プロダクトを作ることで、エンドユーザーに価値を届けています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2khDRgz2C_ZieAOkZf9I1g.png" /></figure><p>こちらはナウキャストのビジネスモデルを表した図になります。</p><p>ナウキャストにとってデータ保有側もデータ利用側も両方が顧客です。データ保有側に対してはデータのマネタイズと利活用のサポートを行い、データの利用側には分析サービスを提供します。</p><p>こういったビジネスモデルは一般に「<strong>Two-sided Platform</strong>」と呼ばれます。有名な事例だとUberが挙げられます。運転手が増えるとユーザーが増える。ユーザーが増えると運転手が増え、またユーザーが増える。Uberを中心にこのサイクルが回ることでサービスが成長します。</p><p>ナウキャストも同じ様に、以下のようなサイクルを回しています。</p><ol><li>データホルダー（データ保有側）が増えることで、扱えるデータが増える</li><li>データが増えるとサービスの数や質が上がる</li><li>サービスの数や質が上がるとのユーザー（データ利用側）が増える</li><li>ユーザーが増えると、マネタイズ力やプロダクト開発力が上がり、データホルダーへの交渉力が強くなる</li><li>交渉力が強くなると、データホルダーを獲得しやすくなる</li><li>1. に戻る</li></ol><p>単にデータを整備するだけでなく、上記のサイクルを回すために<strong>分析からプロダクト開発までを一気通貫</strong>して行うのが、ナウキャストのデータエンジニアリング/アナリティクスです。<br>以降、その開発を支えるナウキャストの技術スタック、システム構成、データソースの種類、分析事例などを解説します。</p><h3><strong>技術スタック</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9Sd_9nNThpvcAu6k-INr_Q.png" /></figure><p>早速ですが、こちらがナウキャストの技術スタックの一覧になります。</p><h4>開発言語</h4><p>ナウキャストでは<strong>Python</strong>をメインに使っています。意図してPythonだけを使っているわけではありませんが、データサイエンス/アナリティクスがバックグラウンドのメンバーが多く、自然とPythonを使うようになりました。</p><p>ちなみに、採用面接ではPythonを用いてEDAを行うスキルテストがあります。</p><h4><strong>ワークフローマネジメントツール</strong></h4><p>基本的には「プロジェクト毎に適切なツールを選定する」ことを方針としています。現状、メインで用いているのはAirflowで、約20個のDAG上で数百個のジョブが毎日稼働しています。</p><p>他にもスクラッチのツールが本番稼働していたり、過去にはPrefectを試したこともありました。</p><h4><strong>データ分析環境</strong></h4><p>ナウキャストでは全てのエンジニアがPythonを用いたEDA等の分析業務ができるため、BI環境の様なものは存在せずそれぞれのメンバーがJupyter Notebookを用いて分析を行っています。</p><p>最近では、SageMaker Studioなどを用いてJupyter Notebookの実行環境や分析結果をうまく管理することにトライしています。</p><h4><strong>データストア</strong></h4><p>MySQL、Amazon Athena、Redshift、DynamoDBなどを使っています。</p><h4>クラウド</h4><p>AWSを主に使っています。近い将来、GCPも試す予定です。</p><h4>インフラ</h4><p>インフラの構成管理はTerraformを用いて行っています。</p><h4>コード管理</h4><p>Githubを使っています。</p><h4>その他</h4><p>他にもナウキャストではブラウザベースの分析ツールの提供も行っており、Vue.jsやFastAPIを用いて実装を行っています。ユーザーログの可視化にはElastic Stackを採用しています。</p><h3><strong>S3とPythonを中心としたデータパイプライン</strong></h3><p>次に、ナウキャストのデータパイプラインに共通する特徴を説明したいと思います。もちろん、プロダクトやデータソースによって様々な実装があるので、ここでは共通する特徴のみを説明します。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/949/1*tFgcdqW1DWWD28-qlHTYXQ.png" /></figure><p>こちらはかなり簡略化したパイプラインの概念図です。</p><p>ナウキャストのデータ処理のほとんどはバッチ処理になります。入力となるデータは提供元から日次、もしくはそれより低い頻度でナウキャストに連携されます。</p><p>基本的には差分データのみが連携され、それに対して後続の処理が順次実行されデータが更新されます。</p><h4>ジョブの実行と管理</h4><p>データを更新するジョブはPythonで実装され、ECSのFargateで実行されることが多いです。実行環境はプロジェクトごとにDockerで管理されています。</p><p>FargateのタスクはAirflowなどのワークフローマネジメントツールで実行されます。</p><p>例えばAirflowの場合だと、Airflowが動いている環境でジョブを実行するのではなく、Fargateを経由してジョブを実行することで、ジョブごとにマシンパワーを調整したり、実行環境のプロジェクトごとの管理を行いやすくなるメリットが得られます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*13Z8QdW_IZe1qW18FtJpWA.png" /></figure><p>こちらは実際に稼働しているAirflowのDAGになります。ジョブのほとんどがECSOperatorで実装され、ECS Fargeteのタスクを起動しています。</p><h4>データストアとクエリエンジン</h4><p>生データや加工済みデータを含めたほとんどのデータがS3で管理されています。明示的に「S3を中心に使おう」という技術選定がなされたわけではなく、コスト、ディレクトリ構成の柔軟性、バージョン管理などの観点から自然とS3が多く用いられています。</p><p>差分処理ではなく、トランザクション全体に対して処理を行う場合は<strong>Amazon Athena</strong>を用いることが多いです。そのため、重要なデータの殆どが<strong>Parquet形式</strong>で、<strong>適切なPartition設計</strong>に基づいて保存されています。</p><p>最近ではSparkなど、Athena以外のアプローチも検討しています。</p><h3><strong>機関投資家向けのビッグデータ分析ツール</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*kflD5QiE9lD4yz9W8z_Flg.png" /></figure><p>ナウキャストでは<a href="https://nowcast.co.jp/news/20210907/"><strong>AlternaData</strong></a>という機関投資家向けのビッグデータ分析ツールの提供も行っています。こちらはAlternaDataの簡略化した構成図です。</p><p>APIはパフォーマンス管理とメンテナンス性向上のため、顧客情報などを扱う<strong>システム系のAPI</strong>と分析用途のビッグデータを扱う<strong>データ系のAPI</strong>の2つに分けられています。フレームワークは<a href="https://fastapi.tiangolo.com/ja/"><strong>FastAPI</strong></a>を採用しています。</p><p>データ系APIのデータストアにはRedshiftとAmazon Auroraの2つを用いており、データのサイズや求められるレスポンス速度に応じて適宜使い分けています。</p><p>フロントエンドはVeu.jsで実装され、Cloud Frontを経由して提供されます。</p><p><strong>データエンジニアリングのみならず、それらを分析するソフトウェアの開発まで一気通貫で行える</strong>のは、ナウキャストで働く魅力の1つだと思います。</p><h3><strong>主なデータソースと分析事例</strong></h3><h4><a href="https://nowcast.co.jp/data-source/pos-data/">POSデータ</a></h4><p>GMS、スーパーマーケット、ドラッグストア、家電など、様々な種類のPOSデータを分析、提供しています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*0_SEcOdmmYBC6xc8" /></figure><p>例えばこの分析事例では、化粧品、タバコ、チョコレート、アルコールなどの商品カテゴリごとに、スーパーやドラッグストアでの売上トレンドを一覧で確認することができます。</p><h4><a href="https://nowcast.co.jp/data-source/creditcard-data">クレジットカードデータ</a></h4><p>ナウキャストは創業して間もない頃からJCBと協業関係にあります。JCBカードのデータを分析できる数少ないスタートアップとして、JCB消費Nowというマクロ指数を提供しています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*qY7OdffS-Co4hSYb" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*15G8VqfdDUtaxNdS" /></figure><p>このプロダクトでは、個人が特定できない形で匿名加工が施されたJCBカードの取引データにナウキャストが統計加工を施して、日本国内の個人消費をモニターする消費指数を隔週で提供しています。</p><p>データは内閣府の<a href="https://www5.cao.go.jp/keizai3/getsurei/2022/02kaigi.pdf">月例経済報告</a>や<a href="https://www.boj.or.jp/mopo/outlook/gor2201b.pdf">日本銀行の展望レポート</a>、上場企業のIR資料などで活用されており、財政・金融政策運営、民間企業経営の意思決定のための情報として広く活用されています。</p><h4>位置情報データ</h4><p>ナウキャストはKDDIと協業し、位置情報の分析サービスも提供しています。</p><p>KDDIのもつ高品質な位置情報データとナウキャストの分析力を掛け合わせることで、機関投資家の分析課題を解決しています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/971/1*4z0s4MufdRoQ4TEgkZRhzw.png" /></figure><p>例えば、こちらの事例ではある鉄道会社が月次で開示する輸送実績とKDDIのデータを比較し、間接的にその鉄道会社の月次売上高を予測しています。</p><p>青が位置情報データ、赤が鉄道会社の月次売上ですが、高い相関が見られます。</p><h3>最後に</h3><p>説明は以上になります！</p><p>この記事では書ききれなかった内容はまだまだありますので、少しでも気になった方は以下のリンクから面談を設定していただければと思います！</p><p><a href="https://meety.net/matches/efHVeqsWvEMZ">ナウキャストのデータエンジニアリングを紹介します</a></p><p>Twitterもやってるので、是非フォローしてください！</p><h3>Ryohei Katayama on Twitter: &quot;ナウキャストではいつでもデータエンジニアを募集しております！https://t.co/TOqzvubpEZ / Twitter&quot;</h3><p>ナウキャストではいつでもデータエンジニアを募集しております！https://t.co/TOqzvubpEZ</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a7f643d1276c" width="1" height="1" alt=""><hr><p><a href="https://techblog.finatext.com/nowcast-data-engineering-introduction-a7f643d1276c">ナウキャストのデータエンジニアリング、まるわかり解説！</a> was originally published in <a href="https://techblog.finatext.com/">The Finatext Tech Blog</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[コードリーディングでAirflowの仕組みを理解する]]></title>
            <link>https://techblog.finatext.com/airflow-a76a0c7914b2?source=rss-3ec9cf44a2f------2</link>
            <guid isPermaLink="false">https://medium.com/p/a76a0c7914b2</guid>
            <category><![CDATA[apache-airflow]]></category>
            <category><![CDATA[directed-acyclic-graph]]></category>
            <category><![CDATA[airflow]]></category>
            <category><![CDATA[code-reading]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Ryohei Katayama]]></dc:creator>
            <pubDate>Sun, 29 Aug 2021 23:05:07 GMT</pubDate>
            <atom:updated>2021-08-29T23:05:07.343Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EKvrvyKQsZAP70KEIG6alQ.jpeg" /></figure><p>こんにちは。Nowcastでエンジニアをしている片山（<a href="https://twitter.com/fozzhey">@fozzhey</a>）です。</p><p>Nowcastではワークフローマネジメントツールとして<a href="https://airflow.apache.org/">Airflow</a>を採用しています。 Airflowは日本でもよく採用されており、実際に活用されている方も多いと思います。<br> しかし、Airflowを使うことはできるけど、実際にどういう仕組みで動いているのかは分からない方が多いのではないでしょうか？</p><p>せっかくPythonで書かれているのに、Airflowのコードを読まないのはもったいない！ <br>ということで、この記事ではAirflowのコードリーディングを行いたいと思います。</p><p>なるべくコードやGithubのリンクを貼っていますが、手元のエディターで<a href="https://github.com/apache/airflow/tree/2.0.2">Airflowのリポジトリ</a>を開きながら読んでいただくとより理解が深まると思います。</p><h3>コードリーディングの題材</h3><h4>題材とするDAGとタスク</h4><p>この記事ではAirflowが提供するサンプルDAGの中から、example_bash_operatorを題材として扱います。 <br>DAG中のrunme_0というタスクをローカル環境で実行し、実行結果が表示されるまでの流れを実際にコードを読みながら追っていきます。</p><p>example_bash_operatorをWEB UIから見るとこんな感じです。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3SCoUlUW9y0v8-8Ut9Z0Ng.png" /></figure><p>DAGのコードは<a href="https://github.com/apache/airflow/blob/2.0.2/airflow/example_dags/example_bash_operator.py">こちら</a>から確認できます。 <br>コードを見ると、実行対象のrunme_0は以下の様に定義されていることが分かります。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5b7da9b399766040fc2aa4b8bcc64edf/href">https://medium.com/media/5b7da9b399766040fc2aa4b8bcc64edf/href</a></iframe><p><a href="https://github.com/apache/airflow/blob/2.0.2/airflow/example_dags/example_bash_operator.py#L56">Github</a></p><p>bash_commandの部分を見るとrunme_0は何かしらの文字列をechoした後、1秒間sleepするだけの簡単なタスクであることが分かります。 後述しますが{{ task_instance_key_str }}には実行時に実際の文字列がレンダリングされます。</p><h4>実際に実行してみる</h4><p>では、実際にタスクを実行してみましょう。ローカル環境の起動方法についてはこの記事では解説しませんが、<a href="https://github.com/apache/airflow/blob/main/BREEZE.rst">Airflow Breeze</a>を使ってやるのが無難かと思います。 Airflow Breezeについては<a href="https://future-architect.github.io/articles/20210528a/">こちら</a>の記事が参考になるので、気になる方はチェックしてみてください。</p><p>タスク実行は以下のコマンドを実行するだけで行うことが可能です。</p><pre>&gt;&gt;&gt; airflow tasks test example_bash_operator runme_0 2021-06-20</pre><p>普通に実行するならairflow tasks runを使うのですが、依存関係や副作用が発生するので、今回はairflow tasks testを使っています。 こうすることでタスクだけを冪等に実行することが可能です。</p><p>以下が実行結果とになります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hsvd_mllCXkreWFSmdBElg.png" /></figure><p>赤色で囲った箇所を見ると、example_bash_operator__runme0__20210620という文字列が標準出力されているのが分かります。 こちらは先ほどの{{ task_instance_key_str }}がレンダリングされた後の文字列になります。</p><h3>タスクとは何か？</h3><p>タスクの実行フローを追う前に、まずはAirflowにおけるタスクとは何か解説します。</p><p>Airflowにおいてタスクは実行の最小単位であり、BaseOperatorというクラスのサブクラスとして実装されています。 <br>以下、この記事ではBaseOperatorのサブクラスのことを Operator と呼ぶことにします。 今回読み進めるコード中では、Operatorのインスタンスはtaskという変数名で用いられます。 <br>公式の説明は<a href="https://airflow.apache.org/docs/apache-airflow/stable/concepts/tasks.html">こちら</a>。</p><p>Operatorはざっくりまとめると以下の情報を保持してます。</p><ul><li>どんなタスクを実行するか</li><li>どうやってそのタスクを実行するか</li><li>そのタスクの前後の依存関係</li></ul><p>※厳密には他にも色んな情報を管理していますが。</p><h4>タスクの実例を見てみる</h4><p>こちらは今回実行するexample_bash_operatorのrunme_0が定義されている箇所のコードです。 先ほども紹介しましたが、今回は補足情報を足してみました。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1GYqOK0d_MiKGLCDo_c6UA.png" /></figure><p>先ほどあげた3つの情報が確かに含まれていることがわかります。</p><h4>TaskInstanceとは？</h4><p>タスクを理解する上で、もう一つ重要なクラスがTaskInstanceです。</p><p>TaskInstanceはあるexecution_dateにおけるタスクの実行を管理するクラスです。 TaskInstanceの主な責務は以下の2つになります。</p><ul><li>タスクの実行 タスクの実行に必要な情報を取得し、タスクを実行する。</li><li>実行したタスクのステータスの管理 タスクの実行ステータスを管理する。また、ステータスをDBに格納し永続化する。</li></ul><p>公式の説明は<a href="https://airflow.apache.org/docs/apache-airflow/stable/concepts/tasks.html#task-instances">こちら</a>。</p><h4>タスクとTaskInstanceの関係性</h4><p>TaskInstanceのインスタンスは上記の様にOperatorのインスタンスとタスクの実行日から生成されます。 <br>コードでは以下の様にTaskInstanceのインスタンスが生成されています。</p><pre>ti = TaskInstance(<br>    task, # Operatorのインスタンス<br>    execution_date # 実行日<br>)</pre><p>確かに、引数としてタスクと実行日が渡されているのが分かります。<br>タスクとTaskInstanceの関係性は、AirflowのTree Viewを見ると直感的に理解できます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KFV3xh-uyVaHD8F2Zfrtwg.png" /></figure><p>1つのタスクに対して実行日/実行時間ごとに複数のTaskInstanceが作られることが分かりますね。</p><h4>タスクの実行</h4><p><a href="https://airflow.apache.org/docs/apache-airflow/stable/concepts/tasks.html#task-instances">公式ドキュメント</a>ではざっくり「TaskInstanceはステータス管理のためのもの」という説明になっていますが、実際にコードを読んでみると「タスクの実行」もその重要な責務であることが分かります。</p><p>以下にタスク実行に関連する処理をいくつか挙げてみます。</p><ul><li>テンプレートへのレンダリングの実行</li><li>XComのデータ管理</li><li>Operatorのexecute()を呼び出す</li></ul><p>※他にもたくさんあります。</p><p>この様に、TaskInstanceは対応するタスクを実行するために必要な情報を取得/生成し、テンプレートのレンダリング等の事前処理を行い、Operatorのメソッドを呼び出してタスクを開始する重要な役割を担っています。</p><h3>登場人物と処理の流れ</h3><p>Airflowの基本コンセプトをおさらいしたので、コードの話に入ります。具体的な処理を追う前に、処理の大まかなフローとそこで登場するクラスの説明を行います。</p><h4>クラス図</h4><p>次に、タスクの実行に関わるクラスとそれらの属性/メソッドを整理していきます。 主要なクラスとメソッドをまとめたクラス図が以下です。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/848/1*ZX5w5uBD67kaNbkK6nJNWw.png" /></figure><p>今回の実行フローにおいて、それぞれのクラスは大まかに以下のような役割を持ちます。</p><h4>DAG（<a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/dag.py#L113">Github</a>）</h4><ul><li>Operatorのインスタンス（タスク）を保持する</li></ul><h4>DagBag（<a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/dagbag.py#L63">Github</a>）</h4><ul><li>DAGの定義ファイルの読み込み、DAGインスタンスを生成する</li></ul><h4>BashOperator（<a href="https://github.com/apache/airflow/blob/2.0.2/airflow/operators/bash.py#L32">Github</a>）</h4><ul><li>bashコマンドの保持とテンプレートへのレンダリング</li><li>bashコマンドの実行</li></ul><h4>TaskInstance（<a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/taskinstance.py#L247">Github</a>）</h4><ul><li>タスク実行の制御</li><li>Contextの生成</li></ul><h4>処理の流れ</h4><p>CLIコマンドの実行からタスクの完了までの処理の流れをまとめると以下の様になります。 先ほどクラス図で紹介してクラスが連携して以下の様な1つの処理が実行されます。</p><p>[<strong>タスク実行の流れ</strong>]</p><ol><li>CLIコマンドのパーシング</li><li>DAGの生成</li><li>BashOpeartorの取得</li><li>TaskInstanceの生成</li><li>タスクの実行<br>・Contextの生成<br>・テンプレートのレンダリング<br>・Bashの実行</li></ol><p>以降では、この流れに沿って実際のコードを読んでいきます！</p><h3>1. CLIコマンドのパーシング</h3><h4>処理の始まり</h4><pre>&gt;&gt;&gt; airflow tasks test example_bash_operator runme_0 2021-06-20</pre><p>冒頭で紹介したコマンドをコマンドラインからairflowコマンドを実行すると airflow/__main__.pyが実行されて処理が始まります。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d62efebfda5fa58b05847ba2d0196575/href">https://medium.com/media/d62efebfda5fa58b05847ba2d0196575/href</a></iframe><p><a href="https://github.com/apache/airflow/blob/10023fdd65fa78033e7125d3d8103b63c127056e/airflow/__main__.py#L31">Github</a></p><p>実際の処理はargs.func(args)の部分から開始されます。</p><h4>コマンドのパーシング</h4><p>__main__.pyではCLIから渡されたコマンドをパーシングし、関数を実行することで処理が始まりますが、このパーシングの仕組みを詳しくみていきましょう。</p><p>パーシングを責務とするパーサーは以下の箇所で生成されます。</p><pre>parser = cli_parser.get_parser()</pre><p>このパーサーはPythonの標準ライブラリである<a href="https://docs.python.org/ja/3/library/argparse.html">argparse</a>で実装されています。 argparseはpythonのコマンドライン引数を柔軟に扱うことができるライブラリで、僕も普段の開発で重宝しています。</p><p>AirlowではCLIコマンドごとに対応する関数が用意されており、<a href="https://github.com/apache/airflow/tree/2.0.2/airflow/cli/commands">airflow/cli/commands</a>に格納されています。 <br><a href="https://airflow.apache.org/docs/apache-airflow/stable/cli-and-env-variables-ref.html">こちら</a>がコマンドの一覧になります。commandsディレクトリにあるファイルとよく見比べると、各コマンドに対応するファイルがあるのが分かります。 例えば、dagsコマンドはdag_command.pyと対応します。</p><p>今回実行するコマンドであるairflow tasks testにはairflow/cli/commands/task_command.pyのtask_test()という関数が対応します。 parserによりtasks testという引数とtask_test()が関連付けられ、args.func(args)とすることで関連づけられた関数を実行することができます。</p><p>大まかに説明するとargsにはexample_bash_operator runme_0 2021-06-23が格納されています。 <br>※他にもデフォルト引数が色々格納されているし、厳密にはtask_test()との関連もargsに含まれる</p><p>まとめると、parserは与えられたコマンドを以下の様に解釈し、処理を開始します。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Bz5beF8CJG44OKANY1-geg.png" /></figure><h4>task_test()の呼び出し</h4><p>次に、task_test()の中身を追っていきましょう。task_test()のソースコードは以下の通りです。 <br>※全体の流れに対応する箇所にコメントを足しています。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/66c1612f3d2158638a65f136187dab60/href">https://medium.com/media/66c1612f3d2158638a65f136187dab60/href</a></iframe><p><a href="https://github.com/apache/airflow/blob/10023fdd65fa78033e7125d3d8103b63c127056e/airflow/cli/commands/task_command.py#L192">Github</a></p><p>[<strong>タスク実行の流れ</strong>]で整理した流れと、コードが一致していることが分かります。 <br>以降では、それぞれの処理の詳細を追っていきます。</p><h3>2. DAGの生成</h3><h4>get_dag()によるDAGインスタンスの取得</h4><p>Airflowではタスク（Operatorのインスタンス）はDAGインスタンスに格納されます。 なので、タスクを実行するためには、まずDAGインスタンスを生成する必要があります。</p><p>task_test()の中では、DAGインスタンスはget_dag()というutil関数から取得されています。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5b434b37d470c53239687acc890868bf/href">https://medium.com/media/5b434b37d470c53239687acc890868bf/href</a></iframe><p><a href="https://github.com/apache/airflow/blob/2.0.2/airflow/utils/cli.py#L183">Github</a></p><p>これを見ると、DagBagのdagsという属性からdag_idをKeyとしてDAGのインスタンスを取得していることが分かります。 先述のクラス図でも紹介しましたが、DagBagはDAGインスタンスを管理するクラスです。</p><p>では、どこでdagsにDAGインスタンスが格納されているのでしょうか？</p><h4>DAGの定義ファイルの読み込み</h4><p>Airflowにおいて、DAGインスタンスの生成は<a href="https://github.com/apache/airflow/blob/2.0.2/airflow/example_dags/example_bash_operator.py">DAGの定義ファイル</a>の中で行われます。 <br>そして、DAGの定義ファイルを読み込み、DAGインスタンスをdagsへ格納する処理はDagBagのprocess_file()というメソッドによって行われます。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1af42b07275d0d583f6f44031006f966/href">https://medium.com/media/1af42b07275d0d583f6f44031006f966/href</a></iframe><p><a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/dagbag.py#L247">Github</a></p><p>process_file()は以下の順で定義ファイルを読み込みます。</p><ol><li>DAGの定義ファイルをモジュールとして読み込む。</li><li>読み込んだモジュールに含まれる全てのオブジェクトからDAGのインスタンスを抽出する。</li></ol><p>以降で各処理の詳細を見ていきます。</p><h4>定義ファイルをモジュールとして読み込む</h4><p>ファイルの読み込みはDagBagの_load_modules_from_file()というメソッド（<a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/dagbag.py#L282">Github</a>）で行われます。 以下に、実際にファイルを読み込んでいる箇所を抜粋しました。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b8ba97e1c80016f467406e8dfc91c085/href">https://medium.com/media/b8ba97e1c80016f467406e8dfc91c085/href</a></iframe><p><a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/dagbag.py#L301">Github</a></p><p>file_pathは定義ファイルのパスです。 Pythonの標準ライブラリのimportlibを用いて、定義ファイルがnew_moduleとして読み込まれていることが分かります。</p><h4>モジュールからDAGインスタンスを抽出</h4><p>DAGインスタンスの抽出は_process_modules()というメソッド（<a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/dagbag.py#L360">Github</a>）で実行されます。</p><p>以下の箇所で読み込んだモジュールの中からDAGインスタンスのみを抽出し、top_level_dagsという配列に格納しています。</p><pre>top_level_dags = [o for m in mods for o in list(m.__dict__.values()) if isinstance(o, DAG)]</pre><p>内包表記がネストされており見にくいですが、if isinstance(o, DAG)の部分であるobjectがDAGのインスタンスかどうかをチェックしています。</p><p>そして、以下の箇所でDagBagのbag_dag()メソッドを呼び出し、DAGインスタンスをdagsに追加しています。</p><pre>self.bag_dag(dag=dag, root_dag=dag)</pre><p>これで、ようやく定義ファイルからDAGインスタンスを取得することができました！</p><h3>3. BashOpeartorの取得</h3><h4>BashOpeartorインスタンスの取得</h4><p>DAGインスタンスが取得できたので、次はBashOpeartorインスタンス（タスク）を取得しましょう。BashOpeartorインスタンスの取得はget_task()というDAGのメソッドで行うことができます。 <br>内容は以下の通りで、task_dictというDAGの属性からタスクを取得するだけの簡単な処理です。 task_dictはKeyがtask_idで、ValueがOperatorのインスタンスの辞書オブジェクトになります。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a73809af39b46c0a6d0bab7b014fc4b6/href">https://medium.com/media/a73809af39b46c0a6d0bab7b014fc4b6/href</a></iframe><p><a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/dag.py#L1531">Github</a></p><h4>タスクとDAGの紐付け</h4><p>では、BashOpeartorインスタンスはどこでDAGインスタンスに格納されるのでしょうか？</p><p>今回例として取り上げたDAGの定義ファイルではContext Managerを使った少しトリッキーな方法でDAGインスタンスにBashOpeartorインスタンスを格納しています。 このプロセスは理解できると楽しいのですが、それだけでブログが1本書けそうなので今回は割愛します。<br>一旦、生成されたBashOperatorインスタンスは、DAGインスタンスのtask_dictに格納されるものだと考えてください。</p><h3>4. TaskInstanceの生成</h3><h4>TaskInstanceの取得</h4><p>BashOpeartorインスタンスが取得できたので、次にTaskInstanceのインスタンスの生成に移ります。先述の通り、Airflowにおいてタスクを実行するにはTaskInstanceのインスタンスを生成する必要があります。</p><p>ここでtask_test()の説明に戻りましょう。TaskInstanceのインスタンスは以下で生成されます。</p><pre>ti = TaskInstance(task, args.execution_date)</pre><p><a href="https://github.com/apache/airflow/blob/2.0.2/airflow/cli/commands/task_command.py#L379">Github</a></p><p>その後、以下の箇所からタスクの実行が開始されます。ti.run() の部分です。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2075d53a9afea805811b2bcb28c4ac27/href">https://medium.com/media/2075d53a9afea805811b2bcb28c4ac27/href</a></iframe><p><a href="https://github.com/apache/airflow/blob/2.0.2/airflow/cli/commands/task_command.py#L385">Github</a></p><p>ti.run()の実行を起点に連鎖的にいくつかの関数が呼び出され、TaskInstanceのメソッドである_run_raw_task()にたどり着きます。 <br>このメソッドがタスクの実行を司る重要な関数です。以降でこのメソッドの中身を解説していきます。</p><h3>5. タスクの実行</h3><h4>タスク実行の流れ</h4><p>_run_raw_task()（<a href="https://github.com/apache/airflow/blob/10023fdd65fa78033e7125d3d8103b63c127056e/airflow/models/taskinstance.py#L1101">Github</a>）以降の処理の大まかな流れは以下の様になります。</p><ol><li>Contextの生成</li><li>テンプレートのレンダリング</li><li>Bashの実行</li></ol><p>本番環境でAirflowを動かすと他にもたくさんの処理が実行されますが、今回はタスクの単体実行の流れを追うだけなので大きく3つくらいに収まります。</p><h3>Contextとは？</h3><p>ContextとはTaskの実行にまつわる情報を含む辞書オブジェクトのことです。 Airflowを普段から使っている方にとってはお馴染みかと思います。 <br>Contextは後述のJinjaテンプレート内でアクセスできたり、直接タスクに引数として渡すことができます。</p><p>ちなみに、Contextには主に以下の情報が含まれます。</p><ul><li>execution_dateなどの日付関連の情報</li><li>DAG, DagRun, TaskInstanceなど、タスクの実行に関連するクラスのインスタンス</li><li>Variables</li><li>マクロ関数</li><li>conf (設定情報を管理するオブジェクト)</li></ul><p>Contextから取得できる値の一覧は<a href="https://airflow.apache.org/docs/apache-airflow/stable/macros-ref">こちら</a>の公式ドキュメントで確認できます。</p><h3>Contextの生成</h3><p>Contextの生成はget_template_context()（<a href="https://github.com/apache/airflow/blob/10023fdd65fa78033e7125d3d8103b63c127056e/airflow/models/taskinstance.py#L1567">Github</a>）という関数によって行われます。</p><p>こちらは、_run_raw_task()のcontextを生成している箇所です。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a73802f4016332d1289d9b385a70f17e/href">https://medium.com/media/a73802f4016332d1289d9b385a70f17e/href</a></iframe><p>context = self.get_template_context()の箇所でget_template_context()からContextが生成されているのが分かります。</p><p>説明は省略しますが、get_template_context()の終わりに大きめの辞書オブジェクトを生成しており、それがContextです。 興味のある方は見てみてください。「普段何気なく使っているContextがここで生成されてるのか」という気持ちになれます。</p><p>Contextの生成後、_prepare_and_execute_task_with_callbacks()（<a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/taskinstance.py#L1257">Github</a>）が実行され、いよいよタスクの実行が開始されます！</p><h4>Jinjaによるレンダリング</h4><p>Airflowではタスクの定義時にJinjaのテンプレートを用いることができ、テンプレート内ではContextの値を用いることができます。こちらの機能もAirflowユーザーからすればお馴染みですね。 <br>公式の説明は<a href="https://airflow.apache.org/docs/apache-airflow/stable/tutorial.html?highlight=jinja#templating-with-jinja">こちら</a>。</p><p>普段何気なく使っているテンプレートですが、どのタイミングでレンダリングが行われるかは知らない方も多いのではないでしょうか？ <br>コードを読んでいくと、テンプレートはタスクの実行時にTastInstanceによってレンダリングされることがわかります。</p><p>今回の例ではタスクの定義時、bash_commandに以下の値を指定しています。</p><pre>bash_command=&#39;echo &quot;{{ task_instance_key_str }}&quot; &amp;&amp; sleep 1&#39;,</pre><p>task_instance_key_strはContextから取得できる情報の1つで、{dag_id}__{task_id}__{execution_date}の様な文字列となります。<br>では、実際にこの値がレンダリングされる過程を見ていきましょう。</p><h4>レンダリングの実施</h4><p>レンダリングは_prepare_and_execute_task_with_callbacks()内の以下の箇所で行われます。</p><pre>self.render_templates(context=context)</pre><p><a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/taskinstance.py#L1275">Github</a></p><p>この関数はBaseOperatorのrender_template_fields()（<a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/baseoperator.py#L880">Github</a>）を実行しており、この関数が実際にレンダリングを行っている関数となっています。</p><p>render_template_fields()はさらに_do_render_template_fields()を呼び出します。 _do_render_template_fields()の内容は以下の通りです。処理が少しややこしいのでコメントを足しています。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7cf8f90115a762872287e541f45184ef/href">https://medium.com/media/7cf8f90115a762872287e541f45184ef/href</a></iframe><p>parentには自身（self）が渡されています。 また、template_fieldsはレンダリングの対象となるBashOperatorの属性名が格納されています。 これより、contentにはレンダリング対象の属性の値が格納されることが分かります。</p><p>レンダリングの実行部分で呼び出されているrender_template()は、content内のテンプレートをcontextの値でレンダリングするJinjaの薄いラッパーです。 以下の箇所でレンダリングを行っています。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/c7cfaf5988f40c53227a431e3db10c81/href">https://medium.com/media/c7cfaf5988f40c53227a431e3db10c81/href</a></iframe><p><a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/baseoperator.py#L937">Github</a></p><p>ちなみにレンダリングの対象となる属性を指定するtemplate_fieldsはサブクラスの中で指定されています。<br>BashOperatorのtemplate_fieldsは以下の箇所で指定されており、bash_commandがレンダリングの対象になっていることがわかります。</p><pre>template_fields = (&#39;bash_command&#39;, &#39;env&#39;)</pre><p><a href="https://github.com/apache/airflow/blob/2.0.2/airflow/operators/bash.py#L104">Github</a></p><p>少し複雑な処理でしたが、テンプレートのレンダリングのフローを追うことができました。</p><h4>Bashの実行</h4><p>Contextを取得し、その値のレンダリングも完了し、次はいよいよタスクの実行です！ <br>タスクの実行は_prepare_and_execute_task_with_callbacks()から_execute_task()という関数が呼ばれることで行われます。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7fb381cf14389040ad438f007f3c91ce/href">https://medium.com/media/7fb381cf14389040ad438f007f3c91ce/href</a></iframe><p><a href="https://github.com/apache/airflow/blob/2.0.2/airflow/models/taskinstance.py#L1310">Github</a></p><p>_execute_task()はBaseOperatorのメソッドのexecute()を呼び出すだけの関数で実質的なタスクの実行はこの関数で行われます。<br>execute()はBaseOperatorの各サブクラスで実装されます。</p><p>今回用いているBashOperatorの実装箇所は<a href="https://github.com/apache/airflow/blob/2.0.2/airflow/operators/bash.py#L130">こちら</a>です。以下の箇所でsubprocessライブラリを用いてbash_commandが実行されていることが分かります！！</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/87b9a99f1165d2e5d128cf59b77ca15c/href">https://medium.com/media/87b9a99f1165d2e5d128cf59b77ca15c/href</a></iframe><p><a href="https://github.com/apache/airflow/blob/2.0.2/airflow/operators/bash.py#L160">Github</a></p><h3>最後に</h3><p>長くなりましたが、これでCLIコマンドの実行からBashが実行されるまでの流れを追うことができました！ 実際にコードを追うことでAirflowへの理解が深まってのではないでしょうか？ <br>Airflowには他にも面白い機能がたくさんあるので、今後もこういうブログを出していきたいなと思います。</p><p><a href="https://twitter.com/fozzhey">Twitter</a>もやってますので、よかったらフォローしてください。Airflowに限らず新しい技術をどんどん取り入れながら、データプロダクトを一緒に開発してくれるデータエンジニアを募集しています！</p><h3>Ryohei Katayama on Twitter: &quot;ナウキャストではいつでもデータエンジニアを募集しております！https://t.co/TOqzvubpEZ / Twitter&quot;</h3><p>ナウキャストではいつでもデータエンジニアを募集しております！https://t.co/TOqzvubpEZ</p><p>エンジニア向けのイベントや、開発組織についてもっと知りたい方は、以下に最新情報をまとめていますのでぜひチェックしてみてください！</p><p><a href="https://medium.com/finatext/information-62107b1d3919">【随時Update】エンジニア向け情報</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a76a0c7914b2" width="1" height="1" alt=""><hr><p><a href="https://techblog.finatext.com/airflow-a76a0c7914b2">コードリーディングでAirflowの仕組みを理解する</a> was originally published in <a href="https://techblog.finatext.com/">The Finatext Tech Blog</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Re: ゼロから理解するFlask生活]]></title>
            <link>https://techblog.finatext.com/flask-life-to-understand-from-zero-re-9bf283ee5fae?source=rss-3ec9cf44a2f------2</link>
            <guid isPermaLink="false">https://medium.com/p/9bf283ee5fae</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[flask]]></category>
            <category><![CDATA[wsgi]]></category>
            <dc:creator><![CDATA[Ryohei Katayama]]></dc:creator>
            <pubDate>Fri, 31 Jul 2020 03:17:32 GMT</pubDate>
            <atom:updated>2020-07-31T06:06:35.699Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GVvohkgdf-42P6R9CwEYBw.png" /><figcaption><a href="https://palletsprojects.com/p/flask/">https://palletsprojects.com/p/flask/</a></figcaption></figure><h3>はじめに</h3><p>Pythonistaの皆さんの中には、Flaskを使ってWEBアプリケーションを構築したことがある方も多いのではないでしょうか？ この記事ではそんなみなさんのFlask生活をより良くするべく、Flaskの仕組みを実際にコードを読みながら解説したいと思います。</p><p>この記事で紹介すること</p><ul><li>WSGIの概要と、WSGIを用いた簡単なWEBアプリケーションの実装方法</li><li>Flaskの実行コードの仕組み</li><li>Flaskのルーティングの仕組み</li></ul><p>対象読者</p><ul><li>これからFlaskを使って何かを実装しようとしている人</li><li>Flaskの実装経験はあるが、コードの中身までは理解していない人</li><li>Pythonの有名ライブラリのコードを読むのが好きな人</li></ul><h3>Flaskの入門コード</h3><p>この記事では、以下の入門コードを題材として取りあげます。</p><pre>from flask import Flask<br>app = Flask(__name__)<br></pre><pre>@app.route(&#39;/&#39;)<br>def hello():<br>    hello = &#39;Hello world&#39;<br>    return hello<br></pre><pre>if __name__ == &#39;__main__&#39;:<br>    app.run()</pre><p>Flaskを使ったり、使いたいと思っている方なら一度は目にしたことがある様なコードではないでしょうか？</p><p>早速サンプルコードを実行してみましょう。</p><pre>&gt;&gt;&gt; python flask_app.py<br> * Serving Flask app &quot;app&quot; (lazy loading)<br> * Environment: production<br>   WARNING: This is a development server. Do not use it in a production deployment.<br>   Use a production WSGI server instead.<br> * Debug mode: off<br> * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)<br>127.0.0.1 - - [28/Jun/2020 01:02:20] &quot;GET / HTTP/1.1&quot; 200 -</pre><p>ブラウザからhttp://127.0.0.1:5000にアクセスして、Hello worldが表示されたら成功です。 以下では、実際にFlaskのコード読んだり、実行しながら、この数行のコードを深堀っていきたいと思います。</p><h3>app.run()を理解する</h3><p>まずは、FlaskのWEBアプリケーションを起動する方法を見ていきましょう。</p><h3>WSGI</h3><p>突然ですが、皆さんはWSGIをご存知でしょうか？ こちらは<a href="https://wsgi.readthedocs.io/en/latest/what.html">公式</a>からの引用です</p><blockquote><em>WSGI is the Web Server Gateway Interface. It is a specification that describes how a web server communicates with web applications, and how web applications can be chained together to process one request.</em></blockquote><p>WSGIとはWeb Server Gateway Interfaceの略で、Pythonで書かれたアプリケーションとWEBサーバーのインターフェースを定義したものです。 WSGIの詳細は<a href="https://www.python.org/dev/peps/pep-3333/">PEP 3333</a>で定義されています。</p><p>WSGIが定義される以前は、TurboGears、Zope，Twisted，Djangoそれぞれのフレームワークが、WEBサーバーに対してそれぞれのインターフェースによる呼び出しを要求していました。そのため、サーバーによって対応するフレームワークが異なってしまうなどの問題が起きていました。</p><p>そこでWSGIの登場です。共通のインターフェースを定義し、各フレームワークがそれに準拠することで、WSGIに従ってアプリケーションを呼び出すサーバーを用意するだけで、複数のフレームワークに簡単に対応することが可能になりました。</p><p>現在では、FlaskやDjangoといったメジャーなライブラリは全てこれに準拠しており、WSGIを理解するとFlaskのコードも読みやすくなります。</p><h3>WSGI準拠の最小のWEBアプリケーションを構築</h3><p>では、WSGIに準拠したWEBアプリケーションを実際に実装してみましょう。 <a href="https://www.python.org/dev/peps/pep-3333/">PEP 3333</a>からコードを拝借してきます。</p><pre>HELLO_WORLD = b&quot;Hello world!\n&quot;</pre><pre>def simple_app(environ, start_response):<br>    &quot;&quot;&quot;Simplest possible application object&quot;&quot;&quot;<br>    status = &#39;200 OK&#39;<br>    response_headers = [(&#39;Content-type&#39;, &#39;text/plain&#39;)]<br>    start_response(status, response_headers)<br>    return [HELLO_WORLD]</pre><p>とてもシンプルなコードですが、実はこれだけでWEBアプリケーションとして動かすことが可能です。 ポイントは以下の3点です。</p><ol><li>2つの引数を持った呼び出し可能なオブジェクトであること</li><li>第二引数のオブジェクトにステータスコードとヘッダーを渡し、実行する</li><li>バイト文字列を返すiterableなオブジェクトが戻り値</li></ol><p>これらに注意して改めてsimple_app()を観察すると、ちゃんとWSGIに準拠していることがわかりますね。</p><p>では、実際にこのWEBアプリケーションを実行してみましょう。 WSGIはWEBサーバーとWEBアプリケーションのインターフェースですが、simple_app()はWEBアプリケーションにあたります。 そのため、実行するにはWEBサーバーが必要です。 Python界隈ではGunicornやuWSGIが二大巨頭ですが、今回はFlaskがデフォルトで利用している<a href="https://werkzeug.palletsprojects.com/en/1.0.x/">werkzeug</a>を使います。</p><pre>from werkzeug.serving import run_simple<br>from wsgi_app import simple_app</pre><pre>if __name__ == &#39;__main__&#39;:<br>    run_simple(&#39;127.0.0.1&#39;, 5000, simple_app)</pre><p>先ほど作ったsimple_app()をimportして、http://127.0.0.1:5000で実行するシンプルなコードです。</p><p>実行すると以下の様になると思います。</p><pre>&gt;&gt;&gt; python server.py<br> * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)<br>127.0.0.1 - - [28/Jun/2020 00:56:19] &quot;GET / HTTP/1.1&quot; 200 -<br>127.0.0.1 - - [28/Jun/2020 00:56:19] &quot;GET /favicon.ico HTTP/1.1&quot; 200 -</pre><p>ブラウザからhttp://127.0.0.1:5000にアクセスして、Hello worldが表示されたら成功です。</p><p>ここまでで、手作りしたWSGIのコードをWEBアプリケーションとして起動することに成功しました。 ほんの数行の実装で、WEBアプリケーションの実装とその起動ができることがわかりますね。</p><h3>Flaskの起動方法</h3><p>ここで余談ですが、Flaskはapp.run()でWEBサーバーが起動するため、「とりあえずFlaskを走らせとけばWEBサーバーが起動してアプリが動くんでしょ」って思ってる方もいるのではないでしょうか？（僕はそうでした） 正しくはあるのですが、FlaskはあくまでWEBアプリケーションを実装するためのライブラリです。 つまり、先ほどの例に戻ると、めちゃくちゃ作り込まれたsimple_app()を提供するのがFlaskのメインの仕事になります。</p><p>Flaskは親切なので、デフォルトで<a href="https://werkzeug.palletsprojects.com/en/1.0.x/">werkzeug</a>によるサーバー起動ができる様になっていて、これがサーバーっぽさ（？）を漂わせる原因なんですね。</p><p>余談ですが、werkzeugはあくまでWSGIアプリケーションを開発するためのツール群です。そのため、werkzeugのサーバー機能は付属的なもので、実際にアプリを本番環境で動かす際はGunicornやuWSGIをWEBサーバーとして採用することが多い様です。 ちなみにこれはFlaskの<a href="https://flask.palletsprojects.com/en/1.1.x/deploying/wsgi-standalone/">公式ドキュメント</a>でも紹介されています。</p><p>では、本題のapp.run()のコードをみてみましょう。<a href="https://github.com/pallets/flask/blob/a3d423e5ec5c1389c354a546c05c1ca09a03e3d0/src/flask/app.py#L866">flask/src/flask/app.py</a>に実際に関数がいます。</p><pre>def run(self, host=None, port=None, debug=None, load_dotenv=True, **options):<br>    &quot;&quot;&quot;略&quot;&quot;&quot;</pre><pre>    <em># Change this into a no-op if the server is invoked from the</em><br>    <em># command line. Have a look at cli.py for more information.</em><br>    if os.environ.get(&quot;FLASK_RUN_FROM_CLI&quot;) == &quot;true&quot;:<br>        from .debughelpers import explain_ignored_app_run</pre><pre>        explain_ignored_app_run()<br>        return</pre><pre>    if get_load_dotenv(load_dotenv):<br>        cli.load_dotenv()</pre><pre>        <em># if set, let env vars override previous values</em><br>        if &quot;FLASK_ENV&quot; in os.environ:<br>            self.env = get_env()<br>            self.debug = get_debug_flag()<br>        elif &quot;FLASK_DEBUG&quot; in os.environ:<br>            self.debug = get_debug_flag()</pre><pre>    <em># debug passed to method overrides all other sources</em><br>    if debug is not None:<br>        self.debug = bool(debug)</pre><pre>    _host = &quot;127.0.0.1&quot;<br>    _port = 5000<br>    server_name = self.config.get(&quot;SERVER_NAME&quot;)<br>    sn_host, sn_port = None, None</pre><pre>    if server_name:<br>        sn_host, _, sn_port = server_name.partition(&quot;:&quot;)</pre><pre>    host = host or sn_host or _host<br>    <em># pick the first value that&#39;s not None (0 is allowed)</em><br>    port = int(next((p for p in (port, sn_port) if p is not None), _port))</pre><pre>    options.setdefault(&quot;use_reloader&quot;, self.debug)<br>    options.setdefault(&quot;use_debugger&quot;, self.debug)<br>    options.setdefault(&quot;threaded&quot;, True)</pre><pre>    cli.show_server_banner(self.env, self.debug, self.name, False)</pre><pre>    from werkzeug.serving import run_simple</pre><pre>    try:<br>        run_simple(host, port, self, **options)<br>    finally:<br>        <em># reset the first request information if the development server</em><br>        <em># reset normally.  This makes it possible to restart the server</em><br>        <em># without reloader and that stuff from an interactive shell.</em><br>        self._got_first_request = False</pre><p>下の方でrun_simple(host, port, self, **options)を実行しているのがわかりますね。selfはFlaskクラスを指しており、WSGIのサンプルプログラム（werkzeug_server.py）と同じ構成になっていることがわかります。</p><p>つまり、app.run()はFlask()クラスによって定義されたWEBアプリケーションをwerkzeugで起動するコマンドということになります。</p><p>では、試しにFlaskをwerkzeugではなくGunicornで動かしてみましょう。 やり方は簡単で、冒頭の入門コードをflask_app.pyとして保存し、保存したフォルダで以下のコマンドを実行するだけです。</p><pre>&gt;&gt;&gt; pip install gunicorn<br>&gt;&gt;&gt; gunicorn -w 1 flask_app:app<br>[2020-06-28 01:26:51 +0900] [17444] [INFO] Starting gunicorn 20.0.4<br>[2020-06-28 01:26:51 +0900] [17444] [INFO] Listening at: http://127.0.0.1:8000 (17444)<br>[2020-06-28 01:26:51 +0900] [17444] [INFO] Using worker: sync<br>[2020-06-28 01:26:51 +0900] [17462] [INFO] Booting worker with pid: 17462</pre><p>flask_app:appはflask_app.pyの中のappというオブジェクトを実行することを意味しています。</p><p>ブラウザからhttp://127.0.0.1:8000にアクセスして、Hello worldが表示されたら成功です。</p><p>ここまでの説明で、app.run()の正体がwerkzeugでFlaskのWEBアプリケーションを実行するシンプルな処理であることが理解できたのではないでしょうか。</p><h3>app.route()を理解する</h3><p>では、次はルーティングの仕組みを紐解いていきましょう。サンプルコードの@app.route(&#39;/&#39;)の部分です。</p><h3>Flaskを使わない場合</h3><p>Flaskのルーティングの仕組みを見ていく前に、先ほどの手作りWSGIアプリケーションにルーティングの機能を足してみましょう。</p><pre>def simple_app(environ, start_response):<br>    &quot;&quot;&quot;Simplest possible application object&quot;&quot;&quot;<br>    path = environ[&#39;PATH_INFO&#39;]<br>    response_headers = [(&#39;Content-type&#39;, &#39;text/plain&#39;)]</pre><pre>    if path == &#39;/&#39;:<br>        start_response(&#39;200 OK&#39;, response_headers)<br>        return [b&quot;Hello world from root!\n&quot;]<br>    elif path == &#39;/hoge&#39;:<br>        start_response(&#39;200 OK&#39;, response_headers)<br>        return [b&quot;Hello world from hoge!\n&quot;]<br>    else:<br>        start_response(&#39;404 Not Found&#39;, response_headers)<br>        return [b&quot;The path is incorrect.\n&quot;]</pre><p>先ほどのWSGIの解説では特に触れませんでしたが、environはWSGI Environmentと呼ばれる辞書オブジェクトになっていて、ここにリクエスト情報が含まれています。 細かい定義は<a href="https://www.python.org/dev/peps/pep-3333/#id24">ここ</a>にあるので興味のある方は見てください。</p><p>environからパスの情報を取得し、その内容に応じて呼び出す処理を変えています。とてもシンプルですがこれでルーティングは完了です。</p><p>実際に動かしてみましょう。 ターミナルを2つ開いて、1つを以下の様にサーバーとして起動します。</p><pre>&gt;&gt;&gt;&gt; python werkzeug_server_2.py<br> * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)</pre><p>もう一つで以下の様にcurlコマンドを実行し、パスごとに以下の様にメッセージが表示されれば成功です。</p><pre>&gt;&gt;&gt;&gt; curl http://127.0.0.1:5000/<br>Hello world from root!<br>&gt;&gt;&gt;&gt; curl http://127.0.0.1:5000/hoge<br>Hello world from hoge!<br>&gt;&gt;&gt;&gt; curl http://127.0.0.1:5000/fuga<br>The path is incorrect.</pre><p>ちなみにサーバー側では以下の様なメッセージが表示されます。</p><pre>&gt;&gt;&gt;&gt; python werkzeug_server_2.py<br> * Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)<br>127.0.0.1 - - [27/Jul/2020 21:18:20] &quot;GET / HTTP/1.1&quot; 200 -<br>127.0.0.1 - - [27/Jul/2020 21:18:31] &quot;GET /hoge HTTP/1.1&quot; 200 -<br>127.0.0.1 - - [27/Jul/2020 21:18:37] &quot;GET /fuga HTTP/1.1&quot; 404 -</pre><p>この例から、ルーティングとはリクエストのパスに応じて異なる処理を返すための、ただのif文の集合であることを実感できると思います。</p><h3>Flaskの場合</h3><p>では、Flaskのルーティング処理を追っていきましょう。 以降、iPythonを用いて対話的に処理を実行しながら解説を進めたいと思います。 なお、実際にサーバーは起動しないのでホスト名は適当で良いのですが、一旦http://localhost:5000にアクセスする想定で進めます。</p><p>まずは、Flaskのappの定義とルーティングを行います。</p><pre>In [1]: from flask import Flask</pre><pre>In [2]: app = Flask(__name__)</pre><pre>In [3]: @app.route(&#39;/&#39;) <br>   ...: def hello(): <br>   ...:     hello = &#39;Hello world&#39; <br>   ...:     return hello <br>   ...:</pre><p>ここまでの処理で、内部的に<a href="https://github.com/pallets/flask/blob/f32f19162c936d94fb88f28f17f43dd9f195792b/src/flask/app.py#L1209">route()</a>→<a href="https://github.com/pallets/flask/blob/f32f19162c936d94fb88f28f17f43dd9f195792b/src/flask/app.py#L1099">add_url_rule()</a>という順番でappにhello()が登録されます。 コードを見ていただければわかりますが、ここでいう登録とはapp.url_mapにURLと呼び出す関数のマッピングを登録し、app.view_functionsに実際に呼び出される関数を追加することを意味します。</p><p>では、実際にappの中を見てみましょう。</p><pre>In [4]: app.url_map                                                                                                                  <br>Out[4]: <br>Map([&lt;Rule &#39;/&#39; (OPTIONS, HEAD, GET) -&gt; hello&gt;,<br> &lt;Rule &#39;/static/&lt;filename&gt;&#39; (OPTIONS, HEAD, GET) -&gt; static&gt;])</pre><pre>In [5]: app.view_functions                                                                                                           <br>Out[5]: <br>{&#39;static&#39;: &lt;bound method _PackageBoundObject.send_static_file of &lt;Flask &#39;__main__&#39;&gt;&gt;,<br> &#39;hello&#39;: &lt;function __main__.hello()&gt;}</pre><p>app.url_mapの&lt;Rule &#39;/&#39; (OPTIONS, HEAD, GET) -&gt; hello&gt;の部分が、http://localhost:5000にGETでアクセスがあるとhelloというキーで登録された関数を呼び出すことを意味しています。</p><p>そして、app.view_functionsの&#39;hello&#39;: &lt;function __main__.hello()&gt;をみると、実際にhello()がhelloというキーで登録されていることがわかります。</p><p>次に、実際にhttp://localhost:5000にアクセスしてHello worldが返ってくることを確認しましょう。</p><p>まずはリクエスト情報を作ります。WSGIに従いenvironを手作りします。</p><pre>In [6]: environ = { <br>   ...:     &#39;wsgi.url_scheme&#39;: &#39;http&#39;, <br>   ...:     &#39;SERVER_NAME&#39;: &#39;localhost&#39;, <br>   ...:     &#39;PATH_INFO&#39;: &#39;/&#39;, <br>   ...:     &#39;SERVER_PORT&#39;: &#39;5000&#39;, <br>   ...:     &#39;REQUEST_METHOD&#39;: &#39;GET&#39; <br>   ...: }</pre><p>次に、手作りしたenvironをrequest_contextにpushします。</p><pre>In [7]: ctx = app.request_context(environ)                                                                                           </pre><pre>In [8]: ctx.push()</pre><p>「いきなり何をpushしてんだよ」って気持ちになるかもしれませんが、一旦こういうものだと思ってください。 （Requestに関しては別のブログで書いてみたい）</p><p>では、いよいよresponseを取得しましょう！ responseの取得には<a href="https://github.com/pallets/flask/blob/f32f19162c936d94fb88f28f17f43dd9f195792b/src/flask/app.py#L1854">full_dispatch_request()</a>という関数を用います。 引数がないので少しわかりづらいですが、先ほどpushしたrequestの情報を参照して、app.view_functionsから該当する関数を実行してその結果を返してくれます。</p><pre>In [9]: response = app.full_dispatch_request()                                                                                       </pre><pre>In [10]: response.data                                                                                                               <br>Out[10]: b&#39;Hello world&#39;</pre><p>responseのデータを見るとちゃんとHello worldと表示されていますね。</p><p>一見ブラックボックスに見えるライブラリも、この様に関数を1つずつ追っていけば案外簡単にその仕組みが理解できたのではないでしょうか？</p><p>次回はリクエスト周りのコードを読解していければなと思っています。</p><h3>エンジニア募集</h3><p>今回はFlaskの説明をしましたが、僕の本業はデータエンジニアです。 Finatextグループにはサーバーサイド、インフラ、フロント、データエンジニアなど、様々な領域のエンジニアリングに挑戦できる環境があるので、興味を持たれた方は気軽に奮ってご連絡ください！！</p><p>僕のTwitterアカウント（ <a href="https://twitter.com/fozzhey"><strong>@fozzhey</strong></a> ）にDMいただいてもOKです！</p><p><a href="https://finatext.com/ja/career">採用情報｜FINATEXT フィナテキスト - Reinvent Finance as a Service</a></p><h3>参考資料</h3><ul><li><a href="https://wsgi.readthedocs.io/en/latest/index.html">WSGI.org</a></li><li><a href="https://c-bata.link/webframework-in-python/index.html">Webアプリケーションフレームワークの作り方 in Python</a></li><li><a href="https://flask.palletsprojects.com/en/1.1.x/">Welcome to Flask — Flask Documentation (1.1.x)</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9bf283ee5fae" width="1" height="1" alt=""><hr><p><a href="https://techblog.finatext.com/flask-life-to-understand-from-zero-re-9bf283ee5fae">Re: ゼロから理解するFlask生活</a> was originally published in <a href="https://techblog.finatext.com/">The Finatext Tech Blog</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[POSデータにみる新型コロナの消費への影響と、ナウキャストのデータパイプライン管理]]></title>
            <link>https://techblog.finatext.com/impact-of-covid19-on-pos-and-nowcast-data-pipeline-management-60dae7a00030?source=rss-3ec9cf44a2f------2</link>
            <guid isPermaLink="false">https://medium.com/p/60dae7a00030</guid>
            <category><![CDATA[big-data-pipeline]]></category>
            <category><![CDATA[pos]]></category>
            <category><![CDATA[alternative-data]]></category>
            <category><![CDATA[covid19]]></category>
            <category><![CDATA[airflow]]></category>
            <dc:creator><![CDATA[Ryohei Katayama]]></dc:creator>
            <pubDate>Tue, 17 Mar 2020 14:33:16 GMT</pubDate>
            <atom:updated>2020-03-17T14:33:16.441Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*aqXugdZF3mu9UiaWrdZfIA.png" /></figure><p>こんにちは。<br> Finatextグループのナウキャストでデータ分析を担当している片山です。</p><p>ナウキャストは、POSデータ、クレジットカードデータ、共通ポイントなどのトランザクションデータ（私たちの業界では<a href="https://en.wikipedia.org/wiki/Alternative_data_%28finance%29"><strong>オルタナティブデータ</strong></a>と呼んでいます）を分析してインサイトを発見し、国内外の機関投資家や中央銀行、政府機関にレポートとして提供しています。</p><p>また、そうしたオルタナティブデータから生成した物価指数や消費指数を、「<a href="https://lp.nowcast.co.jp/"><strong>日経CPINow</strong></a>」「<a href="https://www.jcbconsumptionnow.com/"><strong>JCB消費NOW</strong></a>」といったサービスを通して定期的に会員企業に配信しています。</p><p>新型コロナウィルスの感染拡大が消費に影響を与えていることは、皆さんもニュースや日常生活の中で感じているかと思いますが、消費関連データを扱うナウキャストにも消費動向に関するレポーティングのご相談が増えています。</p><p>そこで、今回はナウキャストが利用するオルタナティブデータの一つであるPOSデータを使って、<strong>新型コロナウィルスの感染拡大が国内のスーパーマーケットでの消費に与えた影響</strong>を分析してみたいと思います。<br> 記事の後半では、分析に用いた技術（Airflow）についても紹介します。</p><h3><strong>新型コロナでスーパーマーケットの売上はどうなった？</strong></h3><p>以下は、ナウキャストが利用しているPOSデータにおける、スーパーマーケット全体の売上の前年同期比（単位：%）の推移です。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*YqFSxPvt2liRVlcZ8gaj3A.png" /></figure><p>2020年2月の値は+3%となっており、過去2年間で2番目に大きな増収でした。1番目は2019年9月の増収ですが、これは増税前の駆け込み需要が原因と考えられます。つまり、今回のコロナショックは消費税率引き上げに匹敵する大きなイベントと言えます。</p><h3><strong>売れている商品カテゴリーは？</strong></h3><p>以下のグラフは、2020年2月における主要カテゴリーの売上の前年同期比（単位：%）を大きい順にプロットしたものです。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*AjZf3MpZ-t7DGfNU60cX2g.png" /><figcaption>出典：「日経CPINow」</figcaption></figure><p>普段は10％を超えること自体めずらしいのですが、さまざまなカテゴリーで大幅増収となっています。</p><p>まず、一番上の「日用紙製品」は言わずもがなですがティッシュやトイレットペーパーです。マスクや、ウェットティッシュなどの一部除菌グッズも含まれます。</p><p>そこから下は「乾めん」「カレー」「即席食品」など、日持ちする食品のカテゴリーが並びます。「レギュラーコーヒー」が増収しているあたり、リモートワークの影響もありそうです。</p><h3><strong>マスクは供給が追いつかず、売上が伸びていない</strong></h3><p>続いて、より小さいカテゴリーの詳細を見ていきたいと思います。<br> 以下は「マスク」カテゴリーの日次売上（単位：億円）です。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*FQOqDTb5v1oas8VIPGQt_g.png" /></figure><p>1月21日から1月30日の間に売上が10倍以上に伸びています。</p><p>その後、2週間ほどかけて売上は以前の水準に戻り、ピークから1ヶ月以上経った今でもその水準で推移しています。花粉症のシーズンということもありマスクの需要自体は高いはずですので、需要が落ち着いたのではなく、マスクの供給が追いついていないのが要因と考えられます。</p><h3><strong>トイレットペーパーは需要に応えている</strong></h3><p>続いて、「トイレットペーパー」カテゴリーの日次売上（単位：億円）です。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*sD8kB16Bu84zUZ9Pl7TqlQ.png" /></figure><p>2/28はちょうど「トイレットペーパーが品薄になる」というデマがSNSで拡散された時期です。騒動が売上にダイレクトに影響していることが見てとれます。</p><p>興味深いのはその後の推移です。マスクと異なり、騒動が落ち着いた後でも売上の水準が普段の2倍程度になっています。トイレットペーパーに関しては、需要増加にきちんと供給が追いついていると言えそうです。</p><p><strong>オルタナティブデータから、安心してトイレに行けることが分かります。</strong></p><h3><strong>いつもより売れた商品は何か？</strong></h3><p>POSデータは、カテゴリーだけでなく具体的な商品ごとに分析することも可能です。</p><p>以下のグラフは、全国一斉休校が伝えられた2月27日から3月4日までの1 週間によく売れたアイテムのTOP25です（単位：億円）。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*ywGatKfFPLu9z5FPGqUmrA.png" /></figure><p>POSデータの取り扱い商品は多岐にわたるため、売上が大きかった「乾めん」「カレー」「即席食品」「冷凍総菜」カテゴリーの商品に限定し、売上の大きい順にソートしました。平常時との比較のため、2020年1月の週平均売上を水色でプロットしています。</p><p>オレンジと水色の差に着目すると、味の素の冷凍惣菜（餃子、シューマイ、チャーハンなど）の売上の伸びが特に目立ちます。ほかにも、レトルトの白米やそうめんなどは普段の約2倍売れていることがわかりました。</p><h3><strong>Airflowでデータパイプライン管理</strong></h3><p>ここから、こうした分析を支えるデータパイプラインについて紹介したいと思います。</p><p>ナウキャストでは基本的にデータパイプラインを<strong>Airflow</strong>で管理しています。以前はAWS Step Functions を採用していたのですが、再実行、モニタリング、テストの運用に課題があり、最近Airflowに乗り換えました。</p><p>以下がインフラのイメージです。AWS上にAirflow環境を作る場合、だいたいこのような構成になるかと思います。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/612/1*ZFSF2z9PTI0pQsTmOhJxtg.png" /></figure><p>構成のポイントは以下です。</p><ul><li><strong>CeleryExecutor</strong>を用いて並列処理を簡単に。なるべくマネージドサービスを使いたかったので、バックエンドには<strong>ElastiCache</strong>を採用。</li><li>コンポーネント（webserverなど）をすべて別々のECSサービスで走らせる。こうすると<strong>スケーリングが楽</strong>。</li><li>webserverにはALBでアクセス。</li><li>バックエンドDBとしてAuroraを利用。</li><li>各コンポーネントは、30秒おきに自分のdagフォルダ とS3上に置かれたdagフォルダをsyncする。<strong>S3経由のデプロイが可能</strong>。</li><li><strong>利用するDockerイメージは一つだけ</strong>。コンテナ実行時のコマンドでそのコンテナがどのコンポーネントになるかを制御。（<a href="https://github.com/puckel">puckel</a>/<a href="https://github.com/puckel/docker-airflow">docker-airflow</a>のentrypoint.shが神）</li></ul><p>以下が実際のDAG（有向非巡回グラフ）です。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*0oG-swgCbD-osnT4nNWbuQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*V8Q-iZDlO2O_CwsW4PnjHw.png" /></figure><p>きれいですね。<br> これはレポートに用いるデータを生成するDAGで、データのクレンジングから各種KPIの計算、Excelファイルの作成などを行います。</p><p>AWS Step Functionsを使っていた頃と比べて<strong>再実行がとても楽</strong>になりました。また、Pythonで実装されているので<strong>pytest</strong>などを使ってDAGの細かいテストをゴリゴリ書けちゃいます。</p><p>余談ですが、よくタスクの実行環境の管理が難しいという話を聞きます。ナウキャストでは、基本的に<strong>すべてのタスクをDockerで包んで</strong>、AirflowはECSのタスクをキックするだけにしています。こうすることで少し手間はかかりますが、<strong>環境管理&amp;テストをAirflowから切り離して考える</strong>ことができます。</p><p>このあたりの話は、また別のポストで書きたいなと思っています。</p><h3><strong>おわりに</strong></h3><p>今回紹介した分析内容は、普段ナウキャストが行っているサービスのほんの一部分です。</p><p>冒頭でも書きましたが、ナウキャストは毎日更新される複数のオルタナティブデータの中から投資や政策の判断を変えうるインサイトを発見し、行政や金融機関、海外ヘッジファンド等に提供しています。顧客に提供するレポートの中では、データのクレンジングから始まり、競合比較、アイテム分析など、さまざまな観点から対象企業の動向を紐解いていきます。</p><p>今のナウキャストは、メンバー、データソース、顧客、売上、すべてが急速に成長していて、<a href="https://finatext.com/interview/20200302/id=8444">会社としてとても面白いフェーズにあると思います</a>。この記事を読んで少しでも興味が湧いた方は、是非オフィスに遊びに来てください！</p><p><a href="https://finatext.com/ja/career">採用サイトはこちら</a><br> <a href="https://finatext.com/interview">社員インタビューはこちら</a><br> <a href="https://www.wantedly.com/companies/finatext">Wantedlyはこちら</a></p><p>*当初公開したURLに誤りがございましたので、修正して新たに本記事を公開いたしました。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=60dae7a00030" width="1" height="1" alt=""><hr><p><a href="https://techblog.finatext.com/impact-of-covid19-on-pos-and-nowcast-data-pipeline-management-60dae7a00030">POSデータにみる新型コロナの消費への影響と、ナウキャストのデータパイプライン管理</a> was originally published in <a href="https://techblog.finatext.com/">The Finatext Tech Blog</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>