<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[programming-soda - Medium]]></title>
        <description><![CDATA[Exciting research &amp; programming like soda! - Medium]]></description>
        <link>https://medium.com/programming-soda?source=rss----8dc8c99fa1c1---4</link>
        <image>
            <url>https://cdn-images-1.medium.com/proxy/1*TGH72Nnw24QL3iV9IOm4VA.png</url>
            <title>programming-soda - Medium</title>
            <link>https://medium.com/programming-soda?source=rss----8dc8c99fa1c1---4</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Mon, 16 Nov 2026 00:22:00 GMT</lastBuildDate>
        <atom:link href="https://medium.com/feed/programming-soda" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[機械学習を意思決定に役立てる方法を探る: The Recon Approach: A New Direction for Machine Learning in Criminal Law]]></title>
            <link>https://medium.com/programming-soda/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%82%92%E6%84%8F%E6%80%9D%E6%B1%BA%E5%AE%9A%E3%81%AB%E5%BD%B9%E7%AB%8B%E3%81%A6%E3%82%8B%E6%96%B9%E6%B3%95%E3%82%92%E6%8E%A2%E3%82%8B-the-recon-approach-a-new-direction-for-machine-learning-in-criminal-law-1c2ebd33722d?source=rss----8dc8c99fa1c1---4</link>
            <guid isPermaLink="false">https://medium.com/p/1c2ebd33722d</guid>
            <category><![CDATA[decision-making]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[piqcy]]></dc:creator>
            <pubDate>Sun, 11 Jul 2021 07:36:53 GMT</pubDate>
            <atom:updated>2021-07-11T07:36:53.532Z</atom:updated>
            <content:encoded><![CDATA[<p>意思決定を科学するpiqcyです(<a href="https://www.wantedly.com/id/kubo_takahiro">新しい自己紹介</a>)。機械学習を意思決定に活用する場合、人の判断を代替する活用方法が多いと思います。例えば面接官に代わって採否を判断する、明日の弁当発注量を予測するなどですね。司法での活用も例外ではなく、犯罪が発生しそうな地域の予測、再犯確率の判断などに使用されています。しかしそうした活用は司法を効率化しても社会正義の実現にはつながらないのではないか？そう指摘し新しい機械学習の活用方法を提唱しているのが今回紹介する。”<a href="https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3834710">The Recon Approach: A New Direction for Machine Learning in Criminal Law</a>”です。</p><p><a href="https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3834710">The Recon Approach: A New Direction for Machine Learning in Criminal Law</a></p><p>論文の問題意識に共感したため読んでみました。この論文には実験結果などがあるわけでなく、アプローチの提案とその実現に必要な技術がまとめられています。本記事は3点に分けて解説します。</p><ol><li>司法における機械学習活用の課題</li><li>新しいアプローチ: Recon Approach</li><li>Recon Approachに必要な技術</li></ol><p>では、解説していきます！</p><h3>1.司法における機械学習活用の問題点</h3><p>司法の現場では、”Predictive”なアプローチで機械学習が活用されています。具体的には警備予測ツールとリスク評価ツールです。</p><p>警備予測ツールは、犯罪が起きそうな地域を予測します。ロサンゼルスやシカゴでは、犯罪防止のために人員などを増やすかどうか検討するのに使用しています。米国の70%の警察機関が、今後5年でこうした警備予測ツールの導入や適用範囲の拡大を計画しているそうです。ずいぶん進んでいるなと驚きましたが、日本でも警視庁で「犯罪・交通事象・警備事象の予測におけるＩＣＴ活用の在り方に関する有識者研究会」が立ち上がり研究が行われていました。</p><p><a href="https://www.iais.or.jp/articles/articlesa/20190410/201904_08/">2019年04月号トピックス 警察庁のオープンデータを活用した独自AIによる犯罪発生予測 | AIS | 一般社団法人 行政情報システム研究所</a></p><p>リスク評価ツールは、個人が暴力的な行動を取るかどうかを予測します。暴力的な行動の発生を年齢や逮捕歴、雇用歴等から予測します。1920年代から統計モデルの研究はありましたが、データ量が増え始めてから、機械学習の活用が増え始めました。刑法の実務家向けに60以上のリスク評価ツールが提供されており、評価ツールのスコアを参考にしている裁判官もいるとのことです。日本でも2012年度から法務省で開発が進められています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uA-G0nHUNA7Ku2xNKvQPYw.png" /><figcaption>「犯罪をした者等の特性に応じた効果的な指導の実施等のための取組」より</figcaption></figure><p>興味がある方は、<a href="http://www.moj.go.jp/content/001278356.pdf">法務省から文書が出ているので読んでみてください</a>。一点注意頂きたいのは、これが「犯罪の未然防止」を目的に使われているわけではないことです。犯罪の未然防止とは、あいつは犯罪を犯しそうだから早めに取り締まろう、という行動のことです。P<a href="https://wikiwiki.jp/psycho-pass/%E7%94%A8%E8%AA%9E%E9%9B%86">SYCHO-PASSというアニメで「犯罪係数」という数値が登場しましたが</a>、犯罪係数は犯罪の未然防止に使用されています。これに対し、リスクアセスメントツールは対象者にあった再犯防止プログラムを客観的・定量的に行うことを目的として開発されています。</p><p>予測ツールに対しては、精度、人種のバイアス、予測の透明性の欠如などに対し批判があります。一方で、そもそも人間はアルゴリズムほど公平ではないという論調もあります。人間より、アルゴリズムの方が公平な判断ができるということですね。公平性という観点で、人間の「裁量」には意味がないのでしょうか?</p><p>人間の代替、裁量の排除という方向ではなく、むしろ人間の「裁量」を効果的に使用するために機械学習を使うことはできないだろうか?Recon Approachの背景にはこの考えがあります。</p><h3>2. 新しいアプローチ: Recon Approach</h3><p>Recon Approachは。「偵察」と「再考」という2つの機能を備えています。</p><ul><li>Reconnaissance: 意思決定に影響を及ぼした要員を明らかにする</li><li>Reconsideration: 異常な意思決定の特定</li></ul><p>予測ではなく、過去から「学ぶ」形です。学ぶのは機械学習モデルではなく、人間です。Recon Approachは、人間の意思決定訓練を通じ、公平な判断と成文化された判断を追求するためにデザインされています。公平な判断とは、道徳的に正当な根拠に基づく、個別事例ごとの判断です。成文化された判断とは、法律に即した判断です。恣意的なバイアスを減らし、効率性と一貫性の向上に貢献します。</p><p>Predictiveなアプローチは、コスト効率よく犯罪行動を最小化します。機械が得意なのは定量化可能な値の処理なので、機械学習はこの領域によく適合します。一方で、Recon Approachは人間の裁量が公平性に利用されるよう促進するという点で遠い位置にあります。</p><p>Recon Approachの機能について解説します。</p><ol><li><strong>Reconnaissance: 意思決定に影響を及ぼした要員を明らかにする</strong></li></ol><p>機械学習を用い、過去の意思決定に共通するパターンを洗い出します。意思決定にかかわる要素の決定は、様々なステークホルダーから収集します。具体的には、判決を受けた人、弁護士、研究者、議員などに対し何が意思決定の際に考慮されるべきかを検討します。Reconnaissanceで構築されるモデルは、高い透明性を持つ必要があります。そのため、明確な考慮する要素のリスト、そして「考慮しない」要素のリストと共に開発される必要があります。</p><p><strong>2. Reconsideration: 異常な意思決定の特定</strong></p><p>パターンから外れるケースについて意思決定のし直しや、関係者からのフィードバックを受けます。ただ、特定の判決が異常値だからといって、それが悪いことにはなりません。逆に、個別要素を考慮するという点で公平性実現の好例となるかもしれません。もちろん、再考慮すべき判決かもしれません。</p><h3>3. Recon Approachに必要な技術</h3><p>Recon Approachの効果を実証するには、実際ツールを作る必要があるとしています。ただ、そのためには克服しなければならない技術的な課題があります。</p><p>10,000語程度の文書に対応できる検索が必要です。現在は500~1000語程度の文書で、コンテキストを認識するには不十分な量です。コンテキストの例としては、文中に「麻薬」という単語が出てきたときに本人が使っていたのか麻薬の売人だったのかを前後の文脈から考慮したうえで関連性を判断する必要があります(これは語数の問題というよりコンテキスト考慮の問題という気がする)。</p><p>マルチステップの推論に対応できる質問応答が必要です。例えば、仮釈放者の記事が最後に書かれたのはいつか?という質問に対してはまず記事を探して、かつその日付を取得する必要があります。</p><p>モデルの説明可能性が必要です。決定木のモデルなど、同一のパターンと判断されたケースの根拠を知ることができる必要があります。</p><p>以上でした。とても興味深く読みました。今行っているサービスでは企業の非財務評価を扱っているのですが、そこでも同じ課題があります。Reconnaissanceの実践にあたっては、非財務評価のフレームワークはリストが使えるかと思いました。</p><p><a href="https://note.com/piqcy/n/n13050b64cfe0?magazine_key=mb381ccaca6f2">実践ESG開示: SASB編｜piqcy｜note</a></p><p>人間がすでに行った決定から潜在的な問題を明らかにし、できるだけ間違えないようにする。この取り組みにはとても共感しました。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1c2ebd33722d" width="1" height="1" alt=""><hr><p><a href="https://medium.com/programming-soda/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%82%92%E6%84%8F%E6%80%9D%E6%B1%BA%E5%AE%9A%E3%81%AB%E5%BD%B9%E7%AB%8B%E3%81%A6%E3%82%8B%E6%96%B9%E6%B3%95%E3%82%92%E6%8E%A2%E3%82%8B-the-recon-approach-a-new-direction-for-machine-learning-in-criminal-law-1c2ebd33722d">機械学習を意思決定に役立てる方法を探る: The Recon Approach: A New Direction for Machine Learning in Criminal Law</a> was originally published in <a href="https://medium.com/programming-soda">programming-soda</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[CDP: Unlocking Climate Solutions に挑戦するPart4(End)]]></title>
            <link>https://medium.com/programming-soda/cdp-unlocking-climate-solutions-%E3%81%AB%E6%8C%91%E6%88%A6%E3%81%99%E3%82%8Bpart4-end-4e365024ae87?source=rss----8dc8c99fa1c1---4</link>
            <guid isPermaLink="false">https://medium.com/p/4e365024ae87</guid>
            <category><![CDATA[finance]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[visualization]]></category>
            <dc:creator><![CDATA[piqcy]]></dc:creator>
            <pubDate>Sat, 12 Dec 2020 04:54:26 GMT</pubDate>
            <atom:updated>2020-12-12T04:54:25.753Z</atom:updated>
            <content:encoded><![CDATA[<p><a href="https://www.kaggle.com/c/cdp-unlocking-climate-solutions/overview">2020/12/3にCDPのコンペティションが終了しました</a>。提出も完了しています。個人的にはこれが初めてのコンペ参加、提出となりました(Award/Tierの対象でないためKaggleオフィシャルのSubmissionとしてカウントはされないのですが)。</p><p><a href="https://www.kaggle.com/c/cdp-unlocking-climate-solutions/overview">CDP: Unlocking Climate Solutions</a></p><p><a href="https://medium.com/programming-soda/cdp-unlocking-climate-solutions-%E3%81%AB%E6%8C%91%E6%88%A6%E3%81%99%E3%82%8Bpart1-c5c0579d2788?source=collection_detail----8dc8c99fa1c1-----2-----------------------">Part1でトップNを目指すつもりはないと言っておきながら</a>、<a href="https://medium.com/programming-soda/cdp-unlocking-climate-solutions-%E3%81%AB%E6%8C%91%E6%88%A6%E3%81%99%E3%82%8Bpart2-93fa626ff5ce">Part2で作成したデータセット</a>が<a href="https://www.kaggle.com/c/cdp-unlocking-climate-solutions/discussion/196576">Notableとして取り上げられ</a>、行けるんちゃうかとしゃかりきになり(これがコンペの魔力かと感じました)、提出と相成りました。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Y1cw8rfNUIe6Dt6eF5ZY9A.png" /><figcaption>Notableのメンション</figcaption></figure><p>そういう意味では予想よりガッツリ取り組むことになりました。本記事では、提出前の動きと提出後の振り返りを書き綴ろうと思います。</p><ul><li>CDPコンペティション提出前</li><li>CDPコンペティション提出後</li></ul><h3>CDPコンペティション提出前</h3><p>コンペティションのOverviewを読み込みました。主催者の意図を確認するためです。財務・非財務を組み合わせるという方向性を決めPart2~3にかけて準備を行いましたが、それをどう主催者の意図に沿ったものに仕立てるのか検討しました。Overviewから重要な点は以下と推察しました。</p><ul><li>CDPは環境に対する取り組みをまとめた大規模なデータセット。</li><li>毎年アンケートを取っており蓄積がある。</li><li>企業/都市双方からアンケートを回収している。</li><li>特に都市について、気候変動対策をしつつ景気を回復させる一方、格差を拡大させない方法について知見を得たい。</li><li>都市/企業が協力できるポイントを見つけたい。</li></ul><p>お題はCDPのデータを使い上記に関連するKPIを作成せよというものです。</p><p>都市での対策を重視している印象でした。環境へ配慮する一方格差や差別といったsocialな問題を気にかけているようです(あまり詳しくないですが、気候変動対策の振興というと大企業有利に働いたりするのか?)。そういう意味では、CDPにないsocial系のデータを組み合わせるのが王道と思いました。今回は企業に焦点を当てると決めていたので、「都市/企業が協力できるポイントを見つけたい」というお題にフォーカスすることにしました。</p><p>ライバルの動向もチェックしました。締め切り前になると何人かの方が提出を始めたので、Voteが多いものを見ながら書き方を盗みました。この点についてはコンペティション提出後で詳しく述べたいと思います。</p><p>最終的に以下の方向性で書くことにしました。</p><ul><li>「都市/企業が協力できるポイントを見つけたい」というリクエストに応える。</li><li>協力するなら有望な機会でなくてはならない。有望性を定性的・定量的に評価する(定性はアンケート回答、定量に財務を使用)。</li><li>都市/企業がそれぞれ取り組んでいる機会を(自然言語処理で)マッチングさせ、そこから定量的・定性的に評価が高いものをランキングする。</li></ul><p>プラスアルファとして、「インタラクティブ性」を加えました。正直環境に対する取り組みなんてものすごくあやふやなので、決定的なKPIを「モニタリングする」よりガチャガチャいじりながら「検討する」方が良いと考えたためです。Altairで以下のようなスライダーで重みをいじれる仕組みを取り入れました。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Flj5wvmGXBTFB6_RWrmqCw.png" /><figcaption>スライダー付きKPI</figcaption></figure><p>上図は企業が取り組む機会を可視化したものです。左でトレンドを、右でトレンドの上下が定量/定性のどちらに起因するのか確認する作りになっています。定性・定量の計算パラメーターをスライダー/ドロップダウンで切り替えられるようにしています。</p><ul><li>定性: 時間軸/発生確率/インパクトそれぞれの重み<br>※機会の時間軸/発生確率/インパクトはアンケート回答から取得</li><li>定量: 計算に使う勘定科目</li></ul><p>企業と都市のマッチングにはベクトル表現(Universal Sentence Encoder)を使用しました。当初定量のみだったのでNLPの出番あるかなと考えていたのですが、企業/都市の取り組みで似たものを探すという重要な役割を果たしてくれました。</p><p>仕事が終わってから取り組むというかなりハードな毎日を過ごしていたので提出前は正直大変でした。提出したNotebookは以下になります(Notebookを提出する形式だった)。</p><p><a href="https://www.kaggle.com/takahirokubo0/crom-climate-related-opportunity-metrics">CROM: Climate-Related Opportunity Metrics</a></p><h3>CDPコンペティション提出後</h3><p>他の提出者のKPIをながめてました。提出前後も含め、以下のKPIが気になりました。お二人ともかなり早い段階で提出されてました。</p><ul><li><a href="https://www.kaggle.com/iamleonie/impact-potential-analysis-of-water-use-efficiency">Impact Potential Analysis of Water-Use Efficiency</a></li><li><a href="https://www.kaggle.com/gigi73/risk-ambition-and-solution-kpis-for-cities">Risk, Ambition and Solution KPIs for cities</a></li></ul><p>“Risk, Ambition and Solution KPIs for cities”は以下の書き方が上手いと思いました。</p><ul><li>レポートの冒頭で、主催者のお題をどう解釈したのか提示。その上で、ゴールを設定。</li><li>ゴールが主催者の意図だけでなく、社会的な世情/動向においてどういう位置づけなのかを語る。</li><li>KPI計算の妥当性を保証するためのフレームワークを提示(今回の場合SDGs)</li><li>計算したKPIの有効性を定量面(複数KPIがあるのだが矛盾した値になっていないか)、定性面(事例との適合)から検証。</li></ul><p>個人的にはこれがトップ取るんじゃないかなと思っています。方法はすべてまねたんですが、時間の関係でKPI計算の妥当性や事例分析を収められなかったのが反省点です。提案手法の背景や手法の妥当性を説くのは”Impact Potential Analysis of Water-Use Efficiency”でも同様です。プロの人?が書くレポートってこんな感じなんだなと感心しました。</p><p>今回の学びはデータを解析する際に活かしてきたいです。また、今回のコンペティションでの可視化はAltairをフル活用しました。<a href="https://medium.com/programming-soda/%E4%BC%81%E6%A5%AD%E8%B2%A1%E5%8B%99%E6%83%85%E5%A0%B1%E3%82%92%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%A9%E3%82%AF%E3%83%86%E3%82%A3%E3%83%96%E3%81%AB%E5%8F%AF%E8%A6%96%E5%8C%96%E3%81%99%E3%82%8B-part2-e58c455bdfce">コンペ前の連載でAltairを扱っていましたが</a>、図らずもかなり使い込むことができたのでそのまんま実践に入れそうです。</p><p>次回からはまた財務の可視化に戻ろうと思います。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4e365024ae87" width="1" height="1" alt=""><hr><p><a href="https://medium.com/programming-soda/cdp-unlocking-climate-solutions-%E3%81%AB%E6%8C%91%E6%88%A6%E3%81%99%E3%82%8Bpart4-end-4e365024ae87">CDP: Unlocking Climate Solutions に挑戦するPart4(End)</a> was originally published in <a href="https://medium.com/programming-soda">programming-soda</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[CDP: Unlocking Climate Solutions に挑戦するPart3]]></title>
            <link>https://medium.com/programming-soda/cdp-unlocking-climate-solutions-%E3%81%AB%E6%8C%91%E6%88%A6%E3%81%99%E3%82%8Bpart3-f22eb16ec7ad?source=rss----8dc8c99fa1c1---4</link>
            <guid isPermaLink="false">https://medium.com/p/f22eb16ec7ad</guid>
            <category><![CDATA[finance]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[piqcy]]></dc:creator>
            <pubDate>Mon, 23 Nov 2020 12:37:53 GMT</pubDate>
            <atom:updated>2020-11-23T12:37:53.535Z</atom:updated>
            <content:encoded><![CDATA[<p><a href="https://medium.com/programming-soda/cdp-unlocking-climate-solutions-%E3%81%AB%E6%8C%91%E6%88%A6%E3%81%99%E3%82%8Bpart2-93fa626ff5ce">Part2で揃えた財務と排出量のデータ</a>を組み合わせて指標を作成します。今回は指標を作成し簡単な分析するのみで、その意味付けや改善は次回Part4で行おうと思います(Part4が最終になる予定)。よって若干可視化しただけ状態になっていますが、その点はご容赦ください。</p><p>本記事の構成は以下の通りです。</p><ol><li>Hybrid Metricsの計算</li><li>Hybrid Metricsの分析</li><li>Hybrid Metricsの分解</li></ol><p>検証に使用したKaggleのKernelは以下になります。</p><p><a href="https://www.kaggle.com/takahirokubo0/cdp-hybrid-metrics-for-corporate-sustainability">CDP: Hybrid Metrics for Corporate Sustainability</a></p><h3>Hybrid Metricsの計算</h3><p>Part2で財務(EBITDA)と非財務(排出量)のデータをそろえたので、以下のHybrid Metricsを計算してみます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/685/0*Y0cyPUcCr_uAZAwm.png" /></figure><p>計算に使用するEBITDAと排出量の分布は以下のようになっていました。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/381/0*Gz21focoHC1vo7RJ.png" /></figure><p>非常に偏りがあり、普通にEBITDA / 排出量を計算すると偏ったままになるので、計算後対数を取るようにしました。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/381/1*QNvCjykcjpFdLJe-TabbEQ.png" /><figcaption>Hybrid Metrics対数化前後比較</figcaption></figure><p>可視化した結果が以下になります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/779/1*S858hwhir1nQMKMXTUlIKg.png" /><figcaption>Hybrid Metrics可視化</figcaption></figure><p>全体的にEBITDAより排出量の方が値にとって決定的な印象です。値のスケールが違うので、正規化を行って計算すると以下のようになります(カウントの表示がおかしい気がするが・・・)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/780/1*RvSSl907MHtZuk8SYDNyYg.png" /><figcaption>Hybrid Metrics可視化(正規化後)</figcaption></figure><p>排出量の方が効いている、というのが顕著に出ている印象です。</p><h3>Hybrid Metricsの分析</h3><p>実際に高い/低い会社はどんな会社なのか?を見てみます。ボックスプロットをすると以下のようになるので、上位/下位の外れ値を抜いてみます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/653/1*juf8hmmNHZw0oEOmMJpdXQ.png" /><figcaption>Hybrid MetricsのBox</figcaption></figure><p>こちらが高い会社。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/953/1*kOWZP6Unpp9BEG4URURV3A.png" /><figcaption>Hybrid Metrics上位の会社</figcaption></figure><p>こちらが低い会社です。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yHr1KxWSPh6_RqdL2RxQ1A.png" /><figcaption>Hybrid Metrics下位の会社</figcaption></figure><p>さすがにパッと見ではなかなかわからないですね。この辺はCDPのアンケート回答と照らし合わせる必要がありそうです。また、エネルギー系の会社ほど排出量が多くなるなどアンフェアな面もあると思います。業界ごとに分析するのが良いのかもしれません。</p><h3>Hybrid Metricsの分解</h3><p>会計の指標は分解して分析ができるという特徴があります。減価償却を抜き出して、以下2項に分けてみます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*SnJkxyhE-19JHzZp.png" /><figcaption>Hybrid Metricsの分割</figcaption></figure><p>片方がキャッシュを得るための資産効率、他方が資産を調達するための排出量効率と見なせます。それぞれをプロットすると以下のようになります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/780/1*0fIbgm4jpsksJN0ghSPHIA.png" /><figcaption>Hybrid Metrics分解分析</figcaption></figure><p>両方効いているように見えますが、若干調達効率の方が効いている印象です。こちらでボックスプロットを描くと、若干すそ野が広がった感じの図になります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/647/1*eb1PmOUZm6hDtas1sOWYFA.png" /><figcaption>調達効率のBox Plot</figcaption></figure><p>資産効率の方は以下のようになります。あまり変わらないような気もしますが。。。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/647/1*7ULTBrXLrxIgkc80DCGP5w.png" /></figure><p>本記事ではHybrid Metricsの計算・分解・可視化を行いました。現状はまるで外している指標ではなさそうだ、というくらいでどこにどう役に立つのかはまだ不透明な状態です。次回、この点を分析しその結果をもって改良を行ってみようと思います。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f22eb16ec7ad" width="1" height="1" alt=""><hr><p><a href="https://medium.com/programming-soda/cdp-unlocking-climate-solutions-%E3%81%AB%E6%8C%91%E6%88%A6%E3%81%99%E3%82%8Bpart3-f22eb16ec7ad">CDP: Unlocking Climate Solutions に挑戦するPart3</a> was originally published in <a href="https://medium.com/programming-soda">programming-soda</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[CDP: Unlocking Climate Solutions に挑戦するPart2]]></title>
            <link>https://medium.com/programming-soda/cdp-unlocking-climate-solutions-%E3%81%AB%E6%8C%91%E6%88%A6%E3%81%99%E3%82%8Bpart2-93fa626ff5ce?source=rss----8dc8c99fa1c1---4</link>
            <guid isPermaLink="false">https://medium.com/p/93fa626ff5ce</guid>
            <category><![CDATA[finance]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[piqcy]]></dc:creator>
            <pubDate>Sun, 15 Nov 2020 13:53:22 GMT</pubDate>
            <atom:updated>2021-03-11T11:31:52.470Z</atom:updated>
            <content:encoded><![CDATA[<p><a href="https://www.kaggle.com/c/cdp-unlocking-climate-solutions/overview">CDPコンペティション</a>のゴールであるKPI開発について検討します。企業や都市が、環境や社会へのインパクトを考慮に入れた活動をしているかを計測する指標が本コンペティションで開発を求められているKPIです。私の専門は企業価値分析なので、もちろん企業に対するKPI開発を検討します。</p><p>本記事ではKPI開発案のベースとした「Hybrid Metrics」の紹介と、それに必要なデータを収集します。収集したデータは以下で公開しています(External Data Prizeにsubmitしました)。</p><p><a href="https://www.kaggle.com/takahirokubo0/annual-financial-data-for-hybrid-cdp-kpi">Annual Financial Data For Hybrid Metrics</a></p><p>構成は以下の通りとなります。</p><ol><li>Hybrid Metricsとは</li><li>CDPコンペティションにおけるHybrid Metrics</li><li>データの収集</li></ol><h3>Hybrid Metricsとは</h3><p>Hybrid Metricsは、Shared Value Initiativeが提唱した財務と非財務を組み合わせた指標です。</p><p><a href="https://www.sharedvalue.org/resource/hybrid-metrics/">Hybrid Metrics: Connecting Shared Value to Shareholder Value - Shared Value Initiative</a></p><p>Shared Value Initiativeは経営学で著名なマイケル・E・ポーター教授が提唱した共有価値(CSV=Creating Shared Value)を普及促進している団体です。共有価値は企業の経済的価値と社会的価値双方(“Shared Value”)を創造する(=”Create”)ものです。近年のマテリアリティとも通じる価値です。</p><p>”Shared Value”をどう計測するのか?は長年の課題でした。というのも、会計については決まった規則がありその通り開示されますが「社会的価値」は開示方法に規則がなく故に計測が困難なためです。何をもって「社会的価値」とするのかも曖昧で、今回のCDPコンペティションでは「環境や社会へのインパクト」と読み替えられていますがその定義は一様でありません。</p><p>Hybrid Metricsは現状の定量的な指標で”Shared Value”を計測する手法です。以下のような指標を例として提示しています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/727/1*MmySnBso6Evz4X6An-d4Yg.png" /><figcaption>Hybrid Metricsの素案</figcaption></figure><p>現時点でのHybrid Metricsの特徴は以下3点です。</p><ol><li>社会的価値に関連する計測可能な指標を、財務指標と組み合わせた</li><li>業界ごとに組み合わせる指標が変わる</li><li>組み合わせる指標間の因果関係は未だ証明されていない</li><li>財務指標と同様、指標の分解が可能</li></ol><p>全会社に適用できる汎用的な指標を作ることはあきらめています(2)。CO2排出量がIT業界において持つ重みと石油化学業界において持つ重みは異なるということです。また、Hybrid Metricsは個別企業の事例で効果が検証されている段階で、多くの企業に適用した統計的な分析はありません(3)。そのため、まだドラフト版という状態です。</p><p>Hybrid Metricsは割り算で構成されるため、分解が可能です(4)。以下は健康にいい活動(ダイエット)をした人に報酬を与える企業の指標例です。健康改善⇒行動改善⇒インセンティブに繋がる、ゆえにValue/Member(=労働生産性)が上がる、と解釈できます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*A4B1XbBunXaX_GbQK0VvGQ.png" /><figcaption>Figure3より</figcaption></figure><h3>CDPコンペティションにおけるHybrid Metrics</h3><p>本コンペティションでHybrid Metricsが使えるか検討します。求められているのは「企業や都市が環境/社会へのインパクトを考慮し活動をしているか」の計測です。財務/非財務の組み合わせの観点からすると、少ない二酸化炭素排出量で多くの収益を上げていれば「燃費がいい」と言えそうです。燃費の改善=「インパクトを考慮した活動」とすれば、Hybrid Metricsを活動の計測指標と考えられそうです。</p><h3>データの収集</h3><p>Hybrid Metricsの計算には財務・非財務双方のデータが必要です。財務についてはHybrid Metricsで使用されているEBITDA(Earnings Before Interest Taxes Depreciation and Amortization)や売上原価の計算に必要な項目を取得します。EBITDAは営業CFに近い値です(実質的に1年間で得たキャッシュ量)。</p><h4>財務数値の取得</h4><p>財務数値はもちろん決算書から取得しています。日本のEDINETにあたるEDGARから決算書を得ることができます(※EDINETがそもそもEDGARをモデルに作られた)。EDGARを運営するSECはBigQueryでデータを公開しています。</p><p><a href="https://www.kaggle.com/bigquery/sec-filings">SEC Filings</a></p><p>ただ以下の難点があり、EDGARからの取得は行いませんでした。</p><ol><li>どのタグが何に対応しているか<a href="https://www.sec.gov/info/edgar/edgartaxonomies.shtml">タクソノミ</a>から判定する必要がある。</li><li>企業によって使っているタクソノミがまちまちで正確な取得が困難。</li><li>CDPで使われている証券コードをデータに持っておらず、<a href="https://www.sec.gov/edgar/searchedgar/accessing-edgar-data.htm">外部マスタ</a>と突合が必要(SECではCIKというコードを使っている)。</li></ol><p>代わりに使用したのがSimFinというAPIです。</p><p><a href="https://simfin.com/data/api">SimFin</a></p><p>無課金の場合直近のデータが取れない、回数制限がありますがきれいに財務データを取得できます(今回は大人の力で課金しました)。また開発用キット(SDK)があり、EBITDAの関数も実装されています。EBITDAには2つ数式があるのですが、両方に対応しています(どちらを使用しても基本的に大差はない)。</p><p><a href="https://github.com/SimFin/simfin-tutorials/blob/master/Small_Recipes.ipynb">SimFin/simfin-tutorials</a></p><p>SimFinとCDPのデータを証券コードで突合し、財務非財務がセットになったデータを作成しました。こちらは以下で公開しています(External Dataset Prizeに応募したものです)。</p><p><a href="https://www.kaggle.com/takahirokubo0/annual-financial-data-for-hybrid-cdp-kpi">Annual Financial Data For Hybrid Metrics</a></p><h4>非財務数値の取得</h4><p>CDPからは非財務の定量的なデータを取得可能です。今回は気候変動に焦点を絞りたいと思います。質問の定義書を参照すると、どの質問で排出量が回答されているかわかります。以下は質問の例で、フローチャート状になっています(なぜか2020年の質問の定義書にはフローチャートが掲載されていないですが)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OqVnwXbVZWygEIbDHyPCBA.png" /><figcaption>C4 Targets and performanceの回答フロー</figcaption></figure><p>排出量の計算方法とその値の記載があるのはC4 Targets and performance、C5 Emissions methodologyとC6 Emissions dataです。結論から言うとC6からの取得が最も効率的です。</p><ul><li>C4: 排出量削減計画の回答で、目標と進捗状況を報告</li><li>C5: 基準年の排出量を報告</li><li>C6: 報告年の排出量を報告</li></ul><p>上記の中で、純粋な当年の排出量の報告はC6のみです。C4の目標値と進捗状況からも取得は可能ですが、目標値は様々なScopeが混じっており上手く仕訳けるのが困難です。Scopeとは排出量の計測範囲のことで、以下3種類があります。</p><ul><li>Scope1: 自社の燃料で排出した量</li><li>Scope2: 他社で生産されたエネルギー量(電力など)<br>供給箇所の平均に基づく原単位を使用する方法(location-base)と、調達方法に基づく原単位を使用する方法(market-base)の2種類がある。market-baseの場合、再生可能エネルギーを指定して調達している場合などに反映ができる。</li><li>Scope3: サプライチェーン全体の排出量<br>製品の調達など、サプライチェーン上の関係15種に応じて報告を行う。</li></ul><p>Scope2についてはこちらに公式の解説があります。</p><p><a href="https://ghgprotocol.org/scope_2_guidance">Scope 2 Guidance | Greenhouse Gas Protocol</a></p><p>Scope3については環境省が資料を公開しています。</p><p><a href="https://www.env.go.jp/earth/ondanka/supply_chain/gvc/supply_chain.html">環境省 グリーン・バリューチェーンプラットフォーム：サプライチェーン排出量算定をはじめる方へ</a></p><p>実際取得する方法をKaggleのKernelにまとめて公開しています。</p><p><a href="https://www.kaggle.com/takahirokubo0/extract-emissions-from-corporate-responses">Extract Emissions from Corporate Responses</a></p><p>C6から取得した排出量を、Altairを使用しインタラクティブなグラフにまとめました(この記事上は画像でインタラクティブには動きませんが・・・↑のKernel上で動かせます)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*26rR2MDfXiHN0HvKBouyiA.png" /></figure><p>左がScope別排出量、右が業種別の排出量となります。右の赤は飲料、ピンクは製造業なのですが、飲料が減る一方製造業は伸びています。報告する企業が増えたのか、実際排出量が増えているのかは気になる所です。</p><p>いずれにしても、財務・非財務両方の数値がそろいました。次回は。これらを使用しHybrid Metricsを計算したいと思います。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=93fa626ff5ce" width="1" height="1" alt=""><hr><p><a href="https://medium.com/programming-soda/cdp-unlocking-climate-solutions-%E3%81%AB%E6%8C%91%E6%88%A6%E3%81%99%E3%82%8Bpart2-93fa626ff5ce">CDP: Unlocking Climate Solutions に挑戦するPart2</a> was originally published in <a href="https://medium.com/programming-soda">programming-soda</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[CDP: Unlocking Climate Solutions に挑戦するPart1]]></title>
            <link>https://medium.com/programming-soda/cdp-unlocking-climate-solutions-%E3%81%AB%E6%8C%91%E6%88%A6%E3%81%99%E3%82%8Bpart1-c5c0579d2788?source=rss----8dc8c99fa1c1---4</link>
            <guid isPermaLink="false">https://medium.com/p/c5c0579d2788</guid>
            <category><![CDATA[finance]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[piqcy]]></dc:creator>
            <pubDate>Tue, 03 Nov 2020 09:15:09 GMT</pubDate>
            <atom:updated>2020-11-03T09:15:09.121Z</atom:updated>
            <content:encoded><![CDATA[<p>Kaggleで開催されている<a href="https://www.kaggle.com/c/cdp-unlocking-climate-solutions/overview">CDP: Unlocking Climate Solutions</a>へ挑戦します。とはいえ私はKaggleのコンペにチャレンジするのは初めてなので、トップNに入ってやろうというより以下3点に注力したいと思います。</p><ul><li>「CDP」というデータを理解する</li><li>「CDP」の形式に適した前処理/可視化/データ加工方法の習得</li><li>なにはともあれ一定の書式でちゃんと提出する</li></ul><p>Part1では、CDPというデータの理解をまず行いたいと思います。業務上ある程度内容をしっているのですが、たぶん全然知らない人がほとんどだと思います。そのため、紹介も兼ねながらまとめていきたいと思います。なお、コンペティションのページは以下になります。</p><p><a href="https://www.kaggle.com/c/cdp-unlocking-climate-solutions/overview">CDP: Unlocking Climate Solutions</a></p><p>CDPには都市と企業の回答がありますが、ここでは企業を扱います(職業上)。見たところ都市の測定を期待されている印象ですがそもそもTopNに入ることが目的ではないので華麗にスルーします。</p><h3>CDPについて</h3><p>CDPは<a href="https://www.cdp.net/en/info/about-us/what-we-do">Carbon Disclosure Project</a>の略称です。各都市や企業に対し、環境影響に対し開示をおこなうよう要請しそのデータを収集しているNPOです。CDPは<a href="https://www.cdp.net/ja/info/contact">世界50カ国に何がしかの形で拠点があり</a>、日本にもあります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nvKNoKqHrT8vMGjMToia_g.png" /><figcaption>Where we are based より</figcaption></figure><p>開示とは具体的にはアンケートで、質問の項目は、気候変動・水資源・森林資源の3つにフォーカスされています。<a href="https://www.cdp.net/ja/info/about-us/what-we-do">8,400企業、800以上の都市が回答しており</a>、アンケートの規模としてはかなり多きいです。CDPへの回答が投資からチェックされることもあり、企業側としては投資家に対する説明責任の履行という側面もあります。</p><h3>CDPのデータについて</h3><p>Kaggleのコンペティションでは以下3つのデータが提供されています。</p><ul><li>Disclosing: 回答した企業のメタデータ(Tickerや業種など)</li><li>Questionaries: 質問内容</li><li>Responses: 回答内容</li></ul><p>Responsesについては、どうやら表形式の回答になっています。「あなたは真面目に気候変動リスクに取り組んでいますか?」という質問があったらその下に「いつから」「どういう目的で」「どういう活動をやっている」みたいな表があって、そこに行を追加して回答するみたいな感じです。列形式は様々なので、質問を絞らないと回答を取るのが難しいです(しれっと書いていますが、これを解き明かすのにそこそこ時間かかりました)。</p><p>会社側のデータについて、回答データの全量と回答状況を分析しました。以下にKernelを公開しているので参考にしてみてください。</p><p><a href="https://www.kaggle.com/takahirokubo0/overview-of-corporations-data-of-cdp">Overview of Corporations Data of CDP</a></p><p>企業分析に興味がある方は、ぜひ参加してみてください！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c5c0579d2788" width="1" height="1" alt=""><hr><p><a href="https://medium.com/programming-soda/cdp-unlocking-climate-solutions-%E3%81%AB%E6%8C%91%E6%88%A6%E3%81%99%E3%82%8Bpart1-c5c0579d2788">CDP: Unlocking Climate Solutions に挑戦するPart1</a> was originally published in <a href="https://medium.com/programming-soda">programming-soda</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[企業財務情報をインタラクティブに可視化する Part2]]></title>
            <link>https://medium.com/programming-soda/%E4%BC%81%E6%A5%AD%E8%B2%A1%E5%8B%99%E6%83%85%E5%A0%B1%E3%82%92%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%A9%E3%82%AF%E3%83%86%E3%82%A3%E3%83%96%E3%81%AB%E5%8F%AF%E8%A6%96%E5%8C%96%E3%81%99%E3%82%8B-part2-e58c455bdfce?source=rss----8dc8c99fa1c1---4</link>
            <guid isPermaLink="false">https://medium.com/p/e58c455bdfce</guid>
            <category><![CDATA[finance]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[piqcy]]></dc:creator>
            <pubDate>Sat, 17 Oct 2020 05:41:42 GMT</pubDate>
            <atom:updated>2020-10-17T05:41:42.873Z</atom:updated>
            <content:encoded><![CDATA[<p>Part2では可視化に使用する<a href="https://altair-viz.github.io/">Altair</a>の解説を行います。Altairの概要、基本的な使い方、最後に目的とする連動グラフの描画までを解説します。本記事では以下の順で記載していきます。</p><ol><li>Altairの概要</li><li>Altairを利用したシンプルなグラフの描画</li><li>連動グラフの描画</li></ol><p>では、始めていきましょう！実装は以下にまとめています。</p><p><a href="https://github.com/icoxfog417/visualize_financial_data">icoxfog417/visualize_financial_data</a></p><h3>Altairの概要</h3><p><a href="https://altair-viz.github.io/">Altair</a>は<a href="https://vega.github.io/vega-lite/">Vega-Lite</a>をPythonから扱うためのライブラリです。Vega-Liteは一般的な可視化描画のAPIから<a href="https://vega.github.io/vega/about/">”Vega”という「可視化を記述する言語」</a>を出力するライブラリです。データを扱うための言語がSQLとして、可視化にとってのSQLに近い存在を目指し開発されています。つまり、AltairはAltair =&gt; Vega-Lite =&gt; Vegaという流れで実行されます。Vega周辺のエコシステムは以下のようになっています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*36n3XDrgkS_kZqugYyMwkA.png" /><figcaption>Vega Ecosystem</figcaption></figure><ul><li><a href="https://vega.github.io/vega/">Vega</a><br>「可視化を記述する言語」。実装にはD3を用いている。</li><li><a href="https://vega.github.io/vega-lite/">Vega-Lite</a><br>Vegaを使用し描画を行うデータ描画ライブラリ。<a href="https://vega.github.io/editor/#/examples/vega/bar-chart">Vega</a>と<a href="https://vega.github.io/editor/#/examples/vega-lite/bar">Vega-Lite</a>のExampleを見比べるとどの程度記述量に差異があるかわかります。</li><li><a href="https://altair-viz.github.io/">Altair</a><br>PythonからVega-Liteを使用し描画するライブラリ。</li><li><a href="http://idl.cs.washington.edu/projects/lyra/">Lyra</a><br>Vega/Vega-Liteを使用しデータを可視化するGUI。商用の<a href="https://www.tableau.com/ja-jp">Tableau</a>に近いUI。</li><li><a href="http://idl.cs.washington.edu/papers/voyager/">Voyager</a><br>単にデータを見るだけでなく可視化して知見を得るための分析ツール。</li></ul><p>Altairの背後に大きな構想とエコシステムがあることがわかります。開発してるのはUW Interactive Data Lab(idl)という研究グループです。</p><p><a href="http://idl.cs.washington.edu/">UW Interactive Data Lab</a></p><p>idlグループは<a href="http://idl.cs.washington.edu/about/">可視化の歴史を率いてきたといっても過言ではありません</a>。発端は1990年代のStanford Visualization Groupで、そこからTableauが生まれ、D3が生まれ、Trifactaが生まれ・・・と軽く眩暈がする成果を上げて現在ワシントン大学に至りVegaの開発を行っています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZQrH9zsk_ah-m1kYecNViA.png" /><figcaption>idlの歴史</figcaption></figure><p>そんじょそこらのD3ラッパーではないことがわかっていただけたと思います。安心して使えるライブラリと言えるでしょう。</p><h3>Altairを利用したシンプルなグラフの描画</h3><p>Altairを使用して描画を行ってみます。インストール/チュートリアルについては公式ページにまとまっているため割愛します。</p><p><a href="https://altair-viz.github.io/index.html">Vega-Altair: Declarative Visualization in Python - Altair 4.2.2 documentation</a></p><p>Altairの基本的な使い方と思想についてはPyCon 2018の資料にまとまっています。</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fspeakerdeck.com%2Fplayer%2Fac695de047544f93b4c85106c50ce06b&amp;display_name=Speaker+Deck&amp;url=https%3A%2F%2Fspeakerdeck.com%2Fjakevdp%2Faltair-tutorial-intro-pycon-2018&amp;image=https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fac695de047544f93b4c85106c50ce06b%2Fslide_0.jpg%3F461469&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=speakerdeck" width="710" height="532" frameborder="0" scrolling="no"><a href="https://medium.com/media/e97f52038d0bf6361ca78a940d07c2bc/href">https://medium.com/media/e97f52038d0bf6361ca78a940d07c2bc/href</a></iframe><p>Altair(というかVega)は「宣言的な可視化(Declarative)」を目指しています。「x=10、y=1のところに赤いサークルを置く」みたいな逐次的な命令でなく(How)、「A列をx、B列をyとして散布図を書く(色は赤)」といった最終的にやりたいこと(What)を記述する方式です。上記スライドの34pはそれが良く表れていると思います。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VNaFYD-ykn3YfhFHgjQJtg.png" /><figcaption>Altairの可視化</figcaption></figure><ul><li>Chart(car): carデータを描画する</li><li>mark_point: 散布図を描画する</li><li>encode: carデータとmark_pointに必要なx、yをマッピングする</li></ul><p>to_jsonを使用すると生成されたVegaを参照することができます。</p><p>描画の肝は”encode”処理になります。描画したいデータには実数値やカテゴリー変数など様々な種別のデータが含まれるためです。Altairでは、以下4タイプのデータ種別があり指定がない場合自動で判別してくれます。</p><ul><li>Q(quantitative): 定量的データ（実数値）</li><li>N(nominal): カテゴリー変数（国名/地域名など）</li><li>O(ordinal): 順列性のあるカテゴリー変数(離散値?)</li><li>T(temporal): 年・月などの時間項目</li></ul><p>詳細なチュートリアルがあるため、そこを見ると使い方がよくわかります。</p><p><a href="https://altair-viz.github.io/altair-tutorial/README.html">Altair Tutorial</a></p><h3>Altairを利用した連動グラフの描画</h3><p>最後に、目的としている連動グラフを描画しましょう。以下に解説があるためそのまま使用します。</p><p><a href="https://altair-viz.github.io/gallery/scatter_with_layered_histogram.html">Interactive Scatter Plot and Linked Layered Histogram - Altair 4.1.0 documentation</a></p><p>コードは以下のようになります(短いので図で貼っています。詳細はGitHubリポジトリを参照ください)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jkug-Ia0ND5VFcBUDIf8nA.png" /></figure><p>図にすると以下のような感じです。共通のbaseから派生して2つの図を描画しており、baseに設定されたselectorが派生先の図それぞれで作用するという仕組みになります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*F-vemB8FXPm0alOeAmLxTA.png" /></figure><p>かなり簡単にできたため正直拍子抜けしました。すごいぜAltair。</p><p>描画はいい感じにできたので、Part3では実際の財務データを描画してみようと思います。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e58c455bdfce" width="1" height="1" alt=""><hr><p><a href="https://medium.com/programming-soda/%E4%BC%81%E6%A5%AD%E8%B2%A1%E5%8B%99%E6%83%85%E5%A0%B1%E3%82%92%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%A9%E3%82%AF%E3%83%86%E3%82%A3%E3%83%96%E3%81%AB%E5%8F%AF%E8%A6%96%E5%8C%96%E3%81%99%E3%82%8B-part2-e58c455bdfce">企業財務情報をインタラクティブに可視化する Part2</a> was originally published in <a href="https://medium.com/programming-soda">programming-soda</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[企業財務情報をインタラクティブに可視化する Part1]]></title>
            <link>https://medium.com/programming-soda/%E4%BC%81%E6%A5%AD%E8%B2%A1%E5%8B%99%E6%83%85%E5%A0%B1%E3%82%92%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%A9%E3%82%AF%E3%83%86%E3%82%A3%E3%83%96%E3%81%AB%E5%8F%AF%E8%A6%96%E5%8C%96%E3%81%99%E3%82%8B-part1-fcef2cdf7138?source=rss----8dc8c99fa1c1---4</link>
            <guid isPermaLink="false">https://medium.com/p/fcef2cdf7138</guid>
            <category><![CDATA[finance]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[piqcy]]></dc:creator>
            <pubDate>Sat, 03 Oct 2020 08:24:01 GMT</pubDate>
            <atom:updated>2020-10-03T08:24:01.206Z</atom:updated>
            <content:encoded><![CDATA[<p><a href="https://medium.com/programming-soda/%E8%B2%A1%E5%8B%99%E5%88%86%E6%9E%90%E3%81%AB%E6%AC%A0%E3%81%8B%E3%81%9B%E3%81%AA%E3%81%84-xbrl%E3%82%92%E7%90%86%E8%A7%A3%E3%81%99%E3%82%8B-part3-4cffee01d92a">前回はXBRLからのデータ取得を行いました</a>。今連載ではデータの可視化に挑戦します。可視化の手法を確立しておくことで、今後注記情報なども含めて構造化していこう・・・としている財務情報について、データを入れればサクッとみられるようにしておきたいと思います。<br>Part1では可視化手法とライブラリの選定を行います。</p><p>結論としては、以下で行います。</p><p>・ラインチャートとツリーマップの複合で可視化を行う。<br>・ライブラリはAltairを使用する。</p><p>結論に至った背景を、以下で紹介していきます。</p><h4>財務情報の可視化方法</h4><p>財務情報は以下のようなボックスで可視化されることが多いです。これは、会計上の表記(貸借対照表)をそのままトレースした可視化です。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oKvuWzk1FSfvlk7obQOtfw.png" /><figcaption><a href="https://www.kamilfranek.com/microsoft-annual-report-financial-overview-and-analysis/">Microsoft Annual Report: Financial Overview &amp; Analysis 2020 より引用</a></figcaption></figure><p>ただ、個人的にこの図が見やすいと感じたことはないです。端的には玄人向けの可視化手法だと思います。</p><ol><li>入り出、という関係(流れ)が一般的な左から右ではなく右から左</li><li>左右(借方/貸方)・上下(流動/固定)を解釈するのに事前知識が必要</li><li>数字の絶対的な大きさが表現されない(どの企業でもボックス全体の大きさが等しい)</li><li>形状の妥当性(自己資本比率など)を評価するのに事前知識だけでなく、比較対象(時系列や同業他社)が必要。</li></ol><p>2と3を反映することで解釈性を向上させることはできます。Buffet Codeの表示例が以下になります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Bn4-_rOHLbANG7gHawck5w.png" /><figcaption><a href="https://www.buffett-code.com/company/3626/">Buffet Codeの比例縮尺財務諸表</a></figcaption></figure><p>ただ、数値の絶対値/形状の比率はいずれもラインチャートで表示できるので、その方が解釈性は高いと感じました。</p><p>1について、素直に上から下に流した図が以下になります(<a href="https://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%B3%E3%82%AD%E3%83%BC_%E3%83%80%E3%82%A4%E3%82%A2%E3%82%B0%E3%83%A9%E3%83%A0">Sankey diagram</a>という手法です)。これはかなり解釈性が高いと思います。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IFxUYbbwRuYz2Nilysl9Rg.png" /><figcaption><a href="https://www.kamilfranek.com/microsoft-annual-report-financial-overview-and-analysis/">Microsoft Annual Report: Financial Overview &amp; Analysis 2020 より引用</a></figcaption></figure><p>ただ、非定型の図なので表示領域をキープするのに難儀しそうです。</p><p>いいサンプルを見つけるのに結構苦労しました。売上や利益の単純なバーチャートやラインチャート、旧来のボックスなど・・・をかき分けて見つけたのが以下の可視化です。goinvoという会社がマサチューセッツ州 アーリントン町の予算可視化を請け負い作成したものです。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pSJ8YIj60bWfCgz1fM6bww.png" /><figcaption><a href="http://arlingtonvisualbudget.org/revenues">Arlington, MA Town Budget, Visualized</a></figcaption></figure><p>時系列変化はライン、構造はツリーマップで可視化しています。1つの図で変化と構造を表すのでなく、役割分担しています。またツリーマップはクリックすることでドリルダウンしていく形式をとっており、一度に全構造をさらしてしまうことによる複雑性の増大を防いでいます。</p><p>これは非常に納得感があったので、ありがたく参考にさせて頂くことにしました。</p><h4>可視化ライブラリの選定</h4><p>可視化の手法として複数チャートの複合を選択しました。そのため、複数の図を連動させることができるライブラリが必要です。端的に言えば、インタラクティブな可視化が可能なライブラリです。また、言語はPythonを想定します。</p><p>「Pythonでインタラクティブな図が描画できるライブラリ」は主に以下3つです。</p><p>・<a href="https://altair-viz.github.io/">Altair</a><br>・<a href="https://docs.bokeh.org/en/latest/index.html">Bokeh</a><br>・<a href="https://plotly.com/python/">Plotly</a></p><p>この中で、2つのプロットを連動させることができそうなのはAltairとPlotlyでした(Bokehでもできるかもしれませんが)。</p><p>Altairはサンプルがあります。</p><p><a href="https://altair-viz.github.io/gallery/scatter_with_layered_histogram.html">Interactive Scatter Plot and Linked Layered Histogram - Altair 4.1.0 documentation</a></p><p>Plotly(というかDash)もサンプルがあるのですが・・・</p><p><a href="https://dash.plotly.com/interactive-graphing">Part 4. Interactive Graphing and Crossfiltering | Dash for Python Documentation | Plotly</a></p><p>ちょっとやばい雰囲気だったのでAltairで行こうと思います。</p><p>Part2では、まずAltairの動作を確認してみようと思います。その後、実際のデータを入れていく予定です。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fcef2cdf7138" width="1" height="1" alt=""><hr><p><a href="https://medium.com/programming-soda/%E4%BC%81%E6%A5%AD%E8%B2%A1%E5%8B%99%E6%83%85%E5%A0%B1%E3%82%92%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%A9%E3%82%AF%E3%83%86%E3%82%A3%E3%83%96%E3%81%AB%E5%8F%AF%E8%A6%96%E5%8C%96%E3%81%99%E3%82%8B-part1-fcef2cdf7138">企業財務情報をインタラクティブに可視化する Part1</a> was originally published in <a href="https://medium.com/programming-soda">programming-soda</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Figmaで行うプロトタイピング・・・のはずだった]]></title>
            <link>https://medium.com/programming-soda/figma%E3%81%A7%E8%A1%8C%E3%81%86%E3%83%97%E3%83%AD%E3%83%88%E3%82%BF%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0-%E3%81%AE%E3%81%AF%E3%81%9A%E3%81%A0%E3%81%A3%E3%81%9F-b35cbd11ca3c?source=rss----8dc8c99fa1c1---4</link>
            <guid isPermaLink="false">https://medium.com/p/b35cbd11ca3c</guid>
            <category><![CDATA[ux-design]]></category>
            <dc:creator><![CDATA[piqcy]]></dc:creator>
            <pubDate>Tue, 10 Dec 2019 01:03:40 GMT</pubDate>
            <atom:updated>2019-12-10T01:03:40.343Z</atom:updated>
            <content:encoded><![CDATA[<p>サービスやアプリの開発を行う時、ちょっと動くデモを作りたくなることが良くあります。本職のデザイナーさんがいればお願いするのが筋なのでしょうが、いないorまだふわっとしていて要件を伝えるコストが高い場合、自分でサクッとできると検証のスピードをぐっと上げられます。</p><p>本連載では、<a href="https://www.figma.com/files">Figma</a>というサービスを使いプロトタイピングを実践してみます。Figmaのチュートリアルはオフィシャルを含め良いコンテンツがたくさんあるので、適宜それらを参照しつつ「プロトタイピングの速度を上げる」のに必要なノウハウをまとめていこうと思います。</p><p>題材として、サンプルの鉄板であるTodoアプリをFigmaでデザインしてみます。最初は・・・そう思っていました。</p><p>最終的にこの記事は失敗談となっているので、それでもいいという方だけ読み進めください。</p><h3>Figmaとは</h3><p>FigmaはUIデザインツールの一種です。同様のツールとして<a href="https://www.sketch.com/">Sketch</a>や<a href="https://www.adobe.com/jp/products/xd/details.html">Adobe XD</a>などがあります。以下記事の比較がわかりやすかったですが、各ツールの機能は日々開発されているので、機能比較については最新版を確認するようにしてください。</p><p><a href="https://techblog.istyle.co.jp/archives/2090">UIデザインツール、結局どれ使ったらいいの問題 - istyle Tech Blog</a></p><p>今回Figmaを選んだのは、ブラウザベースの開発が可能である点、それによりコラボレーションが行いやすい点の2点があります。ただ、どのツールも似た機能があるのでどれを選んでも大差はないと思います。えいやとどれか一つ決めて、まず試してみるのが良いと思います。</p><p>Figmaはオフィシャルでチュートリアル動画を提供しています。Getting Startedを一通り見れば使い方はおおむね把握できると思います。</p><p><a href="https://www.youtube.com/channel/UCQsVmhSa4X-G3lHlUtejzLA"></a></p><p>また、以下の連載がとても分かりやすいです。</p><p><a href="https://note.mu/fjkn/m/m9829c621e025">Figma入門｜ふじけん / kenshir0f｜note</a></p><p>チュートリアル的な内容は上記のありがたいコンテンツに譲り、本連載ではプロトタイピングに必要な機能にフォーカスして解説していこうと思います。</p><h3>デザインを行う前の設計: 戦略・要件・構造</h3><p>開発と同様に、デザインも行う前に要件定義を済ませることが重要です。デザインの要件定義はUX設計とも呼ばれます。UXの構成要素は、Jesse James Garret(ジェシー・ジェームス・ギャレット)さんが2000年にまとめています。発表されてからずいぶん経ちますが、現在でも通用する考えです。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9pH5MHFMr-fbJf-rV6fgLg.png" /><figcaption><a href="http://www.jjg.net/elements/translations/elements_jp.pdf">「ユーザーエクスペリエンスの要素」より</a></figcaption></figure><p>実際目にするビジュアルデザインの背景に、扱う情報の構成/構造、さらにサービス/アプリケーションの要件と戦略(達成目標)がある、という考えです。システムの開発は要件定義、扱う情報を定義するスキーマ設計(DB設計)、最後に画面設計、という流れで進むのでこの分け方自体はごくごく自然だと思います。非機能要件も考慮すると、デザインだけでなく(ユーザーが目的を達成するのに求められる)パフォーマンス、1画面当たりの情報量なども検討に上がると思います。</p><p>UXデザインの各構成要素の成果物は以下の記事によくまとまっています。</p><p><a href="https://goodpatch.com/blog/how-to-design-the-elements-of-ux/">UXの5段階モデルにおける各段階での具体的なデザイン手法とは？ | Goodpatch Blog</a></p><p>実際にUXデザインから手を付けると日が暮れてしまうので、今回は簡易に済ませます。UX5段階モデルのうちFigmaを使う前に決まっている必要がある戦略・要件・構造についてそれぞれ以下のように定義しました。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*iZmkftULaoBMko7EZ2hynw.png" /><figcaption>戦略の定義</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*JFnpiMcMsaTI1saH4Ayzow.png" /><figcaption>要件の定義</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*_hHhHXFuTXI09WBZmk6MBA.png" /><figcaption>構造の定義</figcaption></figure><p>「簡易に済ませる」と言いつつかなり時間がかかりました。書いていて感じたのは、「要件」の段階であまりユーザー体験について考えすぎない方がいいということです。プロトタイプがないこの段階でユーザー体験について思いを巡らせても、実際観測することができないので妄想が入ってしまうためです。要件の段階では「必要なもの」の洗い出しと「懸念点」(プロトタイピングで確認すべき点)を洗い出すにとどめた方がいいかなと感じました。</p><p>「何を届けるか」と「どう届けるか」は異なると思います。これらはある程度分離しておかないと、コンテンツに問題があったのか伝え方に問題があったのか分析が難しくなると思います。戦略・要件・構造はプロトタイピングの反応いかんであまり変わってはいけない(変わるべきではない)要素ではないかと個人的には思います(※あくまで個人の解釈です！)。</p><h3>Figmaを使った設計: 骨格・表層</h3><p>さて、ここから実際に「UI」と呼ばれる領域を作成していきます。作成していく・・・んですが、ここで気を付けないといけないことがあります。現在の工程はあくまで「UX検証」であり、「開発」ではないということです。</p><p>Figmaで作った画面をReactやVueのコンポーネントにして・・・と思っていると、途端にプロトタイピングツールでの開発が重たくなります。Componentはどうしよう?ログイン画面はいるかな?モーダル作るのめんどくせー・・・などです。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/629/1*OKVUKWVOG_Xy5MSGffXZsw.png" /><figcaption>(Todoではないけれど)実際作っていたプロトタイプ</figcaption></figure><p>本職の方はどうやっているんだろう?と実際にデザイナーの方に伺う機会があったので聞いてみました。すると、冒頭で述べた通り「プロトタイピングのツールはUXを検証するためであって、UI開発とは違う」「ユーザーの感情を爆発させるパートをまず作る」といった意見をいただきました。VueやReactへの書き出し、CSSの書き出しは機能が中途半端だし実際動くわけではないのでほとんど使わないとも聞きました。</p><p>ユーザーエクスペリエンスの要素は階層型になっているので下から順に作らないといけないと思っていましたが。ユーザーの需要やコンテンツ要件などは反応を見てみないと単なる妄想になってしまいます。<strong>プロトタイピングツールとは、ユーザーエクスペリエンスのUIパートを作るためのツールではなく、ユーザーエクスペリエンスの階層全体を文字通りプロトタイピングするツールだったのだ</strong>、と気づきました。</p><p>そんなわけで、使い方を見直して再チャレンジしたいと思います。次回は実践的な記事になる！はず。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b35cbd11ca3c" width="1" height="1" alt=""><hr><p><a href="https://medium.com/programming-soda/figma%E3%81%A7%E8%A1%8C%E3%81%86%E3%83%97%E3%83%AD%E3%83%88%E3%82%BF%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0-%E3%81%AE%E3%81%AF%E3%81%9A%E3%81%A0%E3%81%A3%E3%81%9F-b35cbd11ca3c">Figmaで行うプロトタイピング・・・のはずだった</a> was originally published in <a href="https://medium.com/programming-soda">programming-soda</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[財務分析に欠かせない、XBRLを理解する Part3]]></title>
            <link>https://medium.com/programming-soda/%E8%B2%A1%E5%8B%99%E5%88%86%E6%9E%90%E3%81%AB%E6%AC%A0%E3%81%8B%E3%81%9B%E3%81%AA%E3%81%84-xbrl%E3%82%92%E7%90%86%E8%A7%A3%E3%81%99%E3%82%8B-part3-4cffee01d92a?source=rss----8dc8c99fa1c1---4</link>
            <guid isPermaLink="false">https://medium.com/p/4cffee01d92a</guid>
            <category><![CDATA[finance]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[piqcy]]></dc:creator>
            <pubDate>Wed, 20 Nov 2019 10:24:42 GMT</pubDate>
            <atom:updated>2020-09-27T09:30:43.091Z</atom:updated>
            <content:encoded><![CDATA[<h3>財務分析に欠かせない、XBRLを理解する Part3 (End)</h3><p>Part3では、タクソノミ文書の定義を利用してXBRLの情報を読み取ります。Part2では、インスタンス文書のみからの情報抽出を行いました。文書の構造を定義するタクソノミ文書を使用することで、文書構造(財務諸表だと勘定の体系など)に基づいた情報抽出、情報整理が可能です。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/381/1*87oj8fy4_OG-hBWjacvLyw.png" /><figcaption>XBRL文書の構成</figcaption></figure><p>本記事では、以下の流れで解説を行っていきます。</p><ol><li>タクソノミ文書の構造</li><li>タクソノミを活用した情報抽出</li><li>タクソノミを活用した情報抽出: 定義情報の取得</li><li>タクソノミを活用した情報抽出: インスタンス文書からの情報取得</li></ol><p>では、はじめていきましょう。</p><h4>タクソノミ文書の構造</h4><p>タクソノミ文書は、以下のようなファイル構造になっています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/487/1*s-iEAzaKLOVlvFx9GVUDAQ.png" /><figcaption><a href="https://disclosure.edinet-fsa.go.jp/download/ESE140157.pdf">「提出者別タクソノミ作成ガイドライン 図表 2–1–18 EDINET タクソノミのフォルダ構成（１）」</a>より引用</figcaption></figure><ul><li>語彙スキーマ<br>文書で使うタグの定義などを行っています(要素名、貸借区分など)。代替グループ(substitutionGroup)の設定を見ることで、目次項目(identifierItem)かどうか判別可能です。</li><li>ロールタイプスキーマ<br>文書で使うリンク(拡張リンクロール)の定義を行います。</li><li>名称リンク<br>タグと名前のリンクを定義します。</li><li>参照リンク<br>法令や内閣府令規則、業法等の根拠となる条文へのリンクを定義します。</li><li>表示リンク<br>文書の目次である「様式ツリー」、目次内の詳細構造を定義する「詳細ツリー」を定義します。</li><li>定義リンク<br>ディメンション、勘定の構造を表す「科目一覧ツリー」、文書情報を表すDEI のツリーを定義します。</li><li>計算リンク<br>科目間の計算関係を定義します。</li></ul><p>図中では”jpcrp”のみですが、これ以外にもたくさんあります。2019年度のタクソノミは、以下のようにたくさんの定義があります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/95/1*y1vPcrVAeeDfjqxatwgTTA.png" /><figcaption>2019年度のタクソノミ文書一覧</figcaption></figure><p>タクソノミ文書、それに含まれるスキーマ定義などは以下のように命名規則が決まっています(<a href="https://disclosure.edinet-fsa.go.jp/download/ESE140124.pdf">EDINETタクソノミの設定規約書より</a>)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*uIlsB0hEHX-CrrVLjOO1ww.png" /><figcaption><a href="https://disclosure.edinet-fsa.go.jp/download/ESE140124.pdf">「EDINETタクソノミの設定規約書 図表3–2–1 語彙スキーマ」より引用</a></figcaption></figure><p>“jpcrp”なら”crp”が府令略号で、「企業内容等の開示に関する内閣府令」に相当します。以下が府令と報告書の略号(コード)です。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/87670ba11be09a06bcef721be4506d88/href">https://medium.com/media/87670ba11be09a06bcef721be4506d88/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e6b564ae8fe431a04674724f5899fee2/href">https://medium.com/media/e6b564ae8fe431a04674724f5899fee2/href</a></iframe><p>jpcrp-esrなら「企業内容等の開示に関する内閣府令」に基づく「臨時報告書」のタクソノミ文書となります。EDINETで公開されている文書は基本的に「府令」・「勘定」・「文書定義(DEI)」の3種で構成されるため、決算書分析では以下のタクソノミを押さえておけばとりあえず問題ないと思います。</p><ul><li>府令: jpcrp<br>jpcrpは「企業内容等の開示に関する内閣府令」のタクソノミです。これは、有価証券報告書などの提出根拠となる府令です。</li><li>勘定: jppfs , jpigp <br>jppfs は日本基準の勘定科目、jpigp は国際会計基準(IFRS)の勘定科目を定義するタクソノミです。</li><li>文書定義: jpdei <br>提出文書のメタデータ(提出日付やタイトルなど)を定義するタクソノミです。</li></ul><p>提出者のタクソノミ定義(xsdファイル)を見れば、どんなタクソノミを使っているか判別できます。特に勘定は日本基準かIFRSかを事前に知ることが難しいため、スキーマファイルからたどるとよいと思います(ここからXPathの処理に必要なnamespaceも取れます)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/535/1*o3Q_zuSMqkxrae1BNzwgIw.png" /><figcaption><a href="https://disclosure.edinet-fsa.go.jp/download/ESE140157.pdf">「提出者別タクソノミ作成ガイドライン 図表4–1–1」より引用</a></figcaption></figure><p>タクソノミの構造についての解説は以上です。では、実際にタクソノミ文書を使用して情報抽出を行ってみましょう。</p><h4>タクソノミを活用した情報抽出</h4><p>タクソノミ文書で最初に注目すべきなのは、リンクの情報です。そもそも報告書を作る際も、まず最初に使用するリンクを選択します。以下の「様式ツリー」は、文書の目次を定義する表示リンクです。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/782/1*nfMUcOm2y9PR3rjkf9EpYQ.png" /><figcaption><a href="https://disclosure.edinet-fsa.go.jp/download/ESE140157.pdf">「提出者別タクソノミ作成ガイドライン 図表 3–1–1」より引用。</a></figcaption></figure><p>リンクの情報が記載されているのは、表示リンクファイル(_pre.xml)と定義リンクファイル(_def.xml )です。2つのファイルの関係を表したものが、以下の図になります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QGe9V-9wF3saSxHM_IGwrg.png" /><figcaption><a href="https://disclosure.edinet-fsa.go.jp/download/ESE140157.pdf">「提出者別タクソノミ作成ガイドライン 図表 2–1–5/2–1–6」より引用。</a></figcaption></figure><p>表示リンクは、定義リンクを参照する形で作成されます(上記の「関連付け」)。定義リンクの必要な箇所をコピー(ミラー)して表示リンクを作成するイメージです。なんにせよ、表示リンクに文書全体の構造が定義されていると思って頂いて良いと思います。</p><p>では、表示リンクの情報を取得してみましょう。実装は以下になります。</p><p><a href="https://github.com/icoxfog417/xbrl_read_tutorial/blob/master/notebooks/read_xbrl_from_taxonomy.ipynb">icoxfog417/xbrl_read_tutorial</a></p><p>まず、インスタンス文書で使用されている表示リンクを一覧表示してみます。これは、link:roleRef を見てみればわかります。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f021e4b50808f46d0991bd36dff4ea2c/href">https://medium.com/media/f021e4b50808f46d0991bd36dff4ea2c/href</a></iframe><p>実行結果は以下のようになります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/651/1*5gxXTGMXszmIO70yuYwp-g.png" /><figcaption>インスタンス文書で使用されているリンクの一覧</figcaption></figure><p>このうち、メインどころの「貸借対照表」を読んでみます。表示リンク定義(.pre)ファイルではツリー構造で階層が定義されています。 arc 系のタグはparent/childを、link:loc はリンクされる要素を定義します。表示リンクに限らず、他のリンク系ファイルも大体この通りに定義されています。 arc を読んでからリンク先の要素をたどる必要があるので、ちょっと面倒です。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b0ec8caa259ac1b8668dbeab1ddd4eda/href">https://medium.com/media/b0ec8caa259ac1b8668dbeab1ddd4eda/href</a></iframe><p>実装では、ツリー構造を扱うために Nodeというクラスを作成しています。とはいえ、ツリー構造のままではデータとして扱いずらいので、テーブル型に落としてみます。以下が、親をカラムにして展開した表になります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BPl9OM4J_tGid6DkV6pw0Q.png" /><figcaption>ツリー構造のテーブル化</figcaption></figure><p>この表には名前がついています。名前は名称リンクから取得しています。リンクを使用することで、名称をはじめとしてインスタンス文書からだけではわからない定義情報を取得することができます。その方法について、次のセクションで見ていきましょう。</p><h4>タクソノミを活用した情報抽出: 定義情報の取得</h4><p>XBRL中のタグは、名称空間も合わせた完全名称を持っています(イメージ的には、絶対パスに相当します)。例えば、以下のような名称です。</p><pre>http://disclosure.edinet-fsa.go.jp/taxonomy/jppfs/2018-02-28/jppfs_cor_2018-02-28.xsd#jppfs_cor_BalanceSheetHeading</pre><p>これが、各種リンクをたどる時の手掛かりになります。大半は定義の大本であるxsd ファイルへのリンクになっています。この完全名称を通じて、様々なリンクファイル(名称リンク、定義リンクなど)から情報を取得できます。例えば、名称リンクは以下のようになっています。</p><pre>&lt;link:loc xlink:type=&quot;locator&quot; xlink:href=&quot;../jppfs_cor_2018-02-28.xsd#jppfs_cor_TreasuryStockMember&quot; xlink:label=&quot;TreasuryStockMember&quot;/&gt;</pre><pre>&lt;link:label xlink:type=&quot;resource&quot; xlink:label=&quot;label_TreasuryStockMember&quot; xlink:role=&quot;http://www.xbrl.org/2003/role/label&quot; xml:lang=&quot;ja&quot; id=&quot;label_TreasuryStockMember&quot;&gt;自己株式&lt;/link:label&gt;</pre><pre>&lt;link:labelArc xlink:type=&quot;arc&quot; xlink:arcrole=&quot;http://www.xbrl.org/2003/arcrole/concept-label&quot; xlink:from=&quot;TreasuryStockMember&quot; xlink:to=&quot;label_TreasuryStockMember&quot;/&gt;</pre><p>link:loc が要素の定義です。この要素の xlink:href を見ることで、完全名称からこの要素にたどり着けます(御覧の通り相対パスに変換しないといけないですが・・・)。link:loc にたどり着けると、完全名称のこのファイル内での別名xlink:label が取得できます。xlink:fromが別名と等しいlink:labelArc を探し、link:labelArcの xlink:to が指し示す link:label を取得する、という流れになります。</p><p>名称は日本語・英語以外に一般名称?(要は英語?)があり、それごとにファイルが分かれています(ファイルの末尾が、英語は lab-en.xml、一般名称は lab-gla.xmlになっています)。参照先ファイルを切り替えることで、取得する名称を切り替えることができます。</p><p>これで、タクソノミ文書の定義が取得できました。この定義にのっとり、インスタンス文書から情報を抽出してみましょう。</p><h3>タクソノミを活用した情報抽出: インスタンス文書からの情報取得</h3><p>タクソノミという文書定義から情報を抽出することで、必要な情報のタグ名をいちいち調べる手間から解放されます。早速、抽出してみましょう。定義(data)のうち、実際インスタンス文書に値があるものを取得して xbrl_data に格納していきます。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/662ef615b05dc144c4ca572ad43b4a75/href">https://medium.com/media/662ef615b05dc144c4ca572ad43b4a75/href</a></iframe><p>ちなみに、表示リンクに定義されているけどインスタンス文書に値がないものは結構あります。「拡張」リンクロールという仕様上、足りなければ追加をするけれど必要ないものをあえて削除したりしないためと思います(<a href="https://submit.edinet-fsa.go.jp/download/ESE140110.pdf">提出者別タクソノミ 作成ガイドライン 3–3 拡張リンクロールの選択と決定</a>)。</p><p>値に加えて、Part3で学んだコンテキスト情報(時期や単位)を付与することで、以下のように集計できます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/1*ydGGlkQtvCHAIyKpqwsmcg.png" /><figcaption>タクソノミをもとにインスタンス文書から読み込んだ値を、集計したもの</figcaption></figure><p>実際の文書と近い形でデータが取れていることがわかります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/466/1*7Zpb-QxUpxuqx2Gy3yG2QQ.png" /><figcaption>実際のデータ</figcaption></figure><p>合計項目が含まれているため、これがいらないという場合は計算方法を定義している .cal ファイルを見る必要があります(面倒ですが・・・)。</p><p>いずれにしても、タクソノミ文書を使用することで要素の構造や定義に基づいた情報抽出ができました。これでXBRLのタグを使用した情報抽出は可能になったので、次編では可視化に挑戦してみようと思います。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4cffee01d92a" width="1" height="1" alt=""><hr><p><a href="https://medium.com/programming-soda/%E8%B2%A1%E5%8B%99%E5%88%86%E6%9E%90%E3%81%AB%E6%AC%A0%E3%81%8B%E3%81%9B%E3%81%AA%E3%81%84-xbrl%E3%82%92%E7%90%86%E8%A7%A3%E3%81%99%E3%82%8B-part3-4cffee01d92a">財務分析に欠かせない、XBRLを理解する Part3</a> was originally published in <a href="https://medium.com/programming-soda">programming-soda</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[財務分析に欠かせない、XBRLを理解する Part2]]></title>
            <link>https://medium.com/programming-soda/%E8%B2%A1%E5%8B%99%E5%88%86%E6%9E%90%E3%81%AB%E6%AC%A0%E3%81%8B%E3%81%9B%E3%81%AA%E3%81%84-xbrl%E3%82%92%E7%90%86%E8%A7%A3%E3%81%99%E3%82%8B-part2-65e9243e9587?source=rss----8dc8c99fa1c1---4</link>
            <guid isPermaLink="false">https://medium.com/p/65e9243e9587</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[finance]]></category>
            <dc:creator><![CDATA[piqcy]]></dc:creator>
            <pubDate>Wed, 23 Oct 2019 05:52:10 GMT</pubDate>
            <atom:updated>2019-11-30T09:11:49.575Z</atom:updated>
            <content:encoded><![CDATA[<p>Part2では、XBRLファイルをPythonで読み込んでいきたいと思います。XBRLとは何か?については<a href="https://medium.com/programming-soda/%E8%B2%A1%E5%8B%99%E5%88%86%E6%9E%90%E3%81%AB%E6%AC%A0%E3%81%8B%E3%81%9B%E3%81%AA%E3%81%84-xbrl%E3%82%92%E7%90%86%E8%A7%A3%E3%81%99%E3%82%8B-part1-d4165fe0e84a">Part1</a>をご参照ください。Part2では、簡単な抽出から複雑な抽出まで順を追って行っていこうと思います。実装は、以下で公開しています。</p><p><a href="https://github.com/icoxfog417/xbrl_read_tutorial">icoxfog417/xbrl_read_tutorial</a></p><p>Part1で、XBRLは「インスタンス文書」と「タクソノミ文書」で構成されると解説しました。</p><ul><li>インスタンス文書<br>タクソノミ文書の定義に従って書かれる実文書。記載されている値の定義(単位など)も含む。</li><li>タクソノミ文書<br> 記載すべき項目の定義や項目の構造などの定義。</li></ul><p>Part2はインスタンス文書からの情報読み取りを扱います。具体的には、 .xbrl ファイルからの情報抽出です。目次は以下のようになります。</p><ol><li>要素の読み取り</li><li>コンテキストの読み取り</li><li>ディメンジョンの読み取り</li><li>注釈の読み取り</li></ol><p>基本的な流れは、<a href="https://disclosure.edinet-fsa.go.jp/download/ESE140112.pdf">報告書インスタンス作成ガイドライン</a>の通りです。では、始めていきましょう。</p><h3>XBRLファイルの作成プロセス</h3><p>情報抽出に入る前に、XBRLファイルの作成プロセスについて簡単に触れておきます。XBRLは、提出者が作成したiXBRLファイル(インラインXBRLファイル)をベースにEDINET上で作成されます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/776/1*1KgEl95jZCmG9I1Jv4wqbQ.png" /><figcaption><a href="https://disclosure.edinet-fsa.go.jp/download/ESE140112.pdf">「報告書インスタンス作成ガイドライン 図表 1–4–3」より引用</a></figcaption></figure><p>インラインXBRLファイルとは、XMLベースであるXBRLとブラウザで表示できるHTMLを橋渡しするフォーマットです。XMLをちまちま作成していくのは人類にやさしくないので、レイアウトを見ながら作業できるインラインXBRLは画期的な技術と言えます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/863/1*75j6Jrq-lzjPqa9EMquTZA.png" /><figcaption><a href="https://disclosure.edinet-fsa.go.jp/download/ESE140112.pdf">「報告書インスタンス作成ガイドライン 図表 1–4–1」より引用</a></figcaption></figure><p>マニフェストファイルが、インラインXBRLを組み合わせる方法(最終的な方向文書全体)を定義します。マニフェストファイルはファイル名が manifest_から始まるファイルで、EDINETからダウンロードするzipファイルの中に含まれます。縦覧用(PublicDoc)、独立監査人の報告書用(AuditDoc)、非縦覧用など文書に応じて作成されます。zipの中には監査人への報告用も含まれますが、我々が見るのは縦覧用(PublicDoc)となります。</p><h3>要素の読み取り</h3><p>実際にXBRLから要素の値を読んでみましょう。XBRLはタクソノミ文書で定義された語彙に基づき書かれているため、「何が書いてあるか」を知るにはタクソノミ文書を参照する必要があります。実際のタクソノミ文書は .xsd ファイルですが、人間に見やすい形式(Excel)でも公開されています。以下は、2018年度の方向に使用されるタクソノミです。”タクソノミ要素リスト”からExcelがダウンロードできます。</p><p><a href="https://www.fsa.go.jp/search/20180228.html">2018年版EDINETタクソノミの公表について</a></p><p>タクソノミの定義は様式ごとに分かれています。年次報告書に使われる様式は第三号様式が主なので、第三号様式を見てみます。これを見ると、表紙の会社名は名称空間 jpcrp_cor の CompanyNameCoverPage という要素名だとわかります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aY7pmk6BLgiMPDRsmNqHBw.png" /><figcaption>2018年度タクソノミ 第三号様式タクソノミ定義より</figcaption></figure><p>実際にこのタグを指定して抽出すると、値が取れていることがわかります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1011/1*sBhqkfyIXApjottqjgfWiA.png" /><figcaption>XBRLから抽出した値</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oPcFuLmXsHIDQuxqJFEBYw.png" /><figcaption>PDFの報告書で記載されている値</figcaption></figure><p>報告様式自体も、タグを指定して取得可能です。提出処理に関する情報の定義はDEI(Document and Entity Information)タクソノミと呼ばれます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/822/1*xfHCpOL54PfELyk_clJgVw.png" /></figure><p>実装はこちらになります。</p><p><a href="https://github.com/icoxfog417/xbrl_read_tutorial/blob/master/notebooks/read_xbrl_and_get_tag_value.ipynb">icoxfog417/xbrl_read_tutorial</a></p><h3>コンテキストの読み取り</h3><p>要素の値を読み取っただけでは、それがいつの値か、どんな単位かわかりません。そこで、コンテキストの読み取りを行います。 連結経営指標上の売上高であるjpcrp_cor:NetSalesSummaryOfBusinessResults のコンテキスト情報を見てみます。</p><pre>&lt;jpcrp_cor:NetSalesSummaryOfBusinessResults contextRef=&quot;Prior4YearDuration&quot; unitRef=&quot;JPY&quot; decimals=&quot;-6&quot;&gt;2455249000000&lt;/jpcrp_cor:NetSalesSummaryOfBusinessResults&gt;</pre><p>contextRef が Prior4YearDuration となっています。コンテキストのタグであるxbrli:context からidがPrior4YearDuration であるものを探すと、以下のように定義されています。</p><pre>&lt;xbrli:context id=&quot;Prior4YearDuration&quot;&gt;<br>  &lt;xbrli:entity&gt;<br>    &lt;xbrli:identifier scheme=&quot;<a href="http://disclosure.edinet-fsa.go.jp/">http://disclosure.edinet-fsa.go.jp</a>&quot;&gt;E22559-000&lt;/xbrli:identifier&gt;<br>    &lt;/xbrli:entity&gt;<br>  &lt;xbrli:period&gt;<br>    &lt;xbrli:startDate&gt;2014-01-01&lt;/xbrli:startDate&gt;<br>    &lt;xbrli:endDate&gt;2014-12-31&lt;/xbrli:endDate&gt;<br>  &lt;/xbrli:period&gt;<br>&lt;/xbrli:context&gt;</pre><p>実体としては2014/1/1から2014/12/31、報告年が2018年度なので4年前の売上であることがわかります。Priorなどの名前から推定できたように、コンテキストの名前付けにはルールがあります。「<a href="https://disclosure.edinet-fsa.go.jp/download/ESE140112.pdf">報告書インスタンスの作成: 5–4 コンテキストの定義</a>」に詳細なルールが記載されています。ルールにのっとっているため、コンテキストのidのみからでも推定は可能です。</p><p>コンテキストidのみから判断できることもあります。idにNonConsolidatedMemberがつく場合は個別決算、それ以外は連結になります。Prior4YearDurationも、個別決算用にPrior4YearDuration_NonConsolidatedMember`というコンテキストが別に存在します(同上の「5–4–1 コンテキスト ID の命名規約」より)。</p><p>period の種類は、期間(startData/ endData)と時点(instant)の2種類があります(同上の「5–4–4 期間時点要素の設定」より)。</p><p>contextRefと同様に、unitRef から単位の情報が取得可能です。ただ、プラスマイナスの符号(sign)や表示単位(scale)は単位の情報には含まれず、タグに直接属性として書かれています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/902/1*npQshPe-Kq2Ep69DDlL4UA.png" /><figcaption><a href="https://disclosure.edinet-fsa.go.jp/download/ESE140112.pdf">「報告書インスタンス作成ガイドライン 図表 5–6–7」より引用</a></figcaption></figure><p>要素の値とコンテキストの情報双方を読み取ることで、以下のように時系列の値を取得できます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*24WPu2kQ-mtwSE0PTBBI6g.png" /></figure><p>実装はこちらになります。</p><p><a href="https://github.com/icoxfog417/xbrl_read_tutorial/blob/master/notebooks/read_tag_context.ipynb">icoxfog417/xbrl_read_tutorial</a></p><h3>ディメンジョンの読み取り</h3><p>ディメンジョンは表の「軸」を表します。「軸」は横軸か縦軸かのどちらかです。以下はディメンジョンが横軸、各行要素が「表示項目」の例です。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eRIp9RGINeyI4IOo4MYJWw.png" /><figcaption><a href="https://disclosure.edinet-fsa.go.jp/download/ESE140108.pdf">「EDINETタクソノミの概要説明 図表1–5–1」より引用</a></figcaption></figure><h4>ディメンジョンが横軸の例</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-b7-47K9-T1Nn5Nj4g7OrQ.png" /><figcaption>株主資本変動計算書(サントリーHD 有価証券報告書－第10期(平成30年1月1日－平成30年12月31日)より)</figcaption></figure><p>ディメンジョンが横軸のケースを見てみましょう。以下のタグは、要素が jppfs_cor:NetAssets(純資産)で、コンテキストとして CurrentYearInstant_NonConsolidatedMember_ShareholderEquityMemberが設定されています。</p><pre>&lt;jppfs_cor:NetAssets contextRef=&quot;CurrentYearInstant_NonConsolidatedMember_ShareholdersEquityMember&quot; unitRef=&quot;JPY&quot; decimals=&quot;-6&quot;&gt;740191000000&lt;/jppfs_cor:NetAssets&gt;</pre><p>CurrentYearInstant_NonConsolidatedMember_ShareholderEquityMember には、以下のようにディメンジョンが設定されています。</p><pre>&lt;xbrli:context　id=&quot;CurrentYearInstant_NonConsolidatedMember_ShareholdersEquityMember&quot;&gt;<br>  &lt;xbrli:entity&gt;<br>    &lt;xbrli:identifier scheme=&quot;<a href="http://disclosure.edinet-fsa.go.jp/">http://disclosure.edinet-fsa.go.jp</a>&quot;&gt;E22559-000&lt;/xbrli:identifier&gt;<br>  &lt;/xbrli:entity&gt;<br>  &lt;xbrli:period&gt;<br>    &lt;xbrli:instant&gt;2018-12-31&lt;/xbrli:instant&gt;<br>  &lt;/xbrli:period&gt;<br>  &lt;xbrli:scenario&gt;<br>    &lt;xbrldi:explicitMember dimension=&quot;jppfs_cor:ConsolidatedOrNonConsolidatedAxis&quot;&gt;jppfs_cor:NonConsolidatedMember&lt;/xbrldi:explicitMember&gt;<br>    &lt;xbrldi:explicitMember dimension=&quot;jppfs_cor:ComponentsOfEquityAxis&quot;&gt;jppfs_cor:ShareholdersEquityMember&lt;/xbrldi:explicitMember&gt;<br>   &lt;/xbrli:scenario&gt;<br>&lt;/xbrli:context&gt;</pre><p>ディメンジョンはシナリオ(scenario)で定義されています。ディメンジョンとして定義されているのは以下2つです。</p><ol><li>軸 jppfs_cor:ConsolidatedOrNonConsolidatedAxis のメンバー jppfs_cor:NonConsolidatedMember である。</li><li>軸jppfs_cor:ComponentsOfEquityAxis のメンバーjppfs_cor:ShareholdersEquityMember である。</li></ol><p>1のjppfs_cor:ConsolidatedOrNonConsolidatedAxis は連結/個別を表すための特殊な軸です(表の繰り返しにディメンションを使う例に相当します)。個別財務諸表に含まれる要素には、メンバーとして NonConsolidatedMemberを指定します(報告書インスタンス作成ガイドライン 5–4–5–1より)。このタイプは実際に軸としては表示されません。</p><p>2は実際に軸として現れます。タグの値 740191000000は、jppfs_cor:ComponentsOfEquityAxis =株主資本の内訳を表す軸の、jppfs_cor:ShareholdersEquityMember =株主資本の値、と解釈できます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PwVlBOmDC2jd--NgnE48FQ.png" /><figcaption>株主資本変動計算書(サントリーHD 有価証券報告書－第10期(平成30年1月1日－平成30年12月31日)より)再掲</figcaption></figure><p>では、軸(Axis)に沿って各列(Member)の値を抽出してみましょう。同じ軸が設定されたコンテキストを取得し、そのメンバー定義からメンバー、コンテキストが設定されたタグから値を取得します。軸(ディメンジョン)はコンテキストの子要素なので、子要素の値を指定して選択を行うことになります。これにはXPathを使うと便利です。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/574/1*VK0vLdVugUXeze1yXxI35A.png" /><figcaption>XPathを使用し、dimensionを指定してcontextを抽出</figcaption></figure><p>最終的に、以下のように値が取れます。右側の value が、上図の最下行の値と対応していることがわかると思います。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/705/1*IdvxfQwFOI1tVMZWGVhs_g.png" /></figure><p>実装は以下になります。</p><p><a href="https://github.com/icoxfog417/xbrl_read_tutorial/blob/master/notebooks/read_dimension.ipynb">icoxfog417/xbrl_read_tutorial</a></p><h4>ディメンジョンが縦軸の例</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*y-vGSiQ_zsdKjVBPzzuxfQ.png" /><figcaption>役員ごとの報酬の総額等(株式会社NTTドコモ(有価証券報告書－第28期(平成30年4月1日－平成31年3月31日)より)</figcaption></figure><p>ディメンジョンが縦軸の場合は、横軸と逆になります(当然ですが)。こちらもディメンジョンが同一のコンテキスト、コンテキストのメンバー、コンテキストが付与されたタグの値、という流れで値の取得が可能です。以下が実際に取得した結果ですが、右端の値が上図の値に一致していることがわかります、</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5HeAlFuuLQSEpow9015CfA.png" /><figcaption>役員報酬の値の取得</figcaption></figure><p>実装は以下になります。</p><p><a href="https://github.com/icoxfog417/xbrl_read_tutorial/blob/master/notebooks/read_dimension_remuneration.ipynb">icoxfog417/xbrl_read_tutorial</a></p><p>ただ、タグの名前だけでは何の値なのかわかりにくいです。テキストのラベルを付けるには、Part3で扱うタクソノミ文書の情報が必要です。</p><h3>注釈の読み取り</h3><p>文書や数値に対しては、注釈をつけることができます(以下の※２や※７など)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/526/1*xK1evyG9XsfjZOKt89EGaA.png" /><figcaption><a href="https://disclosure.edinet-fsa.go.jp/download/ESE140112.pdf">「報告書インスタンス作成ガイドライン 図表 5–6–27」より引用</a></figcaption></figure><p>注釈される側にはidをつけておきます(以下の場合、 3841000000 という数値にIdFact77552275を付与)。</p><pre>&lt;jppfs_cor:AccountsReceivableTrade id=&quot;IdFact775522775&quot; contextRef=&quot;Prior1YearInstant_NonConsolidatedMember&quot; unitRef=&quot;JPY&quot; decimals=&quot;-6&quot;&gt;3841000000&lt;/jppfs_cor:AccountsReceivableTrade&gt;</pre><p>注釈は以下のように定義します。値「3841000000」と注釈「※２」とが、 link:locで結びついていることがわかります。</p><pre>&lt;link:footnoteLink xlink:role=&quot;http://disclosure.edinet-fsa.go.jp/role/jppfs/rol_BalanceSheet&quot; xlink:type=&quot;extended&quot;&gt;</pre><pre>  &lt;link:footnote xlink:label=&quot;footnote&quot; xlink:role=&quot;http://disclosure.edinet-fsa.go.jp/role/jppfs/role/NotesNumber&quot; xlink:type=&quot;resource&quot; xml:lang=&quot;ja&quot;&gt;※２&lt;/link:footnote&gt;</pre><pre>  &lt;link:loc xlink:label=&quot;fact&quot; xlink:type=&quot;locator&quot; xlink:href=&quot;#IdFact775522775&quot;/&gt;</pre><pre>  &lt;link:footnoteArc xlink:from=&quot;fact&quot; xlink:to=&quot;footnote&quot; xlink:type=&quot;arc&quot; xlink:arcrole=&quot;http://www.xbrl.org/2003/arcrole/fact-footnote&quot;/&gt;</pre><pre>&lt;/link:footnoteLink&gt;</pre><p>ただ、「※２」のテキストが何なのか?はわかりません(!?)。※２がどうなっているかというと・・・</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/868/1*vRoUrGr-Y_IDjXdKGA6kEw.png" /><figcaption>※２</figcaption></figure><p>何のタグ付けもされずに浮いています。注記は Notes から始まるタグで定義されるので、注記のタグを全部洗って該当する※を探せば何とかなるかもしれません。ただ、注記の番号は以下のように使いまわしがあるのでコンテキストを加味する必要もあります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/842/1*WinnPEfYfWzh0r9lOCcCvw.png" /><figcaption>※２</figcaption></figure><p>注記は勘定の明細などが書かれている重要な情報ですので、簡単に取れるようにしてほしいところです。</p><p>以上が、インスタンス文書からの情報抽出になります。インスタンス文書のみでは、情報を抽出するタグを把握している必要があったり、抽出してもタグの名称がわからないといった課題がありました。どんな情報を記載すべきか、またタグの名称は何なのかはタクソノミ文書に記載されています。Part3では、このタクソノミ文書を使って情報を抽出する処理を紹介します。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=65e9243e9587" width="1" height="1" alt=""><hr><p><a href="https://medium.com/programming-soda/%E8%B2%A1%E5%8B%99%E5%88%86%E6%9E%90%E3%81%AB%E6%AC%A0%E3%81%8B%E3%81%9B%E3%81%AA%E3%81%84-xbrl%E3%82%92%E7%90%86%E8%A7%A3%E3%81%99%E3%82%8B-part2-65e9243e9587">財務分析に欠かせない、XBRLを理解する Part2</a> was originally published in <a href="https://medium.com/programming-soda">programming-soda</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>