Lesson1はFast.aiの全体像や環境設定・Deep learningを手軽に試せるチュートリアルになっています。

以降、タイムラインごとに動画の要約をします。

Deep Learning For Coders-36 hours of lessons for free

＊追記：crestle使ってもいいですが、私はGoogle colabを推奨します。

Google ColabでGUPを無料で使ってfast.aiの設定をする｜おかざわ｜note

サーバーの設定が超簡単 crestle

・00:04:11 crestle.comでGPUを借りて高速で処理してみる

日本でこの講義を受けるのであれば、GPUはcrestleがいいと思います。

理由は、paperspaceが日本で使えない（公開時点では）のと、AWSだと設定が難しいのと値段を心配しなければいけないのに対し、

crestleは設定はほぼ不要です!
また、値段も時間ごとの課金なので、初心者でAWS使いすぎて多額の請求が来るという事態も避けれます。私は多額の請求きました(泣)

fastaiの進め方はボトムアップ式 手を動かしながら学習

crestleを立ち上げれたら、物は試し。とりあえず、コードを動かしていきます。動画内ではこれをボトムアップ式と呼んでおり、数学やプログラミング（Linaxなど）を全てを学んでいくトップダウン式は莫大な時間がかかるので、この講座ではボトムアップつまり実際に動かしながらあとから、具体的に詰めていこうという方針です。

なので、何をやっているか全て分かる必要はありません。

この勉強法は大学の教育でも使われてほしいですねといってました。そのとおりです。大学の講義は何のためにやってるかわかんなくなります（筆者は経済学部でいやいや経済学をやってる身なのでよくわかります）プログラミングなんかとくに。全部わかってる必要ないですからね。全部わかろうとすれば、C言語からやらないといけなくなるし。Pythonは1行でいろんな事できますし。あるとき、教授は一から参考書をやろうと助言し、インターンではとりあえず実務を、目の前のタスクを死ぬ気で乗り越えていこうかと助言され、どっちが学習効率いいかと言うと後者のとりあえず手を動かす方が私には合いました。ボトムアップがいいよね...というオチのない話。閑話休題

Dogs vs Cats

とりあえずコードを動かしてみます。Crestleでfastaiのlesson1.ipynbを開きます。

• 00:12:30 ‘Dogs vs Cats’をJupyterで動かしながら見ていく

# 自動で読み込み、インラインでかけるように、全てのノートブックでこれらのコードを書きます
%reload_ext autoreload
%autoreload 2
%matplotlib inline

• 事前に用意されたライブラリを読み込みます。ありがたいです。

from fastai.imports import *

from fastai.transforms import *
from fastai.conv_learner import *
from fastai.model import *
from fastai.dataset import *
from fastai.sgdr import *
from fastai.plots import *

• 使いたいデータにパスを通します

PATH = "data/dogscats/"

• sz は早く処理するために画像をリサイズすることを可能にする単位
  あとのたくさんのコースで扱いますが、今は224とします。

sz=224

• Crestleを使う場合は以下のコードのコメントアウトを外します。

# os.makedirs('data/dogscats/models', exist_ok=True)

# !ln -s /datasets/fast.ai/dogscats/train {PATH}
# !ln -s /datasets/fast.ai/dogscats/test {PATH}
# !ln -s /datasets/fast.ai/dogscats/valid {PATH}

# os.makedirs('/cache/tmp', exist_ok=True)
# !ln -fs /cache/tmp {PATH}

実際に使う写真を確かめてみる

• 画像がどうやって処理されていくかを見ていきます

img[:4,:4]は色（赤・青・黄）の値を示してます。これからオリジナルで画像を認識していく上で必要なないようなので目を通しておきましょう。

たった3行でDeep learningを体感してみる

• 00:20:20 とりあえず体験してみる
  ‘resnet34’ というアーキテクチャと epochと accuracy on validation setを実行してみます.これも後ほど詳しく見ます。

# Uncomment the below if you need to reset your precomputed activations
shutil.rmtree(f'{PATH}tmp', ignore_errors=True)

• この3行を理解するために詳しくはLesson2で見ていきますが、とりあえず動かしてみます

arch=resnet34
data = ImageClassifierData.from_paths(PATH, tfms=tfms_from_model(arch, sz))
learn = ConvLearner.pretrained(arch, data, precompute=True)
learn.fit(0.01, 2)

私はCrestleで実行してみて結構2:36->00:12->00:16秒と意外と時間かかりました。Pepaerspaceはもっと早いようですが。

結果を分析してみる

• 00:24:11 lesson1.ipynbでディープラーニングの結果を見ていきます

自信のあるものがDog:1,Cat:0なので、0.5が判断が曖昧なものです。この曖昧なものや自信あるのに間違っている画像を減らすべくLesson2以降で学んでいきます!

fast.aiの全体像

• 00:33:45 8 stepsで進める全体像

• コンピュータビジョンと呼ばれる画像認識をKaggleで実際に提出してみて、そのあとRNNで自然言語処理を行います。その後に協調フィルタリングによるレコメンドシステムを行い、その後、ResNetでまた画像認識に戻ってきます。

この講義は一周してみてくださいと作者のジェレミーは言っています。一周後によく復習してくださいと。まあ1周するのにも1講義10時間はかかるのですが（笑）AIって騒がれてるけど、現実は厳しいようです（泣）諦めないことが最大の鍵になりそうです。

そもそもDeep learningとは?機械学習の一種?

• 00:44:11 そもそもDeep learningとは?

世間では囲碁で機会が人間に勝ったり、ガンを見つけたりして一躍有名になりました。Googleは2014年から力を入れてやっていたようです。

深層学習の最も原理的な表現保証 ポイントは3つ

• 00:49:11 深層学習の最も原理的な表現保証

深層学習を可能たらしめているポイントは3つです。

1. 無限微分可能関数（Infinitely flexible function）
2. 万能なパラメータフィッティング
3. 高速でスケーラブル

1.ニューラルネットワーク（Infinitely flexible function）

ニューラルネットの発展によってより深く学習が可能になりました。

2.万能なパラメータフィッティング（最急降下法）

パラメータを最小化するには勾配法が最適です。過学習には気をつけないといけませんが。

3.高速でスケーラブル（GPUとニューラルネットワーク）

GPUの発展により値段も下がり、今まで1日かかっていた深層学習が一瞬で終わったりすることが実はAIブームを作り出したということです。

Deep Leaningの実際の例

• 00:58:11 Deep Leaningの具体例
  course in ML1 (Machine Learning 1)
  Deep learningがどのようなビジネスに使えるかを紹介しています

1. 不正利用検知
2. ユーザーのレテンション（関係維持）/チャーン（乗り換え客）の予測
3. 優先顧客の見極め
4. 売上の予測
5. レコメンドシステム
6. コールセンターの効率化
7. プロダクト失敗の予測
8. 広告最適化
9. ストアのレイアウト
10. クレディットのリスク回避
11. 履歴書のスクリーニング
12. 社内のスケジュール管理
13. 値段の最適化
14. マネーロンダリングの回避
15. 実店舗の場所を最適化

ほかにもいろいろできそうです。私は心の予測をAIでしてみたいです。AIは今後インフラとなることは間違いないので、Fastaiもがんばって最後まで続けていきたいところです。

• 01:02:11 非線形モデル（シグモイド・Relu・SGD関数）

畳み込みネットワークのイメージ

私は参考書でやってたのですが、数式とコードだけではなんとなくイメージがつきにくいんですね。

そのあと、この動画をみてCNNのイメージがはっきりできるようになり頭がクリアになりました。最初からこの動画を見ていたかったと思うくらいに。

Image Kernels explained visually

シグモイドの重みとバイアス付のイメージ

これまた、初学者のときに見ておけば、ニューラルネットにおける重みとバイアスのイメージもすんなりできたであろう良いサイトです。

Neural networks and deep learning

最急降下法のイメージ

この動画もしかり、学習回数を重ねるにつれ、回帰直線が実測値に近づいていくというイメージをしやすい動画です。Jupyterで動画表示もできるようです。驚きの連続です。後ほどやってみます。

勾配法とLearning rateの説明

イメージができたところで、理論的な話がさらっとでてきます。

ここではチュートリアルなのでさらっと流れましたが

要約をすると、

Xn+1 ＝ Xn + 傾き* l（学習率）

というのを頭に入れておけばここではOKかな

先程、実行したLesson1のコード（CNN）を図解

• 01:08:20 CNNの理論を図解してみていく

• lr_findというライブラリをFastaiは用意している。これは100％を超えるまえに処理を止める機能がある。

上記のグラフでは、10^-2 つまり、0.01あたりで最小値を出しており、この値をLearning rate(学習率)としている。くわしくは後ほど見ていくそうだ。

エポック

ここではエポックを3に増やしてみて、評価値が下がっていることを確認している。

実際に,右から3つ目の値が評価値なのですが

0.98975

0.99219

0.98975

と2回目の方が3回目よりよい評価となっており、これを最適化する方法を今後見ていくそう。

Jupyter Notebookの便利な機能

• 01:21:30 Jupyter Notebookの便利な機能

Jupyterの3つの便利な機能

• tab：予測変換
• shift + tab ：ドキュメントが見れる 2回連続ですると詳細が見れる
• ?：ドキュメントの詳細がポップアップする
• ??：リソースが表示される

こんな便利機能があるんですね。Jupyter様様です。ほんとに（泣）GoやSolidityやJSなど他の言語を使うときによく思うのですが、Jupyterほど書きやすくて高機能なエディタはないと常日頃思っております。意外と知らなかった機能がたくさんあったのでJupyterをもっと使いこなしてみたい。

Fastaiもそういったこまかい技まで教えてくれる超実践的でドキュメントもわかりやすい神教材だと思います！これが無料…

Lesson1まとめ

こんかいはチュートリアルなので、理論的なことは私も飛ばして書きました。

要点としては

• crestleでGPUサーバーが楽に!
• CNN（画像認識）を3行で試しに動かしてみた 詳細は次の章で!
• そもそもFast.aiの全体像と進め方
• Deep learningがなぜスゴイのか 3Point (ニューラルネットワーク・勾配法・GPUと高速処理)によって実現が可能に
• CNN（畳み込みネットワーク）のチュートリアル（CNNの仕組み・シグモイド・勾配法の動画によるイメージ付け）
• Lesson2への布石（学習率やエポックの説明をさっと行い、なぜこれらを指定するのかに注意を向ける）

といった感じでしょうか。少々荒い解説ですが、本題は次章からなので、あまりチュートリアルに時間をさくもの違うと思うので、Lesson1はこれにて。

Lesson2からはもっとコードメインの解説をしていくことになりそうです。

最後に個人的に言いたいことは、fastaiはわかりやすくて詳しいドキュメントあるし、無料だし、初心者でも分かるように教えてくれるので最高です。

2017verのfastaiではAWSの処理が遅くて高額なのと所々おこるエラーの対処でうまく進まなかったのですが、2018にアップデートされ、丁度やりたかったPytorchも学べるということで!
また、ドキュメントの質もアップグレードしてます。日に日に急速な進化を続けるAI分野ですが、やるならfastai一択だと思います!Couピーraも有名ですが、言語はOctaveだっけ?あれは私も1万かけてやろうとおもって挫折してますし、機械学習より深層学習、なによりPythonでやりたいなという気持ちがあったので、そんなときに探しまわった結果Fastaiさんと運命的な出会いで（笑）余談がすごいですが、結構疲れますね。量が多くて。

Lesson2続きます!挫折しないようにがんばります。

参考書はブロックチェーンプログラミングです。

１．ビットコインの暗号技術

１-２暗号学的ハッシュ関数

１-３公開鍵暗号

２．ECDSA

２-１楕円曲線暗号

２-２ECDSAの暗号鍵の生成

２-３ECSDAによる電子署名

２-４ECSDAの決定性署名

３.ビットコインアドレス

３-１ビットコインアドレスの作成方法

３-２base58エンコーディング

３-３base58デコーディング

３-４プレフィックス

３-５チェックサム

３-６ペイロード

３-７Base58Checkエンコーディング

１．ビットコインの暗号技術

暗号技術は軍事機密として扱われるような技術でした。ビットコインには新しい技術は使われておらず、むしろ枯れた暗号技術を組み合わせてできたものです。

１-２暗号学的ハッシュ関数

暗号学的ハッシュ関数とは、直感的にいうと、任意の長さの文字列を入力すると一定のサイズのランダムな数値を変えるような関数です。一方関数とも言う。

1-2-1ダイジェスト

ある処理が、同じ入力に足して必ず同じ値を変えるという性質を決定性という。

この性質を持つため、ハッシュ値のことを入力したメッセージのダイジェスト（要約）と呼ぶことがあります。

1–2–2完全性

メッセージが１ビットも変わっていないことを完全性と言います。ハッシュ値はメッセージの完全性の検証に使うことができます。全てを確認せずとも先頭４ビットでも利用可能。

1–2–3コミットメントへの利用

一度きりしか使わないランダムな数値のことをnonce（ナンス）とよび、ハッシュ値を実際に計算した人は、使用したナンスを開示することによって、第三者に対して自分がそのメッセージとハッシュ計算を行った人間を確実に関係づけることをコミットメントといいます。

ビットコインのマイニングとは、ナンスを変更しながらブロックのデータのハッシュ値を繰り返し計算することで。マイニング競争とは、次々とナンスを変更しながらハッシュ値を計算し、それとターゲットと呼ばれる数値を比較し、世界で最初にターゲットよりも小さいハッシュ値を得たものが勝利者となるものです。

マイニングの結果得られるナンスのことをプルーフオブワーク（proof of work）といいます。理由はナンスを得るには莫大な計算が必要だからです。

同時にこのナンスはブロックの内の全てのトランザクションに対するコミットメントにもなっています。

1–2–4データ参照のためのポインタとしての利用法

ハッシュ値によるデータ参照のポインタを使ったデータ構造の表現力はとても強力です。

ハッシュ値をメッセージとみなして再びそのハッシュ値を計算することでハッシュ値間の連続構造を改変不可能にすることができます。これをハッシュチェーンといい、ハッシュチェーンを使うとデータの構造化に買わえてデータ間の欠落がないことを証明するコミットメントとして利用できるようになります。

1–2–5あるデータがコミットされたメンバーであることの証明手段としての利用法

ハッシュチェーンの１つに、マークル木というデータ構造があります。マークル木は、全ての枝がそれぞれ２つずつに分岐する木構造をもったハッシュチェーンです。

作成方法は、対象となるデータをまず一定の基準で順序付けた上で、葉から枝に向けて２つずつまとめられ上の枝へとまとめ上げていきます。マークル木の頂点に位置するハッシュ値を使うと、葉に当たるすべてのデータに対する依存関係を変更不能にします。このたった１つのハッシュ値を、マークルルートと呼びます。このマークルルートと呼びます。このマークルルートになんすをつけ加えることでマークル木全体へのコミットメントが完成します。

マークル木の葉に当たる全てのデータが、ハッシュチェーンがマークルートへ到達することを二択の判断の繰り返しを木の高さぶん行うだけで、コミットされているか否かを判定することができる。これはそのデータがコミットされたメンバーであることを判定することに相当しています。

1–2–6暗号学的ハッシュ関数の衝突耐性

異なるメッセージを入力したのに、出力したハッシュ値がおなじになってしまうことをハッシュの衝突と言います。暗号学的ハッシュ関数は、ハッシュ値の衝突の確率が極めて小さくなるように設計されており、これを衝突耐性と言います。

理想の衝突確率は、ハッシュ値のサイズの平方根で、それよりはよくできないとわかっています。

1–2–7ビットコインにおける暗号学的ハッシュ関数の利用

ビットコインは暗号学的ハッシュ関数を実に巧みに利用しています。例としては

• ビットコインアドレスは公開鍵のダイジェスト
• ビットコインアドレスはチェックサムとしてハッシュ値の一部を利用
• トランザクションの識別子はトランザクション群の内容への完全性の保証
• ブロック内の情報や含まれるトランザクション群の内容への完全性の保証
• ブロックの連鎖構造（ブロックチェーン）においてブロックの順序の保持、追加や欠如を不可能にするコミットメント
• 分岐可能性があるブロックチェーンの枝における選択した直前のブロックへのコミットメント
• マイニング計算とそのコミットメント（HashCash法という）
• トランザクション構成時に直前のトランザクションを参照するためのポインタ
• マークル木というハッシュ値のポインタによる木構造を利用した、メンバー判定の効率化
• 探索者の検索対象に関するプライバシを守りながらブロック内のメンバーを探索するフィルタ（ブルームフィルタという）

ビットコインでは、SHA-256とRIPEMD-160という2種類の暗号学的ハッシュ関数の標準を利用してます。

１-３公開鍵暗号

暗号鍵を安全に相手に渡すかという鍵配送の方法として、公開鍵暗号がはい削されました。公開鍵暗号は、公開鍵と秘密鍵と呼ばれるペアになった2つの鍵を利用する暗号技術です。

代表的なものとして

• 暗号鍵の交換
• 電子署名
• 電子認証

それぞれ用途ごとに専用の公開鍵暗号技術があります。

1-3-1公開鍵と秘密鍵

公開鍵と秘密鍵はそれぞれ反対向きの計算を行うために使われます。

秘密鍵は、それを持っている人にしかできない固有の計算能力を締めるために使われます。

また、公開鍵はその秘密鍵を使った計算の結果を検証するために使います。

例としては、インターネットでの電子認証で、相手が信用出来ないとき、IDとPassでは危険です。なのでPassの代わりに自分だけができる固有の計算能力を示すことで本人であることを証明すればいいのです。例えば、サーバーがランダムなデータを自分の秘密鍵を使って計算を行い、その結果をサービス側に返します。サービス側はその人の公開鍵を使ってその計算結果を調べることによって本人確認ができます。

1-3-2当事者の識別子としての公開鍵

公開鍵暗号は、全ての当事者がそれぞれ自分の公開鍵と秘密鍵のペアを持っていることが前提になります。全ての当事者がそれぞれの自分の公開鍵と秘密鍵のペアを持っているという社会的な前提のことを公開鍵基盤（PKI）といいます。

ビットコインはSSL/TLSとは違って、PKIでは公開鍵証明書の中に本人の実名やTLSサーバのFQDNなど、実世界での実態を参照する情報が記載されていますが、ビットコインでは、現実世界の実存とは切り離されたビットコインアドレスを利用しています。

このような実態と切り離された名前のことは一般に仮名（pseudonym）と呼ばれ、積極的に実態の隠蔽を目的とする死喰いをそろえた名前である匿名（anonymity）とは区別されます。

1-3-3電子署名

電子署名の昨日は、電子的なメッセージに対して1.そのメッセージの作成者が誰か、2.そのメッセージが1ビットも改ざんされていないこと、の2つが証明できるようになります。

電子署名を作成する人のことを署名者と呼びます署名者は、メッセージと自分の秘密鍵を使った固有の計算を実行する事によって電子署名のデータを作成します。この計算を署名作成と言います。

この電子署名を利用して、メッセージの作成者の確認やメッセージの完全性を検証するのはそれを受け取った第三者です。これを署名検証者と呼びます。メッセージの電子署名に使用した秘密鍵と対になる公開鍵は、秘密鍵による計算と逆の計算をおこなる機能を持っています。この計算を署名検証と言います。

２．ECDSA

ビットコインでは、ECDSA（楕円曲線DSA）という電子署名のための公開鍵暗号技術が使われています。DSA（Desital Signature Algorithm）とは、標準化された電子署名を目的とする公開鍵暗号で、

ECDSAは、楕円曲線という数学を使ってDSAと同じ原理の公開鍵暗号を構成したものです。

ECDSAでは、電子署名の仮定で擬似乱数の生成が必要になります。この乱数が推定されると大事な秘密鍵がバレるといけない性質があり、なのでECDSAを使うときは必ず安全な擬似乱数を使わなければいけません。

ECDSAのアルゴリズムを実査に使用するときには、楕円曲線のパラメータの指定が必要です。ECDSAは、標準化の対象になっている電子署名アルゴリズムであり、楕円曲線のパラメータにも推奨される標準が存在します。ビットコインではsecp256k1というパラメータが利用されています。

OpenSSｌでは以下のように使います。

ECDSAによる公開鍵暗号の基本暗号の基本機能は以下の3つです。

• 暗号鍵生成
• 電子署名作成
• 電子署名検証

ECDSA secp256k1の鍵のサイズや署名の入力メッセージのサイズ、署名のサイズは以下のとおりです。

• 秘密鍵：256ビット
• 公開鍵（圧縮なし）：512ビット
• 公開鍵（圧縮あり）：257ビット
• 署名入力メッセージ：256ビット
• 署名：512ビット

２-１楕円曲線暗号

ビットコインでは電子署名の為に楕円曲線暗号を利用していますが、ビットコインを拡張する様々な応用技術の中で、楕円曲線暗号を電子署名意外の用途にもりようする進化があります。

2-1-1楕円曲線上の離散対数問題

楕円曲線がなぜ公開鍵暗号に利用できるのかのしくみは、簡単に言うと、公開鍵や傍受可能な通信内容から秘密鍵を計算できないということによっています。

現在のところ、多項式時間で計算方法が見つかっていないこと離散対数問題（DLP）といいます。代表的な公開鍵安東の1つであるディフティー・ヘルマン法でも利用されてます。

詳細はこちらで。理解が第一なので、ここで数学的なことは説明しません。

2-2-2楕円曲線のパラメータ

楕円曲線あんごのパラメータは次のものです。

• 基準点G（x座標,y座標）
• 余剰系の素数p
• 楕円曲線の係数aとb
• Gの位数n(Gをスカラー倍していくことで得られる異なる点の総数)
• （secp256k1の場合、楕円曲線のパラメータの値は次のようになります）
• Gx=550662640227734366957871889516853426250603453777594175500187360360389116729240
• Gy=326705100207588169780830851305074318447127338065243275938904335757337482424424
• 剰余系の素数p=2²⁵⁶-2³²-2⁹-2⁸-2⁷-2⁶-2⁴-1
• 楕円曲線の係数a=0, b=7 つまり y²=x³+7
• Gの位数

コードだと、

２-２ECDSAの暗号鍵の生成

実際に自分の秘密鍵と公開鍵を生成していきます。

ちなみにBitcoin-rubyを使ったECDSAの生成のコードは

２-３ECSDAによる電子署名

メッセージへの電子署名を試してみましょう。

電子署名には、

• メッセージのダイジェストの作成
• 電子署名の作成
• 電子署名のエンコーディングとデコーディング
• 電子署名の検証

があります。詳しく見ていきます。

2-3-1署名者の公開鍵と秘密鍵の生成

２-４ECSDAの決定性署名

ECSDAによる電子署名への入力は、正確には4つです

• 位数nのビット長をLnとしたとき、メッセージのダイジェストの上位Lnビットd
• 署名者の秘密鍵privKey
• 乱数k
• 楕円曲線のパラメータG, n

また、ECDSAの電子署名の出力は、楕円曲線上の点（r,s）でした。そして電子署名を作成する処理は、次のような計算を行います

• 楕円曲線上の点（x1, y1=kGを求める
• r=x1mod(n)
• k^-1mod(n)を求める
• s=k^-1(d + r*privKey)

ECDSAによる電子署名の度に必要となる乱数kは決して同じものを2度使ってはいけません。

ECDSAのkの運用方法を定めた電子署名をECDSAの決定性署名という

３.ビットコインアドレス

公開鍵暗号の主な用途は、

• 暗号鍵の交換
• 電子認証
• 電子署名

でしたが、

ビットコインの送金は原理的に送金先の公開鍵さえあれば可能です。

公開鍵の問題は、公開鍵の偽装です。

ビットコインで実際に送金先として利用されているのは公開鍵ではありません。実際の固有名は、ビットコインアドレスです。これは公開鍵と1対1で対応しているので、ビットコインアドレスと公開鍵の対応関係は公開鍵の正真性の検証をおこなう計算で確実に確認できます。

３-１ビットコインアドレスの作成方法

ビットコインアドレスを間違えると送金したお金が二度と取り戻すことができない。そのために、チェックサムとプレフィックスとbase58エンコーディングの利用です。

• バーション情報を表すプレフィックス
• 公開鍵から生成されるペイロード
• 内容の間違いを検出ためのチェックサム

でビットコインアドレスはできています。

３-２base58エンコーディング

数字とアルファベットに記号の+と/と＝を使用する方法です。

３-３base58デコーディング

３-４プレフィックス

ビットコインアドレスの先頭の1バイトはバージョンや種別を表すために利用されます。ビットコインアドレスについての主なプレフィックスを下にまとめます

（ 種類 ｜ プレフィックス ｜ base58エンコーディング ）

• ビットコインアドレス (mainnet)| 0x00 | 1
• ビットコインアドレス (testnet) | 0x6F | m or n
• P2SHアドレス(mainnet) | 0x05 | 3
• P2SHアドレス(testnet) | 0xC4 | 2

３-５チェックサム

チェックサムは、入力されたアドレスに間違いが合った場合にそれを検出できるようにするための付加情報です。

ビットコインアドレスでは、512ビットの公開鍵に1バイトのプレフィックスをつけたものを入力してSHA256によるハッシュ値を2回繰り返した値の先頭の4バイトをチェックサムとして使用しています。

３-６ペイロード

ペイロードとは、データとしての実態のことです。通常のビットコインアドレスでは、公開鍵に対してSHA256を使ったハッシュ値をさらにRIPEMD160を使ってハッシュ値を求めたものがペイロードになります。

３-７Base58Checkエンコーディング

プレフィックスとチェックサムで、全体をbase58でエンコードするデータ形式をBase58Checkエンコーディング形式と言います。

• 任意のサイズの内容（payload）
• 先頭1バイトをアプリケーションもしくはバージョンの識別子を意味するプレフィックス
• checksumは、sha256(sha256(prefix + payload))の先頭4バイト
• データは、prefix + payload + checksum
• Base58Checkは、データをbase58でエンコードしたもので模式的に書くといかのようになる

Base58Check = base58encode(prefix + payload + checksum)

base58_checksum?(base58data) # Base58Check形式の検査

よもやま

・随時更新

・暗号とか無縁の文系大学生なので、少しスピードが遅いが、できなくはなさそう 好きかどうかは分からないけど、今のところ知らないことを知るって意味では楽しいが、3章までだとどうサービスに組み込むかまだわからないので、気合で何とかするｗ

※この記事は営利等を目的としたものではありません。ご指摘等ありましたら、迅速に対応致します。

今回は、Liskを勉強し始めたので、情報をまとめていきます。随時追加します。

若輩者ゆえ、間違った点等ございましたらご指摘ください。

Liskの特徴

そもそもLiskとは、

スマートコントラクトやDApps（分散型アプリケーション）構築のプラットフォームを掲げたプロジェクト。

らしいです。よくわかりませんね… 詳しく見ていきます。

特徴としては大きく4つ

・Microsoft Azureとの連携

Microsoftの法人向けクラウドサービスのMicrosoft Azureと近年提携を結び、影響力を高めています。

・javascriptでかける

イーサリアムはスマートコントラクトの記述にSolidityという独自の言語を採用しているため、開発しづらいが、Liskはjavascript を採用しており容易に実装可能です。

・Vote報酬（フォージング）

Liskにはフォージング（鍛造）というシステムがあります。Liskでは101人の代表者のみがマイニングをすることができます。ランキングは私たちのようなパブリックのVOTE（投票）から決まります。フォージングに成功するとLISKをただで貰えるのでマイナーは上位を狙います。
私たち一般ピーポーはこの投票に対する見返りとして少量のLiskを分けてもらえるという仕組みがあります。投票に関する情報はこちらのサイトで見ることができます。

lisk.builders - Making Lisk better Block by Block!

・サイドチェーン

サイドチェーンとは、

あるブロックチェーンの拡張を行う際にメインのブロックチェーンを構築した上でスマートコントラクトを記録し、「サイドチェーン」としてメインのブロックチェーンと接続する。

そもそも、スマートコントラクトとは、「ある条件が満たされた場合に、決められた処理が自動的に実行されること」であり、スマートコントラクトといえば、イーサリウムが有名ですが、Liskとイーサリウムの違いは「サイドチェーン」にあります。

イーサリアムとLiskの違い（サイドチェーン）

イーサリウムは、

イーサリアムのメインのブロックチェーン上に全てのスマートコントラクトを記述してDAppsを構築します。そのため、DAppsを構築するとき、DeveloperはDAppsごとに新たなブロックチェーンを構築した上でスマートコントラクトを記録し、サイドチェーンとしてメインのブロックチェーンと接続します。

一方、

Liskは、

1つのブロックチェーン上に全てのDAppsを構築するのではなく、DAppsごとにサイドチェーンを構築します。

また、サイドチェーンはメインのブロックチェーンとは独立したブロックチェーンであるので、

DApps開発者がサイドチェーンとなるブロックチェーンを構築する際、取引記録の記録者とその承認者を新たに設定することが可能です。
DApps開発者が承認者を選ぶことができるため、Liskにおけるサイドチェーンはプライベートチェーンに近いと言うこともできるでしょう。将来的にはコンセンサスアルゴリズムの設定も自由に可能にする予定で、ビットコインのようなプルーフ・オブ・ワークや、プルーフ・オブ・ステークを導入したパブリックチェーンを作ることも可能になるとのことです。

Liskのメリット（拡張性と柔軟性）

サイドチェーンのメリットは、スケーラビリティと柔軟性です。

サイドチェーンごとにスマートコントラクトを実行しているため、1つのブロックチェーン上で複数のDAppsを実行するより負荷を軽減でき、拡張性が生まれます。

また、それぞれのスマートコントラクトは各サイドチェーン上に記録されているため、DApps開発者によるコードの変更が容易にでき、柔軟性があります。

デメリット（中央集権的になる可能性がある）

Liskではマイニング（取引の記録作業）をフォージング、記録承認者をdelegateと呼びます。

サイドチェーンは、メインのブロックチェーンとは独立したブロックチェーンであるため、開発者が取引記録者（フォージング）と記録承認者（delegate）を設定することができ、フォージングを行う人数を減らすことで、中央集権的に管理できてしまいます。

また、開発者がサイドチェーンを構築する際に承認者を設定できる一方で、メインのチェーンとは別に承認者を新たに設定する必要性があるという手間もあります。サイドチェーンの承認者（delegate）の数が少ない場合にはブロックチェーンのフォークが簡単に起きてしまうため、攻撃を受けやすくなってしまい安全性の担保が疎かになる可能性があります。

Lisk最新情報

3日前（2018/02/20）にリブランディングしてろごやWebサイトを一新して、コアをアップデートしたそうです。CEOも広報に力を入れているようです。

リブランディングイベントでは、ロードマップにおける重要なマイルストーンであり、以下の発表があったそうです。

ブランドロゴの新デザイン発表

WEBページのリニューアル

Liskアカデミーの公式発表

Lisk Hubの新機能としてLisk IDの紹介

トランザクションに伴う手数料の改善

Lisk Core1.0のβ版リリースを今後4～6週間以内であると発表

正式なプレスは以下公式サイトで。

Lisk Relaunch | Lisk

2018年4月にアプリ開発ツールであるSDKの配布が行われ、Liskがいよいよ本格的に動き出すようです。秋には、ブロック報酬減少を控え、発行枚数を減らしていくので、1枚あたりの希少性を高めていきます。

Liskアカデミー

Liskアカデミーとは、ブロックチェーンの開発経験がない人向けの体系的なマニュアルや動画ガイドによって、ユーザーに簡単さを提供いくというもの。

Liskアカデミーは2つコースがあります。

1. ブロックチェーン初心者コース：ブロックチェーンの基本的な価値や技術、使用事例を4項に分けて学習
2. ビジネスコース：ビジネスにおける具体的な使用事例から、応用、仮想通貨、ICOを4項に分けて学習

見た感じBiz向けで、Dev向けではないが、一読する価値はありますね。英語も初心者なので私はさらっと（大体、すでに言われてることなので再確認程度に）

Welcome to the Lisk Academy | Lisk

リンクまとめ

• 公式HP

Lisk | Blockchain Application Platform

・Documentation

Welcome | Lisk

・Medium(Blog) Lisk

Lisk Blog

・Lisk Nano(wallet)

Products | Lisk

・Github

LiskHQ/lisk

・Youtube

Lisk

・Twitter

Lisk (@LiskHQ) | Twitter

今回は、文系的な情報収集のみでしたが、今後はDev的なことを書いていきます。

LISKの鍛造（＝マイニング）に挑戦！｜CoinChoice

こういう記事とか？もっと技術者向けに情報をまとめていきます。

Liskは日本語だと情報少ないですが、チャンスだと思ってます。伸びしろですねぇ（）

・よもやま

JS使ってるだけあって、リブランディングしたサイトのアニメーションが素晴らしくぬるぬる動きます。私もこんなサイト作れるようになりたい。

※この記事は以下のサイトを参考にいたしました。利益など目的を書いたものではございません。

個人的にもっとも注目していたARスタートアップ”Magic Leap”

公式なプロダクトをまだ出していないが、GoogleやAlibabaから19億ドルの資金調達を受ける謎の多い企業でしたが、1時間前に公式Twitterで初となるプロダクトの公開がされました。

XRに全く詳しくなく、翻訳を載せるだけの形とします。
また、スピード感がほしかったのでアメリカ語が得意ではないので、Google翻訳です。営利目的ではありません。著作権等の問題により、数日で削除致します（12/21 1:00現在）。ご了承ください。

Magic Leap on Twitter

World, meet Magic Leap One. Magic Leap One, meet the world. More at: https://t.co/LbHY82tYUC https://t.co/2iXgyPs21K

Rolling Stone

・機能

頭の周りに体重を均等に分配する

場所にゴーグルを保持するヘッドバンドは「クラウンテンプル」デザインを使用しています。「それはあなたの頭の周りに体重を均等に分配する方法に関する私たちの研究から来た」
クラウンは、左、右、後ろの部分に広がる。その後、ヘッドバンドのように頭の上にスライドさせます。2本の短いケーブルがヘッドバンドの後ろから出て1本に合流し、4〜5フィートをシステムのLightpackに差し込みます。Lightpackは2つの丸いポッドを片方の端にスムーズに接続して、両者の間に隙間を形成します。

コンピュータビジョン処理を行い、機械学習機能を備えたリアルタイムコンピュータである

それは強力なCPUとGPUを持っています。それはドライブ、WiFi、あらゆる種類のエレクトロニクスを持っているので、それは自分自身の上に折り畳まれたコンピュータのようなものです。

ゴーグルはあなたがそれらを身につけていることをほとんど忘れてしまうほど快適

エッジがぼやけるオプションがあるため、画像が停止して脳が自然に隙間を埋めるような過酷な酔いはないでしょう。

・Vision

長時間使用していることに気付く不快感でした。「私たちの目標は、最終的に世界中の多くの人々が毎日いつでもどこでも使えるような特別なコンピューティングを構築することです」とAbovtiz氏は私に語ります。

参考リンク：

Magic Leap: Founder of Secretive Start-Up Unveils Mixed-Reality Goggles

Moguraさんの翻訳

「Magic Leap One」ついにデザインが公開 眼鏡型のARデバイス | Mogura VR

正式な発表は個人ブログでは扱いませんので、今後はMoguraVRさんをチェック！

MIT Technology Review

Magic Leap says it will release its AR headset next year, but offers no price or release date.

iPhoneやAndroid搭載スマートフォン用のARツールを使用

ヘッドセットが頭の姿勢と目の位置を追跡する

ユーザーが音声とジェスチャーを使ってMagic Leap Oneと対話できる

engadget

This is Magic Leap's mixed reality headset

CNBC

Magic Leap has finally revealed its first major product, a mixed-reality headset

Magic Leapは、ハイエンドの複合現実感デバイスであるMicrosoftのHoloLensと比較して、市場参入が比較的遅い。しかし、マジック・リープの前回のデモン​​ストレーションが特殊効果で飾られているという主張にもかかわらず、同社の支援者はスタートアップの堅固な擁護者だった

THE VERGE

Magic Leap finally unveils augmented reality goggles, says it's shipping next year

「音声、ジェスチャー、頭部ポーズ、目の追跡などの複数の入力モード」を受け入れ、永続オブジェクトを環境にマッピングします

マジック・リープが技術を縮小してゴーグル・サイズにするのが難しいという噂を反論しているようだ。「パフォーマンスを巡り歩いても遠く離れていても、吃音や減速はない」と言っている。

これは人々が何年も熟考した技術の、公然とアクセス可能な実例を提供するMagic Leapの始まりです

variety

Magic Leap Reveals AR Headset First-Look Images, Sets 2018 Ship Date

マジック・リープ・ワン・ヘッドセットには、表面、飛行機、および物体を検出するセンサーが含まれているため、「物理的な環境をデジタルで再構築できる」

ROAD TO VR

Magic Leap Finally Unveils its First AR Product 'Magic Leap One', Shipping Starts in 2018

Producthunt

Magic Leap Creator Editionは、スーパーステルスARから明らかになった最初の製品です。Creator Editionには、ヘッドセット、ライトパック、およびコントロールが含まれています。

個人的まとめ

• 機械学習（画像認識）もできるんかい
• デザインの賛否両論は置いといて、近未来感あって私は好きですよ
• エンジニアじゃなくても「興味あり」でメルマガ登録できるので、みなさんもぜひ
• 値段が気になる！ホロレンズがexpensiveだったので、買えるか不安です
• SAO劇場版の世界があと3年で実現すると思う

※削除要請等あれば、ご連絡ください。迅速に対応致します。

なお、以下のリンクを参考にさせて頂きました。

Kaggle事始め - Qiita

流れ

1. Kaggleのアカウントを作成する
2. CompetitionからTaitanicを選び、Get the data から train.csvとtest.csvをダウンロードする
3. 問題を理解して、どうやって解析するか考える
4. Pythonでコードを書いて、実際にDatasetを処理し、最後にSubmit用のDataを作成する
5. Submitして順位とScoreを見る(完了)

参考リンク

• Kaggle/docker-python
• KaggleのCTOが教えてくれた"AIエンジニアに超オススメな8つの学習ステップ" | Jenio Inc. HR Blog
• KaggleチュートリアルTitanicで上位3%以内に入るには。(0.82297)
• Kaggleをはじめたので対策や攻略法についてのブックマーク | Futurismo
• Kaggleに初めて投稿してみた
• Kaggleゼミ成果報告（Rossmann編）
• Kaggleで使われた特徴量エンジニアリングとアルゴリズムまとめ

• Kaggleのtitanic問題で上位10%に入るまでのデータ解析と所感 - mirandora.com
• threecourse's memo
• 『データサイエンティストとマシンラーニングエンジニアはKaggleやれ』というのは何故なのか - Qiita
• データサイエンティストを目指して勉強するなら、Kaggleからはじめよう - Qiita
• The Beginner's Guide to Kaggle
• Kaggleのコンペティションリスト(随時更新) - Qiita

この記事の目的と全体の流れ

ただ読むのと、アウトプット（ブログに書く）前提で読むのとはインプットの質が違うということがわかったので、ブログに書きながら理解していく形を取ります。

全体の流れとしては、章の要約。あぁこの内容知ってるなって人は買わずに済むし、わからないこと多いという人は購入を検討して頂ければ。（出版関係者でもなければ、アフィリエイトなどの営利目的でもなく、いち消費者としての個人的意見になります。 ご了承ください。）

結論から言うと（書評）

いままでのオライリーのデータサイエンス本だと英語から翻訳したのでわかりにくい日本語が非常にうっとうしいのですが、
この本は、日本の方が書かれており、日本語スムーズに理解できます。

また、非常に論理立てられて書かれてあるので、めちゃスムーズに頭に入ってきます。誰にでも（ML初めて見る人を除く）わかるようにかかれており機械学習初心者には最高の一冊です。

ほめるだけなのはあれなので、1つはわかりやすく説明するイコール専門性は他の参考書で学習してください形式なので中級者にはもの足りないかもしれません。あと、コードがあまりでてきません。ビジネス書としても捉れるかも。

レベルについて、本の中で書かれているのは、CourseraのMachine Learningコースを受けたり、ゼロから作るDeep Learningを読んだあとの2冊目として読んでいただければと書かれていますので、自分のレベル感とはマッチしてました。

この本で扱っている内容は、正式にはこう書かれています。

本書では、機械学習やデータ分析の道具をどのようにビジネスに生かしていけば良いのか、また不確実性が高いと言われている機械学習プロジェクトの進め方について 整理しています。
本書はもともと、機械学習の初学者向けに書いた文章からはじまりました。入門者のために書きはじ めたのですが、実際には理論を軽めにしたソフトウェアエンジニア向けの実践的なカタログのような形 になっています。 アルゴリズムの話などは他の書籍でも数多く取り上げられているので、本書ではプロジェクトのはじ め方や、システム構成、学習のためのリソースの収集方法など、読者が「実際どうするの？」と気にな るであろう点を中心にしています。

機械学習を現場でどう使っていくかの道筋がわかる1冊となっています（個人的に）

目次

では、この流れで見ていきます
（）内にはその章のひとことでまとめた表現を入れています。

1. 機械学習プロジェクトのはじめ方（実際のプロジェクトの進め方）
2. 機械学習で何ができるか（アルゴリズム紹介）
3. 学習結果を評価しよう（アルゴリズムごとの評価の仕方）
4. システムに機械学習を組み込む（実装前のシステム設計の仕方）
5. 学習のためのリソースを収集しよう（データセットの使い方）
6. 効果検証（検証・検定・ABテスト より実務的（ビジネス的））

ここまでの理論ベースが第1章となっています。第2章（7.映画の推薦システムを作る、8.Kickstarterの分析、機械学習を使わないという選択肢、9.Uplift Modelingによるマーケティング資源の効率化）は実際に機械学習システムを作りながら解説する内容となっており、実践も基礎も学べる非常に優れた技術書だと思います。

以下、ほとんど丸写しのように見えますが、わかりやすさ重視のため、引用させていただきました。（営利目的ではありません）

機械学習プロジェクトのはじめ方

機械学習は普通のソフトウェア開発より手戻りが発生する場合が多いです。ですので、ポイントを抑えることが大事です。

機械学習プロジェクトの流れ

実際の機械学習は以下のように進めていきます。

1. 問題を形式化する
2. 機械学習をしないで良い方法を考える
3. システム設計を考え
4. アルゴリズムを選定する
5. 特徴量、教師データとログの設計をする
6. 前処理を行う
7. 学習・パラメータチューニング
8. システムに組み込む

もっと大まかにすると、
①解きたい課題を機械学習で解ける問題設定に落とし込む（1,2）

②解くための道具選びと前処理（3,4,5,6）

③モデルの作成（7）

④サービスへの組み込み（8）

特に最初の2つの課題設定と前処理が重要です。

機械学習のシステム開発は、実際には試行錯誤を繰り返す作業になりま す。特に、上記の4から7は試してみては変更して、という作業を何度も繰り返すことにな

まずは、「機械学習でこういう課題を解決した」という事例を見た時に、「どういったアルゴリズムで 解決したか」「どのようなデータを特徴量として使っているか」「機械学習部分をどのように組み込んで いるか」ということを意識して調べると良いでしょう。

実システムにおける機械学習の問題点への対処法

予測性能のみを追い求めてモデルの苦心が難しくなりやすく、システムの複雑性が上がってメンテナンス性が低下しがちであり、変化に追従しづらいといえます。

この問題には、以下のポイントが重要です。

・ 人手でゴールドスタンダードを用意して、予測性能モニタリングをする（1,2,4）

・ 予測モデルをモジュール化してアルゴリズムのABテストが出来るようになる（2）

・ モデルのバージョン管理をして、いつでも切り戻し可能にする（4,5）

・ データ処理のパイプリアンごとに保存する（3,5）

・ 開発/本番環境の言語/フレームワークは揃える（6）

機械学習を含めたシステムを成功させるには

機械学習のプロダクトをビジネスとして成功させるには以下の4者が重要になります。

1. プロダクトに関するドメイン知識を持った人
2. 統計や機械学習に明るい人
3. データ分析基盤を作れるエンジニアリング能力のある人
4. 失敗してもかまわないとリスクをとってくれる責任者

わかりやすいスライドがありました。

機械学習プロジェクトの進め方と流れのまとめ

・解くべき問題の仮説を立て、MVPを作りコンセプトの検証を最優先する

・機械学習しないことを恐れない

・機械学習に適している問題設定かを見極める

・予測性能とKPIの両方のモニタリングし、継続してカイゼンを続ける

どのアルゴリズムを選ぶべきか

大まかに特徴を抑えたいと思います。

分類

正解となる離散的なカテゴリ（クラス）と入力データの組み合わせで学習し、未知のデータからクラスを予測する

回帰

正解となる数値の入力データの組み合わせで学習し、未知のデータから連続値を予測する

クラスタリング

データを何かしたの基準でグルーピングする

次元削減

高次元のデータを可視化や計算量削減などのために低次元にマッピングする

その他

推薦

ユーザが好みそうなアイテムや、閲覧しているアイテムに類似しているアイテムを提示する

異常検知

不審なアクセスなど普段とは違う挙動を検知する

頻出パターンマイニング

データ中に高頻度に出現するパターンを抽出する

強化学習

囲碁や将棋のような局所的いは正解が不明瞭な環境で、とるべき行動の方針を学習する

どれを使うか迷ったときはScikit-learnのサイトのフローチャートを使います

分類

分類は教師あり学習の1つで、予測対象はカテゴリなどです。例えば、メールがスパムかどうかや画像にどんな物体が写っているかなどのりサン地で狂言できるものを予測する場合に分類のモデルを作ります。有名なアルゴリズムは以下があります。

• パーセプトロン
• ロジステック回帰（Logistic Regression）
• SVM(Support Vector Machine)
• ニューラルネットワーク
• k-NN(k-Nearest Neighbor Method)
• 決定木（Decision Tree）
• GBDT(Gradient Boost Decision Tree)

回帰

回帰は、教師あり学習の1つで、ある入力データから連続地を予測します。例えば、電力消費量やWebサイトのアクセス数など、連続地で表現できる値を予測したい場合にモデルを学習します。回帰の各アルゴリズムについて見ていきます。

• 線形回帰、多項式回帰
• Lasso回帰、Ridge回帰、Elastic Net
• 回帰木
• SVR（Support Vector Regression）

クラスタリング

クラスタリングとは教師なし学習の1つで、主にデータの傾向をつかむために使われます。

• k-meansはシンプルにデータの傾向を見ることんよく使われます
• 階層的クラスタリング
• 次元削減（手法として、主成分分析（PCA）・最近ではt-SNEも人気）

その他

• 推薦
• 異常検知
• 頻出パターンマイニング
• 強化学習

学習結果を評価する

システムに機械学習を組み込んだときに、最初から満足できる結果が出ることはまれです。満足できる結果かどうかをどうやって図るかの評価方法について説明します。

分類の評価

例として、スパム分類をとり、4つの指標を見ていきます。

• 正解率（Accuracy）
• 適合率（Precision）
• 再現率（Recall）
• F値（F-measure）

また、これらを考える上で重要な3つの概念を見ます。

• 混同行列（Confusion Matrix）
• マイクロ平均、マクロ平均

回帰の評価

• 平均二乗和誤差
• 決定係数

機械学習を組み込んだシステムのA/Bテスト

システムに機械学習を組み込む

システムを機械学習に含める流れ

1. 問題を定式化する
2. 機械学習をしないでいい方法を考える
3. システム設計・誤りをカバーする方法を考える
4. アルゴリズムを選定する
5. 特徴量、教師データとログの設計をする
6. 前処理をする
7. 学習・パラメータチューニング
8. システムに組み込む

この中でも「システム設計」「ログ設計」について述べます

システム設計

今回は最も使われる教師あり学習について述べます。分類や回帰の場合、学習と予測の2つのフェーズがあります。さらに学習のタイミングに酔って、バッチ処理での学習とリアルタイム処理での学習という二種類タイミングがあります。

バッチ処理で学習を行う3つの予測パターンとリアルタイム処理のパターンについて構成を見ていきましょう。

1. バッチ処理で学習 ＋ 予測結果をWebアプリケーションで直接参シュルする（リアルタイム処理で予測）
2. バッチ処理で学習 ＋ 予測結果をAPI経由で利用する（リアルタイム処理で予測）
3. バッチ処理で学習 ＋ 予測結果をDB経由で利用する（バッチ処理で予測）
4. リアルタイム処理で学習する

ログ設計

ログ設定は特徴量を決めるための重要なポイントです。例えば、複数の自社で展開するWebサービスごとにユーザIDが異なる場合、CookieなどにUUIDを仕込んでIDの名寄せを試みるなどする必要があります。
ここでは、どこにあるどういった情報を利用し、教師データに活用するかについての概要を説明します。

特徴量や教師データに使いうる情報

特徴量や教師データに使えそうな情報としては3つ大きくあります。

1. ユーザー情報（登録したときの情報）
2. コンテンツ情報（ブログに於ける記事や商品自身の情報）
3. ユーザ行動ログ（アクセスログ）

ログを保持する場所

• 分散RDBMSに格納する
• 分散処理基盤HadoopクラスターのHDFSに格納する
• オブジェクトストレージに格納する

最近はAmazon RedshiftやGoogle BigQueryなどのフルマネージドなクラウド分散DBがあります。

・クラウドストレージ
— Amazon S3
 — Google Cloud Storage
 — Microsoft Azure BLOB Storage

・マネージド分散DB
— Amazon Redshift
 — Google BigQuery
 — Treasure Data

ログを設計する上で注意点

・必要そうなユーザー情報、コンテンツ情報については設計時に設定すべき

・データの変更履歴を保存する／データ量が多いので放棄したため教師データがない

・システム開発・運用・分析する人が別れているとデータ設計できないことがある

・ログ形式の変化 サービスに追加機能をくわえた場合にログ形式が変化することがある

学習のためのリソースを収集しよう

学習のためのリソースの取得方法

教師あり学習に欠かせない教師データに含まれる情報は2つあります。

• 入力：アクセスログなどから抽出した特徴量
• 出力：分類ラベルや予測値

特徴量については試行錯誤になるので、出力のラベルや値は以下のような方法で付与できます。

• サービスの中にログ取得の仕組みを用意してそこから抽出する（完全に自動）
• コンテンツなどを人が見て付与する（人力で行う）
• 機械的に情報を付与して、人手で確認する（自動＋人力）

ここでは、教師データを作るのは誰かという観点から説明を進めていきます。

1. 公開されたデータセットやモデルを活用する
2. 開発者自身が教師データを作る
3. 同僚や友人などにデータ入力してもらう
4. クラウドソーシングを活用する
5. サービスに組み込み、ユーザーに入力してもらう

公開されたデータセットやモデルを活用する際に、気にすべき点があります。

• モデルやデータは商用利用可能なライセンスか？
• 学習済みモデルやデータセットを自分のドメイン（自分たちが運用するシステムサービス）に適用できるか？

2つ目は、半教師あり学習や転移学習があります。画像の物体認識を行うタスクでは、転移学習を用い、既存の学習 モデルに自分の解きたい画像の正解データセットを追加することで、少ない追加コストで目的の画像 を認識するモデルを学習できることが知られています。

僕の一番好きなドラマにSilicon Valleyというものがあって、作中に登場したホットドッグ判定機もこれでつくれます。Jian-yang意外と優秀ｗ

How HBO’s Silicon Valley built “Not Hotdog” with mobile TensorFlow, Keras & React Native

効果検証

効果検証の概要

効果検証とは、ある施策によってもたらされた降下を推定することです。例えば、広告表示1000回あたり収益が新機能によってどれだけ増えたかなどです。

効果検証までの流れ

1. 問題定義
2. 仮説設定
3. アクション（開発）
4. 効果検証

オフラインで検証しにくいポイント

• 経済効果 Netflixのレコメンドシステムでは解約率の低下と10億ドル/年の効果が合ったといいます。
• ログを経由した副作用 レコメンドしたログを取ることになるので、それを防ぐための実装にコストがかかるといわれています。

仮説検検定の枠組み

仮説検定は効果検証のベースとなるもので、母集団に有意な差があることを標本を使って確認する手法です。基本的な例があります。

• コインは歪んでいるか
• 二群の歩比率の差の検定

偽陽性と偽陰性：p値が事前に定めた有意水準を下回った場合に帰無仮説を棄却するのが仮説検定の枠組みです。しかし、まれにしかおこらないことがおこったから帰無仮説を棄却する以上、帰無仮説が真であったとしても有意水準の確率で誤って帰無仮説を棄却してしまいます。誤った発見を偽陽性、逆に本当は有意差があるのに帰無仮説を棄却しないケースを偽陰性と呼びます。仮説検定では検定力を検定結果の評価に利用します。

検定力は 1ー有意差があるのに有意差がないと判断する確率 で表します。

仮説検定の注意点

• 繰り返し検定をしてしまう
• 有意差とビジネスインパクト：推定量のばらつきを表す標準誤差が標本サイズの増大に従って小さくなる。標本のサイズを増やしていけばわずかなさでも有意差となります。Webサービスだとデータはすぐ貯まるので、重要なのは有意差があるという事とビジネス上のインパクトは別である点です。
• 複数の検定を同時に行う（多重検定）

因果効果の推定

• ルービンの因果モデル（平均処置効果(ATE)＝E(Y1-Y0)＝E(Y1)-E(Y0)）
• セレクションバイアス（E(Y1|介入あり)-E(Y0|介入なし)）
• ランダム化比較試験（Randomized Controlled Trial (RCT)）
• 過去との比較は難しい

ABテスト

1. 2群の抽出と標本サイズ
2. AAテスト
3. 片方に介入
4. 結果の確認
5. テスト終了

というところで第1章は終わりです。

要点だけしか書いていませんので、深く読みたいなとぜひ購入してみたください。

リンクをのせておきます。（アフィリエイトでもなんでもないです）

仕事ではじめる機械学習

よもやま

発売が2017/10/20（正式には知らない）だとして、書いたのが10/28なので結構書くの早かったんだと書き終わってから知る（アーリーアダプター的なことをしようとしたわけではなかったんです）

関連記事

作者の方のMedium

• オライリーから「仕事ではじめる機械学習」が出版されます
• Aki Ariga

他の方の書評

• 「仕事ではじめる機械学習」をざっくり読んだので感想やメモなど - razokulover publog
• 「仕事ではじめる機械学習」を読んだメモ

目次

・エムグラムのすごいところ

・インターンを終えて気づいたこと

・インターンでやってたこと

・インターンしてよかったこと

・今後

ではいきます。

エムグラムのすごいところ

• 性格診断のポテンシャルめちゃある
• インターンにも裁量権めちゃある
• 高専卒の人が多い

性格診断のポテンシャルめちゃある

理系の方ならなんとなく分かるかもしれませんが、曖昧なものに指標として数値化するのって非常に大切なことです。わかりやすい例だと、成績表とか社内評価とかって人を数値で表してるんですけど、実際その評価って先生や上司の経験的で主観的な評価から数字にされているんですね。

というのも、自分が中学生のとき美術で入賞したのに美術の先生と喧嘩したため通知表は1でした（笑）いまでもはっきり覚えてます。

他にも、

「女心ってなんだよわかんないよ どこに僕の理想の彼女いるんだああ！」

「面接では私の表面しか見せれなかった なんで落ちたのわからない！」

「この人となんか気が合うなー 上司のパワハラが最近やばい…」なんてことありますよね。

恋愛とか。就活の面接とか。チームワークとか相性の不一致はあります。にんげんだもの。

エムグラムは科学的なアプローチに基づく性格診断・相性診断エンジンを開発して、性格の不一致をなくそうとしています。

代表が書いた記事から引用すると、

私たちは、（１）エムグラム診断、（２）m-gram相性マッチング、を多くのお客様にご利用いただくことを通して構築される科学的知見を活用し、日本の未来づくりに貢献したいと思います。どうか一緒に、あの悲しい「性格の不一致」をなくしましょう。別れることを減らしましょう。離職を減らしましょう。チーム分裂を減らしましょう。離婚を減らしましょう。ドキドキ、ワクワクする体験を増やしましょう。すべて、一つ一つきちんとデータに真摯に向きあえば、必ず出来ると、ぼくは信じています。

もうすこし詳しく読みたい方はこちらの記事をご覧ください。

エムグラム診断。ブランディングのためのグロースハック、1ヶ月と1日。｜松村有祐の性格科学日記｜note

また、女子高生に人気のオオカミくんには騙されないのAmebaTVともコラボしたり、いろいろなところからコラボの依頼が来てたりします（研究室や大手などなど）

AbemaTV Presents オオカミくん診断 powered by エムグラム

ご依頼・コラボ等はお問い合わせからコンタクトしてみてください。

・インターンにも裁量権めちゃある

「そういった曖昧な感情からの非合理的判断を減らすことが性格診断ではできるのではないかと自分は仮説を立てております。Siriやペッパー君などのIotにより、データがたまり、AIも精度を上げていき、近いうちに感情をもったAI、人の心を解析できるAIが作れたらなといいなと思っています。自分はそれを卒論でやりたいです。エムグラムのデータを使わせてください」という旨のプレゼンをインターン最終日に行いました。そしたらなんとOKでした。

インターン生ごときに、記事の中にあるように必死で開発してやっと得られたデータを使わせてくれる優しさと心意気に感謝してもしきれません。

他にも、インターンが1から大規模な新規事業立ち上げたり（内容は言えないけどほんとにすごい）、僕みたいなプログラミング初心者に超すごいエンジニアの方が每日教えてくれたり、挑戦する人には優しい会社です。

そんなエムグラムでインターン募集してるみたいなので、よかったらお話だけでも聞いてみてはどうでしょうか！

・高専卒の人が多い

エムグラムは社内の人間の4/7人が高専卒です（2017夏）。なぜ高専がすごいかというと、高専の教育がすごいなと思いまして。普通の人が仕事に関係ない受験勉強を死ぬ気でやっている間に、高専の人たちは専門的で実践的な技術の習得を授業で行ってます。

一番、高専すごいなと思ったのが、アウトプットが当たり前の教育を叩き込まれていることです。仕事でも成果（アウトプット）を出さなければ、意味が無いのですが、それを当然のように行うのはマインド的に僕ら大卒と大きな違いだなと思いました。例えば、勉強のしかただと大卒の人はとりあえず覚えればテストで点が取れる。高専の人は違って、形にできる（コードを書く、製図書くとか、実験でレポート書くなど）ことが評価のポイントだったらしく、高専の教育の方が記憶に残り、また、仕事に近いインプットの仕方なので、高専の教育きつそうだけど素晴らしいなと思いました。自分の息子は高専いってほしいくらいには。

自分が高専いってないので説得力無いですが、全部りゅーかんさん（COO）から聞いた内容で、それが以下のブログに書かれてますので詳しくは↓

りゅーかんの高専キャリア教育論

実際に高専卒のエンジニアさんはベンチャー界で活躍しているケースが多いです。そういうガチでやってきた人は、さらに楽しそうにものづくりをしているので、敵わないなと。才能ないんじゃないかと思っちゃう（泣）
スタートアップの中でもこんなに高専率が高いところは少ないので、非常にレベルの高いテック企業だといえます。代表は人工知能の元研究者で、天才感あります。CTOもCOOも高専卒で、論理性・スルースキルが高いサイコパス感のあるボードメンバー（冗談です）
ときに優しくときに厳しく非常に賢く絶対将来成功するだろうなという方々の集まりです。自分も一瞬だけその場にいれたことが非常にいい経験になりました。

インターンでやってたこと

back propagationを理解しよう１ - Qiita

AIのエンジニアになりたいと思って始めた勉強と実験になります。理論とコードベースなのでエンジニアではない方は読み飛ばしてください。（ガチのAI研究者もレベル低いので読み飛ばしていただきたい笑）（※著作権の関係上非公開）

インターンしてよかったこと

・朝から晩まで集中して学習できた

・ランチに詳しくなる

・みんな優しい

・朝から晩まで集中して学習できた
まず、夏休み家にいたら絶対にごろごろしてしまうのは分かっていたので、強制力の働く環境としてインターンを使うのも僕みたいなダメ学生にも有効手段だということが実証できました。自分は優秀ではないので、人一倍努力しないといけない。じゃあどうするか。人より長くやる。PCと向き合う時間をできるだけ長くする。なので、朝から晩まで気力でやる。そういう環境として使うこともできます。収支は赤字でしたがそれでもいい経験でした。

・ランチに詳しくなる
ランチはほぼ每日外に出かけてました。普段はどこにでもいる貧困学生なので、なかなかおしゃれなお店に入る機械もなく、ご飯を済ませるのですが…
渋谷の道玄坂・神泉あたりのごはんやさんはだいたい行きましたので、グルメに詳しい感を渋谷でのみ発揮することができます。

每日食べてたワンコイン海鮮丼の店が安くてボリュームがあっておすすめです。

丼丸 背びれ 渋谷神泉店 (神泉/海鮮丼)

カツ丼がおいしい

勝味 (渋谷/割烹・小料理)

牡蠣がラーメンに入ってる ここはかなりオススメ

Tonari (神泉/居酒屋)

・みんな優しい

スキル無いし、コミュ障で自分でも接しづらいだろうと思うほど小気味悪いインターン生だったと思いますが、みなさん暖かく話しかけて頂きました。みなさんお忙しい中、ありがとうございました。もっと話せばよかった…って5000兆回言ってるような気がする。

インターンを終えて気づいたこと

・質問や相談しないともったいない

・技術は嘘付かない

・あらゆるものを捨てて、１つに絞る

・アウトプットが大事

反省としては、質問相談は遠慮せず早めに聞いておけばよかったのと、技術（プログラミングスキル）はごまかせないなと言うことが大きいかったです。

これくらいできますと口で言うのは簡単だけど、あまり世間を甘く見ると痛い目を見ます。できるだろうと思っていても、それは主観的で楽観的な自分のエゴでしかないので、実際に作れといわれて作れなかったときのリスクも自分のせいです。特に、エンジニアの世界はコードでスキルがだいたい見えるので、良くも悪くも勉強するしかないです。やればやった分だけ成果がでるのでエンジニアはわかりやすくていい職だと思ってます。

も1つ大事なことを教わりました。1つに絞って普通の枠を飛び越えること。真剣さ、必死さを人に伝えることの大切さ。

世界をとるには一つのことで突出しないといけない。1個突き抜ければ、この人すごいなって分かるようになるし、人も自然とついてくる。そうなるためには3〜5年くらいかけて一つのことをやり続けることが大事。いままでなんでもやろうとして中途半端だった自分にはピッタリのアドバイスでした。

また、その教えを貫いて、1年半がんばって、実際にいまその努力が実り始めてる先輩インターンがいて、その人がエムグラムに誘ってくださったんですけど、その先輩いつのまにか大学院やめてフルコミットしてたんですね（知らなかった）
大学やめたって誰から見てもこれってすごい覚悟があるなと思われますよね。このように必死さ、覚悟を見せれば、人って応援したくなる。今はまだ、スキルは足りなくても。そういう本気の見せ方って非常に大切だと学びました。

今後

・1万時間の法則

・一ヶ月ごとに成果物を出していく

・どこかインターンに行って、実践を積んでもっと腕をあげる

個人的な話ですが、大学生活伸ばしたらあと3年。3年で1万時間やりきる。そのためには1日10時間（365days*10h*3years=109,500h）くらいやらないといけないのですが、流石に講義もあるし每日は無理なので、平日5〜8時間、休日10時間を目標にやります。また、月次報告じゃないけど1ヶ月でどれくらいできたかも出していきます。そして、さらにパワーアップする為にエンジニアのインターンで今度はプロとして（学生という保険を外して）大学通いながらやっていこうと思ってます。僕なりの本気の見せ方です。

今月の月次報告はこんな感じ。インプットメインだったのでアウトプット次こそは。

ゼロから始めるデータサイエンスをざっくりと

最後に、エムグラムのインターン募集してるそうなので、興味があればぜひ！すごい経歴の方々しかいない仕事場で働いてみては！

株式会社m-gramの採用/求人一覧 - Wantedly

忙しそうなので、Wantedlyでつながらない場合もあるかもです。（僕はWantedlyで返事なかったので、FBで）

自分写ってないですが、いい写真

楽しそう…

はじめに データサイエンスとは

データサイエンスの定義はいまのところないそうです。
あえて定義するのであれば、

大量の乱雑なデータの中から物事の本質を引き出す者

多くのデータサイエンティストとソフトウェアエンジニアの線引は難しく、一部は統計学者で、多くは簡単な機械学習を知らないが、一部は機械学習のプロです。多くは学術論文を読んだことはありませんが、中には素晴らしい論文を書いたことあるPhD保持者もいます。定義がまだないのですが、大量のデータを扱い、興味深い真実を引き出す学問です。

なぜデータサイエンスが注目されているのか

シリコンバレーで生まれた「インターネット時代」を経て、Google, Facebookに代表される「ビッグデータの時代」が到来しようとしている。NewYorkTimesでは

ビッグデータの技術は「Measurement(計測)」で革命を起こしている。この革命は新たな効率化とイノベーション野並隣、経済全体に波及するだろう。ビッグデータはただの技術ではなくではない。ビッグデータを見つめれば個々人の未来の意思決定を左右する「哲学」を見出すことができる。さらにいずれはAIがデータを動力源としてデジタル世界を物理世界のトップの座へと押し上げるだろう。 引用：データサイエンティストの作る未来

米国のITリサーチ会社IDCによると、推定で4.4ゼタバイト、つまり4.4兆ギガバイトものデータが全世界に溢れるという。これだけのデータをアップルのiPadに容量いっぱいまでいれて積み重ねると高さ25万2660キロメートルつまり、月までの距離の約3分の1となる。中でも価値を持つのは動画と写真のデータである。個人がスマホで動画や写真をとり、ネットに投稿しているからデータの膨張は凄まじい。今もYoutubeには毎分48時間分の動画がアップされている。

だが、ビッグデータといってもそのままは使えない。例えると地球上の多くをしめる海の水も飲める水としては使えない。

それでも注目されている理由は、ソフトウェアの進化である。重要なコードの殆どを進化を着実に続ける機械学習ソフトが生み出しているからである。

最新の望遠鏡が最新の天文学を生み、最新の顕微鏡が最新の生物学を生んだ。ビックデータも同様の成果が期待される。しかもあらゆる分野においてである。インターネットはコミュニケーションの経済学を変えた。ビックデータも同様に「発見」の経済学を変えていっている。まだその動きは始まったばかりだが、この動きは人るの意思決定を大きく変えていくといわれている。すべての意思決定が直感ではなく、データと解析によって行われていくでしょう。

ビジネスでの実用例

Google（検索アルゴリズム）、Facebook（ネットワーク、広告）、Amazon（レコメンド）、IBM（人工知能Watson）、Apple（Siri）など世界を動かす大企業でデータサイエンティスト（AI研究者）がいないところはありません。
一番注目されている職業である所以です。

具体的な例で言うと、マッチングアプリのOkCupidは、大量の質問をユーザーに行い、最も適した相手をみつけます。同時に最初のデートで相手が眠くならないように、相手が興味を持たない分野を明らかにする分析も行います。

The Best Questions For A First Date

例えば、Facebookはこれまでに住んだ場所と現在の居住地を訪ねます。これはユーザーの友人を発見しやすくするためといわれていますが、同時に移住パターンや居住地ごとにフットボールチームの好みを分析するためにも使われています。

ハマーバッカーというゲノム解析の准教授で、元金融での複雑な動きを数学に落とし込んでいた天才いて、当時データサイエンスがまだ確立されてない頃にFacebookに参画し、データサイエンス部という部署をつくり、ソーシャルネットワークの構造化とデータマイニングを行い、サービスとネットワーク広告の改善策を打ち出し、大学から始まって2年目のFacebookはその後、世界でも有数のIT企業となりました。FacebookはただのSNSだと思ってましたが、実はデータの活用に鍵があったのです。後ほど、手法としてネットワーク分析として説明します。

日本では、東大発ベンチャーのニュースアプリGunosyが有名だと思います。オススメのニュース記事を今までのクリックした記事からレコメンドします。
詳しい話はこちらから読んでいただいた方がわかりやすいと思います。
引用:

Gunosyのデータ分析基盤、ログ基盤の全容

GunosyにおけるAWS上での自然言語処理・機械学習の活用事例

この記事を書きながら調べているときに面白い記事を見つけました。（順番おかしいですが）
データサイエンス領域で最も優れている起業はどこだと思いますか？という質問にエン・ジャパン イノベーションラボのデータサイエンティスト（略称）のマシューさんはこう答えています。

データサイエンティストだけど質問ある？｜マシューのデータサイエンスAtoZ Vol.3

GoogleはMapReduceをはじめとして、様々な最先端の技術を発表しつづけています。 そしてFacebook とAmazonはデータサイエンスを競争力の源泉として優れたビジネスを築き上げました。これらの企業が自社のビジネスのために開発してきた技術が、ここ数年のデータサイエンス業界を発展させてきたことは事実ですし、今後もこの流れはしばらく継続すると考えています。

データサイエンスを競争力の源泉に優れたビジネスを築き上げたとあります。
世界時価総額ランキング10位以内のTOP企業がデータサイエンスでここまで大きくなったと聞くと、やっぱりデータを使える人というのは今後重宝されるのではと思い、学習への意欲も高まりますね。

以降、扱っていく手法

１．データの可視化

データの可視化

２．線形代数

線形代数

３．統計

統計

４．確率

確率

５．仮説と推定

仮説と推定

６．勾配降下法

back propagationを理解しよう１ - Qiita

７．データの取得

データの取得

８．データの操作

データの操作

９．機械学習

１０．k近傍法

１１．ナイーブベイズ

１２．単純な線形回帰

１３．重回帰分析

１４．ロジスティック回帰

１５．決定木

１６．ニューラルネットワーク

back propagationを理解しよう１ - Qiita

１７．クラスタリング

１８．自然言語処理

１９．ネットワーク分析

２０．レコメンドシステム

２１．データベースとSQL

※随時更新

参考になるすばらしい記事まとめ

データサイエンスに関する素晴らしい記事をここで紹介します。勉強が辛くなったり、目的を見失ったときに読む記事リンク集です。

データサイエンス

・一番分かりやすかったデータサイエンティストについての記事

そろそろデータサイエンティストの定義とスキルセットについて本気で考えてみる - Qiita

最初に読んどけばよかったなと思う記事。よくまとまってます。

・データサイエンス界隈で有名な方のブログ

データサイエンティストもしくは機械学習エンジニアになるためのスキル要件とは（2017年夏版） - 六本木で働くデータサイエンティストのブログ

データサイエンス事情が詰まってます。

・データサイエンティストになるには

データ分析職に採用されるために必要な「実務経験」をいかにして積むべきか - 六本木で働くデータサイエンティストのブログ

道は厳しいようですが輝かしい未来がほぼ確だとおもっているので頑張ります。

・データサイエンティストになりたいならKaggle

データサイエンティストを目指して勉強するなら、Kaggleからはじめよう - Qiita

この記事はKaggleだけでなくデータサイエンティストについても非常にわかりやすくておすすめです。必読です。

top2%の私が教えるKaggleの極意, Bosch Production Line Performance | リクルートコミュニケーションズ

練習問題としても使えるし、Kaggleは国際的なコンペであり、データ系の就職の際にも実績として一番使えるので、私もKaggleで結果出すことを目標として学習を進めています。めざせGoogle！

・Schooの動画

現場でつかえるデータ分析 統計・設計

上記の記事でも登場されていたリクルートの方の講義です。一部無料。

・初心者でもわかる機械学習 動画カリキュラム しかも無料

Supervised Machine Learning: Regression and Classification

お金をはらうと卒業証書ももらえて資格として使えるそうです。英語ですが…

人工知能って？統計と機械学習とディープラーニングの違い

【ただのボヤキ】統計学と機械学習とディープラーニングと - HELLO CYBERNETICS

上記の記事をよんだあと、結局データサイエンスって統計・ML・DLどれなん？ってなりますが、この記事は非常によくまとまってます。これかけるくらい賢くなりたい。

Deep learning

・最近話題のDeep learningでできること 実際のところAIってどうなの？がわかる記事

• 2016年11月現在のAIにできることとできないこと - WirelessWire News（ワイヤレスワイヤーニュース）
• AIはどこまで進んだか？──AI関連10の有望技術と市場成熟度予測

騒がれているようにAIは将来的に大きな市場になることは間違いなさそうですが、実際にAIを歌っている企業の殆どがDeep learningよりはMacine Learningなのが現実なようです。騒がれているほどAIはまだ便利では無いです。

・DLでできること（画像認識の例）

• Deep Learningでラブライブ！キャラを識別する - christinaの備忘録
• TensorFlowでアニメゆるゆりの制作会社を識別する - kivantium活動日記
• ご注文はDeep Learningですか？ - kivantium活動日記

こういう高度なおふざけができるようになりたいです。心がぴょんぴょんします。

・DL理論の勉強の参考になるブログ

【前編】深層学習による自然言語処理 - ニューラル機械翻訳への理論 - - ディープラーニングブログ

数学メインで勉強したいときにどうぞ。

統計

・体系的にまとまっている統計のサイト

• 統計WEB － 統計学を身に着けて論文を書こう｜BellCurve
• 重回帰分析とは | データ分析基礎知識

避けては通れない統計と数学…

Pythonでデータサイエンス

• Python でデータサイエンス
• Pythonでのデータ分析初心者がまず見るべき情報源のまとめ - Qiita

・Pythonは独学なのですが、非常に役立ったおすすめサイト

CheckiO - coding games and programming challenges for beginner and advanced

ゲーム感覚で楽しく勉強できました。プログラミング何したらいい？って聞かれたらこれをおすすめしてます。

個人的に注目してるもの

・性格診断エムグラム

エムグラム診断。ブランディングのためのグロースハック、1ヶ月と1日。｜松村有祐の性格科学日記｜note

一時期話題になった心理学に基づく性格診断のサービス。
CEOの松村さんはCS（コンピュータサイエンス）の博士で、アメリカのIBMで働いたやばい人が起業して、とにかくすごい（小並感）何も成果上げてないですが元インターン先です。インターンの感想を書いた記事を後ほど書こうと思ってまだ書いてない...

・IBM WatsonのPersonality Insights（Twitterの投稿から性格を分析）

ブラウザーだけでWatsonが使える！人工知能アプリの作り方

自然言語処理すごい。ぜひ使いこなしたい。これがオープンソースってすごくないですか…

まとめ

データサイエンスは最強。

ですが、勉強しなければいけない分野も幅広く、東大や研究者あがりやPhD保持者しかいないんじゃないかと…一方では最難関でもあります。

難しくて、範囲広くて、数字苦手なのでときどき心が折れますが。絶対に世界のインフラとなると信じて諦めず勉強していきます。

データサイエンスの概要がわかったところで、次からは手法について紹介します。

※オライリー出版のゼロから始めるデータサイエンスを参照しています。著作権の関係上、アフィリエイトなどの利益目的のものは入れておらず、学習が目的となっております。

データの調査

解決すべき問題が特定され、そのためのデータが得られたなら、早速モデルを構築し、回を得るための作業に取り掛かりたいという誘惑にかられることでしょうが、それよりもまず最初にやるべきことはデータを調べることです。

１次元データの調査

１次元のデータセットをもっているとして、数値の集合である場合が最も単純です。底データは各ユーザがサイト上に止まっている時間で合ったり、データサイエンスの書籍のページ数であったりします。

最初に行うべきはその統計量を計算することです。データ数、最小値、最大値、変チンチ、標準偏差などを算出します。

それらの値がデータに対する良い理解に寄与しないこともあります。そんな場合に取るべき次の手は、ヒストグラムの作成です。つまり値をいくつかの範囲（バケツ）に分割し、それぞれのバケツにいくつのデータが入るかを教えます。

def bucketize(point, bucket_size):
    return bucket_size * math.floor(point / bucket_size)

def make_histogram(points, bucket_size):
    return Counter(bucketize(point, bucket_size) for point in points)

def plot_histgram(points, bucket_size, title=""):
    histgram = make_histgram(points, bucket_size)
    plt.bar(histgram.keys(), histgram.values(), width=bucket_size)
    plt.title(title)
    plt.show()

例えば、次の２つのデータセットについて考えます。

random.seed(0)

uniform = [200 * random.random() - 100 for _ in range(10000)]

normal = [57 * inverse_normal_cdf(random.random())
          for _ in range(10000)]

どちらも平均は0,標準偏差はおおよそ５８ですが、分布は全く異なっています

２つの分布データは最大値と最小値が異なっています。しかし、それだけでは両者どのように異なっているかを示すには不十分です。

２次元データ

２次元のデータ・セットを持っているとしましょう。１日あたりサイト上で費やす時間とデータサイエンティストとしての勤務年数の組み合わせなどが考えられます。それぞれの次元について理解を深めるのは当然として、データの散らばりにも興味があるはずです。例えば、次の適当に作ったデータで考えてみましょう。

def random_normal():
    return inverse_normal_cdf(random.random())

xs = [x + random_normal() / 2 for x in xs]
ys1 = [ x+random_normal() / 2 for x in xs]
ys2 = [ -x + random_normal()/ 2 for x in xs]

多次元データ

多次元のデータに対しては、それぞれの次元が他の次元とどのように関連しているかを知ることが重要です。簡単な手法として、相関行列を調べる方法があります。これは次元とj次元の相関を行列のi行j列の値としたものです。

def correlation_matrix(data):
  _, num_colums = shape(data)

def matrix_entry(i, j):
  return correlation(get_column(data, i), get_column(data, j))

return make_matrix(num_columns, num_columns, matrix_entry)

(次元数がそんなにおおくないのであれば)より可視的な手法として、各次元データの組み合わせで作る散布図行れるを使う方法があります。この分圧されたクラフはplt.subplots()を使って書きます。作成するグラフの行数と列数を与えてfigureオブジェクトと軸オブジェクトの配列を取得します。

import matplotlib.pyplot as plt

_, num_columns = shape(data)
fig, ax = plt.subplots(num_columns, num_columns)

for i in range(num_columns):
  for j in range(num_columns):
    if i != j: ax[i][j].scatter(get_column(data, j), get_column(data, i))

else: ax[i][j].annotate("series" + str(i) , (0.5, 0.5), xycoords='axes fraction', ha="center", va="center")

if i < num_columns - 1:ax[i][j].xaxis.set_visible(False)
    if j > 0: ax[i][j].yaxis.set_visible(False)

ax[-1][-1].set_xlim(ax[0][-1].get_xlim())
ax[0][0].set_ylim(ax[0][1].get_ylim())

plt.show()

データの整理と変換

実世界のデータは整然と整っているわけではありません。大抵の場合、使う前には何らかの処理を施す必要が生じます。前章では文字列を浮動小数点または整数に変換しなければなりませんでした。そこでデータを使う直前に変換を行ってました。

closing_price = float(row[2])

csv.readerをラップする関数を通して、データの入力中に解釈する方法を使えば、よりエラーの発生を低減できるはずです。この手法では列ごとに解釈を行うパーサをリストして与えます。Noneは「列に対して何も行わない」ものとします

def parse_row(input_row, parsers):
    return [parser(value) if parser is not None else value
            for value, parser in zip(input_row, parsers)]

def parser_row_with(reader, parsers):
    for row in reader:
        yield parse_row(row, parsers)

誤ったデータがあるばあいにはどうするのでしょうか。「浮動小数点」のあるべき場所に実際には数値意外の値があったとします。大抵はプログラムがエラーを吐くよりは、Noneが返る方が望ましい動作です。これはヘルパー関数を使えば可能となります。

def try_or_none(f):
    def f_or_none(x):
        try: return f(x)
        except: return None
    return f_or_none

このヘルパー関数を使うようにparse_rowを変更します。

def parse_row(input_row, parsers):
    return [try_or_none(parser)(value) if parser is not None else value
            for value, parser in zip(input_row, parsers)]

例として、誤りを含むカンマ区切りの株価データを使います。このデータを解釈しながら一度に読み込みます。

import dateutil.parser
data = []

with open("comma_delimited_stock_prices.csv", "rb") as f:
    reader = csv.reader(f)
    for line in parse_rows_with(reader, [dateutil.parser.parse, None, float]}:
    data.append(line)

読み込み後に、Noneを含む行がないかを確認します。

for row in data:
    if any(x is None for x in row):
        print(row)

Noneが合った場合にはどう扱うかも決めておきましょう。（一般的には、3つの選択肢があります。Noneを取り除く、元のデータに戻りかけているデータの補足や誤ったデータの修正を試みる、何もしないかです）csv.DictReader向けのヘルパー関数を作ってもいいです。その場合はフィールド名に対してパーサを指定します。例として、

def try_parse_field(field_name, value, parser_dict):
    parser = parser_dict.get(field_name)
    if parser is not None:
        return try_or_none(parser)(value)
    else:
        return value

def parse_dict(input_dict, parser_dict):
    return {field_name : try_parse_field(field_name, value, parser_dict)
            for field_name, value in input_dict.iteritems()}

次に行うべきは、簡易な手段を使うか、または先程やったデータの調査で使ったような手法用いて外れ値がないかを調べることです。実際のデータでは小数点がかけていたり、0が余計だったり、様々な誤りがあります。そして、そしてそれを正しく扱うのはデータを分析する側つまり自分の責任で行わければなりません。

データの操作

データサイエンティストにとって最も重要なスキルの1つがデータの操作です。それは特定のテクニックというよりは、一般的な手順と言えます。そこで、少し株価を例にして、その感覚を伝えようと思います。

data = [
{'closing_price':102.06,
'data':datetime.datetime(2014, 8, 29, 0,0),
'symbol': 'AAPL'}, #...]

概念的に言うと、このデータは行の集まり（例えば表計算）としてみることが出来ます。

このデータに対する問題をいくつかといてみましょう。その過程で手順とパターン化し、抽象化したツールを作成して操作を容易にします。
例えば、AAPLの終値はいくらが最高であったかを調べます。まずは具体的な手順に分解します。

1. AAPLの行だけに着目する
2. 各業からclosinf_price（終値）の値を取り出す
3. それらの値にmaxを適用する
4. リスト内包を使って3つの手順を一度に実行します。

max_aapl_price = max(row["closing_price"])
                     for row in data
                     if row["symbol"] == "AAPL")

データ中の各銘柄ごとに最高の終値を見つける事ができれば、より一般的な手段として使えます。1つの方法として次の手順を考えましょう。

1. 同じ銘柄（symbol）ごとにグループ化する
2. 各グループに対して上の手順を行う

#銘柄ごとにグループ化
by_symbol = defaultdict(list)
for row in data:
    by_symbol[row["symbol"]]append(row)
#各銘柄ごとに内包表記で最大値を求める
max_price_by_symbol = {symbol : max(row["closing_price"]
                                    for row in grouped_rows)
                       for symbol, grouped_rows in by_symbol.iteritems()}

幾つかの処理パターンがでてきました。どちらの例でも辞書からclosing_priceの値を取り出しています。そこで関数を新たに2つ追加します。1つは辞書から列の値を取り出す関数を返すもの、もう一つは辞書のリストから同じレルの値を選び出すものです。

#辞書から列を取り出す関数を返す
def picker(field_name):
    return lambda row: row[field_name]

#辞書のリストから、指定した列のリストに変換する
def plunck(field_name, row):
    return map(picker(field_name), rows)

グループ化関数の返した行をグループ化すると共に、各グループのに似の変換を適用する関数を作ります。

de group_by(grouper, rows, value_transform=None):
    #キーはグループ化関数の出力、値は行のリスト
    grouped = defaultdict(list)
    for row in rows:
        grouped[grouper(row)].append(row)
        if value_transform is None:
            return grouped
        else:
            return {key :value_transform(rows)
                    for key, rows in grouped.iteritems()}

これを使えば以前のコードをさらに簡単にかけます。例えば、

max_price_by_symbol = group_by(picker("symbol"),
                               data,
                               lambda rows:max(pluck("closing_price", rows)))

続いて、もっと複雑な問題に取り組みましょう。例えば、1日で最も大きく値が動いたのはどれくらいであったか。また、小さい変化はどうであったかについて考えます。前日比は今日の終値/昨日の終値 -1で計算できます。これはつまり、今日の値と機能の値を関係づける方法が必要になることを意味しています。1つの方法として、銘柄ごとに値をグループ化して次の手順を適用します

1. 値を日付順に並べる
2. zipをつかって（昨日の終値、今日の終値）の組を作る
3. その組みを使って新しい列「change（前日比）」を追加する

各グループごとに適用できる形の関数を作ります

def precent_price_change(yesterday, today):
    return today["closing_price"] / yesterday["closing_price"] - 1

def day_over_day_changes(ground_rows):
    ordered = sorted(ground_rows, key=picker("date"))

return [{"symbol":today["symbol"],
             "date":today["date"]
             "change":percent_price_change(yesterday, today)}
            for yesterday, today in zip(ordered, ordered[1:])]

この関数をgroup_byのvalue_trainsform引数に指定します。

#キーが銘柄、値は前日比の辞書
change_by _symbol = group_by(pycker("symbol"), data, day_over_day_changes)

#すべての前日比の辞書を大きなリストに格納する
all_changes = [change
               for changes in changes_by_symbol.values()
               for change in changes]

ここまでできれば、最大値と最小値を求めるのは簡単です。

max(all_changes, key=picker("change"))
min(all_changes, key=picker("change"))

all_changeを使えば投資も有利に進めれます。まず月ごとにグループ化し、各グループの総合的な変化を計算します。

繰り返しになりますが、適切なvalue_transform関数を作りgroup_byに適用します

#前日比を比較するにはそれぞれ1をくわえたものを乗じてから1を減ずる
def combine_pct_changes(pct_change1, pct_change2):
    return (1 + pct_change1) * (1 + pct_change2) - 1

def overall_change(changes):
    return reduce(combine_pct_chages, pluck("change", changes))

overall_change_by_month = group_by(lambda row: row['date'].month,
                                   all_changes,
                                   overall_change)

このような操作をよくデータサイエンスでは行います。

スケールの変更

多くも手法がデータのスケールに影響を受け舞うs。例えば、さいーたサイエンティスト百人分の身長と体重のデータから、体格をクラスタ分類することにしましょう。直感的には知覚の値を持つ者同士を同じクラスタに分類することになります。つまりデータの近さを定義する必要があります。すでにユークリッド距離を計算する関数を作っているので、（身長体重）2つの値を2次元空間上で扱うのが自然です。しかし実際は身長をインチで表したり、cmで表したりします。

このように単位の変更で結果が代わってしまうのは明らかに紛らわしい問題です。このため、各次元のあたいが直接比較できない場合には、それぞれの次元の値が平均0かつ標準偏差1となるようにデータのスケールを変更します。各次元を「平均値からの標準偏差の割合」で表すことに変更して単位を効果的に取り除きます。このために、まず各列の平均と標準偏差を計算し、

def scale(data_matrix):
    num_rows, num_cols = shape(data_matrix)
    means = [mean(get_column(data_matrix, j))
            for j in range(num_cols)]
    stdevs = [standard_deviation(get_column(data_matrix, j))
              for j in range(num_cols)]
    return means, stdevs

この値を使って新しいデータを作ります

means, stdevs = scale(data_matrix)

def rescale(i, j):
    if stdevs[j] > 0:
        return (data_matrix[i][j]-means[j]) / stdevs[j]
    else:
        return data_matrix[i][j]
num_row, num_cols = shape(data_matrix)
return make_matrix(num_rows, num_cols, rescaled)

いつものように、データをどのように扱うかは自分で判断しなければなりません。膨大な量の身長と体重のデータを持っていたとして、その中で身長が69~70インチの間のデータのみを中執して使うとしましょう。値の違いは誤差であり、1つの列の標準偏差を他の標準偏差と同等に扱いたくなという状況は少なくありません。

次元削減

多次元データの中ですべての次元が実行的な次元とは限りません。
そんなときは、主成分分析と呼ばれる手法によりデータの変化を表すために必要最小限の次元を抽出します。

各次元の平均が0となるように変化をします

def de_mean_matrix(A):

#Aのすべての値と各列の平均との差を返す 結果の行列は各列の平均が0となる
    nr, nc = shape(A)
    column_means, _ scale = scale(A)
    return make_matrix(nr, nc, lambda i, j :A[i][j] - column_means[j])

これを行わないとデータの変化ではなく平均自体を特定することになってしまします。変換後の行列Xがあれば、データの分散が最も大きくなる方法を求められます。具体的には（大きさ1のベクトルとして）方向dが与えられたとき、行列の各列xはdの方向にdot(x, y)の大きさを持ちます。そして、あらゆるゼロではないベクトルwは大きさを1にすることで方向として扱えます。

def direction(w):
    mag = magnitude(w)
    return [w_i / mag for w_i in w]

そのため、ゼロでないベクトルwが与えられたときwで示された方法に対するデータセットの分散が計算できます。

def directional_variance(x_i, w):
    return dot(x_i, direction(w)) ** 2

wで示される方法に対するx_iの分散を求める

def directional_varience(X, w):
    return sum(directional_variance_i(x_i, w)
               for x_i in X)

そして、勾配関数がわかれば、勾配降下法を容易手分散を最大化する方向が第一成分になります。

def directional_gradient_i(s_i, w):
    #x_i列の値がw方向に持つ分散に対する勾配
    projection_length = dot(x_i, direction(w))
    return [2 * projection_length * x_ij for x_ij in x x_i]

def directional_variance_gradient(X, w):
    return vector_sum(dictional_varience_gradient_i(x_i, w)
                      for x_i in X)

directional_variance関数を最大化する方向が第一主成分となります

def first_principle_component(X):
    guess = [1for _ in X[0]]
    unscaled_maximizer = maxmize_batch(
        partial(directional_variance, X),
        partial(directional_gradient, X),
        guess)
    return direction(unscaled_maximizer)

確率的勾配降下法をつかうなら次のようになります。

def first_princepal_componet_stg(X):
    guess = [1 for _ in X[0]]
    unscaled_maximizer_stochastic(
        lambda x, _, w:directional_variance_i(x, w),
        lambda x, _, w:directional_gradient_i(x, w),
        W,
        [None for _ in X], 
        guess)
    return direction(unscaled_maximizer)

平均が0となるよう変換を行ったデータセットを使うと、データが最も大きく変化する方向である第1主成分が得られます。

第1主成分が見つかれば、それぞれのデータをその宝庫に射影した値を求めることができます。

def project(v, w):
    projection_length = dot(v, w)
    return scalar_multiply(projection_length, w)

その他の主成分を求める場合、まず最初にデータから第1主成分への射影を取り除きます。

def remove_projection_from_vector(v, w):
    return vector_subtract(v, project(v, w))

def remove_projection(X, w):
    return [remove_projection_from_vector(x_i,w) for x_i in X]

ここで使用したのは2次元データなので、第1主成分を取り除くと結果的に残るのは1次元のデータとなります。

ここまでできれば、主成分の射影を取り除く処理を繰り返すことでそのあtの主成分が見つけられます。より高次元のデータセットに対しても、必要な主成分を繰り返し見つけることが出来ます。

def principal_componet_analysis(X, num_conpornents):
    compornets = []
    for _ in range(num_components):
        component = first_principal_component(X)
        components.append(component)
        X = remove_projection(X, component)

return components

その後、各成分で構成される低次元数の空間にデータを変換できます。

def transform_vector(v, components):
    return [dot(v, w) for w in components]

def transform(X, conponents):
    return [transform_vector(x_i, components) for x_i in X]

行くるかの理由により、この手法は有用です。まず、データから不要な次元をとり、高い相関を持つ次元に集約して、データの整理ができます。

つぎに、高次元のデータにはうまく適用できな様々な手法がありますが、低次元表現に変換すれば適用が可能です。

一方、より良いモデルが作れるかもしれませんが、解釈が難しくなるのも事実です。「第3主成分が』0.1増加すると年収が10,000ドル高くなる」という結論よりも、「勤続年数1年にあたり、年収が10,000ドル高くなる」と言えたほうが理解は簡単です。

stdinとstdout

Pythonスクリプトをコマンドラインから実行したのであれば、sys.stdinとsys,stdoutを通じてデータをプログラムに渡せます。例えば次のスクリプトはテキストファイルを読み込み正規表現と一致した行を出力します。

#egrep.py
import sys, re

#sys.srgvはプログラム引数のリスト
#sys.argv[0]は、プログラム名
#sys.argv[1]は、コマンドライン上に指定した正規表現
regex = sys.argv[1]

#スクリプトが処理する各行に対して
for line in sys.stdin:
    # 正規表現に合致したなら、stdoutに出力する
    if re.search(regex, line):
        sys.stdout.write(line)

また、次のスクリプトは読み込んだテキストの行数を数え、出力します.

#line_count.py
import sys

count = 0
for line in sys.stdin:
    count += 1
    
# sys.stdoutに出力される
pritnt(count)

このスクリプトを使い、数字を含む行が何行あるかを数えられます。

同様に、次のスクリプトは入力から単語の出現回数を数え、頻出するものを表示します。

#most_common_words.py
import sys
from collections import Counter

#第1引数として、出力する単語数を指定する
try:
    num_words = int(sys.argv[1])
except:
    print ("usage: most_common_words.py num_words")
    sys.exit(1) #０以外のexitコードはエラーが発生したことを示す
    
    counter = Counter(word.lower() #単語を小文字にする
                     for line in sys.stdin
                     for word in line.strip().split() #単語は空白で区切る
                     if word) #空白はスキップする
    
    for word, count in counter.most_mommon(num_words):
        sys.stdout.write(str(count))
        sys.stdout.write("\t")
        sys.stdout.write(word)
        sys.stdout.write("\n")

ファイルの読み込み

プログラムから特定のファイルを直接書き込んで読み書きできます。Pythonではファイルの取扱は非常に簡単です。

テキストファイルの基礎

テキストファイルを使うにはopenを使ってfileオブジェクトを作成するのが最初のステップです。

#'r'はread-only（読み取り専門）の意味
fike_for_reading = open('reading_file.txt', 'r')

#'w'はwrite（書き込み）を表す(ファイルを壊す可能性がある)
file_for_writing = open ('writing_file.txt ', 'w')

#'a'はappend（追記）を表す（ファイルの末尾に追記する）
file_for_appending = open('appending_file.txt', 'a')

#ファイルを使い終わったら、クローズを忘れないように
file_for_writing.close()

ファイルのクローズは忘れがちであるので、withブロックをつかい、ブロックの最後で自動的にクローズされるようにすべきです。

with open(filename, 'r') as f:
  data = function_that_gets_data_from(f)

#この時点ではfはすでにクローズされているので使うことはできない
process(date)

ファイル全体を読み込みたいのであれば、forを使って行ごとの読み込みを繰り返します。

starts_with_hash = 0
with open('input.txt', 'r') as f:
    for line in file: #ファイル内の各行ごとに繰り返す
        if re.match("^#", line): #正規表現を使って行頭の’#’の有無を調べる
            starts_with_hash += 1 #行頭が'#'の行数を数える

この方法で読み込んだ行は改行文字で終端されているため、何か処理を加える前にstrip()で改行を取り除く必要があるかもしれません。
例えば１行に１つメールアドレスが記録されているファイルを処理して、ドメインのヒストグラムを作ることを考えてみましょう。ドメイン名を正確に抜き出すには微妙な点があります。最初の近似としてはメールアドレスの@から後ろを抜き出すのが良いでしょう。

def get_domain(email_address):
    #@で分解して、後ろの部分を返す
    return email_address.lower().split("@")[-1]

with open('email_address.txt', 'r') as f:
    domain_counts = Counter(get_domain(line.strip())
                            for line in f
                            if "@" in line)

区切り文字を使ったファイル

メールアドレスのは言ったファイルは、１行に１つのアドレスだけが入っていることになっていました。普通のデータファイルには、同じ行に様々なデータも書かれています。こういったファイルは大抵、カンマ区切りやタブ区切りが使われます。各業にはいくつかのフィールドが含まれ、カンマがフィールドとフィールドの区切りをします。

カンマやタブや改行を含むフィールドが（不可逆的に）出てくると、混乱します。独自の構文解析は、誤りのもとです。代わりにPythonのcvsモジュール（また、pandasライブラリ）を使いましょう。技術的な理由からMicrosoftを避難してもかまわないのですが、csvファイルを扱う際には、rかwの後ろにaを置いて常にバイナリーモードでopenすべきです。

ファイルにヘッダがない（つまり行はすべてのデータであり、どの列のデータがどういう意味を持つのかを覚えてオカなければない）場合、すべての行をcvs.readerを使って繰り返し処理できます。各業は、適切に分割されます。

次のようにコードを書きます。

import csv

with open('tab_delimited_stock_prices.txt', 'rb') as f:
    reader = csv.reader(f, delimiter='\t')
    for row in reader:
        data = row[0]
        symbol = row[1]
        closing_price = float(row[2])
        process(data, symbol, closing_price)

(最初にreader.next()を実行しておくことで)ヘッダ行をスキップするか、csv.DictReaderを使ってヘッダ行各ふぃーるどをキーとするディクショナリとして読み込むことも出来ます。

with open('colon_delimited_stock_prices.txt', 'rb') as f:
    reader = csv.DictReader(f, delimiter':')
    for row in reader:
        date = row["data"]
        symbol = row["symbol"]
        closing_price = float(row["closing_price"])
        process(date, symbol, closing_price)

ヘッダがなくてもfieldnamesパラメータにへっだ情報を与えればDictReadを使えます。同様にcvs.writerを使って区切りデータをファイルに出力できます。

today_prices = {'AAPL' : 90.91, 'MSFT' : 41.68, 'FB' : 64.5}

with open('comma_delimited_stock_prices.txt', 'wb') as f:
    writer = csv.writer(f, delimiter=',')
    for stock, price in today_prices.items():
        writer.writerow([stock, price])

csv.writerはフィールドの中にカンマを含むデータを含むデータも正しく扱います。自作のwriterでは、意図したとおりには動作しないかもしれません。例えば、次のデータを文字区切りのファイルに書き出したとしましょう。

results = [["test1", "success", "Monday"]
          ["test2", "success, kind of", "Tuesday"],
          ["test3", "failure, kind of", "Wednesday"],
          ["test3", "failure, utter", "Thursday"]]

#誤った処理方法
with open('bad_csv.txt', 'wb') as f:
    for row in results:
        f.write(",".join(map(str, row))) #おそらく必要以上のカンマ#区切り文字が書き込まれる
        f.write("\n") #行末には改行も必要

この結果、作成されるcsvファイルは次のようになります。

test1, success, Monday
test2, success, kind of, Tuesday
test3, failure, kind of, Wednesday
test3, failure, utter, Thursday

このように誤った処理を加えると意味がわからなくなります。

Webスクレイピング

データを取得する方法の１つが、Webページ上のスクレイピングです。Webページを読み出すのには非常に簡単ですが、そこから意味のある構造化された情報を抜き出すのはそれほど簡単ではありません。

HTMLとその解析

WebページはHTMLで書かれており、（理想的には）要素と属性がメークアップされています。

すべてのWebページが意味的にマークアップされており、「idが”subject”である<p>要素を探して、その中身を返す」といったルールを使えば目的のデータが取り出せる、と言うのは理想的な世界の話です。実世界のHTMLは的確に表現されておらず、アノテーションなども付加されていないため、意味を解するには人間の手助けが必要です。

HTMLからデータを取り出すために、Beautiful Soupを使いましょう。このライブラリはWebページの様々な要素からツリー構造を作り、その中のデータへアクセスする簡単なインターフェイスを提供します。同時にPython組み込みの手段よりも優れたHTTPリクエスト生成機能であるrequestライブラリを使います。

Python組み込みのHTMLパーサは寛大ではないため、形式が完全に整っていないHTMLをうまく扱えません。そのため、別パーサを使いますが、インストールが必要です。

pip install html5lib

Beautiful Soapを使うには（）にHTML文章を渡さなければなりません。この例ではrequests.getの結果を渡します。

from bs4 import BeautifulSoup
import requests
html = requests.get("http://www.twitter.com").text
soup = BeautifulSoup(html, 'html5lib')

ここまでくれば簡単なメソッドの呼び出しで様々なことが出来ます。
大抵の場合HTMLページのタグにそうとしたTagオブジェクトを操作します。
例えば、次のコードは、最初の<p>タグ（とその中身）を探し出します。

first_paragraph = soup.find('p')

textプロパティを通じて、タグの文字列部分を取り出せます。

first_paragraph_text = soup.p.text 
first_paragraph_words = soup.p.text.split()

tagオブジェクトを辞書として扱えば、属性にアクセスできます。

first_paragraph_id = soup.p['id']#idがなければKeyErrorとなる
first_paragraph_id2 = soup.p.get('id')#idがなければ、Noneが返る

複数のタグを一度に取り出せます。

all_paragraphs = soup.find_all('p') #または、単にsoup(`p`)
paragraphs_with_ids = [p for p in soup('p') if p.get(`id`)]

特定のクラスに属するタグが木手となる場面も頻繁に生じます。

important_pragraph = soup('p', {'class':'important'})
important_pragraph2 = soup('p', 'important')
important_pragraph3 = [p for p in soup('p')
                       if 'important' in p.get('class', [])]

これらを組み合わせて、より込み入ったロジックを作れます。例えば、<div>要素の中にある<span>要素を探すには、次のようにします。

#注意：複数の<div>の中に同じ<span>があればそれらをその都度返す その場合工夫が必要
spans_inside_divs = [span
                     for div in soup('div') #ページ上の<div>要素ごとに繰り返し
                     for span in div('span') #その中の<span>要素で繰り返し

これら少数の機能を使って、非常に様々なことが可能になります。もっと複雑な操作が必要になった（または単に興味がある）場合には、マニュアルを参照してみてください。

class=”important”とラベル付されていないデータであっても、重要なデータかもしれません。HTMLソースを注意深く調査し、抽出ロジックを樹分に吟味し、極端な場合でも正しくデータが取り出せるようにしなければなりません。

事例：本のスクレイピング

例えば、オライリーのWebサイトを調べたいとき（データに関する書籍は１ページ３０点表示されるページが何ページか続いています）

捕まりたくないなら、Webサイトからデータを収集する前に、アクセスポリシーが設定されているか調べるべきです。例えば、次のページには今回のような試みを禁止するような記載はなかったのでOKです。

また、Webクローラーの動作について書かれているrobots.txtファイルもカクニンしておくべきでしょう。http://shop.oreilly.com/robots.txtの中で重要なのは２つです。

Crawl-delay: 30
Request-rate: 1/30

１行目は、リクエストごとに感覚を３０秒開けるよう要求しています。２行目は３０秒あたり１ページをリクエストするよう求めています。つまりこれらは同じことを別の表現で示しています（その他の行には、収集対象とすべきではないディレクトリが書かれていますが、ここでは使わないのでOKです）

データを取り出す方法を示すために、１ページをダウンロードしてBeautifuSoupに読み込ませてみましょう。

url = “http://shop.oreilly.com/category/browse-subjects/" + \ “data.do?sortby=publicationDate&page=”
soup = BeautifuSoup(requests.get(url).text, 'html5lib')

このページのHTMLソースをみれば、各書籍ごとに独立したthumbtextクラスの<td>テーブルで作られていることがわかります。

はじめにthumbtextタグ要素を探してみます。

tds = soup('td', 'thumbtext')
print(len(tds))#30

次にビデオを取り除いてみましょう。td要素には１つかそれ以上のpricelabelクラスのspan要素があり、そのテキストはEbook:,Video:またはPrint:であるとわかりました。ビデオはテキストがVideoであるpricelabelを１つだけ持つようです。これは次のコードです。

def is_video(td):
  #pricelabelを１つだけもち、空白を取り除いたもじれつが’Video’であればびでおである
  pricelabels = td('span', 'pricelabel')
  return (len(pricelabels)) == 1 and pricelabels[0].text.strip().startswith("video"))

print (len([td for td in tds if not is_video(td)])

これでtd要素からデータを取り出す準備が整いました。著者のタイトルは<div class”thumbheader”>ブロック内の<a>タグにかかれているようです。

title = td.find("div", "thumbheader").a.text

著者はAuthorName<div>のテキストに書かれています。著者名の前にはByが全治されており（取り除きます）、著者が複数の場合にはカンマで区切られています。（分割して、不要な空白を取り除くことにします。）

author_name = td.find('div', 'AuthorName').text
authors = [x.strip() for x in re.sub("^By", "", author_name).split(",")]

ISBNはthumbheader<div>ないのリンクにあります。

isbn_link = td.find("div", "thumbheader").a.get("href")
#re.matchを使って正規表現のカッコ内にある部分を取り出す
isbn = re.match("/product/(.*)\.do, isbn_link).group(1)")

日付です

date = td.find("span", "directorudate").text.strip()

これらを１つの関数にまとめます。

def book_info(td):
  
  title = td.find("div", "thumbheader").a.text
  by_author = td.find('div', 'AuthorName').text
  authors = [x.strip() for x in re.sub("^By", "", by_author).split(",")]
  isbn_link = td.find("dev", "thumbheader").a.get("href")
  isbn = re.match("/product/(.*)\.do", isbn_link).groups()[0]
  date = td.find("span", "directorydate").text.strip()

return {
  "title":title,
  "authors" : authors,
  "isbn" : isbn,
  "date" : date
}

情報収集の準備が整いました。

base_url = "http://shop.oreilly.com/category/browse-subjects/" + \           "data.do?sortby=publicationDate&page="

books = []

NUM_PAGES = 31

for page_num in range(1, NUM_PAGES + 1):
  print("souping page", "page_num",","len(books),"found so far" )
  url = base_url + str(page_num)
  soup = BeautifuSoup(requests.get(url).text, 'html5lib')

for td in soup('td', 'thumbtext'):
    if not is_video(td):
      books.append(book_info(td))

sleep(30)

APIを使う

多くのWebサイトやWebサービスでは、構造化されたデータを取り出すためのプログラムインターフェイス（API）を提供しています。APIを活用すれば、HTMLからのデータ抽出で遭遇する面倒の多くを回避できます。

JSON（XML）

HTTPはテキストをやり取りするためのプロトコルであるため、WebAPIを通してデータを要求するには、データを文字列形式にシリアライズしなければなりません。この目的のために、JavaScript Object Notation(JSON)が頻繁に使用されます。

Javasquriptおオブジェクトは。Pythonの辞書に似た形式を持っており、そのテキスト表現は解釈が容易です。

serialized = """{"title": "Data Science Book", 
"author":"Joel Grus", 
"publicationYear": 2014,
"topics": ["data", "science", "data science"]}
"""

#JSONからPython辞書を作る
deserialized = json.loads(serialized)
if "data science" in deserialized["topics"]:
    print(deserialized)

API提供者が意地悪しているのかもしれませんが、XMLレスポンスしか提供してないAPIもあります。

認証の必要がないAPIを使う

最近のAPIの多くは、最初に使用者の認証をします。この方法に異論があるわけではないのですが、認証のためのコードを追加する必要があるため、ここで説明するべきことに純粋に集中できなくなってしまうので、そこで、認証なしのGithubのAPIを使ってみます。

import requests, json
endpoint = "https://api.github.com/users/joelgrus/repos"

repos = json.loads(requests.get(endpoint).text)

この時点でreposはPython辞書のリストになります。この辞書はそれぞれの著者のGitHubアカウントにあるパブリックレポジトリを表します。このデータを使って著者がレポジトリを作るのは何月が多いか何曜日が多いのかがわかります。問題はレスポンスとして返されるはずのデータの形式が（Unicode）文字列である点です。Pythonは優れた日付パーサがないので何かインストールする必要があります。

pip install python-dateutil

使うのはおそらくdateutil.parser.parse関数だけです。

from dateutil.parser import parse

dates = [parse(repo["created_at"]) for repo in repos]
month_counts = Counter(date.month for date in dates)
weekday_counts = Counter(date.weekday for date in dates)

同様にして、最後の５つのリポジトリについて、プログラミング言語の種類を取り出します。

last_5_repositories = sorted(repos, 
                             key=lambda r : r["created_at"],
                             reverse=True)[:5]
last_5_languages = [repo["language"] for repo in last_5_repositories]

普通はこのリクエストを出して、結果を自分でパースすると言った低レベルのAPIは使いたくないですが、Pythonを使う利点の１つがこれから使おうとしているAPIをアクセスするためのライブラリが大抵の場合はすでに開発されている点です。ライブラリがよく出来ているなら、APIのアクセス人生じる扱いにくい問題の多くを回避してくれると思います。そうでない場合や今使われていないバージョンにしか対応してない場合は多くのエラーを起こすので、自分用にAPIアクセスライブラリを作らなければならない（または誰かが作ったライブラリをデバッグしないといけない）場合に備え、中身の知識を知っておくことは必要です。

必要なAPIの探索

とあるサイトのデータが必要である場合、サイトの開発者向けページを見ましょう。そこにPython 〇〇 APIを探しましょう。

• Python/C API リファレンスマニュアル - Python 3.6.1 ドキュメント
• API - Python for Beginners

TwitterAPI

Twitterはデータの宝庫です。最新のニュースに対する反応を調べたり、特定の話題に対して情報が得られます。APIはTwythonライブラリを使います。他にもたくさんAPIがあります。

認証の取得

APIを使うにはTwitterの認証を取得する必要があります。詳しくはこちら。

Twitter REST APIの使い方

最初にSearch APIを使います。

Standard search API

twitter = Twython(CONSUMER_KEY, COMSUMER_SECRET)

for status in twitter.search(q = '"data science"')["statuses"]:
    user = status["user"]["screen_name"].encode('utf-8')
    text = status["text"].encode('utf-8')
    print (user, ":", text)
    print()

するとこのようにツイートが得られます

APIは最近のツイートから一部の結果を返します。データサイエンスを行うには大量のデータが必要なのでStreaming APIを使います。

Review the documentation to get started.

Twythonを通してStreamingAPIを使うには、TwythonStreamを継承するクラスで、on_successメソッドをオーバライドします。

from twython import TwythonStreamer

#データを大域変数に格納するのは稚拙な手法ではあるが、サンプルコードを単純にできる
tweets = []

class MyStreamer(TwythonStreamer):
    #streamとやり取りを行う方法を定義するTwythonStreamerのサブクラス
    
    def on_success(self, data):
        #Twitterがデータを送ってきたらどうするか。ここでdataは投稿を表すPythonのライブラリとして渡される
        
        #えいごのTweetのみを対称とする
        if data['lang'] == 'en':
            tweets.append(data)
            print("received tweet #" , len(tweets))
            
        #十分なTweetが得られたら終了
            if len(tweets) >= 1000:
                self.disconnect()
            
    def on_error(self, status_code, data):
        print(status_code, data)
        self.disconnect()

MystreamはTwitterストリームに接続して、データが送られるのを待ちますデータを受け取るとon_successメソッドが呼ばれ、英語のTweetであれがtweetsリストに追加されます。１０００ツイート収集できたらStreameを切断して実行を終了します。これを行うには初期化コードが必要です。

stream = MyStreamer(COUSUMER_KEY, CONSUMER_SECRET,ACCESS_TOKEN, ACCESS_TOKEN_SERCRET)

#公開されているツイート(statuses)からキーワード'data'を持つものを収集する
stream.statuses.filter(track='data')

このコードは１０００集めるかエラーが出るまで動き続けます。そこからあとにツイートの分析作業が始まります。と問えば最もよく使われているハッシュタグを調べます。

from collections import Counter
top_hashtabs = Counter(hashtag['text'].lower()
                      for tweet in tweets
                      for hashtag in tweet["entities"]["hashtags"])

print(top_hashtags.most_common(5))

それぞれの対とには多くのでーたが含まれています。自分自身でいろいろ試してみましょう。

実行結果はこのようになりました。(※17/10/2017)

[('data', 80), ('ai', 60), ('podcast', 47), ('soundcloud', 46), ('np', 46)]

補足

Scrapyはリンクされている先のページをたどるなどさらに複雑なWebスクレイパーです

• Scrapy入門（１） - Qiita
• Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ