人工知能ラヂオ書き起こし・エピソード３

＜ディープラーニングって何？ ゲスト：早稲田大学大学院 井上雄介さん＞

石井）はい、こんにちは。人工知能ラヂオ第三回めも早稲田大学大学院 井上雄介さんをお迎えしてお話をさせていただきます。この番組は人工知能専門の受託開発をやっているTeamAI株式会社ジェニオがお送りいたします。ジェニオ代表石井大輔です。井上さん今回もよろしくお願いします。

井上）よろしくお願いします。早稲田大学大学院で人工知能・機械学習などを研究しています。井上です。今回もよろしくお願いします。

石井）はい。第一回目人工知能って何？ということと、第二回目は機械学習って何？ということだったんですけど、今回はレベルを上げまして、今流行っているディープラーニングって何？というところですね、はい。これは言葉の意味から説明すると、ニューラルネットワークを使うんだけれどもそれが多層になっているとDeep、つまり深く、

井上）そうですね。定義としてはただそれだけで。普通のニューラルネットワークは入力層・中間層・出力層という三層のものなんですけども、これをさらに層を増やしたらそれだけで一応ディープラーニング、ディープ、という形になりますね。

石井）深いだからディープ何ですよね。

井上）はい。すごく単純で。元々層を深くすれば良いのではないかという発想はあったんですけども、実際に層を４層,５層,６層と増やしていくだけでは全然精度は上がらなくて、ずっと研究としてはある意味放置されていたんですけども。それを、ディープラーニングの有名人となっているカナディアンマフィアのヒントン教授が長らく第二次AIブームの頃から研究を続けていて、層が増えた場合でも上手く学習が出来るような仕組みを作ったのと、計算機の性能が上がったのと、データの量が増えたという三つの要素が絡み合って一気にディープラーニングの性能が良くなった。そして、ある画像の予測をするコンペティションでヒントンさんらが使ったものが圧倒的1位を獲得して一気に有名になったという話です。なので、ディープラーニングが最初に表舞台に出てきた時は、すごく性能が良いAIであるというところから有名になりましたね。

石井）これが2010年を過ぎて2010..

井上）2012年です、はい。

石井）はい。コンセプトは元々あったけど成功して注目を集めているのはここ4年くらいですよね。

井上）そうですね。コンセプト自体は何十年も前からありましたが、アメリカの方とかでバズり出したのが2010,11年くらいから熱があったらしいのですが、コンペティションで勝ったこと（が一番のきっかけ）で一気に有名になったということですね。

石井）はい。いくつかの特徴を先ほど井上さんに書いていただいたので上から順に言っていきましょうか。①特徴量を自動で取得する。

井上）はい、そうですね。第一回、第二回でりんごの例など出したんですけれども、自分でデータのどの特徴を使うか若しくはその特徴を掛けたり割ったり組み合わせたりなど、新たに特徴を作るという工程が必要になるんですね。その特徴を作ることを特徴エンジニアリングと言うんですけれども、その特徴エンジニアリングによってアルゴリズム性能が圧倒的に変わってしまうので、すごく重要なんです。それが今まで特徴エンジニアリングに関しては、データサイエンティスト若しくはAI技術者、AIエンジニアが自分の経験と勘に従って行なっていたんです、この問題に関してはこの特徴量とこの特徴量を組み合わせると上手くいくというような形で。性能がほぼそこに依存してしまっていて、研究している側としてはどのようなアルゴリズムを使っていても結局は特徴の決め方で全て変わってしまうというような、諦観みえたような状況があったんです。

石井）なるほど。

井上）ただ、ディープラーニングの凄いところは、その特徴を自分で作り上げること（が出来る）。ディープラーニングは層が深くなっていってるんですけども、その深くなっていっていくに従って、入れた生のデータから特徴を自分で作り出して、それを使って予測したりするように学習できるんです。これがすごく画期的な所の一つです。

石井）はい、第二回めで少しお話ししましたが、Googleの猫の話があって、これは猫だということを勝手にディープラーニングが分かって（判断できて）しまった..という。

井上）そちらは、概念を取得したという話ですね。

石井）ああ、これは概念の話で特徴量ではないですね。

井上）そうですね、特徴量の自動生成というのはもっと実務的にと言いますか、全ての問題に使えるような汎用的な凄いところですね。今まで人間が考えていたものを判断できるような。例えば画像ですと、りんごの画像をただそのまま与えると上手くいかなかったりして、りんごの丸という特徴を取り出すために、りんごの輪郭を際立たせるようなフィルターを画像にかけてデータを取得していたんです。でもそれって画像の扱い方を判ってないとできないですよね、ディープラーニングの場合はそのまま画像だけを与えると、層が上にいくに従って、ディープラーニングの層を取り出してみると（輪郭を成している）斜めの線だったり縦、横の線がそれぞれ出てきて、それを組み合わせてりんごを構成するような形にディープラーニングが勝手に組み替えるような仕組みになっているんですね。

石井）なるほど。分かりました、ありがとうございます。…次のポイントは、（この間私も他の方から聞いたのですが）「何故か性能が良い」という部分。これは謎だったりするんですか？

井上）そうですね、まだ数学的に解析されていないんですよ。

石井）そうらしいですね。

井上）今世界中の数学者や統計学者、機械学習の研究者が数学的にディープラーニングの中身を解析しようとしていてるが、未だに何故こんなにも性能が良いか分かってないし、その挙動（どういうものを入れたらどういうものが出てくるかという）が全く読めない状況になっています。今までの手法では、こういうデータを入れたらだいたいこういうようなものが出てくるというのが分かったんですけど、ディープラーニングの場合では中身が複雑すぎて全然わからない。つまり、入れる値を少し変えただけで（出力先が）めちゃくちゃ離れた場所に飛ぶという可能性もあるわけなんですよ。そのような理由もあって、詳しい人や大企業は、実務では使いにくいなと感じているんですね。

石井）なるほど。

井上）つまり、製品の性能テストができない。今までの手法では、ここからここまでのデータを入れたらだいたいこのような出力が出てくると分かったんですけど、ディープラーニングの場合順番に入れていった時に、全部バラバラに出力される可能性もある。めちゃくちゃ変な出力があるデータのセットだと、めちゃくちゃ変な出力が出るという可能性をぬぐいきれないんですよ。そういった理由もあってディープラーニングを実務で使うのは難しいのではないかと感じるところもあります。

石井）性能が良すぎてなのか、使うデータベースが多いからかなのか、チューニングが大変だったり、コストがでかいというのこと、その入れ込むデータの内容を整理する部分も含めて（実務で使うのは難しい）ということなんですよね。..分かりました。では次の特徴としは、（さっき僕猫のお話喋っちゃったんですけど）②概念取得。

井上）そうですね、これは特徴量の自動化やすごく性能が良いというのとはまた毛色の違った話で。Google猫の話が話題になりましたけど、ディープラーニングが猫という概念を取得しているのではないか、というような話があって。これはディープラーニングの特徴でして、ディープラーニングというのは層が深くなっていくに従って、より高次の特徴を捉えようというような動きが働くんですね。高次な特徴って何かというと、本質的な特徴と言いますか、人間の場合 顔があって腕が二本あって足が二本あるみたいな。例えば石井さんがいた場合、石井さんという特徴よりも高次な特徴というのは、石井さんが眼鏡をかけているだったり、顔があるとかそういうような特徴になるわけです。さらに高次になると、目も無く顔だけになるような感じ。ディープラーニングは層が深くなるにつれて、そのような高次の特徴を取り出していく。

石井）それが何故ディープラーニングの可能性につながっていくのか。私も再勉強しているのですが、東大の松尾先生の人工知能は人間を超えるかという、一つのテーマ思うんですけど、

井上）はい。

石井）ディープラーニングっていう可能性がまさに開いてこれからどうなっていくのか、という楽しみな可能性の一つに「特徴をつかみ始めた」「概念を取得し始めた」という先に何があるのかなあと思っていて、そこは具体的には東大の松尾先生の本には書いてなかったんですけど井上さんはどう思いますか？ 概念を取得し始めると何が起きてくるんですかね。

井上）概念を取得すると、ひとつ山を越えますよね。概念を取得しているのではないかということを、自分で表現を学習するので表現学習と言ったりするんですけど。概念を取得できるのであれば、猫と犬などの画像を入れていってそれぞれの概念を取得して、さらに高次の概念を取り出していったら猫と犬は同じ哺乳類で囲われたりとか。あとは言語にしろ、日本語と英語と中国語でそれぞれ言葉は違うけれども、同じ概念を表すことがあったとして、その場合、今は日本語から直接変換していますが、概念を掴んでしまえば概念から日本語・英語・中国語にそれぞれ出力するだけなので凄く簡単になりますよね。

石井）なるほど。

井上）そういう方向ではかなり便利だと思いますし、概念習得できるようになったら、皆さんが想像するような人工知能、自分で考えて自分で本質的なものを掴むようなものに可能性が開かれたというような感じです、今の段階ですと。

石井）自発的にものを考え始めるかもしれない..？

井上）そうかもしれないです。今も、人は肌色だとか人はこういう輪郭だったりという表面的な特徴は捉えられるんですけど、その更に上の特徴・概念を習得できるのであれば、一般の人が考えられる人工知能のように自分で物事を考えて、概念を習得して行動を起こすような。そういうのがいつかできるかもしれない。ディープラーニングが概念を取得したかもといのは、その最初の目というか、飽和したというか、第一歩になるかもしれないという点ではかなり夢を見られているようなかたちですね。もちろん、概念なんて取得しない（できない）という人もすごく多くて。保守的な人は概念なんて取得しないでしょと言っている人は多いです、ただ数学的に出てきたものなので。..例えば、ディープラーニングの上の方の層で猫の髭が３本あるということが仮に出てきたとして、それを概念と呼ぶことができるのかどうか。そもそも概念とはなんだと。人間も概念を分かって（習得して）いるのかというような話が出てくるので、かなり難しいところではあります。

石井）概念という言葉自体が難しい言葉ですもんね。

井上）そうですね。何かが（結果として）出てきたとして、それを概念と呼んでいいのか、みたいな。

石井）はい。

井上）ディープラーニングというのは、そのようなよくわからない部分が出てくるところも含めて面白い分野だなと思っています。

石井）概念の先に思考があって、考えるという部分はやはりディープラーニングでも計算としてあるんですよね？

井上）そうですね。そこを習得できるのであれば、そこから何かを行動や考えにつなげるっていうのはできそうな気がするんですよね。機械学習にしても学習するのが大変なのであって予測するのは一瞬なんですよね、作った回路に通すだけなので。自分は、人間の思考も同じであると考えていて、何か外から見たものを自分の中で特徴などをまとめ上げるのが一番大変で、まとめあげた上で何かしようとするのは、回路が伝わるのように一瞬で脳神経を伝っていくようなものかなと思っています。

石井）そうなんですね。あの、よくあるようなターミネーターが人間を滅ぼすようなみたいなのって、例えば概念。征服という概念とか、人間に使われているのが悔しいみたいな概念とかって、そういうのも概念になるんですかね？

井上）あー、そうですよね。概念だと思いますそれは。

石井）ではそこを捉え始めた時に、コンピュータがどのような結果を返し始めるのかというのはまだ分かってないですよね、きっと。

井上）はい。

石井）危険性はあるので、日本もアメリカも倫理委員会みたいなものを作って、人工知能の暴走を止めようとしているみたいな動きはありますよね。

井上）ありますね。そこまでいってしまうとどうなるのか想像はつかないですけど、人間の子供が育ち方によって良い人・悪い人になるのと一緒で、人工知能も結局は育て方次第ですね。使い用と言いますか。人工知能も結局は道具なので使い方次第だよという人もいますし、もう少し人間的な見方にしても育て方次第だと思うので。

石井）分かりました。ありがとうございました。今日は少しハイレベルな話になりましたが、早稲田大学大学院 井上雄介さんにディープラーニングについて解説していただきました。この番組では、人工知能ついて語りたい方募集しています。Twitter：ishiid、石井大輔までご連絡ください。よろしくお願いいたします。では、皆さん聴いていただいてありがとうございました。井上さんは今週で一旦区切りをつけて、また登場していただきたいと思います。井上さんありがとうございました。

井上）はい、拙かったと思うのですが聴いていただいてありがとうございます。

石井）では皆さんさようなら〜。

井上）ありがとうございました！

【ラジオ】ディープラーニングって何？ was originally published in Academication on Medium, where people are continuing the conversation by highlighting and responding to this story.

人工知能ラヂオ書き起こし・エピソード２

＜機械学習って何？ ゲスト：早稲田大学大学院 井上雄介さん＞

石井）はい、こんにちは。人工知能ラヂオ、第二回目も第一回目に引き続き井上雄介さんをお迎えして人工知能及び機械学習の話をさせていただきたいと思っています。私ホストの石井大輔です。井上さん引き続きよろしくお願いします。

井上）はい、早稲田大学大学院で機械学習の研究をしている井上です。よろしくお願いします。

石井）はい。では二回目ということで機械学習って何？というテーマです。まずは井上さんの言葉で、簡単にいうとどういうことなのか（お聞きしたい）。

井上）一言でいいますと、「データから自動的にルールや法則を学習すること」になります。もともと人工知能の始まりとして、人間がこういう状況の時にこのように行動するといったようなプログラミングを書き込むところから始まりまして。例えば、もし赤くて、もし丸くてだったらりんごになる（りんごと判断する）みたいにルールを書き入れるところから始まったんですね。それを書き込むというのが第一次ブームとかで行われたんですけども、やってみると人間の感覚とか知識というのはどう考えても世界を記述しきれるものではないということに気づいたんですね。そこで人間がルールを書き込んで、ルールに従って判断するというのを逆にしたのが機械学習で。機械学習は、既にあるもの、例えばりんごの画像をたくさん集めて、それから自動的にりんごというのは赤いという特徴があり、丸いという形の特徴があるというのを学習する。

石井）ディープラーニング（の場合）は自らりんごはりんごだと分かってしまう領域までいっている..といことですね？

井上）その違いなんですけど、、ディープラーニングまでいきますか（説明しますか）？

石井）あ、いえ。大丈夫です、後の話にしましょう。

井上）はい。ディープラーニングのすごいところは二つ〜三つほどあって、そのうちの一個が今の話に入っちゃうんですよね。

石井）なるほど。では三回目の録音の時にしましょうか。ディープラーニングの話はまとめて話すようにしましょう。では先ほど井上さんにまとめて頂いた、ここの部分ですね、いま図を書いて頂いたのですが、機械学習は三つのカテゴリーに分かれる、ということで。一番が教師あり学習。二番が教師なし学習。三番が強化学習というところで。一番の教師あり学習の中に分類という分野と回帰という問題があるということですね。

井上）はい。

石井）教師なしの方は主にクラスタリングということがメインじゃないかなと思うんですけど、この辺りからお話させていただければと思います。

井上）はい、そうですね。機械学習は、教師あり学習、教師なし学習、強化学習という三つに分かれまして。まず教師あり学習というのは、ある入力データに対してあるある答えが決まってあるようなものになりますね。

石井）なるほど。

井上）さっきのりんごの例ですと、りんごの画像という入力があって、出力としてこれはりんごである、と教えてあげるようなものになります。その際、みかんの画像が入力として入ってきた時は、出力として、これはみかんであると教えてあげるような。この答えの部分を”ラベル”と呼ぶんですけど、ラベルが付いた学習（というカテゴリー）になります。そしてみかんの画像やりんごの画像、またはブドウの画像などをたくさん入れていって、答えを教えていく。そうすると、AIの部分がそれぞれの特徴を学習して、学習した状態になった時にりんごの画像を入れると、りんごと自動的に帰ってくることになる。今説明したのが教師あり学習の中で、”分類”になります。このように、みかん、りんごなどを分ける作業を分類と呼びます。

石井）分類は、スパムメールフィルターも分類..?

井上）そうですね。スパムかそうではないかという簡単な分類になりますね。そちらもある程度こちらから答えを与えてあげて（分類を行なっている）。

石井）もう一個の分野が回帰ですね。私も勉強中なんですけども、例えば不動産価格の予想とか、中古車の価格予想。例えば、中古車100台のデータがあって、101台目の値段を車種とか購入年代、中古かそうでないかなどのデータから、幾らでしょうみたいな（値を求める）のって回帰になるんですかね？

井上）そうですね。回帰と分類の違いというのはすごく単純で、分類の場合は”カテゴリデータ”（みかん・りんご・ブドウなどを分ける作業）で、回帰というのは基本的には連続値でして。例えば不動産の価格ですと、何十万だったり何百万だったりというような”数値”になります。

石井）なるほど。

井上）実際、違いというのはそれくらいで。入力にしては分類にしても回帰にしても、ある程度なにかしらのデータが入ってきて、機械を通した時に答えを教えてあげることによって（成り立っている）。分類の場合、みかんの画像を与えた時に、これはみかんですよと（教えてあげる）。回帰の場合、この条件の時に不動産はこのくらいの金額にするのだということを答えとして教えてあげて、それを繰り返す。そうすることによって、回帰の場合、幾らか決まっていない未知のデータが入ってきた時に、この条件だったらこのくらいの値段であるというように判断できます。なので回帰と分類は本質的には似たようなものだと考えてもらっても構わないかと。

石井）そうなんですね。回帰の場合はグラフとか使ったりして表すってことになるんですかね。私も今スタンフォード大学のビデオシリーズで勉強していて、一番単純な線形回帰とかだと、一次式ですよね。斜めの線の延長に予想しようとした値があるといったような（イメージ）。それが二次関数だったり三次関数だったり、三次元だったらお椀型のグラフになったりということで。

井上）そうですね。回帰はそのような連続値を予測するので。実は回帰でも分類はできてしまって。回帰で、仮に100以上だったら何々というように（ラベリング出来る）。なので、分類は回帰よりも解像度が荒いものと考えてもらっても良いかもしれません。

石井）そうなんですね。

井上）はい。本質的にはやっていることは同じです。

石井）わかりました。..教師ありは具体的で割と分かり易いのですが、教師なしの方はイメージが掴みにくい方も多いのではないかと思っていて、これは言葉で言うとクラスタリングという分野になるんですかね。構造を抽出するといったような。

井上）例が難しいのですが、教師なし学習というのは教師あり学習と違って、データだけが与えられていてそのデータに対する答えがないような状態になりますね。みかん・りんご・ブドウの分類を先ほど挙げましたが、教師なし学習の場合、どれがみかんで、どれがりんごでという答えがないので。データの間の近さ、似ている度などから自動的にクラスタリングするようなものになります。

石井）簡単にいうと、例えば果物の写真がノーヒントで100枚並んでいます。これをグループ分けして下さい、というような感じですよね？

井上）そうですね。

石井）その中にブドウがあったりバナナがあったりオレンジがあったりすると（いったような話ですよね）。

井上）はい、そうですね。りんごだったら赤色なので、赤色同士の写真だと近いだろうということでりんごのグループ。もしくはブドウだったら、丸がたくさんあって、かつ緑色だからブドウ同士の画像が近くにいくような感じです。ただ、答えは与えられてないので、機械が自動的にやって、それがブドウの集まりであるとか、りんごの集まりであるなどを判断する部分は結局人間（の作業が必要）になります。したがって、教師なし学習は解析の一番はじめにやることが多いです。

石井）はい。「グラフ上で◯と×がランダムに並んでいて、それをグループ分けして下さい」みたいなものを、私もチャレンジしたことがあるんですけど、今の果物みたいな例の場合、色を数字にしたり、形を数字にしたりなど、結局（情報を）数値化するんですかね？..でも形とかは数字にできないですよね？

井上）丸だったりとかを一つの変数として特徴とすることもできますし、画像であるのであればそのまま画像を数値に変換して..

石井）そっか。画像ごとのピクセルごとに数値になっているということですもんね。

井上）そうです。画素数だったりもあるので、それで判断するような感じです。今すごくその辺りは進んでいて、画像の方ではかなりの精度が出るようになっています。..あとは強化学習ですか？

石井）そうですね。強化学習。これはみんな知りたい分野だと思っていて、ニュースなどでもセンセーショナルに書かれることが多い。囲碁や将棋の分野だったり、私の見たビデオですと、スーパーマリオブラザースをコンピュータが操作してどんどんクリアしていくみたいな。要するに段々と勝手に頭が良くなるみたいなものが強化学習..なんですよね？

井上）そうですね。強化学習はトライアンドエラーを繰り返して良くなっていく、というようなイメージです。教師あり学習と教師なし学習と何が違うかと言いますと、強化学習というのは、機械がある状態（エージェントと呼ぶのですが）にいて、それを認識してどういう行動をとるかという幾つか選択肢があり、ある行動をした時に報酬もしくは罰則を与えるようなことする。..また次行動して報酬か罰則を与える、というようなことを繰り返していく（というような仕組みです）。最終的に一番報酬が多かったところが正解（最善ルート）というような感じになります。

石井）はい。

井上）教師ありの場合と何が違うかと言いますと、強化学習の場合は報酬（ある一場面で切り取ったところの報酬）というのが正解とは限らないということです。

石井）なるほど。

井上）その場では、正解かもしれないということで報酬を与えているのですが、マリオの例でいくと結局マリオが死んじゃったりしたら、そこ（の報酬判断）は違ったのかもしれない。答え見込みということで報酬を与えているので、それらの一連の動き（報酬判断）があっていたかどうか判断するのは、最後までいった時になります。だから、強化学習は一見悪手のような手をとったりもします。

石井）..意思決定のロジック、マリオの例の場合どう操作するかみたいなことがロジックで決まっていくと思うんですけど、そのロジックの精度が自動で良くなる。ご褒美を与えられること、もしくは罰せられることによって、意思決定のロジックそのものが変化していくんですよね、きっと。

井上）そうですね。行動も変わっていくし、もしくはかなりランダムで。試行錯誤してこういう行動をしたおかげで上手くあの場所を飛び越えられた..というようなことを学習して。一回学習してしまえばもうそこは飛び越えられるので、その次に進んでいくような感じですね。

石井）なるほど。なかなか奥が深いですよね。

井上）そうですね。強化学習というのはトライアンドエラーなので、ある意味一番学習している感はありますよね。笑

石井）そうですよね。おそらく今 人工知能分野でもっとも一般の人が注目していることってそこじゃないかな..と思いますね。囲碁とか将棋の場合もルールが決まっているので、最終的には勝つとか負けるだとか。将棋の場合ですと、王手をかけるとポイントが+10ポイントで、飛車とか角を取られると-5ポイントとか、そんな感じで確か決まっていくんですよね。

井上）そうですね、将棋とかだとそれは分かりやすいですね。例えば報酬が期待見込みといったのも、別に角を取られたからといって負けるとは限らないわけですよね。でも角を取られてしまうと報酬としてはかなり下がってしまうというような。実際にも基本的には不利になってしまいますし。..ただ最終的には勝てれば良いので。

石井）凄く人工知能って高度なことだと思うんですね、将棋のアプリって最近強いじゃないですか、iPhoneのアプリでも。でもあれは強化学習ではないんですよね、きっと。単純にロジックだけで手を決めてる..？

井上）そうですね。こういう局面だとこう指すということを決めているのだと思います。

石井）勝手に頭は良くならないですもんねiPhoneのアプリは。

井上）そうですね、あれは人間がある程度作って、試して。このくらいの強さだというのをだいだい測って、リリースするということだと思います。

石井）それが強化学習になると、勝手に頭が良くなるので計算の量が違ってくるんですかね？..あとはロジックの組み方だったりも。

井上）ロジック自体は変わらなくて、データの量と計算の量で大体（能力が）決まって。記憶が曖昧なんですけど、アルファ碁は一秒に2000局読むとか..聞いて。（正確には一秒で10万手を検索するらしいです。）すごい速度で（コンピュータ同士で）対局して、それを繰り返すことであんなにも強くなったという話です。機械学習の特徴として、「データを制する者が機械学習を制する」というところがありまして。多少のアルゴリズムの優位性は、データの量が全てを覆してしまうような感じなんですよね。

石井）なるほど。分かりやすいですね。

井上）だからこれからは、どんな企業もデータを（できるだけ多く）持つしかなくて。データが武器になるような時代になると思います。

石井）..分かりました。ありがとうございました。井上さんと、機械学習についてお話ししました。次回はですね、ディープラーニングについて語りたいと思います。はい、皆さんお聴きいただきありがとうございました。一旦失礼します。

井上）ありがとうございました。

石井）さようなら〜。

【ラジオ】機械学習って何？ was originally published in Academication on Medium, where people are continuing the conversation by highlighting and responding to this story.

人工知能ラヂオ書き起こし・エピソード１

＜人工知能って何？ ゲスト：早稲田大学大学院 井上雄介さん＞

石井）はい、こんにちは。今日から始まりました、人工知能ラヂオ。ホストを務めます、株式会社ジェニオの代表、石井大輔です。よろしくお願いします。はい、人工知能ラヂオではですね、様々な人工知能専門家の方や、人工知能に興味ある方に不定期に来ていただいて、その方がやってらっしゃることなどについて、お話をするという内容です。第一回目今日のゲストは、早稲田大学大学院の井上雄介さんです。よろしくお願いします。

井上）はじめまして。早稲田大学の大学院で機械学習・人工知能を専攻している、井上雄介です。今は大学院を休学して企業準備中です。大学院では異常検知や数理モデリング、といった範囲を研究していました。

石井）そうですよね、休学しているんですよね。

井上）はい。していました。

石井）はい。修士一年で休学中…？

井上）はい、今修士の一年生です。

石井）（休学した理由は）ビジネスをやりたくなったから？

井上）そうですね、研究室がかなり理論よりの研究室だったんですけど、世の中今、人工知能やAIが騒がれていて、研究室でやっていてすごく難しいAIよりも、もう少しレベルの低い、レベルを落としたAIで、人の役に立つようなことをやりたいと思って休学して社会に出て来ました。

石井）はい。実際にクライアント企業の相談に乗ったり、システムを作ったりっていうことで、お金を稼ぎながら今企業準備中ということですよね？

井上）そうですね、やっぱり今AIとか機械学習が騒がれているだけあって、学生の身分でも、かなりそのような仕事が降ってきますので、そちらで受託をしてやりくりしているような感じになります。

石井）そうですね。ちなみに私のビジネスについてお話しをすると、TeamAI.comというビジネスをやっておりまして、これは人工知能を発注したいクライアント企業さんと人工知能を開発できる開発者の方を、オンライン上でマッチングするということでクラウドワークスというサービスがありますが、クラウドワークスの人工知能領域版といったことをやっております。私も井上さんのように日々お客様企業のところとミーティングして、形にしたい人工知能を実際に開発するということを仕事にしているので、何かコラボが出来れば良いなということでお話をしているんですよね？

井上）そうですね。クラウドソーシングというよりコンサルティングファーム的というか。

石井）はい。そうですね。

井上）AIの分野は、まだクライアントさんの方が詳しくないことが多く、かなり要件定義が多いので…

石井）私もですね要件定義をずっとクライアント企業さんとしているんですけれども、やはり人工知能（機械学習・ディープラーニング）の背景にある数学理論なんかやっぱりかなり難しいので、それを私が営業として噛み砕いてお客様に伝えるということを務めてやらないといけないなと思っています。そのためのスキルアップの手段として私自身が人工知能大学という会社主催の勉強会を催したり、今週は人工知能朝食会という皆で朝ごはんを食べながら人工知能について語ろうとしたり、教科書は東大の松尾先生のベストセラーを採用したりと、私自身のリテラシーのアップを目指して今やっています。人工知能ラヂオもその中の一環で、私自身がもっとお話がしたいという考えです。今日は、テーマとしまして、基礎的な部分、例えば「人工知能ってどういう意味？」とか、「機械学習ってどういう意味？」「どこからどこまでが機械学習で機械学習って何種類あるの？」や、「ディープラーニングって流行ってるけど、一体何のこと？」など、そういったことを井上さんがご専門なので、二人で一緒にお話しができたら良いなと、思ってお誘いをしました。

井上）はい。

石井）まず、人工知能って幅広い言葉…？

井上）そうですよね。まだ人工知能っていう言葉の定義自体が何十年も話されていて、未だに確定していないというような状態になっていまして。今のところ、東大の松尾先生などの有名な学者さんの間でも人工知能っていう定義は分かれていますね。主流はちょっと分からないのですが、自分の人工知能の捉え方としては…

石井）ウィキペディアに書いてあることは、人間の知能をコンピュータによって再現しようとする取り組み全般みたいなことが書いてあります。

井上）そうですね。

石井）だからすごくレベルの低いものも人工知能だし、ターミネーターのような人間を滅ぼしちゃうようなものも人工知能なので、松尾先生の著書にも書いてあるんですけど、レベル１もそうだし、レベル１００もそうなので、すごく人によって捉え方も違うと..？

井上）そうですね。確かに人工知能を実現するための技術や取り組み全般を人工知能って言ったりもするので、かなりややこしい言葉になってますね。

石井）その道のプロの方は結構人工知能って言葉をあえて使わなかったりしますよね。その研究者同士や開発者同士は、AIとか機械学習という言葉の方がその道の方は一般的なんじゃないかなと思うんですけど。

井上）はい。人工知能っていうと幅が広すぎますし、今時マーケティングで人工知能って言葉を使って売ろうみたいなトコはちょっと怪しい部分もあったりして、何と言いますか、人工知能って言葉を使うと、ある意味カルト的な感じで捉えられてしまうような風潮もありまして。それを少し柔らかくして、「AI」と。まあ、AIも人工知能と訳は同じなですけどね。笑

石井）確かに。笑

井上）少し「AI」って言ってみたり、もう少し分かっている人は、機械学習と言ったりしていますね。ただ、人工知能を実現するための技術・取り組み全般を人工知能と呼ぶのであれば、それは機械学習だけではなく、音声認識だったり、自然言語処理だったり、あとロボティクス。人工知能を作るためには身体の方向にも踏み込んでくると思うんですけど、そうすると自分としてはそういうハードのロボティクスの方ですら人工知能っていう分野の中に入るというように認識しています。だが、一概にも人工知能じゃなくて機械学習でしょとは言えない（気がします）。人によっては「人工知能ではなく機械学習と言え」というような、少し熱のこもった人もいるんですけど、音声認識とか自然言語処理も機械学習ではないけど、人工知能で実現するために必要な知識や技術もあるので（人工知能と機械学習は完全に定義付けで切れる関係ではないのではないかと）。

石井）あの、何かメディアで見たことがあって、人工知能には5種類ありますと。

井上）はい。

石井）1番が音声。2番が画像。3番が言語。4番が制御、これはロボットとかですよね？

井上）はい。

石井）で、5番が最適化という分野があるらしい。という話なんですけれども、この5種類の分類はどう思いますか？

井上）これは人工知能の分類ですか？

石井）（専門的な方の署名で書かれたのではなく）メディアの方が書かれたので、どうなのかなと思って。はい。

井上）なるほど。そうですね。これらが人工知能を実現するために必要な技術であることは間違いないです。ただ、一番今注目されていて将来的にも必要だと思われる、いわゆる学習というワードがどこにも入ってないので、少し違和感を感じると言いますか、

石井）なるほど。はい。

井上）今、機械学習と言ってますけど、学習の部分がないのでちょっと（分類として正しいとは必ずしも言えないのではないか）違和感がありますね。

石井）〜学習で分けた方が正しいんですよね？きっと。

井上）これら制御や音声を全てを学習するというのであれば、まだ人工知能らしいな、というような話になりますね。制御も制御しているだけでは人工知能とはあまり言えなくて。制御から学習する。それが今、学者が目指している人工知能の道筋になってますので。

石井）わかりました。少し補足になるんですけど、今シルバーウィーク中で、私も人工知能関連の映画を見るようにしてるんですけど、

井上）おー！

石井）アランチューリング。人工知能の父と言われる、イギリス人で、元々第二次世界大戦のナチスの暗号。すごく難しいエニグマというものを解くために機械を組み立てて、探索して、最後には暗号を破っちゃうという話がありました。彼、秘密の職務だったのでずっと不遇の人生を送って、最後自殺してしまうという話だったんですけど。そう考えると1940年代から人工知能があったということなので、人工知能という言葉自体はすごく歴史の長い言葉なんですよね、きっと。

井上）そうですよね。

石井）その辺も勉強されました？

井上）一応、ある程度歴史は抑えていて、人名などはしっかり覚えていない箇所はあるのですが、第二次世界大戦の後にあった会議か何かで確か人工知能という言葉が初めて出てきたというような話は聞いたことがありますね。4人くらい（その会議に）いて、実は今年の1月にその4人のうちの最後の一人が亡くなったんですよ。その人工知能って言葉を提唱した人の一人が。その人は最後まで人工知能が実現することによって人間は不老不死を得るとしていました。それはどういうことかと言うと、人工知能なるものができるんだったら、人間の脳などを機械上に再現することが可能（なのではないかと）、そのようなものをマインドトランスファーとか言うのですが、

石井）はい。

井上）機械にダウンロードするような、そのような方向で人類は不老不死を実現する、と言うようなお話をされていました。

石井）なるほどね。（人工知能の）ブームの話でいうと、私の見た情報だと1950–60年代に第一次人工知能ブームがきていて、第二次ブームは1980年代と書いてあって、今まさに人工知能ブームだと思うんですけど、

井上）はい。

石井）丁度、三回目の春だというように言われていて

井上）そうですね。しかし、今回の春は今までの春とはだいぶ違うと思っています。何故かというと、本当にデータがこれからの生活と不可分になる方向に進むと思っていて、どんな企業でもデータとAIは使う企業になっていく流れになると思っています。そうすると、AIがまた冬になるという未来はまだ自分には見えない。第一や第二の冬では、計算機が発達しきってない、もしくはデータが取り切っていない、

石井）はい、そういうことですよね。

井上）ということがあって、苦心して色んな理論を打ち出したような時期だったんですよ。だから、（それらは）全然無駄ではなく、むしろ今第三次はディープラーニングもそうなんですけど、第二次の時とかに生まれたものがやっと計算機の進歩とビックデータによって花開いたというような感じです。

石井）計算機というのは具体的にいうと、GPUというものをよく使うと思うのですが、ああいうハイスペックな計算機が簡単に安く手に入るようになった、ということ（が一因）。MacBookなんかでも使えたりするらしいですね。

井上）GPUですか？

石井）はい、GPU。

井上）へえ。それは知らなかったですね。

石井）ああ、そうなんですか。今度ウチの会社のプロジェクトでGPU買おうとしてて、カードみたいなもの。ウチが買おうとしているもので12万円くらいのロースペックなものなんですけど、それでディープラーニング解析ができるとのことだったので。

井上）そうですね。本当に計算機の進歩がすごく偉大でして、昔は本当に計算機がないため数学的にどうこうするとか。あとは、データがないため数学的にうまく近似させるといった、大変な苦労をなさっていたんですけど、今はビックデータと計算機でパパッと計算ができてしまって。それ（進歩）があるからこそ、昔から研究をしている年配の方は結構冷めているといいますか。年配の方からしたら、今やっていることというのはその時の焼き直しを、ただ恵まれた環境でやっているみたいな感じで、冷めている方は多いですね。

石井）なるほど。..あと、先日の井上さんもいらしゃった食事会で某ベンチャーキャピタルの方が仰っていたのは、「人工知能ブームは終わらないけど沈静化はする」ということ。今はすごく報道が過熱しているので、メディアの方に取り上げていただくのはすごく良いことだとは思うものの、人工知能の実力と、報道されているような何でももう既にできてしまうみたいな、割とファンタジーな世界に近いものまであって、そのギャップは正直ありますよね。

井上）そうですね。やはり今（報道）過熱が…何でしたっけ、イノベーションサイクルでしたっけ、

石井）はい。

井上）科学の発展はこういうのだみたいなのありましたよね。

石井）はい。山を越えていく−ってやつですよね？

井上）はい。今AIの発展も一番上の過度な期待を（背負っているため）、これから失望期があって。必ず揺り戻しはあると思っています。

石井）はい。

井上）だから、今の内にある程度実績を積むだったり、環境を整えなければなと一つ思っています。ただ少しの失望がユーザーの方であったとしてもこの世の中にデータがある限りは絶対にAIは廃れないと自分は思っています。

石井）なるほど。ありがとうございます。お時間になりましたので、第一回目、「人工知能って何？」ということに関してはここで一旦終わりたいと思います。引き続き、井上さんとお話をしながら、今度は機械学習とかディープラーニングのお話もできたらなと思います。はい。それでは第一回目、終わります、皆さんさようなら。

井上）ありがとうございました。

【ラジオ】人工知能って何？ was originally published in Academication on Medium, where people are continuing the conversation by highlighting and responding to this story.

宿泊施設の料金設定の悩みを解消 MagicPrice（株式会社空）とホテルシステムのDynalution（ダイナテック株式会社）が業務提携
【人工知能技術】MagicPriceはホテルや宿泊施設のデータを用い、最適な料金設定をAIで行っている
【何が変わったか】データの定期的なアップロード作業が必要だったが、宿泊施設データ管理システムDynalutionとの連携により不要に。利用者側からはより簡単に利用でき、分析をするMagicPrice側からはデータフォーマットのブレがなくなり分析しやすくなった。

ユーザーがChatbotでリアルタイムに試合情報を取得、AI×人の相互コミュニケーションによる新しい観戦スタイル
【サービス名】Live Sports Chatbot
【概要】日本チームの選手の情報や、リアルタイムでの試合の実況情報などユーザーのリクエストに対し、チャットボットが自動応答。また特定の選手についての質問や、過去の成績についても応答が可能。

【技術】データスタジアムの「一球速報プラットフォーム」のデータベースから質問に対してチャットボットが応答。

一般的な対話システムには、想定質問とそれに対する応答のQ&Aデータが予めインプットされており、ユーザーのリクエストに対しそのデータベースから適する応答を返すというものが主流ですが、本サービスでは試合中、常に変化する実況情報をリアルタイムでユーザーに配信します。

このリアルタイムは「データベースがリアルタイムで更新されているだけ」であり、応答のセリフなどの部分については従来通りだと思われる。

【開発】Nextremer

英語学習AIロボットMusio（ミュージオ）、髙島屋と共に親子で英語に親しむ新しい体験を提供

【サービス名】英語学習ＡＩロボット「Musio」

【技術】音声認識(英語)、自然言語処理(英語)、対話モデル
英語の対話データをもとに受け答えを行う。

会話内容をだんだん覚えていく

これはりんねやプレミア(https://twitter.com/premieresao)と同じく、相手の発言内容を記録していっている。

【開発】AKA

PRTimes「人工知能」検索(3/8) 技術関連Press抽出と解説 was originally published in Academication on Medium, where people are continuing the conversation by highlighting and responding to this story.

NVIDIA、理研がNVIDIA DGX-1システムを導入 2017/03/08

NEC、仙台白百合女子大とAI技術を活用して脳血管疾患の発症・重症化リスクを予測する共同研究を開始 2017/03/08
【概要】匿名化した医科・歯科・調剤のレセプトや特定健康診査のデータから、AIにより脳血管疾患の発症・重症化リスクを予測

【技術】データマイニング、機械学習
・NECの「異種混合学習技術」は従来の機械学習のようにルールを自動で見つけるのみならず、予測に用いるのに最適なルールを自動で選ぶことができる

【強み】
・仙台白百合女子大学の教授の地域における保健事業や健康状態の把握に関する公衆衛生学的知見、社会環境に関する知見
・匿名化した医科・歯科・調剤のレセプトや特定健康診査のデータ

セコム、広い空間を地上と上空から立体的に見守る「立体セキュリティ」を本格展開 2017/03/07

日立、システム同士をリアルタイムに協調させ全体最適を実現する自律分散制御技術を開発 2017/03/07

シルバーエッグ・テクノロジー、AIによるレコメンドとプレイドのウェブ接客プラットフォームを連携 2017/03/07

サイオステクノロジー、SAP社のERP製品に特化したHAクラスターソフトを発売 2017/03/07

サイオステクノロジー、SAP社のERP製品に特化したHAクラスターソフトを発売 2017/03/07

IBM、商用に利用可能な汎用量子コンピューティング・システムを構築する取り組みについて発表 2017/03/06

三菱電機、製造業向けFA－IT オープンプラットフォームを提案 2017/03/06

富士通、理研のAI研究専用システム「ディープラーニング解析システム」を構築 2017/03/06

トヨタ、自動運転実験車を米国カリフォルニア州での「プリウス・チャレンジ」イベントに展示 2017/03/06

【日経プレスリリース解説】「人工知能」検索結果(3/6~3/8) was originally published in Academication on Medium, where people are continuing the conversation by highlighting and responding to this story.

NVIDIA、理研がNVIDIA DGX-1システムを導入 2017/03/08

NEC、仙台白百合女子大とAI技術を活用して脳血管疾患の発症・重症化リスクを予測する共同研究を開始 2017/03/08

セコム、広い空間を地上と上空から立体的に見守る「立体セキュリティ」を本格展開 2017/03/07

日立、システム同士をリアルタイムに協調させ全体最適を実現する自律分散制御技術を開発 2017/03/07

シルバーエッグ・テクノロジー、AIによるレコメンドとプレイドのウェブ接客プラットフォームを連携 2017/03/07

サイオステクノロジー、SAP社のERP製品に特化したHAクラスターソフトを発売 2017/03/07

サイオステクノロジー、SAP社のERP製品に特化したHAクラスターソフトを発売 2017/03/07

IBM、商用に利用可能な汎用量子コンピューティング・システムを構築する取り組みについて発表 2017/03/06

三菱電機、製造業向けFA－IT オープンプラットフォームを提案 2017/03/06

富士通、理研のAI研究専用システム「ディープラーニング解析システム」を構築 2017/03/06

トヨタ、自動運転実験車を米国カリフォルニア州での「プリウス・チャレンジ」イベントに展示 2017/03/06

【日経プレスリリース】「人工知能」検索結果(3/6~3/8) was originally published in Academication on Medium, where people are continuing the conversation by highlighting and responding to this story.

【abstract】
Unsupervised learning with generative adversarial networks (GANs) has proven hugely successful. Regular GANs hypothesize the discriminator as a classifier with the sigmoid cross entropy loss function. This loss function, however, may lead to the vanishing gradient problem during the learning process. To overcome such problem, here we propose the Least Squares Generative Adversarial Networks (LSGANs) that adopt the least squares loss function for the discriminator. We show that minimizing the objective function of LSGAN yields minimizing the Pearson χ2 divergence. There are two benefits of LSGANs over regular GANs. First, LSGANs are able to generate higher quality images than regular GANs. Second, LSGANs performs more stable during the learning process. We evaluate the LSGANs on five scene datasets and the experimental results demonstrate that the generated images by LSGANs look more realistic than the ones generated by regular GANs. We also conduct two comparison experiments between LSGANs and regular GANs to illustrate the stability of LSGANs.

【abstract翻訳】
Generative Adversarial Networks（GANs）による教師なし学習は大成功を収めました。通常のGANsは、シグモイドクロスエントロピー損失関数を有する分類器として識別器を仮定する。しかしながら、この損失関数は、学習プロセス中に勾配の消失問題を引き起こす可能性がある。このような問題を克服するために、ここでは、最小2乗損失関数を識別器に適用するLSGAN（Least Squares Generative Adversarial Networks）を提案する。 LSGANの目的関数を最小化すると、ピアソンχ2ダイバージェンスを最小限に抑えることができます。通常のGANよりもLSGANには2つの利点があります。第1に、LSGANは通常のGANよりも高品質の画像を生成することができる。第二に、LSGANは学習過程でより安定して動作する。我々はLSGANを5つの背景データセットで評価し、LSGANによる生成画像は通常のGANによって生成された画像よりも現実的に見えることを実験結果が示す。 LSGANの安定性を示すために、LSGANと通常のGANの2つの比較実験も実施します。

Least Squares Generative Adversarial Networks was originally published in Academication on Medium, where people are continuing the conversation by highlighting and responding to this story.

【arXivリンク】

[1702.08835] Deep Forest: Towards An Alternative to Deep Neural Networks

【abstract】
In this paper, we propose gcForest, a decision tree ensemble approach with performance highly competitive to deep neural networks. In contrast to deep neural networks which require great effort in hyper-parameter tuning, gcForest is much easier to train. Actually, even when gcForest is applied to different data from different domains, excellent performance can be achieved by almost same settings of hyper-parameters. The training process of gcForest is efficient and scalable. In our experiments its training time running on a PC is comparable to that of deep neural networks running with GPU facilities, and the efficiency advantage may be more apparent because gcForest is naturally apt to parallel implementation. Furthermore, in contrast to deep neural networks which require large-scale training data, gcForest can work well even when there are only small-scale training data. Moreover, as a tree-based approach, gcForest should be easier for theoretical analysis than deep neural networks.

【abstract翻訳】
本稿では、深層ニューラルネットワークに匹敵するパフォーマンスを持つ意思決定木アンサンブル手法であるgcForestを提案する。 ハイパーパラメータチューニングに大きな労力を必要とする深層ニューラルネットワークとは対照的に、gcForestは訓練することがずっと簡単です。 実際、gcForestを異なるドメインの異なるデータに適用しても、ほぼ同じハイパーパラメータの設定で優れたパフォーマンスを達成できます。 gcForestのトレーニングプロセスは効率的でスケーラブルです。 我々の実験では、PC上で実行されるトレーニング時間は、GPU機能を実行する深層ニューラルネットワークのトレーニング時間に匹敵し、gcForestは自然に並列実装に適しているため、効率の利点がより明らかになる可能性があります。 さらに、大規模な訓練データを必要とする深層ニューラルネットワークとは対照的に、gcForestは、小規模な訓練データしかない場合でもうまく機能します。 さらに、ツリーベースのアプローチとして、gcForestは、深層ニューラルネットワークよりも理論的解析が容易です。

【中国語解説記事】http://chuansong.me/n/1621631051734

【Reddit】

【Hacker News】

Deep Forest: Towards an Alternative to Deep Neural Networks | Hacker News

【twitter】

Reza Zadeh on Twitter

Deep Forest: Decision trees with performance comparable to Neural networks & fewer hyperparameters, easier to train. https://t.co/f7UkePyRqb

Ilya B. Reznik on Twitter

https://t.co/YFqvSzaKJE Don't know if this will "replace" #NeuralNetworks but glad to see someone thinking outside of the box in #ML

Jason D. Moss on Twitter

gcForest, a decision tree ensemble approach with performance highly competitive to deep #neuralnetwork @arxiv_org https://t.co/NDCF4D9ZAt

The Real BrianPiercy on Twitter

1702.08835] Deep Forest: easier to train than Deep Neural Networks | ArXiV https://t.co/VYBUApdEk0 #DeepLearning

Marie Leaf on Twitter

deep forest: alt-#deeplearning . easier training and w/ small scale data. #decisiontrees #machinelearning https://t.co/A7wKGRQSv4

Dean Mai on Twitter

Boosted random forests indeed consistently beat #NNs in #Kaggle. When boosted #RF's lose to #NNs, it's not by much. https://t.co/ZwLFWljQP9

Lukas Drapal on Twitter

I like the idea of multi-grained scanning & cascading in deep forest paper. Suspicious about benchmarks, though. https://t.co/aQRBNcNxAJ

Old Man Roga on Twitter

This is going to sound like an "alternative fact", but I was literally just thinking along these lines re: ML... https://t.co/Nu6KdBoMyW

Santi Dsp on Twitter

Deep Forest: https://t.co/acGSGim7BV this is why #deeplearning is not only about #neuralnets, other deep models are on their way

Addison Huddy on Twitter

Interesting tree ensemble approach. "Deep Tree". https://t.co/pVshIoKLq4

Reality Zero One on Twitter

GPU compute not the only game in town for AI: https://t.co/nk9NbdKjwq . Watch Microsoft Azure FPGA's in the cloud in relation to this paper.

Eric Griffis on Twitter

gcForest works with small training data sets and is faster than deep neural networks https://t.co/zxwsvVz2VV

Markus Wulfmeier on Twitter

Trees are becoming hot again: DeepForest https://t.co/dZNnK39gxn and this one from @DeepMindAI https://t.co/XlGjrT0vLL

Deep Forest: Towards An Alternative to Deep Neural Networks was originally published in Academication on Medium, where people are continuing the conversation by highlighting and responding to this story.

【著者】Bertrand Rouet-Leduc, Claudia Hulbert, Nicholas Lubbers, Kipton Barros, Colin Humphreys, Paul A. Johnson

【日付】2017/2/19

【所属機関】
・ケンブリッジ大学窒素ガリウム研究センター（英国）
・ロスアラモス国立研究所（ニューメキシコ州）

【URL】https://arxiv.org/abs/1702.05774

【Abstract】
Forecasting fault failure is a fundamental but elusive goal in earthquake science. Here we show that by listening to the acoustic signal emitted by a laboratory fault, machine learning can predict the time remaining before it fails with great accuracy. These predictions are based solely on the instantaneous physical characteristics of the acoustical signal, and do not make use of its history. Surprisingly, machine learning identifies a signal emitted from the fault zone previously thought to be low-amplitude noise that enables failure forecasting throughout the laboratory quake cycle. We hypothesize that applying this approach to continuous seismic data may lead to significant advances in identifying currently unknown signals, in providing new insights into fault physics, and in placing bounds on fault failure times.

【Abstract翻訳】
断層の予測は地震科学の基本的ではあるが難しい目標である。 ここでは、実験室の断層によって放出された音響信号を聴くことによって、機械学習が断層する前の残り時間を非常に正確に予測できることを示します。 これらの予測は、音響信号の瞬間的な物理的特性のみに基づいており、その履歴を利用しません。 驚くべきことに、機械学習は、以前は低振幅ノイズであると考えられていた断層帯からの信号を、実験室の地震サイクルを通して、断層予測を可能にする信号として識別します。 我々は、この手法を連続地震データに適用することで、現在未知の信号を特定したり、断層物理学に新しい洞察を提供したり、断層時に境界を設定したりする重要な進歩につながる可能性があると想像する。

【まとめ】

・以前は単純な地震間隔の予測が基本的なアプローチであり、誤差が大きかった。また、計器が進歩したといっても地震の前兆を発見できるパラメータがあるとは思われていなかった。

・実験室の断層から記録された音響時系列データに対して、ランダムフォレスト（RF）を適用し、過去の履歴を用いることなく断層の発生を予想できた。

・RFには100以上の統計値を入れている。

・このアプローチは非周期的な断層サイクルに一般化できる。RFが今までに見たことのない条件でタイミング予測を行うことができるという事実は、取得している時系列信号が断層の予測につながる基本的な物理を捕捉していることを示唆している。

・連続的な地震には対応できない

・研究室レベルから地球レベルの予測にしていくのはまだこれから。

【関連リンク】
https://www.technologyreview.com/s/603785/machine-learning-algorithm-predicts-laboratory-earthquakes/

【本文のgoogle翻訳】
地震が迫っている可能性があると判断するための基本的なアプローチは、定期的に繰り返される地震特有の地震のイベント間時間（再発間隔）に基づいています。地質学的記録の洗練された解析から推測された地震の再発は、精度が低いにもかかわらず、障害が接近する可能性があることを推測する手段である。重要な手掛かりは、過去の大規模な地震の再発について、さまざまなアプローチを適用して解釈することができます。例えば、アトウォーターは、カスカディア海岸に沿って繰り返された突発的な地震活動の変化と、定期的な大地震に続く津波浸水の証拠について述べています。 1万年前の地震の際に堆積したタービダイト層序学の最近の分析は、カスケード沈み込み帯が巨大地震に対して熟していることを示唆している（図1）。対照的に、地震記録から構築された地震カタログは1世紀だけ存在していたため、San Andreas断層のParkfieldセグメントなど、再発間隔が比較的短い場合にのみ適用できます。事実、特徴的で反復的な地震の背後にある考え方は、よく知られているパークフィールド予測の基礎となっていました。 1857年、1881年、1901年、1922年、1934年、および1966年の同様の地震は、21.9±3.1年ごとに地震のパターンを示唆した。再発間隔に基づいて、1988年〜1993年の間に地震が予想されたが、最終的に2004年に発生した。このアプローチでは、地震の再発は一定の断層で一定ではないため、イベントの発生は大きな誤差範囲内でしか推測できない。
過去15年間で、計測器の品質と密度の大幅な進歩に基づいて予測を進めることができるという新たな希望があります。 これらの進歩により、深い断層で発生する低周波地震および地震からのスロースリップおよび関連する地上信号を含む、以前は未確認のスリッププロセスが発見されたことが驚くべき発見につながった。 これらの発見は断層すべりの新しい理解をもたらし、地震発生帯への深い断層の結合が解明されるならば、断層の断層の断層予測の進展につながる可能性がある。
計器の感度と密度の進歩は、先駆者かもしれない小さな地震を記録する新しい手段を提供します。音響/地震予兆は、材料にはほぼ普遍的な現象であるように見える。例えば、粒状物質および雪崩の不具合は、しばしば衝動的な音響/地震前駆体を伴い、その多くは非常に小さいことが十分に確立されている。前駆物質はまた、産業および地球物質のスペクトルの脆性破壊においても日常的に観察される。前駆体は実験室の欠陥で観察され、広く地震前に系統的には観察されていない。国際的な地震予知に関する委員会の2011年の結論は、このタイプの[失敗予知]研究の方法論的改善のためのかなりの余地があったと結論付けています」と委員会は公表された結果が肯定的な観察に偏っていると結論付けた。地震前兆の大きさは非常に小さく、したがって頻繁に記録されないか、または未確認となることが想定されていますが、機器が向上するにつれて、大部分またはすべての地震について前駆体が最終的に存在する可能性があります。故障を予兆する他の信号が存在する。
私たちの目標は、機械学習の近年の進歩を、十分に特徴付けられた実験システムからのデータに適用することによって、故障の失敗時間を予測することです。 実験室の研究を地球規模に結びつける重要な飛躍ですが、過去の研究から、実験室の前駆物質から計算されたグーテンベルグ・リヒターの関係は、地球で観測される境界内にあるということが分かりました。 この類似性は、重要な断層摩擦物理学のスケールの一部を意味する。 実験室実験では、地球の複雑な破裂のすべての物理現象を捉えることはできません。 それにもかかわらず、実験室から地球に移動する際に開発している機械学習の専門知識は、最終的にはさらなる研究を大規模に導くでしょう。
私たちの実験室フォールトシステムは、二重直接剪断に提出された断層ガウジ材料を含む2フォルト構成です。加速度計は、剪断層から放出される音響放射（AE）を記録する。駆動ブロックによって加えられるせん断応力も監視され（図1、図2a）、せん断速度、ガウジ層の厚さ、摩擦、および加えられた荷重などの他の物理的パラメータも監視されます。摩擦破損（ラボクレーク）の後、せん断応力は増加する（図2a）と摩擦として現れるように、せん断ブロックが変位し、同時にガウジ材料が拡張して強化する。材料が破壊に近づくにつれて、衝撃的AEを放出する多くの小さなせん断破壊を含む臨界応力領域の特性を示す。この不安定な状態は、せん断ブロックが急速に変位し、ガウジ破壊によって摩擦およびせん断応力が急激に減少し、ガウジ層が同時にコンパクトになるという挑戦で結論づけられます。広範囲の荷重および剪断速度条件下で、装置は、単一の実験の間に数百の応力サイクルの間、準周期的にスライドスリップする。インパルス性前駆物質の割合は、失敗が近づくにつれて加速し、次のラボのタイミングが予測できることを示唆している。この作業では、継続的に録音された音響信号の特性を使用して、今後のラボの失敗時間を予測できるかどうかを尋ねます。
我々の目標は、AEデータ（図2b、上）のローカルな移動時間ウィンドウのみを使用して、次の故障（図2a、下）の前に残る時間を予測することである。 我々は、障害から記録された連続音響時間系列データに対して、ランダムフォレスト（RF）という機械学習手法を適用する（図2参照）。 RFモデルは、一連の決定木の平均である（図2c）。 各決定木は、時間窓から得られた統計的特徴に基づく決定のシーケンスを使用して、次の故障の前に残っている時間を予測する。 図2aは、実験中に複数の故障事象を示す実験室せん断応力を示す。
各時間ウィンドウから、RFが次の故障の前に残っている時間を予測するために使用する約100の潜在的に関連する統計的特徴（例えば、平均、分散、尖度、自己相関など）の集合を計算する。 図2bは、図4と同じ時間スケールでこれら4つの特徴を示す。 複数の故障サイクルを通して、図2aに示す。 いくつかの機能は、ストレスサイクル中の早い段階での信号特性の変化に敏感です。 示されたすべての機能は、システムがせん断応力臨界に近づくにつれて、障害の直前の信号特性に強く敏感です。
図2dおよび図3は、モデルが一度も見たことのないスリップ事象のシーケンスに対応する音響信号である、試験データに関する故障予測を示す。赤い破線は、次の故障（せん断応力データから得られる）の前に残っている時間を示し、青い線は、RF回帰モデルの対応する予測を示す（「瞬時の音響データからのみ得られる」）。青い影付き領域は、予測の5番目と95番目の百分位数を示します。つまり、森林を構成する樹木の90％がこれらの範囲内で予測を行いました。予測を行うときには、過去または将来の情報は考慮されていないことが強調されています（青色の曲線）。各予測では、単一の時間枠内の情報しか使用されません。このように、システムによって現在放出されている音響信号を聞くことによって、それが失敗する前の残りの時間、すなわちその履歴を利用しないシステムの瞬間的な物理的特性に基づく「今」予測を予測する。
図3は、RF予測をより詳細に示す。我々は、決定係数であるR2を用いてモデルの精度を定量化する。イベントの周期性にのみ基づいたナイーブなモデルは、0.3のR2パフォーマンスしか達成しません。比較すると、RFモデルからの故障予測までの時間は非常に正確で、R2の値は0.89です。驚くべきことに、RFモデルは、故障が差し迫っているときだけでなく、ラブサイクルサイクル全体を通して、正確に故障を予測し、システムがストレスサイクルを通じて故障に向かって連続的に進行することを実証する。インパルス性前駆体は、システムが臨界的なストレス状態にある間のみ観察されるので、これは予想外である。信号振幅分布（例えば、分散および高次モーメント）を定量化する統計は、予測失敗時に非常に有効であることがわかります。全体的な信号振幅の変動を特徴付ける分散は、時間の早い段階で最も強力な単一の特徴です（図2b）。システムが故障に近づくにつれて、第4の瞬間や閾値などの他の異常値統計もまた予測的になる。これらの外れ値統計は、物質が実験室や地球の剪断条件下のものを含めて故障に近づくにつれて典型的に観察される衝撃的な前駆体AE（図4c）に応答している。これらの信号は、ラッシュアーク直前のガウジ内の小さな、観察可能なせん断破壊によるものです（1）。
当社の機械学習解析はスリップ物理学の新しい洞察を提供します。具体的には、故障の直前に発生したAE信号は、以前は雑音であると考えられていたため、見落とされていました。この信号は、遅いスリップに関連する非火山性振戦に似ており、長期間にわたってリンギング特性を示す。重要な違いは、時間の経過とともに震えが孤立していることです。実験室実験では、中央ブロック（図1）が応力サイクルの間にゆっくりと滑り、破損時に一時的に加速する。 （4b）は、失敗から遠い生の時系列を示す。この信号は、目で識別し、ストレスサイクルを通して持続することが困難な小さな変調を示す。これらの変調は、信号分散の増加によって測定されるように、障害に近づくにつれて振幅が増加する。信号分散のこの増加は、音響信号によって運ばれるエネルギーが応力サイクル全体にわたって着実に増加することを示す。これらのモジュレーションは、ブロックのゆっくりとした滑りによる断層ガウジの連続的な穀粒運動からのシステマティックな唸り、はけ、チャタリングによるものであると推測します（このシステムの離散要素モデリングはこの推論をサポートします）。私たちのML駆動解析は、スリップ事象が発生したときに蓄積されたエネルギーを急激に放出する前に、システムがストレスサイクルを通じて、わずかながらもエネルギー量を増加させることを示唆しています。
我々のモデルの予測は、実験条件を超えて一般化する。これを実証するために、適用された1つの負荷レベルでシステムを訓練し、異なる負荷レベルのデータでテストし、障害間のイベント間の時間間隔が異なっています。モデルの予測は、負荷レベル全体で精度が保持されていることがわかります。さらに、図5の挿入図に示されるように、より短い再発時間によって応力サイクル周期性が乱された場合、図3に示すように、RFは依然として故障時間を予測する上で優れた仕事をしており、そのアプローチが非周期的な故障サイクルに一般化できることを示している。 RFが今までに見たことのない条件でタイミング予測を行うことができるという事実は、時系列信号が予測につながる基本的な物理を捕捉していることを示唆している。私たちの物理的解釈は、チャタリング信号の分散と高次モーメントが瞬時摩擦とせん断応力状態の指紋であることです — 時系列の分散と他の特徴は、定量的な摩擦状態情報を運び、次のスリップ事象起こります。
私たちが地球に学んだことを適用する際に考慮すべきいくつかの問題があります。実験室剪断速度は、地球よりも大きいオーダーである（5ミクロン/秒対cms /年）。実験室の温度条件は決して地球のものに似ていますが、圧力は流体圧力が大きいときの現場圧力を表すことができます。これらの違いは否定できないが、先に述べたように、実験室から地球までのGR関係は本質的に同じであるため、実験は摩擦のいくつかの本質的な物理学を捉えている。我々は、この実験に適用されたMLが、スリップサイクル中のいつでも音響信号の瞬時解析に基づいて正確な故障予測を提供し、以前には識別されなかった信号を明らかにすることを示す。これらの結果は、地球の地震信号のML解析を促進するのに十分なはずです。私たちの知る限りでは、これは失敗時間を推測する目的で連続音響震源データにMLを適用する最初の方法です。これらの結果は、地震カタログのみに基づく以前の分析は不完全である可能性があることを示唆している。特に、MLベースのアプローチは、潜在的に関連する変数の大きな空間内のパターンを自動的に検索することによって、人間の偏りを緩和する。
私たちの現在の目標は、このアプローチを実験室システムに最も似た地球の問題に適用することによって、研究室から地球へと徐々に拡大することです。実験室への興味深いアナロジーは、小さな繰り返し地震を示す断層であってもよい。例えば、Parkfield近くのSan Andreas断層に位置する断層パッチは、このような挙動を示す。これらの欠陥パッチのリピータは、実験室と同様にチャタリングを発している可能性があります。もしそうなら、この信号を坑井と地表の計器で記録することはできますか？地震のタイミングに関する情報（地震の大きさはもちろん）に情報を提供するには、連続地震または他の地球物理データに適用されるMLアプローチが成功するかどうかに関わらず、未知の断層物理学に関連する未確認の信号が現れる可能性がある。さらに、この方法は、産業および天然材料の広いスペクトルにおける故障予測に有用であり得る。テクノロジーは、計装、機械学習、膨大なデータセットと高速コンピュータの処理能力の劇的な進歩の合流点にあります。したがって、地震科学の潜在的に顕著な進歩のための段階が設定されている。

[論文]Machine Learning Predicts Laboratory Earthquakes was originally published in Academication on Medium, where people are continuing the conversation by highlighting and responding to this story.

【リンク(英語)】https://www.technologyreview.com/s/603785/machine-learning-algorithm-predicts-laboratory-earthquakes/

【リンク(日本語)】https://www.technologyreview.jp/s/30903/machine-learning-algorithm-predicts-laboratory-earthquakes/

【論文】Machine Learning Predicts Laboratory Earthquakes
【リンク】https://arxiv.org/abs/1702.05774

【MIT Technology Review】Machine-Learning Algorithm Predicts Laboratory Earthquakes was originally published in Academication on Medium, where people are continuing the conversation by highlighting and responding to this story.