<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Sho Shimauchi on Medium]]></title>
        <description><![CDATA[Stories by Sho Shimauchi on Medium]]></description>
        <link>https://medium.com/@shiumachi?source=rss-6dff53967b31------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*Q5VHnnV-wwRxn18X.png</url>
            <title>Stories by Sho Shimauchi on Medium</title>
            <link>https://medium.com/@shiumachi?source=rss-6dff53967b31------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 15:52:18 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@shiumachi/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[[翻訳] Clouderaでの人生における重要な一日]]></title>
            <link>https://medium.com/cloudera-japan-official-blog/today-is-an-important-day-in-the-life-of-cloudera-2107506632a2?source=rss-6dff53967b31------2</link>
            <guid isPermaLink="false">https://medium.com/p/2107506632a2</guid>
            <category><![CDATA[cloudera]]></category>
            <category><![CDATA[vision]]></category>
            <dc:creator><![CDATA[Sho Shimauchi]]></dc:creator>
            <pubDate>Sun, 30 Apr 2017 23:20:36 GMT</pubDate>
            <atom:updated>2017-05-01T07:23:39.948Z</atom:updated>
            <content:encoded><![CDATA[<p>原著者：Mike Olson (Cloudera 創業者、最高戦略責任者)<br>原文：<a href="http://vision.cloudera.com/today-is-an-important-day-in-the-life-of-cloudera/">Today is an important day in the life of Cloudera</a><br>訳： <a href="https://medium.com/u/6dff53967b31">Sho Shimauchi</a></p><p>ほぼ9年前、Amr Awadallah、Christophe Bisciglia、Jeff Hammerbacherと私は共通の信念をもって集まりました。「データは世界を変える」と。この3人は、このトピックについてのいくらかの権威がありました。ChristopheはGoogleという、我々のプラットフォームの背後にある中心的なアイデア(訳注1)が開発された企業から来ました。Jeff と Amr は、それぞれ Facebook と Yahoo という、以前は単純には解決できなかったような問題の解決にこうしたプラットフォームを使う企業に勤めていました。</p><p>私の経歴は異なります。私は大規模なエンタープライズ企業のためのデータプラットフォームの開発にキャリアの大半を費やしてきました。私はセキュリティ、データガバナンス、コンプライアンス、運用などの話題についてこうした企業がどのように考えているのか理解していました。</p><p>私たち一人一人が、この新しい技術(訳注2)が、開発元や初期の活用企業であるコンシューマ・インターネット企業の枠を飛び越えて広がっていくと確信していました。我々は皆、より多くの伝統的なエンタープライズ企業が同じ課題に直面し、同じ能力を必要とするだろうということを知っていました。私たちは皆、新しいプラットフォームと新しい企業が成功するチャンスがあると信じていました。</p><p>その後の数年間は目覚ましいものでした。私達の会社は市場とともに成長してきました。オリジナルのテクノロジーは当初の認識を超えて変化していき、リアルタイム、SQL、ストリーミング、機械学習機能などを追加してきました。こうした技術がこの地球上での最も大きな企業の一部での採用を推進してきました。彼らは多種多様なアプリケーションを実行しており、さまざまな重要な業務上の課題を解決しています。</p><p>「データは世界を変える」という私達の最初の賭けは正しいことが証明されました。詐欺の検出や防止、サイバー攻撃に対するネットワークの保護、ロジスティクスやトラック輸送部隊のパフォーマンスの最適化といったアプリケーションで、私達は価値を提供しています。私達は、大きな社会的課題に取り組んでいて、医療における患者への治療結果を改善し、法執行機関が人身売買ネットワークを見つけて閉鎖するのを手助けしています。</p><p>このような背景の下、IPOにより適切な価値判断を持つ責任を負います。私達は、データによって今日はまだ不可能なことでも明日には可能になることを信じてClouderaを創業しました。世の中にはまだ多くのデータがあり、まだ不可能なことがたくさんあります。私たちの旅は始まったばかりです。</p><p>しかし今日のところは、元社員を含む全てのClouderan、初期の投資家達、ボードメンバー、パートナー、そして誰よりもまず、素晴らしいお客様の皆様に言わせてください。ありがとう！この成功は皆様のおかげです。今朝のセレモニーを楽しんでください。</p><p>今日の午後は、素直に仕事に戻りましょう。世の中にはまだ多くのデータがあり、まだ不可能なことがたくさんあるのですから。</p><p>訳注1: GFS 及び Google MapReduce</p><p>訳注2: Apache Hadoop</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2107506632a2" width="1" height="1" alt=""><hr><p><a href="https://medium.com/cloudera-japan-official-blog/today-is-an-important-day-in-the-life-of-cloudera-2107506632a2">[翻訳] Clouderaでの人生における重要な一日</a> was originally published in <a href="https://medium.com/cloudera-japan-official-blog">Cloudera Japan Official Blog</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[劇場版SAOに登場する技術の実現可能性]]></title>
            <link>https://medium.com/@shiumachi/%E5%8A%87%E5%A0%B4%E7%89%88sao%E3%81%AB%E7%99%BB%E5%A0%B4%E3%81%99%E3%82%8B%E6%8A%80%E8%A1%93%E3%81%AE%E5%AE%9F%E7%8F%BE%E5%8F%AF%E8%83%BD%E6%80%A7-3fa930d95baf?source=rss-6dff53967b31------2</link>
            <guid isPermaLink="false">https://medium.com/p/3fa930d95baf</guid>
            <dc:creator><![CDATA[Sho Shimauchi]]></dc:creator>
            <pubDate>Sun, 12 Mar 2017 09:11:16 GMT</pubDate>
            <atom:updated>2017-03-12T09:11:16.407Z</atom:updated>
            <cc:license>https://creativecommons.org/licenses/by-nc-nd/4.0/</cc:license>
            <content:encoded><![CDATA[<p><a href="http://sao-movie.net/">劇場版ソードアート・オンライン</a>に登場する技術・製品・サービスについての実現可能性を考えたくなったので書いてみた。</p><h3>DISCLAIMER</h3><ul><li>この記事は真面目に考察したものではなく、単なる感想の一環として書いたもので、考察の妥当性については一切の保証はしません。</li><li>この記事には、劇場版SAOと小説「虹を待つ彼女」のネタバレが含まれています。ネタバレを避けたい方は読まないでください。</li></ul><h3>現実世界における共有AR空間(サーバサイド技術)</h3><p>単にAR空間を共有するだけなら<a href="https://developer.microsoft.com/en-us/windows/holographic/shared_holographic_experiences">Windows Holographicで既に実現可能</a>。</p><p>この技術についての非機能要求特性は一切調べてないので、現状の技術だけで大規模運用が可能かどうかは不明。</p><p>基礎技術は確立しているので、お金と時間さえかければある程度のレベルは実現可能と思われる。</p><h4>劇中での使用例(1): ショッピングモールなどでのホログラム広告、電飾等々</h4><p>現代の技術で問題なく実現可能と思う。</p><p>実際には、専用wifiに接続→ショッピングモールでの位置情報やらホロ情報をDL→映像投影、みたいな流れと思う。</p><p>ARデバイス同士の厳密な同期も必要ないので、そんなに難しいことではないはず。</p><h4>劇中での使用例(2): ARでのマルチプレイゲーム</h4><p>クライアントサイドアプリやオーグマーの話は後述する。</p><p>「オーディナルスケール」は、劇中で見る限りだとボス戦についてはオープンワールドではなく特定のエリアに限定したフィールドだけを展開しているので、サーバサイドの技術としては既存のネットゲームと大差ないもので実現できるのではないかと思う。</p><p>通常時はオープンワールドっぽいけどそんなに派手な戦闘はしていないっぽいし、おそらくIngress / ポケモンGoと同じようなサーバ技術でおおむね実現可能なのではないかと思われる。</p><p>課題になりそうなのは同時プレイしている人の間での同期ズレの調整くらいだろうか。</p><h4>劇中での使用例(3): ARライブ</h4><p><a href="https://www.youtube.com/watch?v=1uhRDNf-gak">これ</a>のAR版。</p><p>サーバサイドとしては多分これが一番難しい気がする。数万ものARデバイスに、一切の音ズレなくライブ配信でARを動かし続けるというのは相当困難な技術な気がする。</p><p>「いや、もうYouTubeとかで何万接続してるじゃないか」という人もいるかもしれないが、アレは各デバイス間で微妙に映像がズレてるけどそれぞれのデバイスが独立して存在しているためユーザが気づいてないだけで実際はズレてるはず。物理的に同じ場所に存在するデバイスで完全に同期をとるというのはかなり難しいように感じる。</p><p>ライブ配信技術やネットワーク技術の深い部分は私は専門外なので、この辺詳しい人がいたら教えてください。</p><h3>ARソフトウェア</h3><p>ここではサーバサイドではなく、クライアント上で動作するソフトウェアについての実現可能性を考える。</p><h4>ボードゲーム</h4><p>パックマンはボードゲームではないのだが、ここではテーブル上に広げて多人数でプレイするゲームを指していると思ってほしい。</p><p>問題なし、というか多分ARデバイスが普及したら真っ先に流行するゲームの一つになるはず。</p><h4>オフィスアプリ系(カレンダー、メール、チャット、通話、etc.)</h4><p>問題なし。既に実現済み。</p><h4>オーディナルスケール(RPGパート)</h4><p>ハードウェアスペックさえ十分にあれば、やってることは既存の3Dのゲームだから実現できる……ような気がする。</p><p>ゲーム開発は全くの門外漢なので実際に実現可能かどうかはわからない。</p><p>もし本当にこのゲームを作るのだとしたら、CGの美麗さとかゲームバランスとかよりも、「いかに現実世界に迷惑をかけないか」というデザインにできるかどうかに全てがかかっていると思う。</p><p>劇中でも夜の神社で警官に話しかけられるシーンがあったが、あれは完全にIngressで観た光景で、あのシーンを考えた人はIngressのネタから着想を得たのだろうと私は思っている。</p><p>Ingressをプレイしていたときにエージェント達がさんざん現実世界に迷惑をかけてきた(私もかけていたと思う、すいません)ことを考えると、侵入禁止区域の徹底や、劇中でも行っていたような現実の企業とのコラボを推進することによる市民の抵抗感の低減みたいな施策が必要になるのではないかと思われる。</p><p>また、ボス戦などを見るに、Ingress / ポケモンGo より遥かに動きの激しいゲームなので、周囲の器物損壊や過失による他者への傷害(ぶつかったりとか)、ユーザ自身の怪我などの事件・事故を誘発するリスクが非常に高いと推測できる。</p><p>このあたりをうまく回避することができるようなゲーム設計にできるかどうかが、実現可否の鍵になる気がする。</p><h4>オーディナルスケール(PvPパート)</h4><p>劇中でエイジが使ってた(ような気がする)物理攻撃予測システム、物理攻撃を受ける映像データはいくらでも取れるし、そのデータを元に学習させれば、ある程度の攻撃の先行予測はできるんじゃないかと勝手に思ってる。実証実験はわりかし簡単にできそうなので自分で作ってみたい。</p><p>あと本記事の本筋とは全く関係がないが、ARでのPvPを観て真っ先に思い出したのがスマホ仮面。名作なのでみんな観よう。<a href="https://www.youtube.com/watch?list=PLVND1hJ5a56YzS3Pyk_9psGGXppu_DfGC&amp;v=Cf2SDGjPZk8">YouTubeで全話視聴できる</a>。</p><h3>オーグマー(ARデバイス)</h3><p>本作品最大のSFはこのデバイス。</p><p>全体的には「ぶっちゃけ無理」という説明になってしまうが、個別の機能にわけると実現可能な部分とそうでない部分があると思うので、機能別に見ていくことにする。</p><p>設定資料集とかは読んでおらず、あくまで本編観賞のみを情報源として書いているので設定資料集に書いてあったらすいません。</p><h4>ディスプレイのないAR</h4><p>「網膜走査型は現実にあるよ！」とはいうものの、ディスプレイレスなデバイスって実現したのか記憶にない。VR/ARデバイスでさえ長期利用による眼への影響がわからないのに、網膜走査型をそんなに簡単に大規模に普及させていいんだろうかという気がする。</p><p>向こう10年ならサングラス型・スカウター型が主流になるのではないかと思う。</p><h4>オーディナルスケール(ハードウェアサイド)</h4><p>あの派手なCG動かすのにどれだけスペックいるんだろうか。あんな小型のデバイス(多分小型のスマホと同等クラスのサイズ・重量)で現代のゲーミングPCと同じくらいのスペックを出してる気がするが、いつ頃実現できるんだろう。10年は可能性あっても5年は厳しそうな気がする。</p><h4>バッテリー・ワイヤレス給電</h4><p>やたらとCPU/GPU使いそうな処理する割にはバッテリーすごい長持ちな気がするけど、あれ全部ワイヤレス給電で賄っているのだろうか。だとすれば、仮に実現したとしてもトータルで凄まじいエネルギー消費になると思うんだが、運用コストは大丈夫なんだろうか。</p><h4>アスナが使っていたインプットデバイス</h4><p>空中であんなに打鍵音だして軽快に入力できてうらやましい。</p><p>HoloLensで入力してると、ゲイズでキーに合わせなきゃいけないので頭を動かさないとまともに入力できず、本当にだるい。</p><p>あんな自然にキーを叩けるほどの画像認識能力を持たせることができるのだろうか。というか早くHoloLensでこのくらい簡単に入力させてほしい。</p><h4>脳波スキャン</h4><p>ここは完全にSFの世界なので省略……と思うんだけど、実際どうなんだろうこの分野。門外漢なのでわからない。</p><h4>オーグマーによるフルダイブVR</h4><p>どう考えても無茶な気がする。</p><h4>価格</h4><p>本編の主要登場人物は無償配布されているようなので特に問題はないけど、街中のシーンで若い子とかも現代のスマホのように当たり前につけていた気がするが、これ一体いくらぐらいで出しているんだろう。ここまでの高度な技術だと、10年後でも数百ドルのオーダーで売るのは厳しいんじゃないかという気がするが……。</p><h3>人間らしい人工知能</h3><p>もうアニメ化はほぼ決定しているも同然な、SAOのアリシゼーション編がまさにこの人工知能がテーマで、この劇場版SAOはアリシゼーション編のテーマにつなげるための導入として考えられたものだと思われるが、私はちょうど先月読んだ小説「<a href="https://www.amazon.co.jp/%E8%99%B9%E3%82%92%E5%BE%85%E3%81%A4%E5%BD%BC%E5%A5%B3-%E9%80%B8%E6%9C%A8-%E8%A3%95/dp/4041047528">虹を待つ彼女</a>」と同じようなテーマだったため、そちらとの比較の方に興味がわいた。</p><p>劇場版SAOと虹を待つ彼女、どちらも共通しているのは「死者を人工知能として復活させる」「死者の記録を元に人工知能を形成する」の二点だけど、アプローチの仕方がかなり異なる。劇場版SAOでは死者と面識のある人の記憶の生データを収集して機械学習技術(劇中ではディープラーニングと言ってはいたが、別にどういうアルゴリズムを選ぶかは大した問題じゃない)を使って人工知能を形成しようとする、</p><p>一方、虹を待つ彼女では、映像や写真、死者についての文書などのデータをベースにしてプロトタイプの人工知能を作成し、この人工知能と死者に面識がある人を会話させることで、「本人らしくない」不自然な部分を取り除いて完成度を高めていく、というアプローチをとっている。</p><p>どちらの手法も現実に実現したことはないのでどちらが優れているかを論じることはナンセンスではあるが、人間の記憶情報についてはそもそもまだ不明な点が多く、このようなデータをベースにするという手法がそもそも成り立つのかどうかさえ不明である一方で、虹を待つ彼女でのアプローチは一応は既存技術の積み重ねで実行はできるのでまだ現実味があるのではないか、という気はする。あくまで相対的にではあるが。</p><h3>全体としての感想</h3><p>劇場版SAOは、エンターテインメントとしての面白さを優先している部分を残しつつ、全体的に現実世界の技術・研究を下敷きにして設定を作っていることが感じられて、とてもよくできてる作品だと思った。本記事のように実現可能性についてあれこれ考える楽しみが得られるのも、制作陣による緻密な基礎調査があればこそと思う。ARの市場はこれから急速に拡大・変化していくはずなので、SAO編が始まった2022年から劇場版SAOの2026年の間に、どこまで現実の世界がSAOの世界に近づくのか楽しみだ。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3fa930d95baf" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[翻訳]米国移民政策]]></title>
            <link>https://medium.com/cloudera-japan-official-blog/%E7%BF%BB%E8%A8%B3-%E7%B1%B3%E5%9B%BD%E7%A7%BB%E6%B0%91%E6%94%BF%E7%AD%96-14a9f30e4fa6?source=rss-6dff53967b31------2</link>
            <guid isPermaLink="false">https://medium.com/p/14a9f30e4fa6</guid>
            <dc:creator><![CDATA[Sho Shimauchi]]></dc:creator>
            <pubDate>Tue, 31 Jan 2017 02:01:30 GMT</pubDate>
            <atom:updated>2017-01-31T02:01:30.994Z</atom:updated>
            <content:encoded><![CDATA[<p>このブログ記事は、<a href="http://vision.cloudera.com/us-immigration-policy/">US Immigration policy</a>の翻訳です。</p><p>原著者: <a href="http://vision.cloudera.com/author/mike-olson/">Mike Olson</a> (Cloudera 最高戦略責任者、創業者)</p><p>テクノロジー産業は、米国と世界経済を推進するのに重要な役割を占めています。</p><p>テクノロジーはイノベーションによって推進されています。 何十年にもわたって、シリコンバレーは、世界そのものと我々の生活を変えていくための、新しいアイデア、新しい企業、新しい製品を生み出す強固な基盤となっていきました。</p><p>移民は、そうしたエネルギーを生み出す原動力となります。 Clouderaにおいて、私達は幸運にも、世界中の頭脳明晰で熱意のある人々を魅了することができました。 彼らはClouderaで、同じような立場の人とともに学び、ともに働いているのです。 彼らは学生として、社員として、そして創業者としてやってくるのです。 彼らは多様な文化や考え方を持っています。 その多様性は、新しいアイデアだけでなく、新しい働き方を生み出すのです。</p><p><a href="http://www.washingtonexaminer.com/37-percent-of-silicon-valley-foreign-born/article/2583195">シリコンバレー居住者の3分の1以上が移民</a>です。 こうした移民は、<a href="http://blogs.wsj.com/digits/2016/03/17/study-immigrants-founded-51-of-u-s-billion-dollar-startups/">10億ドル規模の新興企業の半分以上を設立しました</a>。</p><p>テクノロジー産業において米国がリーダーシップを維持するには、頭脳明晰で熱意のある起業家を引きつけ続けることが必要です。 こうした人々がここに来て働き、未来を築くことがより困難になるということは、彼らが仕事をし、未来とその経済的利益を築く場所として他の地を選択することを意味します。</p><p>Clouderaは先週の移民政策と大統領執行命令の影響についての動きを引き続き注視します。 私達が今すぐにお約束することは、法律を遵守しながら、社員とその家族の安全を守ることです。 長期的には、私たちの業界と当社を育ててくれた、人々やアイデアの自由な活動を促すための政策に影響を与えることを目指しています。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=14a9f30e4fa6" width="1" height="1" alt=""><hr><p><a href="https://medium.com/cloudera-japan-official-blog/%E7%BF%BB%E8%A8%B3-%E7%B1%B3%E5%9B%BD%E7%A7%BB%E6%B0%91%E6%94%BF%E7%AD%96-14a9f30e4fa6">[翻訳]米国移民政策</a> was originally published in <a href="https://medium.com/cloudera-japan-official-blog">Cloudera Japan Official Blog</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[翻訳]「インターネットに公開された」Apache Hadoopのセキュリティを確保する方法]]></title>
            <link>https://medium.com/cloudera-japan-official-blog/%E7%BF%BB%E8%A8%B3-%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%BC%E3%83%8D%E3%83%83%E3%83%88%E3%81%AB%E5%85%AC%E9%96%8B%E3%81%95%E3%82%8C%E3%81%9F-apache-hadoop%E3%81%AE%E3%82%BB%E3%82%AD%E3%83%A5%E3%83%AA%E3%83%86%E3%82%A3%E3%82%92%E7%A2%BA%E4%BF%9D%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95-3c41df139699?source=rss-6dff53967b31------2</link>
            <guid isPermaLink="false">https://medium.com/p/3c41df139699</guid>
            <category><![CDATA[security]]></category>
            <category><![CDATA[hadoop]]></category>
            <dc:creator><![CDATA[Sho Shimauchi]]></dc:creator>
            <pubDate>Mon, 30 Jan 2017 23:49:10 GMT</pubDate>
            <atom:updated>2017-01-31T00:13:45.135Z</atom:updated>
            <content:encoded><![CDATA[<p>このブログ記事は、<a href="http://blog.cloudera.com/blog/2017/01/how-to-secure-internet-exposed-apache-hadoop/">How to secure ‘Internet exposed’ Apache Hadoop</a>の翻訳です。</p><p>原著者: <a href="http://blog.cloudera.com/?guest-author=Manish%20Ahluwalia">Manish Ahluwalia</a></p><p><a href="https://krebsonsecurity.com/tag/mongodb/">MongoDB</a>や<a href="http://www.threatgeek.com/2017/01/open-hadoop-installs-wiped-worldwide.html">Apache Hadoop</a>などのオープンソースデータベースソリューションを対象とした最近の（そして進行中の）ハックについて聞いたことがあるかもしれません。 我々の知るところでは、未知数のハッカーがデフォルトの非セキュア構成を使用して設定されたインターネットからアクセス可能なインストールをスキャンしていました。外部露出を発見したハッカーは、システムにアクセスし、ファイルを削除したり、身代金のためにそれらを保持したりしています。</p><p>これらの攻撃は技術的に洗練されたものではなく、本来であれば簡単に回避することができたものです。</p><p>我々は、このハックの被害を受けた多くのHadoopサイトを設定したユーザは自分のサイトが外部暴露されていることに気づいていなかったのではと思い、Clouderaのお客様が自分自身を守ることができるようにしたいと思っています。このブログ記事は、自分自身を守るにはどうすればいいかを説明することを目的としています。</p><p>セキュリティは複雑なトピックであり、この記事だけではその内容を完全に説明することはできません。 我々の目標は、Clouderaのインストールにアクセスする権限を持つ人だけがアクセスできるようにすることです。 次に、クラスタの保護に必要な追加作業を実施することをお勧めします。 このブログの情報は一般的なもの（つまり、すべてのユーザーを対象としているもの）で、Hadoopのセキュリティを向上させるために必要な基本的な手順のみを提供しているため、Clouderaお客様は、完全で堅牢なセキュリティレビューと構成のために我々に直接お問い合わせください。ハッカーは常に一歩先を行くように努力していますから、我々のセキュリティ専門家はお客様のセキュリティ目標を達成するのを手助けいたします。</p><h3>ネットワークアクセス制御</h3><p>まず、Clouderaのインストールは、到達可能であるべき場所からのみ可能であることを確認します。 たとえば、隣の建物の研究者やデータセンターのデータ処理パイプラインがClouderaクラスタに到達する必要があることは明らかです。しかし、健全なセキュリティプロトコルでは、公開インターネットからアクセスできるデータベースはわずかであり、ほとんどの社内ネットワークからのアクセスも制限しています。 したがって、データパイプラインとクラスタ管理ポリシーを考えると、組織内でクラスタにアクセスする必要がある場所（つまり、どのネットワークサブネットからアクセスする必要があるか）を把握することをお勧めします。</p><p>次に、クラスタが必要な場所にのみアクセス可能であるかどうかの確認だけでなく、クラスタを他の場所、特に公開インターネットからアクセスできないようにするために、次の方法を使用することをお勧めします。</p><p>クラスタの到達可能性（または到達不能性）をテストする方法はたくさんあります。 次の例では、nmapを使用します。 次の手順に従います。</p><p>(1) あなたのクラスタが到達可能なIPアドレスを調べます。 クラスタマシンにssh接続したり、Cloudera ManagerやHueなどに接続すると、ホスト名またはIPアドレスが使用されます。 ホスト名を使用している場合は、そのホスト名が名前解決されるIPアドレスを見つけてください（これにはいくつかのツールがあり、digやhostがうまく機能します）。IPアドレスがプライベートネットワークアドレス（例えば、10.、192.168。または172.16.から172.31.で始まるアドレス）である場合、あなたのクラスタには外部からアクセスできないかもしれません。厳密に確認するために、ネットワーク管理者に連絡する必要がある場合もあるでしょう。もしプライベートアドレスでない場合は、次の手順に進みます。</p><p>(2) これらのIPアドレスを使用して、社内ネットワークの外からインターネットにアクセスします（VPNを使用せずに、図書館や自宅などから）。 次に、以下のようにクラスタマシンにアクセスを試みます（あなたのマシンのIPアドレスが203.0.113.11であるとします）:</p><pre>nmap -Pn -p 1004-60030 203.0.113.11</pre><p>(3) ホストまたはポートにアクセスできないという結果が期待されるべきものでしょう。 いずれかのホストまたはポートがアクセス可能な場合、問題を修正する必要があります。</p><p>ここで、インターネットから問題のホストまたはポートへのトラフィックがブロックされたときのnmapの出力は次のようになります。</p><pre>Starting Nmap 7.12 ( https://nmap.org ) at 2017-01-20 12:00 EST</pre><pre>Nmap scan report for 203.0.113.11</pre><pre>Host is up (0.015s latency).</pre><pre>All 59027 scanned ports on 203.0.113.11 are filtered</pre><pre>Nmap done: 1 IP address (1 host up) scanned in 214.18 seconds</pre><p>ホスト上にアクセス可能なポートがいくつかある場合の出力は次のようになります。</p><pre>Starting Nmap 7.12 ( https://nmap.org ) at 2017-01-20 12:00 EST</pre><pre>Nmap scan report for (203.0.113.11)</pre><pre>Host is up (0.083s latency).</pre><pre>Not shown: 58915 closed ports</pre><pre>PORT     STATE SERVICE</pre><pre>2049/tcp open  nfs</pre><pre>2181/tcp open  unknown</pre><pre>3306/tcp open  mysql</pre><pre>4242/tcp open  vrml-multi-use</pre><pre>...</pre><pre>Nmap done: 1 IP address (1 host up) scanned in 195.38 seconds</pre><p>クラウドプロバイダを使用している場合、ネットワークルールを調べることで、クラスタがインターネットに公開されているかどうかを判断できます。 たとえば、Amazon Web Servicesでは、セキュリティグループを使用して、クラスタにアクセスできるユーザーとアクセスできないユーザーを決定します。 誰もが接続できるようにするグループの例を以下に示します。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*D3cdev67n79A6WZkHiJa1w.png" /></figure><p>この図での問題は、最初のルールである「すべてのTCP」によって、誰でもクラスタマシン上の任意のポートに接続できることです（これは0.0.0.0/0の意味です）。</p><p>上記のセキュリティグループが修正された例を次に示します。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ky3B87UnUFvsmVDsSL1HCg.png" /></figure><p>ご覧のように、SSHアクセスは管理ネットワークだけに制限されています（つまり、クラスタマシンにsshできるようにするには、既に管理ネットワーク上にいなければなりません）。 他のすべてのポートは、社内ネットワークの誰にでも開放されています。</p><p>クラスタサービスにアクセスできるべきでない場所からポートにアクセスできるようになっている場合は、これらのポートで実行されているサービスをシャットダウンするか（これらのサービスが実際には必要ない場合）、またはこれらの場所からのアクセスをブロックする必要があります。 アクセスを正しく遮断する方法については、ネットワーク管理者に相談する必要があります。 あなたがこれを行う必要がある場合、以下のツールが役に立つでしょう：</p><ol><li>ファイアウォールやiptablesのようなホストファイアウォールなどの、望ましくないトラフィックをブロックするための普段であれば優れたソリューションはClouderaソフトウェアでうまく機能しません。 以下の代替案をお読みください。</li><li>ネットワークインフラストラクチャに応じて、ネットワークファイアウォールをご利用ください。 あなたのネットワーキング管理者は、これらを手助けすることができるでしょう。</li><li>クラウドホスティングプロバイダを使用している場合は、プロバイダのドキュメントを参照する必要があります。 例えば AWSの場合、セキュリティグループを調べる必要があります（<a href="http://www.cloudera.com/products/cloudera-director.html">Director</a>を使用している場合、Clouderaは<a href="http://www.cloudera.com/documentation/director/latest/topics/director_aws_setup_client.html">ガイダンス</a>を公開しています）。 Azureの場合、<a href="https://docs.microsoft.com/en-us/azure/virtual-network/virtual-networks-nsg">ネットワークセキュリティグループ</a>を調べてください。 Google Compute Engineでは、<a href="https://cloud.google.com/compute/docs/networking">ネットワークファイアウォール</a>を設定することもできます。</li></ol><h3>私はアクセス可能なポートを発見できませんでした。これで安全でしょうか？</h3><p>上の例を実行し、ポートがアクセス可能であることを発見した場合は、問題があることは明らかであり、修正する必要があります。 アクセス可能なポートが見つからなかった場合はどうなるのでしょうか？ クラスタがインターネット上の好奇心や悪意のあるユーザーからアクセスできないことを意味するのでしょうか？</p><p>率直に言うと、クラスタに絶対にアクセスできないことを確かめることはできません。 例えば、あなたのネットワークにポート転送や選択的なソースフィルタリング、あるいは特定のnmap呼び出しがブロックされたことによるさまざまなメカニズムの1つなどがあるかもしれませんが、別の呼び出しや、別のソースからのテストが引き続き機能する可能性があります。</p><p>良いニュースとしては、このような構成は、偶発または過失よって生じることがほとんどなく、ハッキングされたシステムで起こったと考えられるということです。 そのようなアクセスを許可するには、会社のネットワークを明示的に設定する必要があります。 また、社内ネットワーク内の他の資産（通常、悪質な人たちからのアクセスに対し安全だと思われるネットワークの一部）が侵害された可能性があり、クラスタへの攻撃のための踏み台として機能する可能性があります。</p><p>良いセキュリティシステムは、防衛の原則に従っており、セキュリティのいくつかの「レイヤー」が必要であることがわかります。 ファイアウォールはバイパスすることが可能なため、ファイアウォールにセキュリティの提供を依存することはできません。 Clouderaは、ファイアウォールやその他のネットワークセキュリティにもかかわらず、クラスタを見つけることができるハッカーを阻止するために採用すべきいくつかの他の手段を提供しています。</p><h3>さらなる仕事</h3><p>上記の例では、クラスタがインターネットからアクセス可能かどうかを確認する方法のみを示しました。 開始点としては悪くはないですが、実際にはほとんどの社内ネットワーク自体がクラスタにアクセスする必要はありません。 最小限の特権の原則に従って、社内ネットワークのそのような領域からのアクセスも制限する必要があります。 あなたはこれを達成するために上記で概説したのと同じ原則に従うことができます。</p><p>さらに高度な設定をするのであれば、一部のクラスタサービスにアクセスする必要があるすべての人が、すべてのサービス、特にクラスタの管理サービスにアクセスできる必要があるとは限りません。 たとえば、データ取り込みツールはCloudera ManagerやHueにアクセスする必要はありません。 したがって、サービスによるアクセスをさらに制限することができます。</p><p>これらのトピックの詳細な扱いは、このブログの範囲を超えています。 詳しい説明や指針については、以下の参考文献を参照してください。</p><h3>デフォルトのパスワード</h3><p>ハッキングのもう一つの重要な要因は、インスタンスの多くがデフォルト設定を使用していたことでした。 ほとんどのソフトウェアでは、デフォルト設定はソフトウェアのデモや評価時に使いやすいことを目的としています。本番環境でソフトウェアを使用している人は、セットアップを変更して安全にすることを前提としています。 特に重要になる領域の1つがパスワードです。</p><p>最初のログイン時のみデフォルトパスワードを使用するということは非常に重要です。 新しいClouderaクラスタを設定するときは、パスワードをデフォルトからできるだけ早く安全なものに変更することをお勧めします。 可能であれば、デフォルトの管理者アカウントを削除してください。 Cloudera Managerの手順は<a href="http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_b.html#id_unb_qkn_25">こちら</a>から入手できます。</p><p>既定のパスワードを使用しているクラスタを既に実行している場合は、設定に従ってすぐにパスワードを変更してください。 例えば。 Cloudera Managerを使用すると、<a href="http://www.cloudera.com/documentation/enterprise/latest/topics/cm_intro_admin_console.html">管理コンソール</a>からパスワードを変更できます。</p><h3>これでおしまい？</h3><p>いいえ、上記の手順は、あなたが取るべき最も基本的なセキュリティ対策です。 上記の手順を完了したら、次の点を検討することをおすすめします。</p><ol><li><a href="http://www.cloudera.com/documentation/enterprise/latest/topics/how_to_configure_cm_tls.html">TLSによるワイヤ暗号化</a></li><li><a href="http://www.cloudera.com/documentation/enterprise/latest/topics/sg_auth_overview.html#topic_ads_t2q_1r">Kerberosによる認証</a></li><li><a href="http://www.cloudera.com/documentation/enterprise/latest/topics/sg_authorization.html">SentryとACLを使用した承認</a></li><li><a href="http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_sg_hdfs_encryption.html">HDFS透過的暗号化</a>と<a href="http://www.cloudera.com/documentation/enterprise/latest/topics/sg_navigator_encrypt.html">Cloudera Navigator暗号化</a>を使用した<a href="http://www.cloudera.com/documentation/enterprise/latest/topics/encryption_ref_arch.html#concept_npk_rxh_1v">ストレージ暗号化</a></li><li><a href="https://www.cloudera.com/documentation/enterprise/latest/topics/cn_iu_audits.html">Cloudera Navigatorの監査</a></li></ol><p>さらに、子供の頃のおばあちゃんの家へのドライブと同じように、現実世界のシステムのセキュリティは決して終わりのない旅です。 システムの使用が進化し、新しい問題に関する勧告を発行するたびに、セキュリティ設定を常に調整する必要があることに気づくでしょう。</p><p>次のセクションのリソースを使用して、Hadoopの一般的なセキュリティの概念について学ぶことをお勧めします。 Clouderaの<a href="http://www.cloudera.com/documentation/other/security-bulletins/topics/Security-Bulletin.html">セキュリティ情報</a>に従って、最新のニュースを常に確認し、<a href="http://community.cloudera.com/">コミュニティ</a>に参加し、<a href="http://blog.cloudera.com/">ブログ</a>に注目しましょう。</p><h3>さらなる詳細</h3><p>Clouderaは、進行中のハッキングからクラスタを守るための<a href="http://community.cloudera.com/t5/Community-News-Release/Advisory-Unsecured-clusters-exposed-to-the-internet-may-be/m-p/49639">勧告</a>を出しました。</p><p>Clouderaのドキュメントには<a href="http://www.cloudera.com/documentation/enterprise/latest/topics/security.html">セキュリティに関するセクション</a>があります。</p><p><a href="http://shop.oreilly.com/product/0636920033332.do">Hadoop Security</a>は、本で学びたい場合には、素晴らしいリソースです。</p><p>Clouderaは、<a href="https://conferences.oreilly.com/strata">Strata Hadoop World</a>カンファレンスでのセキュリティトレーニングセッションを継続しています。 3月14日<a href="https://conferences.oreilly.com/strata/strata-ca/public/schedule/detail/55773">サンノゼ</a>で我々と一緒に、もっと学びましょう。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3c41df139699" width="1" height="1" alt=""><hr><p><a href="https://medium.com/cloudera-japan-official-blog/%E7%BF%BB%E8%A8%B3-%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%BC%E3%83%8D%E3%83%83%E3%83%88%E3%81%AB%E5%85%AC%E9%96%8B%E3%81%95%E3%82%8C%E3%81%9F-apache-hadoop%E3%81%AE%E3%82%BB%E3%82%AD%E3%83%A5%E3%83%AA%E3%83%86%E3%82%A3%E3%82%92%E7%A2%BA%E4%BF%9D%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95-3c41df139699">[翻訳]「インターネットに公開された」Apache Hadoopのセキュリティを確保する方法</a> was originally published in <a href="https://medium.com/cloudera-japan-official-blog">Cloudera Japan Official Blog</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[画像のテスト投稿]]></title>
            <link>https://medium.com/@shiumachi/%E7%94%BB%E5%83%8F%E3%81%AE%E3%83%86%E3%82%B9%E3%83%88%E6%8A%95%E7%A8%BF-7e498317b474?source=rss-6dff53967b31------2</link>
            <guid isPermaLink="false">https://medium.com/p/7e498317b474</guid>
            <dc:creator><![CDATA[Sho Shimauchi]]></dc:creator>
            <pubDate>Mon, 26 Dec 2016 08:33:20 GMT</pubDate>
            <atom:updated>2016-12-26T08:33:20.947Z</atom:updated>
            <cc:license>https://creativecommons.org/licenses/by-nc-sa/4.0/</cc:license>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/486/1*R2Rk-WAGJ4Ijz4JseiZa6Q.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7e498317b474" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Mediumでブログを始めてみる]]></title>
            <link>https://medium.com/@shiumachi/medium%E3%81%A7%E3%83%96%E3%83%AD%E3%82%B0%E3%82%92%E5%A7%8B%E3%82%81%E3%81%A6%E3%81%BF%E3%82%8B-1aa19ddf4a31?source=rss-6dff53967b31------2</link>
            <guid isPermaLink="false">https://medium.com/p/1aa19ddf4a31</guid>
            <dc:creator><![CDATA[Sho Shimauchi]]></dc:creator>
            <pubDate>Sun, 25 Dec 2016 09:00:25 GMT</pubDate>
            <atom:updated>2016-12-25T09:12:25.841Z</atom:updated>
            <cc:license>https://creativecommons.org/licenses/by-nc-sa/4.0/</cc:license>
            <content:encoded><![CDATA[<p>既にはてなブログに<a href="http://shiumachi.hatenablog.com/">自分のブログ</a>があるので新しく始める必要はあまりないのだけど、自分の周りでちょっとMediumが話題になったのでとりあえず始めてみた。</p><p>なんでクリスマスの夜にブログを開設しているのだろうと自分自身でも笑ってしまうが、よく考えたら12年前に一番最初にブログを開設したときも確かクリスマス前後だった。12年経っても何も進歩していない。</p><p>デフォルトでCCライセンスが選択できたり、投稿のスケジューリングができるのは便利そう。とりあえず CC: BY-NC-SA に設定した。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1aa19ddf4a31" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Cloudera Enterprise 5.9の新機能: S3統合とSQLエディタの改善]]></title>
            <link>https://medium.com/cloudera-japan-official-blog/cloudera-enterprise-5-9%E3%81%AE%E6%96%B0%E6%A9%9F%E8%83%BD-s3%E7%B5%B1%E5%90%88%E3%81%A8sql%E3%82%A8%E3%83%87%E3%82%A3%E3%82%BF%E3%81%AE%E6%94%B9%E5%96%84-8a05ca54b34?source=rss-6dff53967b31------2</link>
            <guid isPermaLink="false">https://medium.com/p/8a05ca54b34</guid>
            <category><![CDATA[ブログ]]></category>
            <dc:creator><![CDATA[Sho Shimauchi]]></dc:creator>
            <pubDate>Fri, 02 Dec 2016 00:00:05 GMT</pubDate>
            <atom:updated>2017-01-06T10:35:57.584Z</atom:updated>
            <content:encoded><![CDATA[<p>日本語投稿: 2016/12/02<br>原著: <a href="http://blog.cloudera.com/?guest-author=Romain%20Rigaux">Romain Rigaux</a></p><p>Cloudera Enterprise 5.9は最新のHue(3.11)を含んでいます。HueはApache Hadoopを使いやすくするWeb UIです。</p><p>Clouderaの継続的なユーザー体験と生産性への投資の一環として、Cloudera Enterprise 5.9は新しいリリースのHueを含んでいます。Hueは継続してSQLへ注力にし続け、クラウド（Amazon S3が最初のバージョンです）とのやりとりがより簡単になりました。このブログでは主な改善点の概要を説明します。（Hue 3.11は demo.gethue.com ですぐに試すことが出来ます）</p><h4>S3ブラウザ</h4><p>Hueは設定されたS3アカウントへの読み書きを設定でき、ユーザはHDFSへの中間データの移動やコピーをすることなく直接S3にクエリを発行し、データを保存することができます。</p><ul><li>バケット、ファイル、ディレクトリの一覧表示</li><li>ファイルのアップロード、ダウンロード</li><li>S3上でのHiveの外部テーブルの作成</li><li>クエリの結果を直接S3にエクスポート</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*VLRtLAPznOPWc_Og.png" /></figure><p>詳しくは<a href="http://gethue.com/introducing-s3-support-in-hue/">こちら</a>をご覧ください</p><h4><strong>SQLのオートコンプリート</strong></h4><p>SQLのクエリ体験を向上するためにフォーカスし続けて、我々は新しいSQLのオートコンプリートを作りました。古いオートコンプリートにはいくつかの制限があり、編集中の一部の文しか認識していませんでした。新しいオートコンプリートはすべてのHive SQL、Impala SQLの方言を認識し、文の構造と位置に基づき、キーワード、関数、列、テーブル、データベースなどをサジェストします。</p><ul><li>Apache HiveとApache Impala (incubating)の正確なSQLの文法に従います</li><li>SELECT, CREATE, DROP, INSERTといったすべての主要な操作をサポートします</li><li>UDFのオートコンプリートとドキュメントの表示をします</li><li>キーワードと列の重要度によるの重み付け</li><li>型の推測と互換性のある列やUDFの提案</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*JPYB9vNfFrLYWsM8.png" /></figure><p>詳しくは<a href="http://gethue.com/brand-new-autocompleter-for-hive-and-impala/">こちら</a>をご覧ください</p><h4><strong>SQLの結果の表示の改良</strong></h4><p>SQLエディタの結果を表示するグリッドは完全に書き直され、大きなテーブルをブラウザをクラッシュさせることなく表示できるよう改善され、便利なツールが増えました。</p><ul><li>クイックスクロールによって列の結果の名前、型を検索</li><li>100列規模の表示を可能とする最適化</li><li>特定の行の修正と検索結果の検索の提供</li><li>HiveやImpalaのハングアップ時のポップアップ</li><li>結果をスクロールするときの凡例とヘッダーの固定</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*jUgNDAG-s_CdBJSz.png" /></figure><p>詳しくは<a href="http://gethue.com/new-features-in-the-sql-results-grid-in-hive-and-impala/">こちら</a>をご覧ください</p><h4><strong>セキュリティ</strong></h4><p>私たちはHueに多くのセキュリティのオプションを追加しました。これらは可能な場合はデフォルトでオンになっています。</p><p>これらの改良により、Hueの管理者はセキュアなHueのインストールと管理ができます。例えば、 strict-transport-securityを使うことで、ブラウザをHTTPS経由での通信のみに制限できます。その他の機能としては、ワイルドカード証明書のサポート、CSRFTokenとセッションクッキーをセキュアビットセットやX-XSS-ProtectionやContent-Security-Policyのようなセキュリティ関連のヘッダで提供する機能があります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/0*zcLJIT1OfpMYwnDx.png" /></figure><p>上記のオプションによって付与される新しいヘッダーの例</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*sa2rGtHuXcM-K8tY.png" /></figure><p>セキュアビットを持つセッションクッキーと持たないcsrftoken</p><p>詳しくは<a href="http://gethue.com/hue-security-improvements/">こちら</a>をご覧ください</p><p>もし何か質問があれば、<a href="http://groups.google.com/a/cloudera.org/group/hue-user">hue-userのメーリングリスト</a>やTwitterの<a href="https://twitter.com/gethue">@gethue</a>まで質問してください。</p><p>原文: <a href="http://blog.cloudera.com/blog/2016/11/new-in-cloudera-enterprise-5-9-s3-integration-and-sql-editor-improvements/">New in Cloudera Enterprise 5.9: S3 Integration and SQL Editor Improvements</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8a05ca54b34" width="1" height="1" alt=""><hr><p><a href="https://medium.com/cloudera-japan-official-blog/cloudera-enterprise-5-9%E3%81%AE%E6%96%B0%E6%A9%9F%E8%83%BD-s3%E7%B5%B1%E5%90%88%E3%81%A8sql%E3%82%A8%E3%83%87%E3%82%A3%E3%82%BF%E3%81%AE%E6%94%B9%E5%96%84-8a05ca54b34">Cloudera Enterprise 5.9の新機能: S3統合とSQLエディタの改善</a> was originally published in <a href="https://medium.com/cloudera-japan-official-blog">Cloudera Japan Official Blog</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Cloudera World Tokyo 2016のCloudera社員スライドを公開しました #cwt2016]]></title>
            <link>https://medium.com/cloudera-japan-official-blog/cloudera-world-tokyo-2016%E3%81%AEcloudera%E7%A4%BE%E5%93%A1%E3%82%B9%E3%83%A9%E3%82%A4%E3%83%89%E3%82%92%E5%85%AC%E9%96%8B%E3%81%97%E3%81%BE%E3%81%97%E3%81%9F-cwt2016-7ed8de3d3fbd?source=rss-6dff53967b31------2</link>
            <guid isPermaLink="false">https://medium.com/p/7ed8de3d3fbd</guid>
            <category><![CDATA[ブログ]]></category>
            <dc:creator><![CDATA[Sho Shimauchi]]></dc:creator>
            <pubDate>Fri, 11 Nov 2016 09:36:45 GMT</pubDate>
            <atom:updated>2017-01-06T10:35:30.252Z</atom:updated>
            <content:encoded><![CDATA[<p>有賀です。去る11/8に<a href="http://www.clouderaworldtokyo.com/">Cloudera World Tokyo 2016</a>を開催しました。おかげさまで、多くの方々に参加していただくことができました。ご参加いただいた方々には感謝します。</p><p>個人的には、弊社CTOのAmrの基調講演でも人工知能の歴史から始まったように、HadoopやSparkといった従来のビッグデータとしてのエコシステムそのものだけの話ではありませんでした。機械学習などで活かしていくためには大規模なデータが必要で、こうしたデータを最大限活用するためのHadoopやSparkだよね、という位置づけに変わってきているのを強く感じています。</p><p>正式には来週スライドが公式サイトにて公開されますが、Clouderaの日本チームのメンバーのスライドをSlideshareに公開しました。 ご参考どうぞお読みください。</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.slideshare.net%2Fslideshow%2Fembed_code%2Fkey%2FHEywmRkpnA5V33&amp;url=https%3A%2F%2Fwww.slideshare.net%2Fslideshow%2Fembed_code%2Fkey%2FHEywmRkpnA5V33&amp;image=https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fcwt2016-troubleshooting-using-cm-161109082802-thumbnail.jpg%3Fcb%3D1478680337&amp;key=d04bfffea46d4aeda930ec88cc64b87c&amp;type=text%2Fhtml&amp;schema=slideshare" width="600" height="500" frameborder="0" scrolling="no"><a href="https://medium.com/media/d93549b07fc73d70bfd72562e8a4b210/href">https://medium.com/media/d93549b07fc73d70bfd72562e8a4b210/href</a></iframe><p><a href="https://www.slideshare.net/Cloudera_jp/cwt2016-cloudera-manager-hadoop"><strong>#cwt2016 Cloudera Managerを用いた Hadoop のトラブルシューティング </strong></a>from <a href="https://www.slideshare.net/Cloudera_jp"><strong>Cloudera Japan</strong></a></p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.slideshare.net%2Fslideshow%2Fembed_code%2Fkey%2FgC2YuYixZ16lJz&amp;url=https%3A%2F%2Fwww.slideshare.net%2Fslideshow%2Fembed_code%2Fkey%2FgC2YuYixZ16lJz&amp;image=https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fcwt2016yanokudu-161109093927-thumbnail.jpg%3Fcb%3D1478689592&amp;key=d04bfffea46d4aeda930ec88cc64b87c&amp;type=text%2Fhtml&amp;schema=slideshare" width="600" height="500" frameborder="0" scrolling="no"><a href="https://medium.com/media/9b5c7b8cbbe5b9efb9dd8337ffaf6ffe/href">https://medium.com/media/9b5c7b8cbbe5b9efb9dd8337ffaf6ffe/href</a></iframe><p><a href="https://www.slideshare.net/Cloudera_jp/cwt2016-apache-kudu"><strong>#cwt2016 Apache Kudu 構成とテーブル設計</strong></a><strong> </strong>from <a href="https://www.slideshare.net/Cloudera_jp"><strong>Cloudera Japan</strong></a></p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.slideshare.net%2Fslideshow%2Fembed_code%2Fkey%2FB8ylsXGU1Awlts&amp;url=https%3A%2F%2Fwww.slideshare.net%2Fslideshow%2Fembed_code%2Fkey%2FB8ylsXGU1Awlts&amp;image=https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fcwt2016datasciencetowardbigdatapubariga-161109114219-thumbnail.jpg%3Fcb%3D1478691956&amp;key=d04bfffea46d4aeda930ec88cc64b87c&amp;type=text%2Fhtml&amp;schema=slideshare" width="600" height="500" frameborder="0" scrolling="no"><a href="https://medium.com/media/ce2d9cfc5f3ebf571783175b68800a39/href">https://medium.com/media/ce2d9cfc5f3ebf571783175b68800a39/href</a></iframe><p><a href="https://www.slideshare.net/Cloudera_jp/data-science-toward-big-data-cwt2016"><strong>大規模データに対するデータサイエンスの進め方 #CWT2016</strong></a><strong> </strong>from <a href="https://www.slideshare.net/Cloudera_jp"><strong>Cloudera Japan</strong></a></p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.slideshare.net%2Fslideshow%2Fembed_code%2Fkey%2FcnkUJMqWQx34c2&amp;url=https%3A%2F%2Fwww.slideshare.net%2Fslideshow%2Fembed_code%2Fkey%2FcnkUJMqWQx34c2&amp;image=https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Ftsuyocloudnativehadoop20161108-161109143818-thumbnail.jpg%3Fcb%3D1478861465&amp;key=d04bfffea46d4aeda930ec88cc64b87c&amp;type=text%2Fhtml&amp;schema=slideshare" width="600" height="500" frameborder="0" scrolling="no"><a href="https://medium.com/media/a1af4e0ee647418028823dc22bb34cc9/href">https://medium.com/media/a1af4e0ee647418028823dc22bb34cc9/href</a></iframe><p><a href="https://www.slideshare.net/Cloudera_jp/cloud-native-hadoop"><strong>Cloud Native Hadoop #cwt2016</strong></a><strong> </strong>from <a href="https://www.slideshare.net/Cloudera_jp"><strong>Cloudera Japan</strong></a></p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.slideshare.net%2Fslideshow%2Fembed_code%2Fkey%2F2efJBIJlg3lsh9&amp;url=https%3A%2F%2Fwww.slideshare.net%2Fslideshow%2Fembed_code%2Fkey%2F2efJBIJlg3lsh9&amp;image=https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fmicrosoftplusclouderaisgoodsolutionforhadoopcwt2016-161111031825-thumbnail.jpg%3Fcb%3D1478851332&amp;key=d04bfffea46d4aeda930ec88cc64b87c&amp;type=text%2Fhtml&amp;schema=slideshare" width="600" height="500" frameborder="0" scrolling="no"><a href="https://medium.com/media/e3d2960b4cee1da99086afeccd4acddc/href">https://medium.com/media/e3d2960b4cee1da99086afeccd4acddc/href</a></iframe><p><a href="https://www.slideshare.net/Cloudera_jp/cloudera-microsoft-hadoop-cwt2016"><strong>Cloudera + MicrosoftでHadoopするのがイイらしい。 #CWT2016</strong></a><strong> </strong>from <a href="https://www.slideshare.net/Cloudera_jp"><strong>Cloudera Japan</strong></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7ed8de3d3fbd" width="1" height="1" alt=""><hr><p><a href="https://medium.com/cloudera-japan-official-blog/cloudera-world-tokyo-2016%E3%81%AEcloudera%E7%A4%BE%E5%93%A1%E3%82%B9%E3%83%A9%E3%82%A4%E3%83%89%E3%82%92%E5%85%AC%E9%96%8B%E3%81%97%E3%81%BE%E3%81%97%E3%81%9F-cwt2016-7ed8de3d3fbd">Cloudera World Tokyo 2016のCloudera社員スライドを公開しました #cwt2016</a> was originally published in <a href="https://medium.com/cloudera-japan-official-blog">Cloudera Japan Official Blog</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Impala（Incubating）とAmazon Redshiftを比較評価： AWSにおけるS3との統合、弾力性、アジリティ、そしてコストパフォーマンスの優位性について]]></title>
            <link>https://medium.com/cloudera-japan-official-blog/apache-impala-incubating-%E3%81%A8amazon-redshift%E3%82%92%E6%AF%94%E8%BC%83%E8%A9%95%E4%BE%A1-aws%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8Bs3%E3%81%A8%E3%81%AE%E7%B5%B1%E5%90%88-%E5%BC%BE%E5%8A%9B%E6%80%A7-%E3%82%A2%E3%82%B8%E3%83%AA%E3%83%86%E3%82%A3-%E3%81%9D%E3%81%97%E3%81%A6%E3%82%B3%E3%82%B9%E3%83%88%E3%83%91%E3%83%95%E3%82%A9%E3%83%BC%E3%83%9E%E3%83%B3%E3%82%B9%E3%81%AE%E5%84%AA%E4%BD%8D%E6%80%A7%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6-1c4fa0a0601b?source=rss-6dff53967b31------2</link>
            <guid isPermaLink="false">https://medium.com/p/1c4fa0a0601b</guid>
            <category><![CDATA[ブログ]]></category>
            <category><![CDATA[impala]]></category>
            <dc:creator><![CDATA[Sho Shimauchi]]></dc:creator>
            <pubDate>Fri, 30 Sep 2016 05:34:00 GMT</pubDate>
            <atom:updated>2017-04-27T00:45:39.347Z</atom:updated>
            <content:encoded><![CDATA[<h4>複数の基準から比較評価を行った結果（以下の分析結果参照）、多くの一般的なユースケースで、ImpalaはRedshiftと比べてより優れたクラウドネイティブなエクスペリエンスを提供することが判明しました。</h4><p>Impala 2.6から、Amazon S3に対するREAD/WRITE機能がサポートされ、S3上のデータに直接クエリを発行できるようになりました。またコンピュートを弾力的に拡張し、シームレスなデータのポータビリティや柔軟性も提供し、クラウドベースの分析データベースの中で比類なき存在となりました。パブリッククラウドを導入するユーザーが増加する中、Impalaは、従来のオンプレミス型のデータベースが持つメリットをクラウドにももたらし、最新のハイパフォーマンス分析SQLエンジンとして、データの保存場所に関係なくより優れたビジネスアジリティを提供します。</p><p>最近のブログ（<a href="http://blog.cloudera.com/blog/2016/08/analytics-and-bi-on-amazon-s3-with-apache-impala-incubating/">こちら</a>と<a href="http://blog.cloudera.com/blog/2016/09/apache-impala-incubating-on-amazon-performance-and-cost-considerations-for-s3-vs-ebs/">こちら</a>）では、AWS上でImpalaが独自に持つ非常に興味深い新たなクラウドに対する能力とユースケースについてご紹介しました。これらの優位性に加え、Amazonの従来からの分析データベースであるRedshiftと比較した、AWSクラウド上のImpalaの機能やパフォーマンスの分析結果も共有できることを嬉しく思います。</p><p>サポート機能の詳細については後ほど解説しますが、概要は以下の通りです：</p><p>・Impalaは、以下の機能によって、<a href="http://blog.cloudera.com/blog/2016/08/analytics-and-bi-on-amazon-s3-with-apache-impala-incubating/">クラウドベースのデータベースでは対応できなかったクラウドネイティブなユースケース</a>にも幅広く対応します：</p><p>・S3のデータへの直接のクエリ発行<br>・コンピュートの弾力的なスケール<br>・データのポータビリティと柔軟性<br>・様々なファイルシステムにまたがるシームレスなデータ<br>・クラスターの短期的な立ち上げと停止</p><p>・Impalaは、これらの比類のない主要機能を提供するだけではなく、汎用的なチューニングを行ったRedshiftに比べ、より優れたコスト効率とパフォーマンスを実現します。S3またはEBSのいずれの場合でも、Redshiftに比べ200％の優れたコスト効率と4～10倍ものスループットを提供します。</p><p>・Redshiftに特定のレポーティングベンチマークに向けたチューニングを行った場合でも、Impalaは以下を実現します：</p><p>・EBSにおける28％ のコスト効率向上と42％ のスループット向上<br>・大規模なS3クラスターにおける10％ のコスト効率向上と90％のスループット向上<br>・小規模なS3 クラスターにおける8％ のコスト効率向上（17％ のスループット低下のみ）</p><p><strong>RedshiftとImpalaの比較方法について</strong></p><p>Impalaは、Apache HadoopのHDFSファイルシステム、<a href="http://kudu.apache.org/">Apache Kudu</a>のカラムナストレージといった、オープンな共有データプラットフォーム、またS3のようなオブジェクトストアに保存されたデータを処理するために開発された最新のMPP(超並列)分析データベースです。Impalaは様々なソースの異なるオープンフォーマット（Apache ParquetやApache Avro、テキスト）からデータをクエリできます。そのため、データとコンピュートを分離しデータをImpalaクラスターに移動したりロードしたりする必要なく、クエリすることができます。これらの機能は特にクラウド環境で有効となります。レポートや分析を実施する場合だけ一時的にクラスターを立ち上げ、終了したらシャットダウンできるからです。また処理のピーク時にだけサーバーの能力を増強したりといった対応が可能になります。これはクラスターをホストするためのコスト節約にもつながります。Impalaは、大規模なデータセット、数百のノードやユーザーにも効率的に対応できるよう設計されています。<a href="http://blog.cloudera.com/blog/2016/08/analytics-and-bi-on-amazon-s3-with-apache-impala-incubating/">このブログ</a>でS3上のImpalaがもたらす比類ないユースケースをご理解頂くことができます。</p><p>これとは対照的に、RedshiftはAmazonがParAccel社から買収したテクノロジーをベースにしたモノリシックなアーキテクチャー（密結合な分離されたストレージ、メタデータ、コンピュート）を持つ伝統的データベースです。Redshiftは、専用のAWSインスタンスで稼動し、データの起動・ロード・クエリ発行を行うためのインターフェースを提供しています。従ってRedshiftは、AWS上で動作する予め構成されたオンプレミスのデータベースシステムだと考えるのが妥当かもしれません。</p><p>Redshiftには、密結合されたストレージ管理機能やメタデータストアがあり、クエリエンジンは、独自のフォーマットを使ってクラスターに格納されたデータストアにクエリを発行します。このためRedshiftでは、まず固定したスキーマを作成し、データをクエリできるようにETL処理を施して内部のデータストアにデータをコピーするという「伝統的」なアプローチを採用しています。さらにRedshiftでは、データセットを一度に数名のユーザー（同時クエリは<a href="http://docs.aws.amazon.com/redshift/latest/dg/cm-c-defining-query-queues.html">15未満を推奨</a>）だけで扱えるような設計になっており、クラスターのサイズも静的です（Redshiftはノードをインクリメンタルに追加・削除せずに<a href="http://docs.aws.amazon.com/redshift/latest/mgmt/working-with-clusters.html">新しいクラスターを一度にすべてのデータのコピーを用いて立ち上げます</a>）。これらの制約があるため、Redshiftのユーザーは、固定的なデータサイズでRedshiftクラスターを常時立ち上げておき、新規またはサイズを変更したRedshiftクラスターに再度データをコピーする必要がないようにしておくという対応が一般的になっています。</p><p>以下の表は、RedshiftとImpalaの間の相違点を示したものです：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*2qiM6L-R5a1sl0xC.png" /></figure><p>次にベンチマーク結果について見てみましょう。</p><p><strong>ベンチマークの設定</strong></p><p>今回の分析は、TPC-DSを用いて3TBのデータセットを対象に実施されました。99あるクエリの中から70を使用し、クエリには一切の修正を加えないか、RedshiftとImpalaともに少し修正したものを使用しています。（<a href="http://blog.cloudera.com/blog/2016/08/bi-and-sql-analytics-with-apache-impala-incubating-in-cdh-5-8-3x-faster-on-secure-clusters/">以前のベンチマーク</a>で使用したような）もっと大規模なデータセットを使用したかったのですが、Redshiftのデータロード時間の制約から、データサイズを減らさざるを得ませんでした（注意：このベンチマークは、TPC-DSを「拝借」したものであり、一般に公開されているTPC-DSの結果と直接比較することはできません）。</p><p><strong>スキーマ</strong></p><p>Impala：日付カラムでパーティションされたファクトテーブルを持つTPC-DSの定義する汎用スキーマ</p><p>Redshiftについては、2つのスキーマを使ってベンチマークを実施しました：</p><ul><li><strong>汎用スキーマ (General Purpose Schema) </strong>－ 上記のImpala汎用スキーマと完全に同じスキーマ。ファクトテーブルはTPC-DSの定義通り、*_dates_skカラムでソートされています。汎用スキーマを持つRedshiftのワークロードは、探索的、セルフサービス、アドホックなワークロードに近いものです。これは、以下に示す固定レポーティングスキーマ (Fixed Reporting Schema) のように、何度も利用されて馴染みのある、事前に用意されたレポートのスキーマデザインとは対照的です。</li><li><strong>固定レポーティングスキーマ (Fixed Reporting Schema) </strong>－ Redshift向けに追加で最適化したスキーマを含み、予め知られたTPC-DSワークロード用に特別なチューニングを施してあります。Redshiftでは、システム管理者がプライマリーキー、外部キーの従属性、ソートキー、スキーマの分散キーを設定することができます。これによりデータのロード時にRedshiftはデータを最適な方法で分散させることがやりやすくなります。しかし、分散方法を変更したり、将来ソートキーを変更する必要がある場合にRedshiftはすべてのテーブルの再構築が必要になります。それはつまりダウンタイムとなります。最適なパフォーマンスを得るため、Amazonはこれらのキーを事前に設定しておくことを推奨しています。</li></ul><p><strong>ハードウェア構成</strong></p><ul><li>Redshiftは、より少数の大型で高価なノードを使用して全体を構成することを好みます。Impalaのスケールアウトなデザインでは、安価で標準的なクラウドインスタンスタイプを多数組合せることで、より高速で高いコスト効果を発揮できるようになっています。</li><li>直接的かつ公平な比較ができるよう、RedshiftとImpalaのCPU数が同じになるように最適な数のインスタンスを使用しました。</li><li>テスト中はRAMとデータの比率が一定に保たれるようにしました。</li></ul><p>以下にハードウェア構成の詳細を示します：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*kwky9X2O8xKyseER.png" /></figure><p>（重要な注意： 表の内容は、米国で最もRedshiftが安価なリージョンの結果を反映したものです。例えば、北カルフォルニアでRedshiftを使用するユーザーは上記の料金に33％ の上乗せが必要となります）</p><p>Impala on S3はクエリエンジン用のコンピュートリソースをデータと独立して拡張できるため、より優れたスループットとパフォーマンスを実現することが可能です。<a href="http://blog.cloudera.com/blog/2016/08/analytics-and-bi-on-amazon-s3-with-apache-impala-incubating/">前述のように</a>「クラウドの従量制料金モデル ＋ S3統合 ＋ クラウドの弾力性、スケーラビリティ」によって、ジョブをより迅速に完了させるためのスループットを提供できるようになり、その結果より高いコストパフォーマンスを実現できます。</p><p>このパフォーマンスに与えるスループットの影響を測るため、（32ノードに加えて）64ノードでもImpala on S3を検証しました（1時間あたりのコストは当然ながら2倍になります）。</p><p><strong>結果</strong></p><p><strong>レジュームまでの時間</strong></p><p>パブリッククラウドの大きな特長の1つとして、使用量に応じて料金を支払えばよいという従量制料金モデルであることが上げられます。</p><p>前述のように、ImpalaのユーザーがS3に直接クエリを発行できるのとは対照的に、モノリシックなアーキテクチャーであるRedshiftのユーザーは、S3にデータを保存してオンデマンドでコンピュートを立ち上げることができません。次善策としては、Redshiftクラスターを使用していない間はスリープ状態におき、必要な時にレジューム（再開）させるという対応があります。</p><p>比較の公平性を確保するため、本分析ではRedshiftクラスターとImpalaクラスターが共にスリープ状態から結果を取得するまで、ユーザーがどれだけのコストを必要とするか相対的な比較を行いました。Redshiftの場合、S3からスナップショットをリストアするための時間が必要で、スナップショットが大きくなれば、その分だけクラスターを再開し再利用できるようになるまでの時間が長くなります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/737/0*JMjCDayYmoev0Z0M.png" /></figure><p>上図のように、スリープ状態からクラスターを再開するまでに、RedshiftはEBS常にデータを格納するImpalaに比べ15倍の時間と11倍のコストがかかっています。つまり、Impalaならスリープ状態からの再開に約4.5分で済むところが、Redshiftでは1時間以上もかかるということです。</p><p><strong>ETL ＋ シングルユーザーテスト</strong></p><p>現在のクラウド上の分析データベースは、様々なソースのデータをETL処理にかけてから、データを取り込むようになっています。クラウドで最も一般的なユースケースの一つは、複数のソースからくるデータをApache HiveやApache Sparkを使ってバッチでETL処理してS3に結果を格納し、それを読み込んでImpalaやRedshiftでレポーティングや分析処理を行うというものです。</p><p>このテストでは、RedshiftとImpalaの両方でデータファイルをS3からロードし、統計情報の計算後、目的とするTPC-DSのクエリを発行しました。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/718/0*oUcr_UAYHbQ7_Txz.png" /></figure><p>上のグラフでは同じワークロードに対して以下のような結果になっています：</p><ul><li>汎用スキーマを使ったRedshiftの場合、他の場合に比べ122～200％ と著しく劣勢</li><li>固定レポーティングスキーマを使ったRedshiftの場合、S3上のImpalaとほぼ同様のコストですがEBS上のImpalaに比べると27％ コスト高</li></ul><p>純粋なパフォーマンスという観点では、EBS上のImpalaが最速（32分）ですべてのクエリを完了し、最も遅かったのはRedshiftで汎用スキーマを使用した場合でした（同じクエリの実行に5時間以上）。2番目は、固定レポーティングスキーマを使用したRedshiftの場合で42分。次が64ノードクラスターでのS3上のImpalaで44分と僅差でした。さらに、32ノードクラスターでのS3上のImpalaでは80分でした（パフォーマンスとコストパフォーマンスの詳細はマルチユーザーのセクションで説明）。</p><p>グラフからも分かるように、Redshift上のアドホックなワークロードは非常に遅く、コストもかかります。</p><p><strong>ETL ＋ マルチユーザーテスト</strong></p><p>ほぼ例外なく、現実のBIクラスターでは、複数のユーザーが同時並行でクエリを実行します。マルチユーザーテストでは、上記と同じクエリを4並列で実行しました。マルチユーザーの結果を見るため、以下2つの評価基準に着目します：</p><ul><li>コスト： ワークロードの開始から終了までにかかったコスト</li><li>スループット： 一定の時間内にシステムが処理できるクエリ数（1分間あたりのクエリ数）</li></ul><p>最初にコストは以下のグラフから分かるように、EBS上のImpalaのコスト効率が最高で、RedShiftがコスト高上位2つを占めています。</p><ul><li>汎用スキーマを使用したRedShiftが最もコスト高で、EBS上のImpalaとの比較で275％、S3上のImpalaクラスターとの比較でも200％となっています。</li><li>固定レポーティングスキーマを使用したRedShiftは、EBS上のImpalaより28％コスト高で、S3上のImpalaに比べても8～10％コスト高でした。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/719/0*xKrUTAyerJMWVnG2.png" /></figure><p>パフォーマンスは下図の通り、システムが完全に稼働した後のスループットを測定しました（つまり、データロードと統計情報の計算は入っていません）。それによりエンドユーザーが実行時に体験するであろうパフォーマンスを計測できるからです。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/728/0*jEoq6-ONacgw7uKD.png" /></figure><p>こちらを見て分かる通り、S3上の64ノードImpalaが最大のパフォーマンスを発揮し、次にEBS上のImpalaと続き（コスト効率という点では最高）ます。最低はRedShiftを汎用スキーマで使用した場合で、S3上の64ノードImpalaクラスターはその10倍、EBS上のImpalaで7.8倍となっています。</p><p>RedShiftの最高のスループット（固定レポーティングスキーマを使用した場合）でも、EBS上のImpalaやS3上の64ノードImpalaクラスターには及びませんでした。</p><ul><li>EBS上のImpalaの方が42％ パフォーマンスに優れている</li><li>S3上の64ノードImpalaの方が90％ パフォーマンスに優れている</li></ul><p>以上のようにImpalaは、<a href="http://blog.cloudera.com/blog/2016/08/analytics-and-bi-on-amazon-s3-with-apache-impala-incubating/">これまで誰も利用できていなかったクラウドの能力とユースケース</a>を引き出しただけでなく、それをより優れたコスト効率、パフォーマンスを持って実現できました。</p><p><strong>まとめ</strong></p><p>もし皆様がパブリッククラウドへの分析データベースの導入を検討し、ImpalaとRedShiftの比較をされている場合、これらの結果からどちらを選択すべきか、その答えは明白です。S3に対するREAD/WRITEのサポート、コンピュートをデータサイズと独立しダウンタイムなしに拡張できること、類まれなデータのアジリティなどImpalaはRedShiftに比べ、わかりやすく、より優れたクラウドネイティブなエクスペリエンスを様々なよくあるユースケースに対して提供しています。</p><p>Clouderaでは、分析データベースソリューションの1つとしてImpalaのパフォーマンス向上に注力しています。実際、最新のリリースでは2つ前のバージョンに比べ、セキュアなワークロードのパフォーマンスは<a href="http://blog.cloudera.com/blog/2016/08/bi-and-sql-analytics-with-apache-impala-incubating-in-cdh-5-8-3x-faster-on-secure-clusters/">12倍にまで向上</a>しています。Clouderaは、今後もコストパフォーマンスの向上に加え、パブリッククラウドの他のオブジェクトストアに対するサポートの追加など、クラウドに注力した機能向上を図って行きます。</p><p>Mostafa Mokhtarは、ClouderaのImpalaチームに所属するソフトウェアエンジニアです。Devadutta Ghatは、Clouderaのシニアプロダクトマネージャーです。Henry Robinsonは、Clouderaのソフトウェアエンジニアであり、Apache Impala PMCのメンバーです。Sailesh Mukilは、Clouderaのソフトウェアエンジニアであり、Apache Impala PMCのメンバーです。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1c4fa0a0601b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/cloudera-japan-official-blog/apache-impala-incubating-%E3%81%A8amazon-redshift%E3%82%92%E6%AF%94%E8%BC%83%E8%A9%95%E4%BE%A1-aws%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8Bs3%E3%81%A8%E3%81%AE%E7%B5%B1%E5%90%88-%E5%BC%BE%E5%8A%9B%E6%80%A7-%E3%82%A2%E3%82%B8%E3%83%AA%E3%83%86%E3%82%A3-%E3%81%9D%E3%81%97%E3%81%A6%E3%82%B3%E3%82%B9%E3%83%88%E3%83%91%E3%83%95%E3%82%A9%E3%83%BC%E3%83%9E%E3%83%B3%E3%82%B9%E3%81%AE%E5%84%AA%E4%BD%8D%E6%80%A7%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6-1c4fa0a0601b">Apache Impala（Incubating）とAmazon Redshiftを比較評価： AWSにおけるS3との統合、弾力性、アジリティ、そしてコストパフォーマンスの優位性について</a> was originally published in <a href="https://medium.com/cloudera-japan-official-blog">Cloudera Japan Official Blog</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Impala（Incubating）を使ったAmazon S3 上でのアナリティクスとBIの実現]]></title>
            <link>https://medium.com/cloudera-japan-official-blog/apache-impala-incubating-%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9Famazon-s3-%E4%B8%8A%E3%81%A7%E3%81%AE%E3%82%A2%E3%83%8A%E3%83%AA%E3%83%86%E3%82%A3%E3%82%AF%E3%82%B9%E3%81%A8bi%E3%81%AE%E5%AE%9F%E7%8F%BE-29060cdc7d90?source=rss-6dff53967b31------2</link>
            <guid isPermaLink="false">https://medium.com/p/29060cdc7d90</guid>
            <category><![CDATA[ブログ]]></category>
            <category><![CDATA[impala]]></category>
            <dc:creator><![CDATA[Sho Shimauchi]]></dc:creator>
            <pubDate>Thu, 18 Aug 2016 09:56:37 GMT</pubDate>
            <atom:updated>2017-04-27T00:46:26.729Z</atom:updated>
            <content:encoded><![CDATA[<h4>最適化が図られた新たなImpalaによって、以前とほぼ同等のコストでAWSのクラスタサイズを2倍に拡張し、マルチユーザーのパフォーマンスを2倍に引き上げることが可能に</h4><p>パブリッククラウドの導入がますます一般化する中、Clouderaでは、クラウドの費用対効果と柔軟性を十分にいかせるよう、プラットフォーム機能の拡充を図り続けています。<a href="http://blog.cloudera.com/blog/2016/07/cloudera-enterprise-5-8-is-now-available/">最新のClouderaプラットフォーム (5.8)</a> では、<a href="http://www.cloudera.com/products/apache-hadoop/impala.html">Impala</a> 2.6からAmazon S3 オブジェクトストアに直接データを保存してクエリが発行できるという大きな機能向上が図られました。最新のImpalaでは、データと処理機能を分離することで、大幅にコストに削減しながら、多様な形式のデータストアに対して高いパフォーマンスでの分析処理を実行できるようになりました。</p><p>Amazonのクラウド環境が提供するデータベースをはじめ、従来からの使用される画一的なデータベースの場合には、一旦データを別に準備してからデータベースに移行する作業が不可欠であるため、必要以上に時間がかかったり、ボリューム上の制約が発生したりします。一方、Impalaをコアに持つClouderaの分析データベースソリューションでは、データが配置された場所に関係なく、直接低いレイテンシでアクセスすることができます。現在、S3、HDFS、Apache Kudu（ベータ）、EMC Isilon、Apache HBase等に存在するデータソースには、将来的に異なるオブジェクトストアを含めることができるようになると共に、ストレージエンジンやデータの準備や分析を行うためのツールも、同じプラットフォーム上で利用できるようになるでしょう。</p><p>さらにImpalaによって、一時的にクラスタ構成を立ち上げたり、柔軟に拡張・縮小したりしながらサーバーリソースを割り当てるなど、S3にストアされたデータをより弾力的にクラウド環境で利用することができるようになります（繰り返しになりますが、これらのメリットは、従来型の画一的なデータベースアーキテクチャーでは実現が不可能です）。S3上のImpalaでこのような手法が可能となるのは、サーバーの拡張に応じてリニアにパフォーマンスを向上することができるからです。Clouderaが実施したテストの結果では、AWS上のImpalaのクラスタサイズを倍（32から64ノード）にした場合、ワークロードの全体コストはほぼそのままで、マルチユーザーワークロードのパフォーマンスを倍に引き上げることができました。運用チームは、この強力でコストが最適化された仕組みを活用することで、レイテンシ要件に合致するサーバー容量を準備し、パフォーマンスの向上が必要であれば、単純にサーバーリソースを追加していくことができます。</p><p>また、<a href="http://www.cloudera.com/products/cloudera-director.html">Cloudera Director 2.1</a>を使用することで、より短時間で分析結果を手に入れ、AWS上のImpalaクラスタを業務向け環境として容易に導入して管理することが可能となります。これにより、クラウド環境にApache Hadoop導入するための労力やコストを大幅に低減することができます（より詳細な方法については、このポストの最後にあるデモビデオをご覧ください）。</p><p>本投稿の後半で、充実したサポートの実現に向け新たな最適化を行ったImpalaのS3向け新機能と、Cloudera内部で実施したスケーラビリティ・テストの結果について解説します。</p><h4>機能詳細</h4><p>前述の通り、Impala 2.6では、S3に特化した多くの新しい機能を提供しています：</p><ul><li><strong>Amazon S3のデータに直接クエリを発行：</strong> HDFSクラスタに移動することなく、S3上のデータに対して直接クエリを発行することが可能です。本機能により、データを分析する前の厄介で時間を要するデータ移動処理が不要になります。Apache HiveもS3をサポートするためデータの準備と分析も全て同じ場所で実施できます。</li><li><strong>ダウンタイム無しにサーバーを弾力的に拡張・縮小可能：</strong> S3にデータをストアできるため、要件に合致する形でサーバーリソースを準備し、ダウンタイム不要でノードを拡大・縮小することができます。対照的に、Amazon Redshiftなどの分析データベースの場合には、クラスタにノードを追加することが出来ず、クラスタサイズを変更する場合は、全てのデータを新しい環境にコピーし直す必要があります。</li><li><strong>データのポータビリティと柔軟性：</strong> S3にストアしたデータは、Impala、Apache Spark、Hiveまたは一般の非Hadoopアプリケーションクラスタからも読み込めるため、データが特定のアプリケーションに束縛されることがありません。この柔軟性によって、同じデータをSparkやMapReduceといった様々なエコシステムコンポーネントからHDFSクラスタに移動せずに利用することができます。</li><li><strong>様々なファイルシステムからデータをシームレスにアクセス：</strong> Impalaによって、S3上のデータをあたかもHDFSクラスタであるかのようにREAD/WRITEすることが可能となります。これによって例えば、ホットデータはHDFSにストアしコールドデータはS3に移動するといった対応が全て同じImpalaクラスタ内で可能となります。さらに、テーブルパーティションは、ファイルシステムを横断して分割できるため、最新のパーティションはHDFSに置き古いものはS3に移動させるといった対応も可能になります。</li><li><strong>一時的なクラスタの立ち上げと廃止：</strong>運用担当者は、時間を要するデータロード処理を行う必要なく必要に応じてクラスタの立ち上げや廃止を行いサーバーのホスティングコストを削減しながらS3のデータを取り扱うことができます（Cloudera Directorを使用すれば、さらにクラスタの立ち上げや停止を簡単に実施できます。詳細は以下のデモをご覧ください。）</li></ul><p>次に、これらの機能をいかすための最適化について解説します。</p><h4>Impala 2.6のクラウド固有の最適化</h4><p>Impalaは、最新のMPPデータベースとして様々なデータソースを取り扱うことができるよう当初から設計されたものです。しかし、S3とHDFSには機能面での差異が幾つかあるため、Impalaチームは新たな技術上の課題に取り組む必要がありました。</p><p>HDFSと違いS3は、READ処理のローカリティやブロックという概念は存在せず、レイテンシも高い上にホストへのレスポンスを抑制するために非常に多くのリクエストを発生させます。さらに「リネーム」は、単純なメタデータ処理ではなく、S3上での完全なコピーと削除処理によって実施されます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/874/0*gYLO69TXVXNDXB6p.png" /></figure><p>S3でImpalaが効率的に機能するよう、ImpalaのREADおよびWRITEパスに以下のような改善を行いました。</p><h4>S3上のApache Parquetファイルのためのブロックを合成</h4><p>HDFSでテーブルを読み込む場合、スキャン範囲に応じてImpalaデーモンが割り当てられます。スキャン範囲は、ファイルがどのようなブロックに細分化にされているかによって決定されます。最適なParquetスキャンのパフォーマンスを得るために行グループ (Row Group) を1ブロック内に収め、ブロックをまたがないようにParquetファイルの書き込み処理を行う形が一般的です。これは、READ処理が行グループ内で完結し、リモートで存在するブロックにリモートのREAD処理を行なわないようノードがスキャン範囲となるブロックを割り当てることで実現します。これはまた、クラスタに「歪み (skew)」を生じさせること、つまり特定のノードが他のノードに比べて多量のバイトを読み込むという現象を発生させることにも繋がります。しかしS3にはブロックまたはブロックメタデータという概念が存在しません。このためImpalaでは、Impalaデーモンのデータスキャンが1ブロック内で完結するよう、Parquetファイルに適した行グループのサイズに合わせた固まりにファイルを分解し「人工的」なブロックを合成しています。</p><h4>S3 READ処理のための仮想ディスクキュー</h4><p>Impalaは、ディスクのREAD処理が広い帯域で実行できるようにするための高度なIOマネージャを備えています。IOマネージャは、元々1ノードに多数のディスクがぶら下がったHDFSモデル向けに設計されたものです。Impalaは、HDFSが提供するメタデータを使用して特定範囲のディスクが存在する場所を理解し、IOマネージャが物理ディスク別にキューを管理することで、READ処理が直接「ローカル」ディスクに対して行われ、ディスク同士でワークロードを並列処理できるようにします。S3はディスクベースではないため、S3リクエストを発行するための適切なキューは存在しません。物理ディスク用の既存のキューを使用してS3リクエスト（通常、レイテンシが高い）に対応すると、該当ディスクに対するHDFSリクエストのキューをブロックしてしまいます。このためImpalaでは、S3のREAD処理に向け1つの独立したキューを用意し、S3を「仮想」ディスクのように取り扱います。この結果的、S3のREADとHDFSのREAD処理を並列で処理することができるようになります。</p><h4>INSERTパスにおけるデータステージング処理の省略オプション</h4><p>ImpalaがINSERTクエリを実行する場合、各Impalaデーモンは、テーブルに出力する前にテンポラリのステージングロケーションにデータを書き出します。書き出しが全て完了すると、コーディネータは全ての新しいデータファイルを最終的なテーブルが存在する場所に移動します。HDFSは、この移動処理をrename() を使って実施しますが、これはメタデータの操作だけで完了できる高速な処理です。</p><p>しかしS3のrename() の実装は、ある場所から目的の場所に全データを物理的にコピーするもので、ユーザーがデータを確認できるまでにかなりの遅延が発生します。この遅延を避けるためImpalaでは、S3固有のクエリオプションであるS3_SKIP_INSERT_STAGINGをサポートしています。このオプションでは、各Impalaデーモンがテーブルの目的とする場所に直接テーブルデータを書き込み、コーディネータはrename() フェーズを省略できます。</p><p>このアプローチによって、S3全般のWRITE処理におけるレイテンシを大幅に改善することができます。しかし、S3_SKIP_INSERT_STAGINGを使用した場合、そのパフォーマンスと引き換えにフォールトトレランシーが犠牲にされます。テーブルへの書き込みがトランザクション処理ではないため、書き込みフェーズの途中でノードに障害が発生すると、Impalaは部分的にテーブルに書き込んだデータを削除することができません。この結果、書き込み処理中にノードの障害が発生するとクライアントがテーブルに部分的に書き込まれたデータを読んでしまうことになります。S3_SKIP_INSERT_STAGINGでなければ、コーディネータがノード障害に対応し、テンポラリロケーションに部分的に書き込まれたデータが見えないようクエリをキャンセルすることができます。つまり、S3_SKIP_INSERT_STAGINGはINSERT OVERWRITEのように障害発生時でも再実行すれば同じ結果を得ることができる繰り返し可能なINSERTに向いていると言えるでしょう。</p><h4>拡張性テスト</h4><p>前述の通り、Impalaのデータと処理機能を分離したアーキテクチャーによって、S3にストアしたデータを意識することなくサーバーを拡張したり縮小したりすることができます。シングルユーザーによるベンチマークでは、クラスタサイズを32から64へと倍増すると、わずか12%の増加コストによって倍近い（1.8倍）のパフォーマンスを得ることができました。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/825/0*rHjJu8r4FHbhgED8.png" /></figure><p>S3のマルチユーザー環境で実施した拡張性能テストは、最も興味深い結果となりました。クラスタサイズを倍に（32から64ノードに）拡張すると、全体のワークロードコストを4% 増やしただけで、ちょうど2倍のパフォーマンスを得ることができました。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/829/0*IgD7jfTYmC3arY6M.png" /></figure><p>これは、ユーザーにとっても喜ばしい結果と言えます。つまり、単純にノードを追加していくだけでクラスタのパフォーマンスを向上できるのです。</p><h4>さあ始めましょう</h4><p>Impalaのドキュメントには、S3でImpalaを始めるための優れたステップバイステップ説明が含まれています。その内容は、<a href="http://www.cloudera.com/documentation/enterprise/latest/topics/impala_s3.html">こちら</a>からご覧いただくことができます。</p><p>また、Cloudera Director 2.1を使ったS3へのImpalaクラスタ導入に向けたステップバイステップのインストラクションビデオも同時にご覧いただくことができます：</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FWU1r1ZbJwso%3Ffeature%3Doembed&amp;url=http%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DWU1r1ZbJwso&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FWU1r1ZbJwso%2Fhqdefault.jpg&amp;key=d04bfffea46d4aeda930ec88cc64b87c&amp;type=text%2Fhtml&amp;schema=youtube" width="640" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/3c40a7594fbc9eac5c886b5d4f725092/href">https://medium.com/media/3c40a7594fbc9eac5c886b5d4f725092/href</a></iframe><h4>まとめ</h4><p>ImpalaのS3におけるREAD/WRITEのサポートは、たとえそれがAmazonの提供するものであっても、画一的なデータベースを超える機能とクラウドの弾力性を提供できるという意味で大きな進展と言えます。</p><p>Impalaは、S3に新しいクラウドネイティブなアーキテクチャーを提供しますが、リモートS3のパフォーマンスは明らかにローカルEBSストレージのパフォーマンスに劣っています。今後の投稿では、S3とEBSのパフォーマンスの違いについて徹底的に解説し、またデータによってそれぞれをいつ、どのように使い分ければよいか（あるいは併用すればよいか）という点を説明したいと思います。</p><p>Impalaへのコントリビューションを希望される方の<a href="https://github.com/cloudera/Impala/wiki/Contributing-to-Impala">ご連絡をお待ちしております</a>！</p><p>Devadutta Ghat は、Clouderaのシニアプロダクトマネージャです。<br>Sailesh Mukil は、ClouderaのImpalaチーム担当のソフトウェアエンジニアです。<br>Mostafa Mokhtar は、ClouderaのImpala担当のソフトウェアエンジニアです。<br>Henry Robinson は、ClouderaのソフトウェアエンジニアでImpalaのPMCメンバーです。<br>Marcel Kornacker は、ClouderaのテックリードでImpalaの設立者です。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=29060cdc7d90" width="1" height="1" alt=""><hr><p><a href="https://medium.com/cloudera-japan-official-blog/apache-impala-incubating-%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%9Famazon-s3-%E4%B8%8A%E3%81%A7%E3%81%AE%E3%82%A2%E3%83%8A%E3%83%AA%E3%83%86%E3%82%A3%E3%82%AF%E3%82%B9%E3%81%A8bi%E3%81%AE%E5%AE%9F%E7%8F%BE-29060cdc7d90">Apache Impala（Incubating）を使ったAmazon S3 上でのアナリティクスとBIの実現</a> was originally published in <a href="https://medium.com/cloudera-japan-official-blog">Cloudera Japan Official Blog</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>