<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Orangesys - Medium]]></title>
        <description><![CDATA[Orangesys Inc. - Medium]]></description>
        <link>https://medium.com/orangesys?source=rss----76cb47efc39a---4</link>
        <image>
            <url>https://cdn-images-1.medium.com/proxy/1*TGH72Nnw24QL3iV9IOm4VA.png</url>
            <title>Orangesys - Medium</title>
            <link>https://medium.com/orangesys?source=rss----76cb47efc39a---4</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 10:31:45 GMT</lastBuildDate>
        <atom:link href="https://medium.com/feed/orangesys" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Orangesysのrails APM監視]]></title>
            <link>https://medium.com/orangesys/orangesys%E3%81%AErails-apm%E7%9B%A3%E8%A6%96-3ece1c017cd3?source=rss----76cb47efc39a---4</link>
            <guid isPermaLink="false">https://medium.com/p/3ece1c017cd3</guid>
            <category><![CDATA[orangesys]]></category>
            <category><![CDATA[apm]]></category>
            <category><![CDATA[ruby-on-rails]]></category>
            <category><![CDATA[grafana]]></category>
            <dc:creator><![CDATA[gavin.zhou]]></dc:creator>
            <pubDate>Tue, 24 Dec 2019 08:24:59 GMT</pubDate>
            <atom:updated>2019-12-24T08:24:44.443Z</atom:updated>
            <content:encoded><![CDATA[<h3>OrangesysのRails APM監視</h3><h4>Orangesysのrails APM監視事例紹介</h4><p>Orangesysの料金体系の特徴はその定額制にあります。今回Startupプランを利用した、railsのAPM監視を紹介致します。</p><p>まず、新規railsアプリを作成します。</p><pre>rails new thingiverse<br>cd thingiverse<br>rails g scaffold thing name:string amount:integer</pre><p>Orangesys用のgemを入れます。</p><pre>echo ‘gem “influxdb”, :git =&gt; “https://github.com/orangesys/influxdb-ruby.git&quot;, :tag =&gt; “v0.7.0”’ &gt;&gt; Gemfile</pre><pre>echo ‘gem “influxdb-rails”, :git =&gt; “https://github.com/orangesys/influxdb-rails/&quot;, :ref =&gt; “master”’ &gt;&gt; Gemfile</pre><pre>bundle install; rails webpacker:install; rake db:migrate<br>sed -i &#39;2i \  root to: &quot;things#index&quot;&#39; config/routes.rb</pre><p>設定ファイルを初期化します。</p><pre>bundle exec rails generate influxdb</pre><p>設定ファイルを修正します。</p><pre>vim influxdb_rails.rb<br>下記の部分を修正します。</pre><pre>config.client.hosts = [&quot;demo.i.orangesys.io&quot;]<br>config.client.jwt_token = &quot;&lt;ornagesys_jwt_token&gt;&quot;</pre><p>railsを実行します。</p><pre>bundle exec rails server -b 0.0.0.0 -p 4000</pre><p>画面上で操作すると、orangesysへrailsのsql、actionなどの実行時間が送信されます。</p><p>下記のようなdashbaordに表示されます。</p><blockquote>rails全体的なパフォーマンス</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fWpAYrdDiVMUhBGU7slsvQ.jpeg" /></figure><blockquote>上記のActionをクリックすると、各actionのパフォーマンスが表示されます。</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UX7GMeX4By2rFvzCtfRn0w.jpeg" /></figure><h4>上記requestIDをクリックすると、各requestID単位のパフォーマンスが表示されます。</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HVCNTWhkm0KNL0ahYLAnFg.jpeg" /></figure><p>簡単にrailsのAPM監視を実現できますし、かつ料金も定額課金ですので、ぜひ使ってみてください。</p><blockquote>サンプルdocker image</blockquote><p><a href="https://github.com/gavinzhou/hello-rails-apm">https://github.com/gavinzhou/hello-rails-apm</a></p><p>※関連ソースコード</p><ul><li><a href="https://github.com/orangesys/influxdb-ruby">orangesys/influxdb-ruby</a></li><li><a href="https://github.com/orangesys/influxdb-rails">orangesys/influxdb-rails</a></li></ul><p><a href="https://orangesys.io/">Orangesys.io</a>では、kuberneteの運用、DevOps、監視のお手伝いをさせていただいています。ぜひ私たちにおまかせください</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3ece1c017cd3" width="1" height="1" alt=""><hr><p><a href="https://medium.com/orangesys/orangesys%E3%81%AErails-apm%E7%9B%A3%E8%A6%96-3ece1c017cd3">Orangesysのrails APM監視</a> was originally published in <a href="https://medium.com/orangesys">Orangesys</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Writing a Time Series Database from Scratch-Part3]]></title>
            <link>https://medium.com/orangesys/writing-a-time-series-database-from-scratch-part3-891589d2ef96?source=rss----76cb47efc39a---4</link>
            <guid isPermaLink="false">https://medium.com/p/891589d2ef96</guid>
            <category><![CDATA[tsdb]]></category>
            <category><![CDATA[prometheus]]></category>
            <dc:creator><![CDATA[gavin.zhou]]></dc:creator>
            <pubDate>Mon, 29 Jul 2019 01:25:43 GMT</pubDate>
            <atom:updated>2019-07-29T01:25:04.059Z</atom:updated>
            <content:encoded><![CDATA[<h4>０から時系列データベースを書く — Part3</h4><p>時系列データベースについての記事をご紹介したいと思います。長い記事ですので６回に分けて掲載していきます。今回は第３回です。リソースの消費、マイクロレイアウトなどについての内容になります。</p><h3>Resource consumption</h3><p>Prometheusを（または実際には何でも）拡張しようとするとき、リソース消費は常に話題になるトピックです。 しかし、ユーザーを悩ませているのは、実際には絶対的なリソース不足ではありません。 実際、Prometheusはその要件を考慮して、驚くべきスループットを管理します。 問題はむしろ、その変化に対する相対的な予測不可能性と不安定性にあります。 そのアーキテクチャーにより、V2ストレージはゆっくりとサンプルデータのチャンクを構築し、それがメモリ消費を時間の経過とともに上昇させます。 チャンクが完成すると、それらはディスクに書き込まれ、メモリから排除することができます。</p><p>やがて、Prometheusのメモリー使用量は安定した状態に達します。 それは監視された環境が変わるまでです — シリーズチャーンはアプリケーションをスケールしたり、ローリングアップデートを実行したりするたびに、メモリ、CPU、およびディスクIOの使用量が増えます。</p><p>変更が進行中の場合は、最終的には再び安定した状態になりますが、スタティックな環境よりも大幅に高くなります。移行期間は数時間に及ぶことが多く、リソースの最大使用量を決定するのは困難です。</p><p>時系列ごとに単一のファイルを持つというアプローチでは、単一のクエリでPrometheusプロセスを無効にすることが非常に簡単になります。メモリにキャッシュされていないデータをクエリするときは、クエリされたシリーズのファイルが開かれ、関連するデータポイントを含むチャンクがメモリに読み込まれます。データ量が利用可能なメモリを超えた場合、PrometheusはOOM-killを実行することで、ぐだぐだのまま終了します。</p><p>クエリが完了した後、ロードされたデータは再びリリースされますが、同じデータ上の後続のクエリをより早く処理するために、通常はより長くキャッシュされます。後の方がよいのは明らかです。</p><p>最後に、SSDとの関連での書き込み増幅と、書き込みをバッチすることで、Prometheusがそれを軽減するためにどのように対応しているかを調べました。それにもかかわらず、まだ小さすぎるバッチを持っていて、ページの境界で正確にデータを整列させないことによって、いくつかの場所でそれでも書き込み増幅を引き起こします。大規模なPrometheusサーバーの場合、現実社会ではハードウェアの寿命が短くなります。これは、書き込みスループットが高いデータベースアプリケーションではまだ一般的なことである可能性がありますが、軽減できるかどうかについては注視する必要があります。</p><h3>Starting Over</h3><p>これまでに、私たちの問題領域について、V2ストレージがそれをどのように解決するのか、そしてその設計に問題があるということに関しては、いい対策が考えられています。また、多かれ少なかれシームレスに適応したいといういくつかの素晴らしいコンセプトも分かりました。V2の問題の大部分は改良や部分的な再設計で解決できますが、物事を楽しくするために（そしてもちろん、慎重に自分の選択したことを評価した後で）、時系列データベース全体を一から書くことにしました。つまりは、ファイルシステムにバイトを書き込むことに挑戦しようと決めたのです。</p><p>パフォーマンスとリソース使用量に関する重大な問題点は、選択されたストレージフォーマットの直接に直接影響を与えます。パフォーマンスの良いストレージレイヤーを実装するには、データに適したアルゴリズムとディスクレイアウトのセットを見つける必要があります。</p><p>これが、解決策に直結する一番の近道になります — 頭痛、間違った考え、無限のスケッチ、涙、そして絶望・・・こんな辛い思いをする必要はもうありません。</p><h3>V3 — Macro Design</h3><p>ストレージのマクロレイアウトって何でしょうか。一言で言えば、 私たちのデータディレクトリで tree を実行したときに明らかにされるすべてのこと。それを見ているだけで、何が起こっているのかという驚くほどわかるようになります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/810/0*VTgIMThLdxpGsMem.png" /></figure><p>最上位には、 b-から始まる一連の番号付きブロックがあります。各ブロックは明らかにインデックスを含むファイルと、より多くの番号が付けられたファイルを保持する「チャンク」ディレクトリを保持します。「チャンク」ディレクトリには、さまざまな系列のデータポイントの生のチャンク以外の何も含まれていません。V2の場合と同じように、これは時間窓にわたるシリーズデータの読み取りを非常に安くし、同じ効率的な圧縮アルゴリズムを適用することを可能にします。このコンセプトはうまく機能することが証明されており、私たちはそれにこだわります。明らかに、シリーズごとに単一のファイルはもう存在しませんが、その代わりに一握りのファイルがチャンクを持っています。</p><p>「インデックス」ファイルの存在はそこまで驚くほどのものではありません。そのファイルのおかげでラベル、それらの有効な値、全体の時系列とそれらのデータポイントを保持するチャンクを見つけられるようになるということにしておきましょう。</p><p>しかし、なぜインデックスとチャンクファイルのレイアウトを含むディレクトリがいくつかあるのでしょうか。そして、なぜ最後のディレクトリが代わりに“ wal ”ディレクトリを含んでいるのでしょうか。これら二つの質問を理解することで、私たちの問題の約90％が解決されたことになります。</p><h3>Many Little Databases</h3><p>水平方向の次元、すなわちタイムスペースを重ならないブロックに分割します。各ブロックは、そのタイムウィンドウのすべての時系列データを含む完全に独立したデータベースとして機能します。したがって、独自のインデックスとチャンクファイルのセットがあります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DRK1D0TRSa_SezJkLMaTdg.png" /></figure><p>データの各ブロックはイミュータブルです。もちろん、新しいデータを収集するときには、最新のブロックに新しい系列とサンプルを追加できなければなりません。このブロックでは、すべての新しいデータは、永続ブロックと同じルックアッププロパティを提供するメモリ内データベースに書き込まれます。メモリ内データ構造は効率的に更新されます。データの紛失を防ぐために、すべての受信データも一時的なログ先行書込に書き込まれます。これは、「wal 」ディレクトリ内の一連のファイルで、再起動時にインメモリデータベースに再度取り入れることができます。</p><p>これらすべてのファイルには独自のシリアライゼーションフォーマットが付属しています。これには、たくさんのフラグ、オフセット、varint 、CRC32チェックサムなど、予想されるものすべてが含まれています。名前をあげていくのははとても楽しいですが、読むのはとても退屈です。</p><p>このレイアウトにより、クエリされた時間範囲に関連するすべてのブロックにクエリを広げることができます。各ブロックからの部分結果はマージされて全体の結果が出ます。</p><p>この水平分割をすると優れた機能が追加されます。</p><ul><li>時間範囲を食えりするとき、この範囲外のすべてのデータブロックを簡単に無視できます。それは 最初に検査されるデータのセットを減らすことによって<em>シリーズチャーン</em>の問題を簡単に処理します。</li><li>ブロックを完成させるときは、ほんの一握りの大きなファイルを順番に書き込むことで、インメモリデータベースのデータを保存できます。ライトアンプリフィケーションを避け、SSDとHDDにも同様に対応します。</li><li>少し前にチャンクするV2の長所を保ちつつ、頻繁にクエリされているのですが、常にメモリ内でホットです。</li><li>またディスク上のデータをよりよく整列させる1KiBの固定チャンクサイズにもうこれ以上縛られてはいません。個々のデータポイントと選択した圧縮形式に最も適したサイズを選択できます。</li><li>古いデータを削除すると、非常に安くて動きが早くなります。ただ一つのディレクトリを削除すればよいだけです。古いストレージでは、最大で何億ものファイルを分析し、書き直さなければならなかったのです。</li></ul><p>それぞれのブロックにはmeta.json も含まれています。 それは単にストレージ状態とそこに含まれるデータを簡単に理解するためにブロックについての人間が読める情報を保持しています。</p><p><a href="https://orangesys.io/">Orangesys.io</a>では、kuberneteの運用、DevOps、監視のお手伝いをさせていただいています。ぜひ私たちにおまかせください。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=891589d2ef96" width="1" height="1" alt=""><hr><p><a href="https://medium.com/orangesys/writing-a-time-series-database-from-scratch-part3-891589d2ef96">Writing a Time Series Database from Scratch-Part3</a> was originally published in <a href="https://medium.com/orangesys">Orangesys</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Writing a Time Series Database from Scratch-Part2]]></title>
            <link>https://medium.com/orangesys/writing-a-time-series-database-from-scratch-part2-9be41814f35e?source=rss----76cb47efc39a---4</link>
            <guid isPermaLink="false">https://medium.com/p/9be41814f35e</guid>
            <category><![CDATA[tsdb]]></category>
            <category><![CDATA[prometheus]]></category>
            <dc:creator><![CDATA[gavin.zhou]]></dc:creator>
            <pubDate>Thu, 25 Jul 2019 02:53:09 GMT</pubDate>
            <atom:updated>2019-07-25T02:52:21.871Z</atom:updated>
            <content:encoded><![CDATA[<h4>０から時系列データベースを書く — Part2</h4><p>時系列データベースについての記事をご紹介したいと思います。長い記事ですので６回に分けて掲載していきます。今回は第二回です。シリーズチャーンなどについての内容になります。</p><h3>♯♯♯♯Current solution</h3><p>Prometheusの現在のストレージを「V2」と呼ぶのですが、このストレージがこの問題※にどのように対処するのかを見てみましょう。 （この問題※＝収集されたデータをディスクに書き込むための理想的なパターンと、クエリを処理するために非常に効率的なレイアウトとの間にあるTSDBが解決しなければならない基本的な問題）</p><p>すべてのサンプルを順番に含む時系列ごとに1つのファイルを作成します。 数秒ごとにこれらすべてのファイルに単一のサンプルを追加するのはコストがかかるため、メモリ内の一連のサンプルについて1KiBのサンプルを一つにまとめ、それらがいっぱいになったら個々のファイルに追加します。 このアプローチを用いることで、問題の大部分を解決します。 書き込みはバッチ処理され、サンプルは順次保存されます。 また、同じシリーズの前のサンプルと比較して、あるサンプルがほとんど変化しないという特性に基づいて、非常に効率的な圧縮フォーマットも可能になります。 Gorilla TSDBに関するFacebookの論文では、同様のチャンクベースのアプローチと<a href="http://www.vldb.org/pvldb/vol8/p1816-teller.pdf">圧縮フォーマットを導入</a>について説明しています。これは16バイトのサンプルを平均1.37バイトに減らすものです。 V2ストレージはGorillaのバリエーションを含む様々な圧縮フォーマットを使用しています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*blCPDxy1jzy6cr5GKfLhiA.png" /></figure><p>チャンクベースのアプローチは優れていますが、シリーズごとに別々のファイルを保存することは、さまざまな理由からV2ストレージに問題を引き起こします。</p><ul><li>我々は実際に私達が現在データを収集している時系列の数よりはるかに多くのファイルを必要としています。 その詳細については「シリーズチャーン」のセクションを参照してください。 数百万のファイルがあると、遅かれ早かれ、 私たちのファイルシステム上の<a href="https://en.wikipedia.org/wiki/Inode">inode </a>が不足する可能性があります。これは、ディスクを再フォーマットすることによってのみ回復できる状態です。これは、とても破壊的な行為です。 私たちは常に、ディスクのフォーマットを避けたいと考えていて、特に単一のアプリケーションに合うようにディスクをフォーマットすることは非常に避けたいものなのです。</li><li>チャンクされていても、毎秒数千のチャンクが完成し、保存しようとする準備ができています。 これには依然として毎秒、数千もの個別のディスク書き込みが必要です。 それはまた、一連のいくつかの完成したチャンクをバッチ処理することによって軽減されますが、その代わりに、保存されるのを待っているデータの総メモリフットプリントが増加します。</li><li>すべてのファイルを読み書き用にオープンにしておくのは不可能です。 特に、24時間後に〜99％のデータが二度とクエリされることはありません。 それでもクエリされた場合は、最大数千のファイルを開き、関連するデータポイントを見つけてメモリに読み込み、それらを再度閉じる必要があります。 これによりクエリレイテンシーが高くなるため、データチャンクはかなり積極的にキャッシュされ、「リソースの消費」のセクションで詳しく説明されている問題が発生します。</li><li>結局、古いデータを削除し、データを何百万ものファイルの先頭から削除する必要があります。 つまり、削除は実際には書き込み集中型の操作です。 さらに、何百万ものファイルを繰り返し分析して分析すると、これには数時間もかかることがよくあります。 完了するまでに、もう一度やり直す必要があるかもしれません。そして古いファイルを削除すると、SSDの書き込みがさらに増幅されます。</li><li>現在蓄積されているチャンクはメモリにのみ保持されます。 アプリケーションがクラッシュすると、データが失われます。 これを回避するために、メモリの状態は定期的にディスクにチェックポイントさ れます。これは、許容できるデータ損失のウィンドウよりもかなり長い時間 がかかる 場合があります。チェックポイントの復元にも数分かかることがあり、非常に長い再起動サイクルが発生します。</li></ul><p>既存の設計から離れるポイントはチャンクの概念にあります。これは私たちが最も確実に守りたいものです。 常にメモリに保持されている最新のチャンクも一般に良いです。 結局のところ、最新のデータが最も大きなマージンでクエリされるのです。</p><p>時系列ごとに1つのファイルを持つことは、代替案を見つけたいというコンセプトです。</p><h3>Series Churn</h3><p>Prometheusのコンテクストでは、我々はSeries Churn（シリーズチャーン）という用語を使います。これは、一連の時系列が非アクティブになる、つまりデータポイントを受け取らなくなり、代わりに新しい一連の時系列が表示されることを意味します。</p><p>たとえば、特定のマイクロサービスインスタンスによってエクスポーズされるすべてのシリーズには、その起源を識別するそれぞれの「インスタンス」ラベルが添付されています。 マイクロサービスのローリングアップデートを実行し、すべてのインスタンスを新しいバージョンと交換すると、シリーズチャーンが発生します。 よりダイナミックな環境では、これらのイベントは1時間ごとに発生する可能性があります。 Kubernetesのようなクラスタオーケストレーションシステムは、アプリケーションの継続的な自動スケーリングと頻繁なローリングアップデートを可能にし、毎日何万もの新しいアプリケーションインスタンスを作成し、それらを使用することで、完全に新しい一連の時系列を作成します。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/806/0*FN6X26r5Qn1aFs1r.png" /></figure><p>そのため、インフラストラクチャー全体のサイズがほぼ一定のままであっても、時間の経過とともにデータベースで時系列が直線的に増加します。 一方、Prometheusサーバーは1000万の時系列でデータを楽しく収集しますが、10億の系列の中からデータを見つけなければならない場合、クエリのパフォーマンスは大きく影響を受けます。</p><h3>Current solution</h3><p>Prometheusの現在のV2ストレージには、現在格納されているすべてのシリーズのLevelDBに基づくインデックスがあります。 それは与えられたラベルのペアを含むシリーズをクエリすることを可能にしますが、異なるラベル選択からの結果を結合するための計測可能な方法を用いることはできません。</p><p>たとえば、ラベル __name__=”requests_total” 付きのすべてのシリーズを選択することは、効率的に動作しますが、instance=”A” AND __name__=”requests_total” を伴ったすべての系列を選択することで、スケーラビリティの問題が発生します。 これを引き起こす原因と、どのような調整がルックアップレイテンシーを改善するのに必要かを後程再検討したいと思います。</p><p>実際、この問題が、より優れたストレージシステムを求める最初の狙いとなりました。 Prometheusは、何億もの時系列をすばやく検索するための、改善されたインデックスアプローチを必要としていました。</p><p><a href="https://orangesys.io/">Orangesys.io</a>では、kuberneteの運用、DevOps、監視のお手伝いをさせていただいています。ぜひ私たちにおまかせください。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9be41814f35e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/orangesys/writing-a-time-series-database-from-scratch-part2-9be41814f35e">Writing a Time Series Database from Scratch-Part2</a> was originally published in <a href="https://medium.com/orangesys">Orangesys</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Writing a Time Series Database from Scratch-Part1]]></title>
            <link>https://medium.com/orangesys/writing-a-time-series-database-from-scratch-part1-50373f1a3f1e?source=rss----76cb47efc39a---4</link>
            <guid isPermaLink="false">https://medium.com/p/50373f1a3f1e</guid>
            <category><![CDATA[prometheus]]></category>
            <category><![CDATA[tsdb]]></category>
            <dc:creator><![CDATA[gavin.zhou]]></dc:creator>
            <pubDate>Wed, 24 Jul 2019 01:25:45 GMT</pubDate>
            <atom:updated>2019-07-24T01:25:36.216Z</atom:updated>
            <content:encoded><![CDATA[<h4><strong>０から時系列データベースを書く — Part1</strong></h4><p>TSDB（時系列データベース）についての素晴らしい記事がありましたので、ぜひみなさんにご紹介したいと思います。長い記事ですので６回に分けて掲載していきます。第一回目はPrometheusの現在のアプローチなどについての内容です。</p><p>私は監視という業務に携わっています。特に<a href="https://prometheus.io/">Prometheus</a>、カスタム時系列データベースを含む監視システム、またそれと<a href="https://kubernetes.io/">Kubernetes</a>との統合に関しての仕事をしています。</p><p>多くの点においてKubernetesはPrometheusの中に設計されたものを全て含んでいます。Kubernetesのおかげで、継続的なデプロイメント、自動スケーリング、その他の非常にダイナミックな環境の機能へのアクセスが容易になります。他の多くの概念的な決定の中においても、クエリ言語と運用モデルの利用で、Prometheusをそのような環境に特に適したものになります。 それでも、監視対象のワークロードが大幅にダイナミックになった場合、監視システム自体にも新たな負担がかかるようになります。 これを念頭に置いて、 Prometheusが既にうまく解決している問題を増加させるのではなく、特にダイナミックな、または一時的なサービスの環境でそのパフォーマンスを向上させることを目指しています。</p><p>Prometheusのストレージレイヤーはものすごく性能が高く、驚くほど少量のディスクの容量しか使わずに、単一のサーバーで毎秒最大100万サンプルを数百万の時系列として取り込むことができます。 現在のストレージはうまく機能していますが、私は、既存のソリューションの欠点を修正し、次の規模のオーダーを処理できるように装備された、新しく設計されたストレージサブシステムを提案します。</p><h3>Problems, Problems, Problem Space</h3><p>まず、私たちが達成しようとしていることと、それが引き起こす主な問題の概要を説明します。 それぞれについて、Prometheusの現在のアプローチ、それがうまくいくこと、そして新しい設計のおいて取り組むべき問題について見ていきましょう。</p><h3>Time series data</h3><p>データポイントを経時的に収集するシステムが存在します。</p><pre><strong>identifier</strong> -&gt; (t0, v0), (t1, v1), (t2, v2), (t3, v3), ....</pre><p>各データポイントはタイムスタンプと値のタプルです。 監視の目的のおいては、タイムスタンプは整数で、値は任意の数です。 64bit浮動小数点数は優れたカウンターの表示だけでなく、ゲージの値であることが判明したので、我々はそれで行きます。 厳密に単調増加するタイムスタンプを持つ一連のデータポイントは、識別子によってアドレスされる一連のものです。 私たちの識別子は、ラベルディメンションのディクショナリを含むメトリクス名です。ラベルディメンションは、単一のメトリックの測定空間を分割します。 各メトリック名と特定のラベルセットはそれぞれ独自の時系列のもので、その時系列は関連したバリューストリームを持っています。</p><p>これは、メトリックのカウントリクエストの一部である典型的な一連の識別子です。</p><pre><strong>requests_total</strong>{path=&quot;/status&quot;, method=&quot;GET&quot;, instance=”10.0.0.1:80”}</pre><pre><strong>requests_total</strong>{path=&quot;/status&quot;, method=&quot;POST&quot;, instance=”10.0.0.3:80”}</pre><pre><strong>requests_total</strong>{path=&quot;/&quot;, method=&quot;GET&quot;, instance=”10.0.0.2:80”}</pre><p>それでは、この表示を今すぐシンプルにしましょう。メトリック名は別のラベルディメンションとして扱うことができます。私たちの場合には — __name__ となります。 クエリレベルでは、これは 特別に扱われるかもしれませんが、後でお話するように、それが保存する方法に関係することはありません。</p><pre>{__name__=&quot;requests_total&quot;, path=&quot;/status&quot;, method=&quot;GET&quot;, instance=”10.0.0.1:80”}</pre><pre>{__name__=&quot;requests_total&quot;, path=&quot;/status&quot;, method=&quot;POST&quot;, instance=”10.0.0.3:80”}</pre><pre>{__name__=&quot;requests_total&quot;, path=&quot;/&quot;, method=&quot;GET&quot;, instance=”10.0.0.2:80”}</pre><p>時系列データをクエリするときは、ラベルで系列を選択して実行します。 最も単純な場合 、{__name__=”requests_total”} が、requests_total メトリックに属するすべての系列を選択します。 選択したすべての系列について、指定した時間枠内のデータポイントを検索します。</p><p>より複雑なクエリでは、一度に一連の複数のラベルのセレクタを選択することを望み、通常のものよりもより複雑な条件を表示します。 例えば、否定（method!=”GET”)や一致する正規表現（method=~”PUT|POST”)などです。</p><p>これは主に保存されたデータとそのリコール方法を定義します。</p><h3>Vertical and Horizontal</h3><p>簡略図では、すべてのデータポイントを2次元平面上に配置できます。 <em>横軸</em>は時間を表し、縦軸は系列の識別子スペースを表します。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/814/0*_NdgJsg-rP0Ixbz0.png" /></figure><p>Prometheusは、一連の時系列に対して現在の値を定期的にスクラップすることによってデータポイントを検索します。 このようなバッチを検索する元のエンティティはターゲットと呼ばれています。 それによって、各ターゲットからのサンプルが独立して取り込まれるので、書き込みパターンは完全に垂直で同時実効性が高いのです。</p><p>スケールをある程度測定するには：単一のPrometheusインスタンスが数万のターゲットからデータポイントを収集することです。それは、それぞれ数百から数千の異なる時系列をエクスポーズします。</p><p>1秒あたり何百万ものデータポイントを収集する規模において、書き込みをバッチ処理することは妥協できないパフォーマンス要件です。 ディスク上に点在する単一のデータポイントを書き込むのは、非常に遅くなります。したがって、我々はもっと大きなデータの塊を順番に書きたいと思っています。</p><p>これはディスクを回転させるためには当然のことです。なぜなら彼らの頭は常に物理的に異なるセクションに移動しなければならないからです。 SSDは高速ランダム書き込みで知られています。実際には個々のバイトを変更することはできませんが、4KiBかもしくはそれ以上のページに書き込むことはできます。つまり、16バイトのサンプルを書き込むことは、4KiBのページ全体を書き込むことと同じということです。この動作は、 <a href="https://en.wikipedia.org/wiki/Write_amplification"><em>write amplification</em></a><em>（</em>ライトアンプリフィケーション：WA）として知られています。これは、あなたのSSDを磨耗させます。つまり、遅くなるだけではなく、文字通り数日から数週間でハードウェアを破壊するのです。</p><p>この問題についてより詳しく知りたい方は、 <a href="http://codecapsule.com/2014/02/12/coding-for-ssds-part-1-introduction-and-table-of-contents/">“SSDのためのコーディング” シリーズ</a>を御一読されることをおすすめします。</p><p>主な問題を考えてみましょう。シーケンシャル書き込みとバッチ書き込みは、ディスクとSSDの両方を回転させるのに理想的な書き込みパターンです。こだわるべき簡単な規則です。</p><p>クエリパターンは、パターンの書き込みと絶対的に区別されます。 単一シリーズの単一データポイント、1万シリーズの単一データポイント、単一シリーズの週のデータポイント、1万シリーズの週のデータポイントなどをクエリすることができます。したがって、2次元平面では、クエリは完全に垂直、もしくは水平でもありませんが、2つの長方形の組み合わせになっています。</p><p><a href="https://prometheus.io/docs/practices/rules/">Recording rules</a> は既知のクエリ問題を軽減することはできますが、ad-hocクエリの一般的な解決策ではありませんし、やはりかなり上手く実行しなければいけないでしょう。</p><p>我々はバッチで書きたいということは分かっています。しかし我々が取得する唯一のバッチはシリーズ全体的なデータポイントの垂直のセットです。 ある期間にわたって一連のデータポイントをクエリする場合、個々のポイントがどこにあるのかを特定するのが難しいだけでなく、ディスク上の多数のランダムな場所から読み取る必要があります。 1クエリあたり何百万ものサンプルに触れると、最速のSSDでも遅くなります。 読み取りは要求された6バイトのサンプルよりも多くのデータを私たちのディスクから取得します。 SSDは全ページをロードし、HDDは少なくともセクター全体を読み取ります。 どちらにしても、貴重な読み取りスループットを無駄にしています。</p><p>したがって、同じシリーズのサンプルは順番に格納されるのが理想的で、そうすれば、できるだけ少ない読み取りでそれらをスキャンすることができます。さらに、このシーケンスがすべてのデータポイントへのアクセスを開始する場所を知るだけで済みます。</p><p>収集されたデータをディスクに書き込むための理想的なパターンと、クエリを処理するために非常に効率的なレイアウトとの間には明らかに圧迫感があります。 それはTSDBが解決しなければならない基本的な問題です。</p><p><a href="https://orangesys.io/">Orangesys.io</a>では、kuberneteの運用、DevOps、監視のお手伝いをさせていただいています。ぜひ私たちにおまかせください。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=50373f1a3f1e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/orangesys/writing-a-time-series-database-from-scratch-part1-50373f1a3f1e">Writing a Time Series Database from Scratch-Part1</a> was originally published in <a href="https://medium.com/orangesys">Orangesys</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Best practices writing a Dockerfile — PartIII]]></title>
            <link>https://medium.com/orangesys/best-practices-writing-a-dockerfile-partiii-4a7606fd4900?source=rss----76cb47efc39a---4</link>
            <guid isPermaLink="false">https://medium.com/p/4a7606fd4900</guid>
            <category><![CDATA[docker]]></category>
            <category><![CDATA[dockerfiles]]></category>
            <category><![CDATA[devops]]></category>
            <dc:creator><![CDATA[gavin.zhou]]></dc:creator>
            <pubDate>Mon, 22 Jul 2019 01:50:44 GMT</pubDate>
            <atom:updated>2019-07-22T01:49:57.664Z</atom:updated>
            <content:encoded><![CDATA[<h3>Best practices writing a Dockerfile — PartIII</h3><h4>Dockerfile の作成のベストプラクティス — 第三章</h4><p>今回は、Dockerfileを書くためのベストプラクティスの紹介記事の第三回目です。今回が最終章となっています。長い記事ですので３つに分けて続けてお届けしています。<strong>non-root</strong> コンテナやイメージタグについて説明しています。</p><h3>Reusing maintained images when possible</h3><p>Bitnami-maintainedイメージを使うことでいくつかのメリットがあります。</p><ul><li>イメージ間のレイヤーを共有することでサイズを小さくする</li><li>スキャン結果を分析することで <a href="https://docs.quay.io/">Quay</a>上でベースイメージのバルネラビリティを追跡する</li><li>毎日再構築されるので、全てのコンポーネントは最新の利用可能なパッチがパッケージされていてることを確認する。</li></ul><p>アプリケーション（この場合であれば<strong>Node.js）</strong>を走らせるために必要なシステムパッケージをインストールする代わりに、bitnami/nodeimage:を使います。</p><pre>- FROM bitnami/minideb</pre><pre>+ FROM bitnami/node</pre><pre>- # Install required system packages</pre><pre>- RUN install_packages imagemagick curl software-properties-common gnupg</pre><pre>- RUN curl -sL https://deb.nodesource.com/setup_10.x | bash - &amp;&amp; install_packages nodejs</pre><pre># Copy application files</pre><pre>...</pre><h3>BEING SPECIFIC ABOUT YOUR BASE IMAGE TAG</h3><p>維持されたイメージは常に異なるタグを持っており、異なるflavorのものを特定するために使われます。例えば、 bitnami/nodeイメージは異なる<strong>Node.js</strong>バージョンのために構築され、Nodeアプリケーションを走らせるための最低限必要なパッケージを含んだ prod flavorがあります。（ <a href="https://github.com/bitnami/bitnami-docker-node#supported-tags-and-respective-dockerfile-links">Supported Tags</a>をご覧ください).</p><p>この例に従って、<strong>package.json</strong>の中でnode &gt;= 10をリクエストしているアプリケーションを想像してみください。ミニマルパッケージを伴った<strong>Node.js 10</strong>を使っていることを確認して、</p><p>10-prodタグを使う必要があります。</p><pre>- FROM bitnami/node</pre><pre>+ FROM bitnami/node:10-prod</pre><pre># Copy application files</pre><pre>...</pre><p>そのタグを一旦追加すると、イメージを再構築します：</p><pre>$ docker build . -t express-image:0.0.5</pre><p>結果：イメージサイズが48MB減り、今では<strong>229MB</strong>です。小さいですが重要な変化でのおかげで、もうシステムパッケージのことを心配する必要がなくなります！</p><h3>Using multi-stage builds to separate build and runtime environments</h3><p>以下のものを見るために、今のDockerfileを見てみましょう（上記のように改善された後に）</p><pre><strong>FROM</strong> bitnami/node:10-prod</pre><pre><em># Copy application files</em></pre><pre><strong>COPY</strong> package.json server.js /app</pre><pre><em># Install NPM dependencies</em></pre><pre><strong>RUN </strong>npm install --prefix /app</pre><pre><strong>EXPOSE</strong> 80</pre><pre><strong>CMD</strong> [&quot;npm&quot;, &quot;start&quot;, &quot;--prefix&quot;, &quot;/app&quot;]</pre><p>サンプルのDockerfileの現在の状態を見ると2種類の同一の構築ステップが確認できます。</p><ul><li>ソースコードからアプリケーションを構築し、そのディペンデンシーをインストールする</li><li>アプリケーションを走らせる</li></ul><p>その効率が、イメージのサイズが改善し続けられていて、構築過程の異なるステージ上で構築を分けること。そうすれば、その最後のイメージは可能な限りシンプルになります。</p><p>マルチ・ステージ構築を使用することはよい方法です。最後のイメージで必要になるアーティファクトをコピーするだけですから。やり方をこの例で見てみましょう。</p><pre><strong>FROM</strong> bitnami/node:10 AS builder</pre><pre><strong>COPY</strong> package.json server.js /app</pre><pre><strong>RUN </strong>npm install --prefix /app</pre><pre><strong>FROM</strong> bitnami/node:10-prod</pre><pre><strong>COPY</strong> --from=builder /app/package.json /app/server.js /app</pre><pre><strong>COPY</strong> --from=builder /app/node_modules /app/node_modules</pre><pre><strong>EXPOSE</strong> 80</pre><pre><strong>CMD</strong> [&quot;node&quot;, &quot;/app/server.js&quot;]</pre><p>では、ここに簡単に今までの分をまとめておきます。</p><p>アプリケーションを構築するために bitnami/node:10 を使い、一番最初のステージである「<strong>builder」</strong>に名前を付けるために AS builder を加えました。それから、そのステージからファイルをコピーするために COPY — from=builder を使いました。そうすると、コピーされたアーティファクトは最小のイメージ bitnami/node:10-prodを走らせる必要があるものです。</p><p>コンパイルされたアプリケーションのためにイメージを構築するとき、このアプローチはものすごく効果的です。下の例では、イメージサイズを劇的に小さくするために、ちょっとだけ手を加えました。そのサンプルイメージは<a href="https://github.com/kubeapps/kubeapps/tree/master/cmd/tiller-proxy">Kubeapps Tiller Proxy</a>を構築するものであり、<a href="http://kubeapps.io/">Kubeapps</a>のコアコンポーネントの一つです。</p><pre><strong>ARG</strong> VERSION</pre><pre><strong>FROM</strong> bitnami/minideb:stretch AS builder</pre><pre><strong>RUN </strong>install_packages ca-certificates curl git</pre><pre><strong>RUN </strong>curl https://dl.google.com/go/go1.11.4.linux-amd64.tar.gz | tar -xzf - -C /usr/local</pre><pre><strong>ENV</strong> PATH=&quot;/usr/local/go/bin:$PATH&quot; CGO_ENABLED=0</pre><pre><strong>RUN </strong>go get -u github.com/golang/glog <strong>&amp;&amp;</strong> go get -u github.com/kubeapps/kubeapps/cmd/tiller-proxy</pre><pre><strong>RUN </strong>go build -a -installsuffix cgo -ldflags &quot;-X main.version=$VERSION&quot; github.com/kubeapps/kubeapps/cmd/tiller-proxy</pre><pre><strong>FROM</strong> scratch</pre><pre><strong>COPY</strong> --from=builder /etc/ssl/certs/ca-certificates.crt /etc/ssl/certs/</pre><pre><strong>COPY</strong> --from=builder /tiller-proxy /proxy</pre><pre><strong>EXPOSE</strong> 80</pre><pre><strong>CMD</strong> [&quot;/proxy&quot;]</pre><p>ファイナルイメージは scratch を使います（Dockerfileの中の次のコマンドを表示するscratch はイメージの中の最初のファイルシステムレイヤーです）。そして、私たちが必要なものしか入っていません。つまりバイナリとSSL証明書です。</p><p>注：コマンドラインからビルドを変更するために ARG や — build-arg K=V を使ってください。</p><p>そのコマンドを使ってイメージを構築してください。</p><pre>$ docker build . -t tiller-proxy-example --build-arg VERSION<strong>=</strong>1.0.0</pre><p>最終的なイメージサイズはたった <strong>37.7MB</strong>でした！！同じイメージでビルディングとランニングインストラクションを両方含める場合、イメージサイズは <strong>&gt; 800MB</strong>になるでしょう。</p><h3>PRO TIP: USING MULTI-STAGE BUILDS TO BUILD PLATFORM-SPECIFIC IMAGES</h3><p>プラットフォームを特定するイメージを生成するために、それらのアーティファクトビルドを builder ステージで再利用します。例えば、以下の <strong>Kubeapps Tiller Proxy</strong> の例では、異なるプラットフォームのために異なるイメージを生成するためにDockerfileを使います。下のDockerfileでは、<strong>Debian Stretch</strong>や<strong>Oracle Linux 7</strong> はビルドのための特定のプラットフォームです。</p><pre>...</pre><pre><strong>FROM</strong> oraclelinux:7-slim AS target-oraclelinux</pre><pre><strong>COPY</strong> --from=builder /etc/ssl/certs/ca-certificates.crt /etc/ssl/certs/</pre><pre><strong>COPY</strong> --from=builder /tiller-proxy /proxy</pre><pre><strong>EXPOSE</strong> 80</pre><pre><strong>CMD</strong> [&quot;/proxy&quot;]</pre><pre><strong>FROM</strong> bitnami/minideb:stretch AS target-debian</pre><pre><strong>COPY</strong> --from=builder /etc/ssl/certs/ca-certificates.crt /etc/ssl/certs/</pre><pre><strong>COPY</strong> --from=builder /tiller-proxy /proxy</pre><pre><strong>EXPOSE</strong> 80</pre><pre><strong>CMD</strong> [&quot;/proxy&quot;]</pre><p>そのビルドコマンドの中に、ただ — target X フラッグを追加するだけで、以下のためにイメージを構築するためにどのプラットフォームが必要かが表示されます。</p><pre>$ docker build . -t tiller-proxy-example:debian --target target-debian --build-arg VERSION<strong>=</strong>1.0.0</pre><pre>$ docker build . -t tiller-proxy-example:oracle --target target-oraclelinux --build-arg VERSION<strong>=</strong>1.0.0</pre><p>単一のDockerfileを使って、異なるプラットフォームのためにイメージを構築します。一方ビルドのプロセスはとてもシンプルに保てます。</p><h3>Using the non-root approach to enforce container security</h3><p><strong>non-root</strong>のようなコンテナを走らせるということは、セキュリティー対策としてはベストの対策だと言えます。</p><p>このアプローチでは、悪意のあるコードがコンテナホストの権限を取得するのを防ぎます。また、 <strong>OpenShift</strong>のようなルートとしてのコンテナを走らせようとさせない <strong>Kubernetes </strong>distributions上のコンテナを走らせます。 <strong>non-root</strong> コンテナを使う理由について、詳細を知りたい方は以下のブログを読んでください。</p><p>・<a href="https://engineering.bitnami.com/articles/why-non-root-containers-are-important-for-security.html">なぜNon-Rootがセキュリティーにとって重要なのか</a>.</p><p>・<a href="https://engineering.bitnami.com/articles/running-non-root-containers-on-openshift.html">Non-RootをOpenshift上で走らせること</a></p><p>Dockerイメージを<strong>non-root</strong>コンテナに統合するために、デフォルトのユーザーを root から nonrootへ変更します。</p><pre>...</pre><pre>EXPOSE 80</pre><pre>+ useradd -r -u 1001 -g nonroot root</pre><pre>+ USER nonroot</pre><pre>CMD [&quot;node&quot;, &quot;/app/server.js&quot;]</pre><pre>...</pre><p>コツ： root グループへ nonroot ユーザーを追加します。</p><p><strong>non-root</strong>へコンテナを移動するときはこれらの細かい部分に気を付けてましょう。</p><p>・ファイルの許可。アプリケーションによって何のディレクトリが書かれるべきか？non-rootユーザーへの書き込む許可を与えて、それらを取りいれましょう。許可の変更についての詳細は、 <a href="https://wiki.archlinux.org/index.php/File_permissions_and_attributes#Changing_permissions">Linux Wiki</a> をご覧ください。</p><ul><li>特権 (1–1023)ポートはもう使えません。</li><li>デバッグ目的のために特権の許可を必要とする動作はできません。</li></ul><p>コネクションのためにサンプルのアプリケーションはポート80を使います。8080のようなまた別のポートを使うために、それを取り入れます。</p><blockquote><strong>Dockerfile</strong>:</blockquote><pre>...</pre><pre>COPY --from=builder /tiller-proxy /proxy</pre><pre>- EXPOSE 80</pre><pre>+ EXPOSE 8080</pre><pre>RUN useradd -r -u 1001 -g root nonroot</pre><pre>...</pre><blockquote><strong>server.js</strong>:</blockquote><pre>...</pre><pre>const serverHost = &#39;127.0.0.1&#39;;</pre><pre>- const serverPort = 80;</pre><pre>+ const serverPort = 8080;</pre><pre>...</pre><p>一方、アプリケーションはそのログを<em>/var/log/app.log</em>ファイルの中で書きます。そのディレクトリ上の nonroot ユーザーへ許可を与えます。</p><pre>...</pre><pre>RUN useradd -r -u 1001 -g root nonroot</pre><pre>EXPOSE 80</pre><pre>+ RUN chmod -R g+rwX /var/log</pre><pre>USER nonroot</pre><pre>...</pre><blockquote>テスト</blockquote><pre>$ docker build . -t express-image:0.0.7</pre><pre>$ docker run --rm -p 8080:8080 -d express-image:0.0.7</pre><pre>$ curl <a href="http://127.0.0.1:8080/">http://127.0.0.1:8080</a></pre><pre>Hello world</pre><pre>$ docker exec express-app whoami</pre><pre>nonroot</pre><pre>$ docker stop express-app code</pre><p>お分かりの通り、すべてが予想通りに動いています。そして、コンテナは もうroot としては動いていません。</p><h3>Setting the WORKDIR instruction</h3><p>機能中のディレクトリに対するデフォルトの値は /。しかし、 FROM scratch イメージを使わない限り、ベースイメージがそれを設定している可能性があります。自分のアプリケーションの特性に取り入れるためにthe WORKDIRインストラクションを設定するのはいいと思います。</p><p>我々のアプリケーションコードはディレクトリ/appの下にあります。それゆえ、起動中のディレクトリをそれに取り入れるというのは意味があることなのです。</p><pre>...</pre><pre>USER nonroot</pre><pre>+ WORKDIR /app</pre><pre>- CMD [&quot;node&quot;, &quot;/app/server.js&quot;]</pre><pre>+ CMD [&quot;node&quot;, &quot;server.js&quot;]</pre><pre>...</pre><p>注意：このインストラクションを設定するためには絶対パスを使うことをお勧めします。</p><h3>Mounting the application configuration and using the volume instruction</h3><p>コンテナやKubernetesを走らせるとき、 configMaps や secrets リソースからコンフィギュレーションをインポートしたいと思うはずです。それらのリソースを使うために、コンテナファイルシステムの中のコンフィギュレーションファイルとして、それらをマウントしてください。それから、アプリケーションを入れると、それらのコンフィギュレーションファイルから設定を読みます。</p><p>強くおすすめするのは、マウントポイントを生成するために VOLUME インストラクションを使うことです。Dockerはそれらのマウントポイントを「外部でマウントされたボリュームを保持すること」としています。そのため、そのホストもしくは他のコンテナは何のデータがエクスポーズされたか認知しています。</p><p>それでは私たちのアプリケーションをモディファイして、ホストネームとポートがコンフィギュレーションファイルから戻ってこさせましょう。以下の手順に従ってください。</p><blockquote><em>server.js</em> ファイルの中で、以下の変化を起こす：</blockquote><pre>...</pre><pre>// Constants</pre><pre>- const serverHost = &#39;127.0.0.1&#39;;</pre><pre>- const serverPort = 8080;</pre><pre>+ const settings = require(&#39;/settings/settings.json&#39;);</pre><pre>+ const serverHost = settings.host;</pre><pre>+ const serverPort = settings.port;</pre><pre>...</pre><p>下のように<strong>settings.json</strong>ファイルを生成する</p><pre>$ mkdir settings <strong>&amp;&amp;</strong> cat <strong>&gt;</strong> settings/settings.json<strong>&lt;&lt;</strong>&#39;EOF&#39;</pre><pre>{</pre><pre>    &quot;host&quot;: &quot;127.0.0.1&quot;,</pre><pre>    &quot;port&quot;: &quot;8080&quot;</pre><pre>}</pre><pre>EOF</pre><blockquote>Dockerfileへのポイントにマウントを追加する</blockquote><pre>...</pre><pre>EXPOSE 8080</pre><pre>+ VOLUME /settings</pre><pre>RUN useradd -r -u 1001 -g root nonroot</pre><pre>...</pre><p>この時点で、イメージを再構築し、下のようにそのコンフィギュレーション設定をマウントします。</p><pre>$ docker build . -t express-image:0.0.8</pre><pre>$ docker run -v <strong>$(</strong>pwd<strong>)</strong>/settings:/settings --rm -p 8080:8080 -d --name express-app express-image:0.0.8</pre><h3>Redirecting the application logs to the stdout/stderr stream</h3><p>そのアプリケーションは自身のログの <strong>stdout/stderr（標準出力/標準エラー出力）</strong>へのリダイレクトをすべきで、そのホストはそれを収集します。</p><p>Kubernetesのようなdistribution上において、ロギングシステム（ <a href="https://www.elastic.co/elk-stack">ELK</a>のようなもの）を持つのはとても一般的なことです。ロギングシステムはすべてのコンテナからログを収集し、シスアドがそれらを利用できるようになります。収集し、ホストのためにログを利用可能にすることはあるこの種のソリューションにとっては、強制的なものです。</p><p>私たちのアプリケーションはそのログを<em>/var/log/app.log</em> ファイルの中で書きます。以下の次善策を使って標準出力をするためにログをリダイレクトします。</p><pre>...</pre><pre>VOLUME /settings</pre><pre>+ RUN ln -sf /dev/stdout /var/log/app.log</pre><pre>RUN useradd -r -u 1001 -g root nonroot</pre><pre>...</pre><p>その変化に伴い、Dockerが正確にそのログを取り戻したかチェックするために以下のコマンドを実行してください。</p><pre>$ docker build . -t express-image:0.0.9</pre><pre>$ docker run -v <strong>$(</strong>pwd<strong>)</strong>/settings:/settings --rm -p 8080:8080 -d --name express-app express-image:0.0.9</pre><pre>$ docker logs express-app</pre><pre>Running on <a href="http://127.0.0.1:8080/">http://127.0.0.1:8080</a></pre><h3>Defining an entrypoint</h3><p>そのコンテナをよりフレキシブルにするために、そのイメージのメインコマンドとして機能する <strong>entrypoint</strong>を設定します。それから、コマンドのアーギュメント/フラッグを指定するために CMD インストラクションを使用します。</p><pre>...</pre><pre>- CMD [&quot;node&quot;, &quot;server.js&quot;]</pre><pre>+ ENTRYPOINT [&quot;node&quot;]</pre><pre>+ CMD [&quot;server.js&quot;]</pre><p>こうすることで、コンテナを走らせるために使うアーギュメントによってコンテナビヘイビアをモディファイすることが可能です。例えば、したのコマンドを使って、オリジナルのビヘイビアを維持します。</p><pre>$ docker build . -t express-image:0.0.10</pre><pre>$ docker run -v <strong>$(</strong>pwd<strong>)</strong>/settings:/settings --rm -p 8080:8080 -d --name express-app express-image:0.0.10</pre><p>もしくは、コードシンタックスをチェックするために以下のコマンドを使います。</p><pre>$ docker run --rm express-image:0.0.10 --check server.js</pre><p>常に — entrypoint フラッグを使ってentrypointをリライトすることができます。例えば、 /appにあるファイルを確認するには、次のコマンドを実行します。</p><pre>$ docker run --rm --entrypoint &quot;/bin/ls&quot; express-image:0.0.10 -l /app</pre><pre>total 12</pre><pre>drwxr-xr-x 51 root root 4096 Jan 24 12:45 node_modules</pre><pre>-rw-r--r--  1 root root  301 Jan 24 10:11 package.json</pre><pre>-rw-r--r--  1 root root  542 Jan 24 12:43 server.js</pre><p>アプリケーションに初期化が必要な時は、<strong>entrypoint</strong>.として<strong>script</strong>を使用します。 <a href="https://github.com/bitnami/bitnami-docker-redis/blob/master/4.0/debian-9/rootfs/entrypoint.sh">こちらで</a> bitnami/redis イメージ上で使われている例を見てみてください。</p><h3>End of the journey: container images ready for production environments</h3><p>この記事の目的は、より効果的に、より早く、コンテナ構築をするためにいかにDockerfileを改善させるかを説明するためです。</p><p>Dockerfile上での変化を実行するためのデモンストレーションするために、それらの優れたプラクティスを取り入れることで修正されるいくつかの欠点のある例をわざと使っています。最初のDockerfileは以下の問題がありました。</p><ul><li>ビルドキャッシュを上手に活用できていなかった。</li><li>不要なコンポーネントをたくさんパッケージングし過ぎていた。</li><li>複雑さゆえ、多くのメンテナンスが必要だった。</li><li>セキュリティー面が不十分であった（ルートとして）</li><li>ホストへ全くログをエクスポーズしなかったため、シスアドはそれらを分析できなかった。</li></ul><p>それらのマイナーな微調整をしたあと、Dockerfileはプロダクション環境でコンテナを構築するために使える準備ができます。</p><p>しかし、これがプロダクションコンテナのために最高のDockerfilesを書くためにあなたができるすべてのことですか？次のステップは？ここにコンテナの構築の「プロ」になるためのコツをリストアップしています。</p><ul><li>テストにテストを重ねること。コンテナが再構築されたときにはいつも、バリデーションのバッテリー、機能、統合テストが必要です。テストをするごとによりよい結果が得られます。</li><li>できる限りたくさんコンテナを再構築すること（できれば、毎日がいいです）。古いコンポーネントをパッケージングしていないかどうか確かめるためです。</li><li>コンテナイメージの構築、テスト、公開を自動化するCI/CDパイプラインを実行する</li><li>イメージを分析しCVEを参照する。</li></ul><p><a href="https://orangesys.io/">Orangesys.io</a>では、kuberneteの運用、DevOps、監視のお手伝いをさせていただいています。ぜひ私たちにおまかせください。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4a7606fd4900" width="1" height="1" alt=""><hr><p><a href="https://medium.com/orangesys/best-practices-writing-a-dockerfile-partiii-4a7606fd4900">Best practices writing a Dockerfile — PartIII</a> was originally published in <a href="https://medium.com/orangesys">Orangesys</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Best practices writing a Dockerfile — Part2]]></title>
            <link>https://medium.com/orangesys/best-practices-writing-a-dockerfile-part2-5a1cce993ae1?source=rss----76cb47efc39a---4</link>
            <guid isPermaLink="false">https://medium.com/p/5a1cce993ae1</guid>
            <category><![CDATA[devops]]></category>
            <category><![CDATA[docker]]></category>
            <category><![CDATA[dockerfiles]]></category>
            <dc:creator><![CDATA[gavin.zhou]]></dc:creator>
            <pubDate>Tue, 16 Jul 2019 11:52:39 GMT</pubDate>
            <atom:updated>2019-07-16T11:51:54.532Z</atom:updated>
            <content:encoded><![CDATA[<h3>Best practices writing a Dockerfile — PartII</h3><h4>Dockerfile の作成のベストプラクティス — 第二章</h4><p>今回は、Dockerfileを書くためのベストプラクティスの紹介記事の第二回目です。長い記事ですので３つに分けて続けてお届けしています。Dockerfiles開発のための役立つツールやminidebについても説明していきたいと思います。</p><h3>Prerequisites</h3><p>Dockerfilesを開発するために役に立つツールを２つご紹介します。チュートリアルに入る前にこちらをおすすめしておきます。</p><ul><li>BuildKitを利用可能にする</li><li>自分のエディション上でDockerfileのためにLinterをインストールする</li></ul><h3>Enable BuildKit</h3><p><a href="https://github.com/moby/buildkit"><strong>Buildkit</strong></a>はDocker イメージを作成するときにパフォーマンスを上げるための <a href="https://github.com/moby/moby">Moby project</a>のツールキットの一つです。2つの方法で使用でいます：</p><p>DOCKER_BUILDKIT 環境変数をエクスポートします。</p><pre>$ export DOCKER_BUILDKIT=1</pre><p>コツ：自分の<em>~/.bashrc</em> fileにこのインストラクションを追加します。</p><p>もしくは<strong>Buildkit</strong>機能に追加するために <a href="https://docs.docker.com/config/daemon/#configure-the-docker-daemon">Docker Daemonをコンフィギュアします</a>。</p><pre>{</pre><pre>  &quot;features&quot;: {</pre><pre>    &quot;buildkit&quot;: true</pre><pre>  }</pre><pre>}</pre><h3>Install a Linter for Dockerfiles on your editor</h3><p><a href="https://en.wikipedia.org/wiki/Lint_(software)">Linter</a> はDockerfiles上のエラーを発見するために役に立ちます。そして、一般邸なプラクティスをベースとした提案をしてくれます。</p><p>ほとんどのIntegrated Development Environment (IDE：統合開発環境)ごとにそれらの機能を与えるプラグインがあります。いくつかご紹介しておきます。</p><ul><li>Atom: <a href="https://github.com/AtomLinter/linter-docker">linter-docker</a></li><li>Eclipse: <a href="https://marketplace.eclipse.org/content/docker-editor">Docker Editor</a></li><li>Visual Studio: <a href="https://marketplace.visualstudio.com/items?itemName=henriiik.docker-linter">Docker Linter</a></li></ul><h3>A real case: improving a Node.js application’s Docker image</h3><p>下に挙げた例を理解するのに役立つために、それぞれのチュートリアルの段階で必要になるすべてのファイルを含んだ <a href="https://github.com/juan131/dockerfile-best-practices">GitHub リポジトリ</a>を作成しました。</p><p>それらの例は、すごくシンプルな <strong>Node.js</strong>アプリケーションのDockerイメージ（以下のファイルを使ったもの）を構築することをベースとした例です。</p><ul><li>イメージ解像度を含む <em>Dockerfile</em> that contains the image definition.</li><li>A <em>LICENSE</em>.</li><li>アプリケーションとそのディペンデンシーを意味する <em>package.json</em> (基本的にはExpress NPM モジュール).</li><li>フレームワーク「Express」を使ってウェブアプリケーションを設定する <em>server.js</em></li><li>インストラクションがある <em>README.md</em></li></ul><p>Dockerfileはとてもシンプルです。</p><pre><strong>FROM</strong> debian</pre><pre><em># Copy application files</em></pre><pre><strong>COPY</strong> . /app</pre><pre><em># Install required system packages</em></pre><pre><strong>RUN </strong>apt-get update</pre><pre><strong>RUN </strong>apt-get -y install imagemagick curl software-properties-common gnupg vim ssh</pre><pre><strong>RUN </strong>curl -sL https://deb.nodesource.com/setup_10.x | bash -</pre><pre><strong>RUN </strong>apt-get -y install nodejs</pre><pre><em># Install NPM dependencies</em></pre><pre><strong>RUN </strong>npm install --prefix /app</pre><pre><strong>EXPOSE</strong> 80</pre><pre><strong>CMD</strong> [&quot;npm&quot;, &quot;start&quot;, &quot;--prefix&quot;, &quot;app&quot;]</pre><p>このように上のようなラインが読まれるのです。</p><p>ベースのイメージとして debian を使い、 apt-get コマンドを使ったシステムの中に<strong>nodejs</strong> や <strong>npm</strong>をインストールします。アプリケーションを走らせるために <strong>curl</strong>, <strong>imagemagick</strong>, <strong>software-properties-common</strong>, <strong>gnupg</strong>などのようなシステムパッケージを追加して、 Node.jsセットアップスクリプトが機能するようにする必要があります。さらに言えば、デバッグ目的で<strong>vim</strong> や <strong>ssh</strong>のパッケージをインストールします。</p><p>一旦、そのイメージがアプリケーションを構築するために必要なものを全て揃えると、イメージは、アプリケーションのディペンデンシーをインストールし、アプリケーションをスタートするために npm start コマンドを使います。アプリケーションがポート 80 を使うので、そのポート 80 はエクスポーズされます。それは、エクスポーズパラメーターで指定されます。このアプリケーションのためにDockerイメージを構築する際には以下のコマンドを使用してください。</p><pre>$ docker build . -t express-image:0.0.1</pre><p>メモ:このフォーマット IMAGE_NAME:TAGを使ってイメージタグを特定することができます。</p><p>イメージを構築するには<strong>127.8 秒</strong>かかり、<strong>554MB</strong>になります。素晴らしいプラクティスを使ってこの結果を塗り替えましょう！</p><h3>Taking advantage of the build cache</h3><p>buildキャッシュは、先ほどお話したステップを基本としています。いつもそれを念頭に置いて、既存のレイヤーを減らすことで構築時間を削減してください。</p><p>それでは、コードの中の新しい変化を見ていくために自分のアプリケーションのイメージを再構築する過程をエミュレートしてみましょう。そうすることでどのようにキャッシュが機能しているかを理解することができます。そのためには、<strong>server.js</strong>の console.log の中で使われているメッセージを編集し、下のコマンドを使ってイメージを再構築してください。</p><pre>$ docker build . -t express-image:0.0.2</pre><p>イメージの構築に <strong>114.8 seconds</strong> かかります。</p><p>現在のアプローチを使うと、もしアプリケーションコード内の単一のビットが変化しても、システムパッケージをインストールすることを避けるためのbuildキャッシュを再利用することができません。しかし、もしレイヤーの順番を変えると、システムパッケージのインストールを避けられることができます。</p><pre>FROM debian</pre><pre>- # Copy application files</pre><pre>- COPY . /app</pre><pre># Install required system packages</pre><pre>RUN apt-get update</pre><pre>...</pre><pre>RUN apt-get -y install nodejs</pre><pre>+ # Copy application files</pre><pre>+ COPY . /app</pre><pre># Install NPM dependencies</pre><pre>...</pre><p>システムパッケージのインストールを避けて、同じコマンドを使用してイメージを再構築します。構築に<strong>5.8秒</strong>という結果でした！！この差はとても大きいものです！！</p><p>しかし、もし<em>README.md</em> の中の（もしくは、アプリケーションに関連していないレポジトリの中の）単一のキャラクターが変わったら何が起きるでしょうか？イメージに全ディレクトリをコピーして、キャッシュをもう一度捨てるでしょう！！</p><p>アプリケーションに影響を与えない変化を伴うキャッシュを確実に無効にしないようにするため、コピーするファイルを具体的に把握しておくべきです。</p><pre>...</pre><pre># Copy application files</pre><pre>- COPY . /app</pre><pre>+ COPY package.json server.js /app</pre><pre># Install NPM dependencies</pre><pre>...</pre><p>注：可能であれば「add」ではなく「copy」を使うようにしてください。両方のコマンドは基本的には同じ働きをしますが、「add」はもっと複雑です。（ファイルの展開やリモートソースからファイルをコピーしたりするような他の機能がついているからです）</p><h3>Avoiding packaging dependencies that you do not need</h3><p>プロダクションの中でコンテナを走らせるために構築するとき、すべての未使用のパッケージや、デバグ目的のためのものは取り除かれるべきです。</p><p>現在のDockerfileは <strong>ssh</strong>システムパッケージを含んでいます。しかし、ssh’ingを使う代わりに docker exec コマンドを使ったコンテナにアクセスできます。それとは別に、Dockerfileはデバッグ目的のために<strong>vim</strong> を含んでいます。それは、必要に応じてインストールでき、デフォルトでついているわけではありません。両方のパッケージはイメージから除くこともできます。</p><p>それに付け加え、不要なパッケージをイントールすることを避けるためにパッケージマネージャーをコンフィギュアすることもできます。そのためには、 apt-get コール上の — no-install-recommends フラグを使います。</p><pre>...</pre><pre>RUN apt-get update</pre><pre>- RUN apt-get -y install imagemagick curl software-properties-common gnupg vim ssh</pre><pre>+ RUN apt-get -y install --no-install-recommends imagemagick curl software-properties-common gnupg</pre><pre>RUN curl -sL https://deb.nodesource.com/setup_10.x | bash -</pre><pre>- RUN apt-get -y install nodejs</pre><pre>+ RUN apt-get -y install --no-install-recommends nodejs</pre><pre># Install NPM dependencies</pre><pre>...</pre><p>一方、システムパッケージをアップデート/インストールするために異なる構築ステップを使うことはあまり意味を成しません。というのも、イメージを再構築するときに古いパッケージをインストールすることができるからです。単一のレイヤー上でそれらのイメージを統合してみましょう。</p><pre>...</pre><pre>- RUN apt-get update</pre><pre>- RUN apt-get install -y --no-install-recommends imagemagick curl software-properties-common gnupg</pre><pre>+ RUN apt-get update &amp;&amp; apt-get -y install --no-install-recommends imagemagick curl software-properties-common gnupg</pre><pre>- RUN curl -sL https://deb.nodesource.com/setup_10.x | bash -</pre><pre>- RUN apt-get -y install --no-install-recommends nodejs</pre><pre>+ RUN curl -sL https://deb.nodesource.com/setup_10.x | bash - &amp;&amp; apt-get -y install --no-install-recommends nodejs</pre><pre># Install NPM dependencies</pre><pre>...</pre><p>最後にイメージサイズを小さくするために、パッケージマネージャーキャッシュを取り除きます。</p><pre>...</pre><pre>RUN apt-get update &amp;&amp; apt-get -y install --no-install-recommends imagemagick curl software-properties-common gnupg</pre><pre>- RUN curl -sL https://deb.nodesource.com/setup_10.x | bash - &amp;&amp; apt-get -y install --no-install-recommends nodejs</pre><pre>+ RUN curl -sL https://deb.nodesource.com/setup_10.x | bash - &amp;&amp; apt-get -y install --no-install-recommends nodejs &amp;&amp; rm -rf /var/lib/apt/lists/*</pre><pre># Install NPM dependencies</pre><pre>...</pre><p>もしもう一度イメージを再構築するのであれば…</p><pre>$ docker build . -t express-image:0.0.3</pre><p>…イメージは340MBに縮小されます！元々のサイズのほぼ半分です。</p><h3>Using minideb</h3><p>MinidebはミニマリストDebian-basedイメージで、コンテナのベースイメージとして使われる特定に構築するイメージです。イメージサイズを大幅に減らすために、それをベースイメージとして使います。</p><pre>- FROM debian</pre><pre>+ FROM bitnami/minideb</pre><pre># Install required system packages</pre><pre>...</pre><p>Minidebは install_packages と呼ばれるコマンドを含みます。</p><ul><li>名前がついたパッケージをインストールし、プロンプトを飛ばします</li><li>イメージサイズを小さく保ったままアプトメタデータをクリーンアップします。</li><li>もし apt-get インストラクションが失敗したら、構築に再度挑戦します。</li></ul><p>以下のコマンドのように apt-get インストラクションを置き換えます。</p><pre>...</pre><pre># Install required system packages</pre><pre>- RUN apt-get update &amp;&amp; apt-get -y install --no-install-recommends imagemagick curl software-properties-common gnupg</pre><pre>+ RUN install_packages imagemagick curl software-properties-common gnupg</pre><pre>- RUN curl -sL https://deb.nodesource.com/setup_10.x | bash - &amp;&amp; apt-get -y install --no-install-recommends nodejs &amp;&amp; rm -rf /var/lib/apt/lists/*</pre><pre>+ RUN curl -sL https://deb.nodesource.com/setup_10.x | bash - &amp;&amp; install_packages nodejs</pre><pre># Copy application files</pre><pre>...</pre><p>再度イメージを構築します。</p><pre>$ docker build . -t express-image:0.0.4</pre><p>お分かりのように、<strong>63ＭＢ</strong>以上も小さくなりました。現在のイメージサイズはたった<strong>277ＭＢ</strong>です！</p><p><a href="https://orangesys.io/">Orangesys.io</a>では、kuberneteの運用、DevOps、監視のお手伝いをさせていただいています。ぜひ私たちにおまかせください。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5a1cce993ae1" width="1" height="1" alt=""><hr><p><a href="https://medium.com/orangesys/best-practices-writing-a-dockerfile-part2-5a1cce993ae1">Best practices writing a Dockerfile — Part2</a> was originally published in <a href="https://medium.com/orangesys">Orangesys</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Why Monitoring Can Save Microservices]]></title>
            <link>https://medium.com/orangesys/why-monitoring-can-save-microservices-9f84010b4393?source=rss----76cb47efc39a---4</link>
            <guid isPermaLink="false">https://medium.com/p/9f84010b4393</guid>
            <category><![CDATA[microservices]]></category>
            <category><![CDATA[devops]]></category>
            <category><![CDATA[monitoring]]></category>
            <dc:creator><![CDATA[gavin.zhou]]></dc:creator>
            <pubDate>Wed, 10 Jul 2019 00:07:23 GMT</pubDate>
            <atom:updated>2019-07-08T01:39:45.059Z</atom:updated>
            <content:encoded><![CDATA[<h4><strong>なぜ監視でマイクロサービスを守れるのか</strong></h4><p>マイクロサービスアプリケーションの開発段階において、監視がプロセスから欠けていることが本当によくあります。そのため、開発者はマイクロサービスが導入された後に処理しなければいけない多くの面倒な作業を省くためには、とにかく何よりも監視を念頭に置いてコードを設計したり構築したりする必要があります。</p><p>確かにRaygun’s <a href="https://raygun.com/platform/crash-reporting">Error Monitoring（エラーの監視）</a> and <a href="https://raygun.com/platform/apm">Application Performance Monitoring（アプリケーションのパフォーマンスの監視）</a> (APM)などのようなシステムはすごく簡単な手順を踏むだけで監視をマイクロサービスに統合することができます。</p><p>しかし、デベロッパーたちはマイクロサービスを生成する際には、監視システムをより強靭に、そしてより効果的なものとして作らなければいけません。ただ、それは実際に不可能なことではありません。</p><p>ここにその方法と、なぜそれが重要なのかを挙げておきます。</p><h3>The Big Picture</h3><p>マイクロサービスアーキテクチャーにおいて、ビジネスの過程は複数のサービスに分配されています。例えば本を売るようなオンラインシステムを考えてみてください。まず本をカートに入れて、発送するための情報を受け、支払いの過程を経て、在庫の調整をするというのが販売の流れです。ほとんどのマイクロサービス設計では、別々になったサービスがそれぞれの段階を担っています。その販売を監視するということはいくつかのサービスを包括的に見ていくということです。</p><p>Martin Fowler氏がこの問題について <a href="https://www.martinfowler.com/articles/microservices.html#DecentralizedDataManagement">マイクロサービス関連の彼のブログ</a>で言及しています。 ガバナンスを減らすことはマイクロサービスにおいてすごくメリットがあることの一つです。チームは個別のスケジュールに沿って、自分たちの設計したものを用いて作業できます。しかし、個別での業務するということはとてもコストがかかることなのです。チームのそれぞれのメンバーが個々に異なるデータ表示方法を選択する場合、集中した監視の問題が出てきます。</p><p>以下に、<a href="https://martinfowler.com/articles/microservices.html">Martin Fowler氏がその問題について説明した部分を抜粋しておきます。</a></p><p>「一番抽象的なレベルにおいて、それはシステム間で異なる世界のコンセプトモデルを意味します。この問題は統合の際に大企業の大部分が悩まされる問題です。その顧客のセールスビュー（売上画面）はサポートビューとは異なります。セールスビューで顧客と呼ばれるものが、サポートビューにまったく表示されない場合があります。」</p><p>しかし、Fowler氏はここでは特別な解決方法を取っておらず、この問題を回避する方法について具体的な解決策を提案していません。ただ私は、ガバナンスと協力は全く別物で、一つを取らないということがもう一つを捨てるという意味にはならないと思っています。</p><p>あなたの組織はみんなで協力することをよしとしたり、コントロールを集中化させることを促したりしているかもしれません。どっちにしろ、自分のアプリケーションの監視をよりよいものにするという手順を踏んでいくことができるのです。この３つを見てみましょう。</p><h3>Logging</h3><p>logは一番基本的な監視のメカニズムです。自分のアプリケーションに導入することができます。一方、多くのデベロッパーたちはlogエラーを報告するものだと思っています。またイベントやアプリケーションの状態を報告するためのメカニズムだと思っているデベロッパーたちも多くいます。</p><h3>Managing Logs</h3><p><a href="https://12factor.net/">Twelve-Factor app</a>において、Adam Wiggins氏はlogを<a href="https://12factor.net/logs">イベントストリーム</a>としています。どのようにアプリケーションがlogメッセージの生成を設計するための使いやすいアブストラクションです。Adam Wiggins氏は、自分のアプリケーションの外へlogファイルの管理をデリゲート（委譲）することを提案しています。自分のコードは、logメッセージをそれらが属する場所に送信する外部のエージェントに渡すべきです。そのインフラストラクチャーはインデックスや検索のための中央のシステムの中のlogインフォメーションを収集します。</p><p>これで、デベロッパーたちがlogの行く先を心配する必要がなくなります。しかし、デベロッパーたちがコンテンツを使いやすいようにしなければいけないというところは以前変わりません。そのインフォメーションlogメッセージには含まれており、アプリケーションがそれらを作成する理由が大切なのです。デベロッパーたちは他のアプリケーションアーティファクトのようにlogメッセージを設計しなければいけません。</p><h3>Log Contents</h3><p>また書籍販売のアプリケーションに話を戻しまう。すぐに6つのlogメッセージを確認することができます。</p><ol><li>カートに入れられた商品</li><li>チェックアウトの開始</li><li>発送に関連する情報を取得する</li><li>送料の計算</li><li>支払い手続き</li><li>在庫調整</li></ol><p>それぞれのメッセージのおかげで販売の過程が進むようになっています。もしそのメッセージがタイムスタンプを含んでいるのであれば、どのように上手くそのシステムが機能しているのかを見ることができるはずです。ここで重要なポイントは、loggingは失敗ではないということです。イベントをloggingすることにより、アプリケーション内部のオペレーションや状態の写真を作ることができます。そして、自分のコードは計測したいもしくは追跡したいイベントをlogする必要があります。場所を節約するためや、信号雑音比を保存するためにメッセージをあまり利用しないようにする意味はありません。ElasticSearch のようなlog管理システムのおかげで自分が探しているものを簡単に見つけることができるようになります。ご自身のインフラストラクチャーに追加してみてください。そしてエラーlogや分析のための特別なシステムの中の例外を加工するための<a href="https://raygun.com/platform/crash-reporting">Raygun’s Crash Reporting</a> のようなエラー報告のように使ってみてください。</p><p>logメッセージの中の内容を特定することも重要です。Wiggingはどのloggingライブラリの使用も推奨していないように見えます。しかし、内容のない標準出力するためのloggingメッセージは、効果的な方法とは言えません。ほとんどのlogging APIは,</p><p>時間、severityレベル、クラスやソースのファイル名などを追加します。またlogging APIは標準出力、もしくはLogStash、FluentDのような外部のアプリケーションによって加工されるファイルへ送られることもあります。重要なポイントです。</p><p>またlogメッセージはデベロッパーたちだけではなく、色々な人にとってとても役に立つツールです。メッセージコンテンツに携わる開発チームやオペレーションすることがとても重要なステップなのです。</p><h3>Health Checks</h3><p>logは何かが起こったとき、正しいことをしたとき、間違ったことをしたときなどに知らせてくれるのでとても便利です。監視システムがlogを読み、アラームを発動するために使われます。loggingは予防策ではなく、何かが起こった時に対応するものです。完全な監視ソリューションはアクティブなメカニズムになっています。</p><p>デベロッパーたちはヘルスチェックを伴った予防策的な監視を追加することができます。そのヘルスチェックは定期的にサービスを調べるための監視システムのメカニズムです。その結果によって、アラームを通して状態を報告し、ダッシュボードに表示してくれます。</p><p>そのチェックはオペレーションの結果に対する「up」や「down」のような決まった値を返すこととは異なる可能性があります。例えば、チェックは現行の取引をシュミレーションすることができます。上に挙げた書籍販売の例に当てはめると、模擬のショッピングカートへの本の追加や、カタログにはない本の在庫の処理のような取引のステップをシュミレーションすることをそれぞれのサービスがサポートするということです。こういった種類のヘルスチェックは、サービスヘルスとそれらが依存するインフラストラクチャーの両方を検証します。そのため、それらは顧客が問題を見つける前のヒントを与えてくれます。</p><p>それらのヘルスチェックを特定するように、設計に組み込まれるべきですし、アプリケーション開発の構築段階で含まれるべき機能です。</p><h3>APM and Instrumentation</h3><p>デベロッパーたちはインストールしてくれるライブラリを伴うコードを構築するか、送信するかによってアプリケーションのパフォーマンス監視を追加するっことができます。それらの監視システムの一つは、自身のダッシュボードを利用します。サービスを統合するということはオペレーションを伴うということです。そしてデータ収集にはサービス上においてまた更に他のソフトウェアも必要です。追加で調整をする必要があるのとインストール作業が必要ですが、これらのツールは問題を事前に発見し、システムパフォーマンスを向上させるための貴重な情報を提供してくれます。</p><p>例えば、Raygun’s <a href="https://raygun.com/platform/apm">APM</a> と <a href="https://raygun.com/platform/crash-reporting">Error and Crash Reporting</a> そのターゲットアプリケーションとリンクしているライブラリを提供してくれます。そのライブラリは、関連する統計、log、データなどをRaygun’sプラットフォームに報告します。</p><h3>Application Design Includes Monitoring</h3><p>デベロッパーたちはシステム監視の中で積極的な役割を担う必要があります。QAがリリースした後の監視のため後付けのアプリケーションは、マイクロサービスシステム上では上手く機能していません。監視の条件はアプリケーションデザインに起因するべきで、ビジネスの面での条件と同じインポートとして扱われるべきです。マイクロサービスアーキテクチャーのおかげで、開発チームはすごい自主性を得ることができました。しかし、他の状況と同じように「大いなる力には大いなる責任が伴う」ということを決して忘れてはいけないのです。</p><p><a href="https://orangesys.io/">Orangesys.io</a>では、kuberneteの運用、DevOps、監視のお手伝いをさせていただいています。ぜひ私たちにおまかせください。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9f84010b4393" width="1" height="1" alt=""><hr><p><a href="https://medium.com/orangesys/why-monitoring-can-save-microservices-9f84010b4393">Why Monitoring Can Save Microservices</a> was originally published in <a href="https://medium.com/orangesys">Orangesys</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Best practices writing a Dockerfile — PartI]]></title>
            <link>https://medium.com/orangesys/best-practices-writing-a-dockerfile-parti-15c7a952d308?source=rss----76cb47efc39a---4</link>
            <guid isPermaLink="false">https://medium.com/p/15c7a952d308</guid>
            <category><![CDATA[devops]]></category>
            <category><![CDATA[docker]]></category>
            <category><![CDATA[dockerfiles]]></category>
            <dc:creator><![CDATA[gavin.zhou]]></dc:creator>
            <pubDate>Wed, 10 Jul 2019 00:07:05 GMT</pubDate>
            <atom:updated>2019-07-10T00:06:34.434Z</atom:updated>
            <content:encoded><![CDATA[<h3>Best practices writing a Dockerfile — PartI</h3><h4>Dockerfile の作成のベストプラクティス — 第一章</h4><h3>Dockerfileを書くためのベストプラクティス</h3><p>今回は、Dockerfileを書くためのベストプラクティスをご紹介いたします。長い記事なので3つに分けて続けてお届けします。今回は、DockerfileやDockerimageについての基本的なお話を最初にお話ししていきたいと思っています。</p><p>初めてのDockerコンテナを出したのは2015年です。そのDockerfilesを書くテクニックは、以前のものよりも発展したものでした。130以上のアプリケーションを伴うコンテナカタログを管理しているチームの一員として、私はコンテナを改造していて、コミュニティーの条件に合うようにDockerfilesを調整していました。</p><p>このチュートリアルにおいては、私は実践的な例を具体的に挙げた上で、Dockerfilesを開発するときみんなが陥るであろう落とし穴や、必要になるベストプライスをご紹介していきたいと思っています。まず初めに、特定のケースを見ていく前に、簡単に基本的なコンセプトを説明しておきます。それから、具体的な例を挙げて、構築時間、サイズ、Dockerイメージのセキュリティーを改善できるための説明をしていきたいと思っています。そのために、今から教えるコツをきちんと理解するために、必要なすべてが含まれている<a href="https://github.com/juan131/dockerfile-best-practices">GitHub repository</a> を提供しています。</p><h3>Refreshing basic concepts about Docker images and Dockerfiles</h3><p>この記事において、みなさんがDockerとその構築環境についてよくご存じであるという前提で説明をしていきますが、実践的な内容に入る前に少し基本的なコンセプトを復習しましょう。</p><h3>What is a Docker image?</h3><p>Dockerイメージとは何でしょうか。Docker イメージがあれば走っているコンテナのインスタンスを生成することができます。ファイルシステムにおいては、インストラクションのリスト（レイヤーとも言われる）と表現されます。</p><h3>What is a Dockerfile?</h3><p>Dockerfile（Dockerファイル）とは何でしょうか。DockerfileはDockerイメージを構築するためのインストラクションが含まれている設計図のことを指します。現在、GitHubには100万いじょうのDockerfileが存在します。</p><h3>What does “Docker build” mean?</h3><p>「Docker build」が意味するものは何でしょうか。これはDockerfileからDockerイメージを構築する価値のことを意味します。</p><p><a href="https://docs.docker.com/engine/reference/builder/">Dockerfile reference</a>により詳しい情報が載っていますので参考にしてください。</p><h3>What is a Docker layer?</h3><p>Docker layerとは？ DockerイメージのDockerfileに含まれているインストラクションとしての意味を持つDockerコンテクストの中のそれぞれのレイヤーのことです。そのレイヤーは「build steps」と呼ばれます。</p><h3>What is the Docker build cache?</h3><p>Docker buildキャッシュとは何を意味するでしょうか。Dockerイメージを作るたびごとに、それぞれのbuild stepはキャッシュされます。構築時間を改善するためにイメージの再構築過程において変化しないキャッシュされたレイヤーを再利用します。</p><h3>Concerns when building images主な改善点を挙げておきます。</h3><ul><li>一貫性：自分のイメージを一貫して設計し続けるのであれば、維持するのはより簡単になり、新しいイメージを開発するときにも、それにかかる時間を減らすことができます。</li><li>構築時間：継続的なインテグレーション（CI）パイプラインの中でbuildがインテグレート(統合)されるときには特に、構築時間を短くすることがアプリケーション開発のコスト削減に直結します。</li><li>イメージサイズ：セキュリティー、パフォーマンス、効率、保守性（維持管理のしやすさ）を改善するため、イメージサイズを小さくすること。</li><li>セキュリティー：プロダクション環境にとって重要なのは、アプリケーションを外部の脅威や攻撃から保護するために、コンテナを保護することが非常に重要です。</li></ul><p><a href="https://orangesys.io/">Orangesys.io</a>では、kuberneteの運用、DevOps、監視のお手伝いをさせていただいています。ぜひ私たちにおまかせください。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=15c7a952d308" width="1" height="1" alt=""><hr><p><a href="https://medium.com/orangesys/best-practices-writing-a-dockerfile-parti-15c7a952d308">Best practices writing a Dockerfile — PartI</a> was originally published in <a href="https://medium.com/orangesys">Orangesys</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Serverless: Cold Start War 第二章]]></title>
            <link>https://medium.com/orangesys/serverless-cold-start-war-%E7%AC%AC%E4%BA%8C%E7%AB%A0-f40af7c856aa?source=rss----76cb47efc39a---4</link>
            <guid isPermaLink="false">https://medium.com/p/f40af7c856aa</guid>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[azure]]></category>
            <category><![CDATA[serverless]]></category>
            <dc:creator><![CDATA[gavin.zhou]]></dc:creator>
            <pubDate>Mon, 01 Jul 2019 00:33:03 GMT</pubDate>
            <atom:updated>2019-07-01T00:32:31.026Z</atom:updated>
            <content:encoded><![CDATA[<h4><strong>サーバーレス：Cold Start問題について</strong></h4><p>前回の続き、cold startについて引き続き見ていきたいと思います。cold startのレイテンシーなどについて説明しています。</p><h3>Parallel requests</h3><p>cold startはアプリケーションの最初のインスタンスが準備されたときだけに発生するのではありません。すべての準備されたインスタンスが今から起きるイベントを処理するのに忙しくしているときはいつでも同じような問題が起きます。とはいうものの、また次のイベントは来ていません（スケールアウト時において）</p><h3>Reading Candle Charts</h3><p>以下のセクションでは、実験中に計測したcold startの時間の統計分布を示したチャートをお見せします。私は何度も繰り返し実験を行い、メトリックの値をグループ分けしました。例えば、クラウドプロバイダーや、言語で分けるということです。</p><p>それぞれのグループはチャート上で「ろうそく」で表示されています。それぞれのろうそくの見方を下に提示しています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*4IvS-auoY85R4DiF.png" /></figure><h3>Memory Allocation</h3><p>AWS LambdaとGoogle Cloud Functionsは、機能の単一のインスタンスへ割り当てられるメモリーサイズを設定する機能を持っています。ユーザーは、作成時に128MBから2GB、もしくはそれ以上の値を選択することができます。</p><p>ではこれがcold startの時間に影響するのでしょうか？</p><p>メモリー/CPUのサイズ全体的なcold startのレイテンシーを比較するためのテストを繰り返し行いました。結果は、少し複雑になっています。</p><p>AWS Lambda Javascriptには特筆すべき差があるようには見えません。これは、おそらくそれほど多くのCPUロードがNode.jsの「Hello World」というアプリケーションを開始する必要がないということを意味します。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*iThnQcORMvf5w7SO.png" /></figure><p>AWS Lambda .NET Coreのランタイムは、メモリーサイズには影響されません。cold startの時間は、割り当てられたメモリーやCPUの増加ごとに劇的に短くなります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*yFzJQeCi5aZlVUNl.png" /></figure><p>GCP Cloud FunctionsはJavascriptランタイムのために同じようなエフェクトをエクスポーズします。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*5X5KWFPJm4nc7ArA.png" /></figure><p>Amazon、Googleとは対照的にMicrosoftはメモリーリミットを選択させるようなことはさせません。Azureは実際のメモリー使用率をベースとしたFunctionを求めます。さらに重要なことには、それは常に所定のFunctionの実行のための完全なvCoreを提供するということです。</p><h3>Javascript Baseline</h3><p>Node.jsは現在はGoogle Cloud Functionsによってサポートされている制作途中の単なるランタイムでしかありません。Javascriptもまた全体としてサーバーレスアプリケーションのための断トツで一番人気の言語です。</p><p>このように、Javascriptの中でそれらの３大クラウドプロバイダーがどのような動きをするのかを比較することは重要な意味があります。その基本的なテストでは、「Hello World」タイプの機能のcold startを計測しました。Functionsはディペンデンシーを持ちません。そのため、デプロイメントパッケージは本当にとても小さいのです。</p><p>ここにcold startの数を示しておきます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*SAvkZe0bJPtpHbpw.png" /></figure><p>AWSはここでははっきりと素晴らしい役割を果たしていることが分かります。GCPは2番目で、Azureは一番遅いです。それほど大きな差が見られるわけではありませんが、表面上、同じ枠内で機能しているため、配置が時間とともに変わります。</p><h3>How Do Languages Compare?</h3><p>クラウドプラットフォームの対応しているすべての言語でHello World HTTPファンクションを書きました。</p><ul><li>AWS: Javascript, Python, Java, Go and C# (.NET Core)</li><li>Azure: Javascript and C# (precompiled .NET assembly)</li><li>GCP: Javascript</li></ul><p>AzureはPythonやJavaを含む、より多くの言語に対応しています。しかし、それらはまだまだ実験的なものでしかすぎません。そのため、cold startは完全に最適化されていません。正確な数は、 <a href="https://mikhail.io/2018/04/azure-functions-cold-starts-in-numbers/"><strong>前回の記事</strong></a>を参考にしてください。</p><p>同じようものをGCP上のPythonへ。</p><p>以下のチャートは、言語ごとのcold startのインチューションを示しています。言語は、一番低いものから一番高いものへ、平均応答時間をベースにして規則正しくなっています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*7UVd77SjTZ4lq02C.png" /></figure><p>AWSはランタイムのもっとも豊富なものを提供しています。そして、5つのうち４つが他の２つのクラウドプロバイダーよりもより速いという結果になりました。C# / .NETの最適化が一番されていないようです。（Amazonはなぜでしょうか？）</p><h3>Does Size Matter?</h3><p>はい、Hello Worldについては十分に検証できたと思います。現実での機能はもっと重いと思います。というのは主に、それは他のサードパーティのライブラリーに影響を受けるからです。</p><p>それらの状況をシュミレーションするために、もっと他のディペンデンシーを伴った機能のためのcold startを計測しました。</p><ul><li>3 NPM パッケージを参照するJavascript — 5MB zip形式</li><li>38 NPM パッケージを参照するJavascript — 35 MB zip形式</li><li>5 NuGet パッケージを参照するC# function — 2 MB zip形式</li><li>5 Mavenパッケージを参照するJava function — 15 MB zip形式</li></ul><p>こちらに結果があります。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*FjN6f7zMVLGtABAu.png" /></figure><p>予想した通り、依存関係によって読み込みが遅くなります。Functionsを無駄にしないようにしておく必要があり、それ以外の場合は、すべてのcold startに対して秒単位で料金を支払っていくのです。</p><p>しかし、cold startの増加は急速です。特にプリコンパイル（事前にコンパイル）された言語に対しては著しく増加します。</p><p>GCP Cloud Functionsの最高にかっこいい特徴は、デプロイメントのアーカイブにNPMパッケージを含めなくてもいいところです。ただ単純にpackage.json ファイルを追加するとランタイムがそのファイルをリストア（修復）してくれるからです。これのおかげでデプロイメントアーティファクトが驚くほど小さくなります。しかし、cold startが遅くなったようには見えません。実際のリクエストが来る前に、事前にGoogleはパッケージをプレリストア（事前にリストア）するというのは明確です。</p><h3>Avoiding Cold Starts</h3><p>cold startが遅延するのはそこまで頻繁ではないというのが全体から受ける印象です。ほとんどのアプリケーションはcold startの遅延を許容しています。</p><p>もし、そうでない場合、functionのインスタンスをwarmに保つように実行するコツがいくつかあります。そのアプローチは、３つのプロバイダーにとって共通しているものです。それはX分に1回、期限切れを防ぐためにfunctionをわざと呼び出すという方法です。</p><p>実行の内容も異なります。というのも上記で説明したように有効期限ポリシーが異なるからです。</p><p>より高いロードプロフィルを伴ったアプリケーションいとっては、十分なインスタンスがwarmストックの中で保たれているということを確実にするために、同時にいくつかの「warming」リクエストを発動しないといけないかもしれません。</p><p>これについてより詳しく知りたい方は私の <a href="https://mikhail.io/2018/05/azure-functions-cold-starts-beyond-first-load/"><strong>Cold Starts Beyond First Request in Azure Functions</strong></a> and <a href="https://mikhail.io/2018/08/aws-lambda-warmer-as-pulumi-component/"><strong>AWS Lambda Warmer as Pulumi Component</strong></a>を御一読ください。</p><h3>Conclusions（まとめ）</h3><p>こちらに上記で述べた実験から学んだことをまとめておきます。</p><p>・一番小さなFunctionに対しても、1～3秒のcold startの準備をする</p><p>・異なる言語やランタイムは、同じプラットフォーム内でだいたい同じくらいのcold startを持つ</p><p>・ディペンデンシーの数を最小にするためには、必要なものだけを取り入れる</p><p>・AWSはcold startをなんと１秒以内におさめることができる</p><p>・すべてのクラウドプロバイダーはその問題に気づいていて、積極的にcold startのエクスペリエンスを最適化しようとしている</p><p><a href="https://orangesys.io/">Orangesys.io</a>では、kuberneteの運用、DevOps、監視のお手伝いをさせていただいています。ぜひ私たちにおまかせください。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f40af7c856aa" width="1" height="1" alt=""><hr><p><a href="https://medium.com/orangesys/serverless-cold-start-war-%E7%AC%AC%E4%BA%8C%E7%AB%A0-f40af7c856aa">Serverless: Cold Start War 第二章</a> was originally published in <a href="https://medium.com/orangesys">Orangesys</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Serverless: Cold Start War 第一章]]></title>
            <link>https://medium.com/orangesys/serverless-cold-start-war-%E7%AC%AC%E4%B8%80%E7%AB%A0-7e62d3d273c?source=rss----76cb47efc39a---4</link>
            <guid isPermaLink="false">https://medium.com/p/7e62d3d273c</guid>
            <category><![CDATA[serverless]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[azure]]></category>
            <dc:creator><![CDATA[gavin.zhou]]></dc:creator>
            <pubDate>Fri, 28 Jun 2019 00:26:59 GMT</pubDate>
            <atom:updated>2019-06-28T00:26:16.480Z</atom:updated>
            <content:encoded><![CDATA[<h4>サーバーレス：Cold Start問題について</h4><p>今回は今ホットな話題であるサーバーレスのクラウドサービスにおけるCold Startについての記事をご紹介します。2回に分けて投稿します。</p><p>サーバーレスクラウドサービスは今すごく人気です。</p><p>AWS Lambda, Azure Functions、Googleのクラウドファンクションはすべてクラウドネイティブのサーバーレスアプリケーションの急速な開発を可能にするという点において共通しています。</p><p>自動プロビジョニング、自動スケーラビリティーというものは、それらのFaaS（Function as a Service）クラウドが提供する必須の機能です。管理が不要で、クラウドプロバイダーは、実際の入ってくる負荷に基づいてユーザーにインフラストラクチャーを提供します。</p><p>このようなダイナミックなプロビジョニングの弱点の一つは「cold start（コールドスタート）」と呼ばれる現象です。基本的にしばらく使っていないアプリケーションを起動し最初のリクエストを処理するのに少し時間がかかります。</p><p>クラウドプロバイダーには、一般的で特殊なスキルのない人材が大勢います。０～1のインスタンス、もしくは同様にNからN＋１まで、サーバーレスのアプリケーションを拡大する必要がある場合、ランタイムで余裕があるリソースを1つ選んで、アプリケーションという名のものを処理するためにコンフィギュアします。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*sMjz8WR3ZjFXgFh0.png" /></figure><p>この処理に時間がかかるのです。そのため、アプリケーションイベントのハンドリングのレイテンシーが増加します。イベントごとにこれが起きるのを避けるために、特定の作業者はある一定期間、そのままにされます。そして、他のイベントが起きたら、この作業者はできるだけ早くそれを処理するために、待っています。これを「warm start（ウォームスタート）」と呼びます。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*jNzjLdSoc7jA62Md.png" /></figure><p>cold startのレイテンシーの問題点は、何度も指摘されています。ここにリンクを張っておきます。</p><ul><li><a href="https://blogs.msdn.microsoft.com/appserviceteam/2018/02/07/understanding-serverless-cold-start/"><strong>サーバーレスCold Startを理解する</strong></a></li><li><a href="https://hackernoon.com/cold-starts-in-aws-lambda-f9e3432adbf0"><strong>AWS Lambdaにおけるcold startについて知っておくべきこと</strong></a></li><li><a href="https://serverless.com/blog/keep-your-lambdas-warm/"><strong>Functionをウォームにしておくこと</strong></a></li><li><a href="https://theburningmonk.com/2018/01/im-afraid-youre-thinking-about-aws-lambda-cold-starts-all-wrong/"><strong>AWS Lambdaのcold startについてあなたが間違っていること</strong></a></li></ul><p>今回この記事では、どのようにcold startが以下のことをどのように比較するかを理解してもらうことです。</p><ul><li>三大クラウドプロバイダー (Amazon, Microsoft, Google)の中で</li><li>異なる言語とランタイムで</li><li>より小さいアプリケーション VS より大きいアプリケーション（ディペンデンシーを含む）</li><li>cold startがどのくらいの頻度で発生するか</li><li>cold startを最適化するためにできること</li></ul><p>それでは、どのように上記のことを達成したか、そしてその結果はどうだったのかを見ていきたいと思います。</p><p><strong>免責事項</strong>：パフォーマンスのテストは困難を極めます。重要なファクターや結果に影響するパラメーターを考慮していない可能性もあります。私の解釈が間違っているということもあり得ます。結果はその状況によって異なります。もし、私の行ったテストを改善する方法を知りたいというのであれば、ぜひ教えてください。もう一度テストを走らせて、結果をもう一度公開します。</p><h3>Methodology</h3><p>すべてのテストはHTTPファンクションに対して走っています。というのも、そこでcold startが一番の問題になるからです。</p><p>すべての機能はインスタンスID、言語などを報告するシンプルなJSONを返してきていました。いくつかの機能も、また余分なディペンデンシーをロードしていました。下を見てみてください。</p><p>クラウドプロバイダーによって報告された実行時間を参考にはしていませんでした。その代わりに、クライアント視点からみたend-to-endの期間を計測しました。これは、HTTPゲートウェイの期間を意味します（例えば、AWSという状況でAPIゲートウェイが全体の期間に含まれています。）しかし、すべてのコールは同じ地域から来ていて、ネットワークのレイテンシーは最小限の影響力に留めるべきです。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/529/0*FDhtW2HVOZyBBOYM.png" /></figure><p>重要なこと：サービス/言語のGAバージョン（一般的に利用可能）上でテストを走らせました。なので、AzureテストはFunctionsランタイム(.NET Framework)のバージョン１の中で実行されています。そしてGCPはJavascriptランタイムのためだけに作られました。</p><h3>When Does Cold Start Happen?</h3><p>当然cold startは最初のリクエストが来たときに発生します。そのリクエストが処理された後、それに続いて発生するリクエストが生きている状況において、そのインスタンスは生きています。でも、それはどのくらいの時間でしょうか？</p><p>このセクションのチャートを解読しやすいようにするため、青色のドットでcold startを表示し、オレンジ色でwarm startを表示しました。</p><h3>Azure</h3><p>ここにAzureのチャートがあります。これは、前回のリクエスト発生からの経過時間（X軸）によって変化する異なる言語とランタイムバージョン（Y軸）のリクエストデュレーションを標準に戻した値を示しています。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*sNz8nZAMVOvdMq4m.png" /></figure><p>すぐに見て分かると思いますが、アイドルインスタンスは20分生きています。そして、リサイクルされます。すべてのインスタンスは20分後しきい値をリクエストして新たなcold startが始まります。</p><h3>AWS</h3><p>AWSはもっとやっかいです。ここに同じようなチャートがあります。関連するデュレーションVS最終のリクエストからの時間です。AWS Lambdaに対して測定しました。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*JXk0tWg3mgAbPSAx.png" /></figure><p>ここには明確なしきい値というのは存在しません。このサンプルでは、前回のインボケーション(呼び出し)の後28分以内にはcold startは発生しません。結局、cold startの発生頻度は少しずつ上がっていきます。しかし、1時間何も起きなかった後、まだインスタンスが生きていて、リクエストを起こす準備をしていることもあります。</p><p>最後のインボケーションの後５分だけAWS Lambdasが生きているという正式な情報とは食い違っています。これについてChris Munns氏に確認し、以下のような解答を頂いています。</p><p>ここで学んだことは：</p><p>・AWSはcold startのエクスペリエンスを向上するために機能している（そしておそらくAzure/GCPも同じです）</p><p>・この結果はあなたのアプリケーションでも再現できるかどうかは分かりません。というのも、この前行った調整に影響を受けているからです。</p><h3>GCP</h3><p>Google Cloud Functionsに私は完全に戸惑っています。ここに同じようなGCP cold startのチャートがあります。（もう一度言いますが、オレンジがwarm startで、青い色がcold startです）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*xAxI0eHSV5mcc8Kg.png" /></figure><p>これを見ると完全にランダムに発生しているとしか思えません。cold startは前回のリクエストから3分以内に発生するか、もしくはインスタンスが1時間ずっと生き続けているか、です。cold startの発生確率は、インターバルに影響を受けていないように見えます。少なくともこのチャートだけを見ると。</p><p>この状況について、どんな考え方でもいいので何が起こっているか皆さんの考えをお聞かせください！</p><p><a href="https://orangesys.io/">Orangesys.io</a>では、kuberneteの運用、DevOps、監視のお手伝いをさせていただいています。ぜひ私たちにおまかせください。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7e62d3d273c" width="1" height="1" alt=""><hr><p><a href="https://medium.com/orangesys/serverless-cold-start-war-%E7%AC%AC%E4%B8%80%E7%AB%A0-7e62d3d273c">Serverless: Cold Start War 第一章</a> was originally published in <a href="https://medium.com/orangesys">Orangesys</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>