<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Junya Ogasawara on Medium]]></title>
        <description><![CDATA[Stories by Junya Ogasawara on Medium]]></description>
        <link>https://medium.com/@0gajun?source=rss-28ed0c04cea7------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*DjCHNfecU2Qm-N3P.</url>
            <title>Stories by Junya Ogasawara on Medium</title>
            <link>https://medium.com/@0gajun?source=rss-28ed0c04cea7------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 09:25:25 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@0gajun/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[CircleCIのJob突然死と戦った話]]></title>
            <link>https://medium.com/@0gajun/circleci%E3%81%AEjob%E7%AA%81%E7%84%B6%E6%AD%BB%E3%81%A8%E6%88%A6%E3%81%A3%E3%81%9F%E8%A9%B1-3b06b8b0e4da?source=rss-28ed0c04cea7------2</link>
            <guid isPermaLink="false">https://medium.com/p/3b06b8b0e4da</guid>
            <category><![CDATA[circleci]]></category>
            <dc:creator><![CDATA[Junya Ogasawara]]></dc:creator>
            <pubDate>Fri, 21 Dec 2018 04:21:51 GMT</pubDate>
            <atom:updated>2018-12-21T04:21:51.834Z</atom:updated>
            <content:encoded><![CDATA[<p>この記事は、<a href="https://qiita.com/advent-calendar/2018/circleci">CircleCI Advent Calendar 2018</a> 21日目の記事です。</p><p>この記事は12月3日に開催された <a href="https://kakakakakku.hatenablog.com/entry/2018/12/04/085501?fbclid=IwAR2pd8BMlxNocpH89CPTOt77sYbyAhb2x9zUYgeCJnz4N3lI77cVTXdmeJI">CircleCI Japan User Community Kickoff</a> で発表した内容をブログにしたものです。</p><h3>本記事</h3><p>本記事では以下の内容について話します。</p><ul><li>CircleCIのPerformance PlanにおいてResource Class変更に伴って発生したJobの突然死の内容</li><li>その死因調査のために調べたこと</li><li>我々がその突然死に対して対応できること</li></ul><h3>Performance Planとは</h3><p>ビルド時間、及びチームの人数に応じて課金されるCircleCIの新しい従量課金プランです。従来の予め並列実行可能なコンテナ数を購入するプラント異なり、同時実行コンテナ数が無制限かつ、使用するvCPUの数とメモリの量が選択可能なのが主な特徴です。</p><p>詳しくは会社のエンジニアブログで紹介しています 👍</p><p><a href="https://moneyforward.com/engineers_blog/2018/10/01/circleci-performance-plan/">CircleCIのPerformance Planが控え目に言って最高という話 | Engineers&#39; Blog</a></p><h3>Jobの突然死</h3><p>弊社には64コンテナ・medium(2vCPU/4GB) resource classで実行していた比較的巨大なRailsアプリケーションがありました。しかし、RSpecをピュアに使っていてもマルチコアを生かせないので、コスト削減のためにmedium -&gt; small (1vCPU/2GB)へ変更してみると</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*v6B7EuEw4oySnW2ai2XSZg.png" /><figcaption>resource class変更直後のJob実行結果</figcaption></figure><p>RSpecではないところで<strong>Jobが突然死…!</strong></p><p>それまで64コンテナ全てSuccessになっていたものが、64コンテナ中21コンテナがattach_workspaceステップでfailするようになってしまいました。何度かリランしても、failするコンテナ数が毎回変動するだけでpassしない状況は変わりません。</p><p>RSpecを実行するstepで突然死していればspecに何か問題があったり、リソースの使いすぎでOOM Killerによる不遇の死を疑うことができます。しかしながら、CircleCI組み込みのステップでfailするのは不可解です。</p><h4>サポートへの問い合わせ</h4><p>とりあえずサポートに問い合わせたところ、以下の回答をもらいました。</p><ul><li>Workspace Sizeが大きいと、decompressに多くのメモリが必要だよ</li><li>Resource Classを下げないでみてね</li></ul><p>workspace sizeは750MB ~ 800MBと大きいが、果たして本当にそうなのか？ 🤔</p><p>確かにmediumの4GBだとこの問題は生じません。しかし、数十GBの大きなファイルをローカルで展開しても、 tarや gzip はあまりメモリを喰わないので2GB使い切らないはずです。</p><p>詳しく調査しないでこのままmediumに戻してしてしまったら、お金が… 💸ちゃんと調べて納得した上でmediumに戻したい 💪</p><h3>Job突然死の死因調査</h3><p>Resource Class変更後に突然死し始めたので、きっとOOM Killerだろう。ということで、とりあえずSSHしてtopして眺めてみました。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BNPbNYmRe6qkrmUiunLutQ.png" /><figcaption>attach_workspace中のtop結果</figcaption></figure><p>tar 及び gzip は 0.0% でほぼメモリを使っておらず、 mysqld も 0.3% のおおよそ 180MB ぐらいでsmallの制限である2GBには程遠い状況でした 👀</p><p>このままでは何故OOM Killerに殺されたのかわかりません。Circle CI 2.0から各ジョブはDockerコンテナ内で動作するようになったので、コンテナのリソース制御を行っている cgroup を見てみることにしました。</p><p>コンテナ内にSSHして、 attach_workspace ステップでの /sys/fs/cgroup/memory/memory.max_usage_in_bytes を観察したのが以下のgifです。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/511/1*bzHqb_Kd30Cs90e_7aUt4Q.gif" /><figcaption>attach_workspaceステップにおける/sys/fs/cgroup/memory/memory.max_usage_in_bytesの変化</figcaption></figure><p>このデータを取ったコンテナは幸いにもkillされなかったコンテナなのですが、attach_workspace ステップのときに2GB弱まで memory.max_usage_in_bytes が増加していることを観測しました。しかしながら先に述べたとおり、2GB弱もメモリを消費するようなプロセスは存在しません。これは非常に不可解です。</p><p>プロセスが消費するメモリの他に、cgroupのメモリ消費量に含まれている何かがあるのでしょうか。</p><h4>cgroupのmemory accounting</h4><p><a href="https://github.com/torvalds/linux/blob/v4.19/Documentation/cgroup-v1/memory.txt">Linuxのcgroupのドキュメント</a> を見てみると以下の記述がありました。</p><blockquote>All mapped anon pages (RSS) and cache pages (Page Cache) are accounted.</blockquote><p>cgroupのメモリ消費量にはRSSに加えて、page cacheも計算に含まれるようです。</p><p>Workspaceの展開時に大量のファイルを読み書きするのでpage cacheは確かに多く消費しそうです。</p><h4>Page cacheの調査</h4><p>cgroup のpage cache消費量を調べる為に、attach_workspace 実行中の/sys/fs/cgroup/memory/memory.stat 内cache を観察しました。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/627/1*q8WinZyPaTFqC73Mr6GEuw.gif" /><figcaption>attach_workspace中の /sys/fs/cgroup/memory/memory.stat</figcaption></figure><p>attach_workspace の時に急激に cache が増加していることが見て取れます。最終的に cacheは約 1.8GB、 rss は約0.18GBに膨らんでいます。</p><p>rss自体は mysqld の消費量とほぼ同じなので、他にメモリを消費している見えないプロセスがあるということも無さそうです。また、 hierarchial_memory_limit によって2GBのmemory limitがcgroupによって適切に行われていることも見て取れます。</p><p>一旦 page cacheが犯人であると仮定して、 attach_workspace の時に裏でpage cacheを開放してやればいいのでは…? 根本解決とは行かないまでも、一時的にsmallで凌ぐことができるのでは？</p><p>ということで、 sudo sysctl -w vm.drop_caches=1 を叩いてみると</p><blockquote>circleci@ef6f4cda8ebe:~$ sudo sysctl -w vm.drop_caches=1<br>sysctl: setting key “vm.drop_caches”: <strong>Read-only file system</strong></blockquote><p>はい。だめでした。 /proc/sys/ は以下の様にread onlyでマウントされていて、書き込めません。コンテナ内からホストのpage cache勝手に飛ばされても困るので、なるほどDockerよく分離されてらっしゃる。</p><pre>circleci@d009ca53fd8d:~$ cat /proc/mounts<br>==省略==<br><br>proc /proc/sys proc ro,nosuid,nodev,noexec,relatime 0 0</pre><pre>==省略==</pre><p>page cacheに対して我々が対応できることは無さそうです 😢</p><p>諦めて現状をサポートに共有しました。</p><h4>サポートへの追加問い合わせ</h4><ul><li>tarの展開時に、page cacheが大量のメモリを消費してる</li><li>このせいで、OOM Killerが tar, gzip及び mysqldプロセスをkillしてしまっているみたい。</li><li>drop cacheしようと思ったんですが、勿論パーミッション無くてできませんでした。何かできることあります？</li></ul><p>と問い合わせてみると</p><blockquote>Hello Junya,<br>&lt;中略&gt;</blockquote><blockquote><strong>At the moment we are still suggesting that more memory will resolve your issue.</strong></blockquote><blockquote><strong>(今の所、問題解決にはメモリ増やすしかないかな)</strong></blockquote><p>なるほど悲しい</p><p>mediumで当面がんばりましょう 💸</p><h3>まとめ — 我々がこの突然死に対応できること</h3><p>今回の調査において突然死の原因は、あくまで推測ですが</p><p><strong>Workspace サイズの大きなジョブはtar,gzipが大量のpage cacheを消費し、cgroupのリソース制限によりOOM Killerがkillしてしまう</strong></p><p>ことが原因であると結論付けました。</p><p>本記事のようにattach_workspace でのジョブ突然死に遭遇したら、workspaceの肥大化を疑いましょう。そして、その時に取れる対策は、以下の2通りです。</p><h4>後続ジョブで必要ないファイルも persist_to_workspace している場合</h4><ul><li>persist_to_workspace する対象を必要最低限にし、workspaceサイズの削減を図りましょう</li><li>これができる状況でOOM Killerに殺されたからと言って、 Resource Classを直ぐに上げるのは非常に勿体無い 🙅</li></ul><h4>workspace内のファイルは全て必要。除けるものは無い場合</h4><ul><li>(今の所) 打つ手は無さそう</li><li>Resource Classを上げ、メモリを増やして札束で殴りましょう 💸</li></ul><h3>その他メモ</h3><p>サポートに問い合わせた後日、いろいろ追加で調査した結果もメモ程度に残しておきます。</p><h4>Page cacheそのものは犯人でないかもしれない</h4><p>自分でcgroupを作って巨大なtar.gzファイルを展開しても、OOM Killerに殺されることはありませんでした。</p><p>/sys/fs/cgroup/memory/memory.stat の cache は展開中に増加するのですが、その値はmemory limitに近づくと頭打ちになっていました。</p><p>実際、page cacheはmemoryが足りなくなると開放されていくので、page cacheが原因でOOM Killerに殺されることは少し考えにくいかなと思ってはいます。</p><h4>page cacheとtmpfsの合わせ技が犯人かもしれない</h4><p><a href="https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux/6/html/resource_management_guide/sec-memory">Red Hatのドキュメント</a>によると、/sys/fs/cgroup/memory/memory.stat の cache には tmpfsも含まれるようです。</p><p>実際、tmpfsに対してmemory limit以上のデータを書き込むとkillされてしまうことを確認しました。これも推測ですが、 attach_workspace においてtmpfs上でファイル移動や展開が行われている場合、page cacheの開放が追いつかない等原因の一つとして考えられるのではないかと思っています。</p><p>ただ、どこがtmpfsで、どこがtmpfsで無いかをコンテナ内から認識する手段が分からず深追いするのは諦めました。(read/writeのパフォーマンスを様々なディレクトリで測っていけば、EBSとメモリのI/Oスピードの差から分かりそうな気もしますが、そこまでやる気は起きず...</p><p>なにか進展があったり、追加調査を行った際にはまたポストできればと思います。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3b06b8b0e4da" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>