<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Chung-chun Lo on Medium]]></title>
        <description><![CDATA[Stories by Chung-chun Lo on Medium]]></description>
        <link>https://medium.com/@a0955117097?source=rss-41725112700------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*SMN_-4EhSGsi2VAr.jpg</url>
            <title>Stories by Chung-chun Lo on Medium</title>
            <link>https://medium.com/@a0955117097?source=rss-41725112700------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 20:46:23 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@a0955117097/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Git Commit 不再煩用 LLM 自動生成有意義的訊息]]></title>
            <link>https://medium.com/skyler-record/git-commit-%E4%B8%8D%E5%86%8D%E7%85%A9%E7%94%A8-llm-%E8%87%AA%E5%8B%95%E7%94%9F%E6%88%90%E6%9C%89%E6%84%8F%E7%BE%A9%E7%9A%84%E8%A8%8A%E6%81%AF-529bc69678aa?source=rss-41725112700------2</link>
            <guid isPermaLink="false">https://medium.com/p/529bc69678aa</guid>
            <category><![CDATA[generative-ai-tools]]></category>
            <category><![CDATA[git]]></category>
            <category><![CDATA[llm]]></category>
            <dc:creator><![CDATA[Chung-chun Lo]]></dc:creator>
            <pubDate>Tue, 20 Jan 2026 14:52:13 GMT</pubDate>
            <atom:updated>2026-11-12T15:46:36.058Z</atom:updated>
            <content:encoded><![CDATA[<h4>Git Commit 不該是工程師每天最煩的 30 秒，讓 LLM 來幫你完成這惱人的 30 秒</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UqoFKkH3AMyBQp2vWM1EBg.png" /></figure><h4>Commit Message 為什麼這麼煩？</h4><p>你有沒有這種經驗：<br>改完一大堆程式碼，手放在鍵盤上，卻只因為要想一段 commit message 卡了 5 分鐘？</p><p>或者一開始還會認真描述修改內容，但隨著時程逼近、Bug 一個接一個冒出來，commit 的次數越來越頻繁，最後連自己都看不懂某個 commit 到底在改什麼？</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/878/1*c4bu32L7Rsm1Fbf2UO-6KA.png" /></figure><p>我們都知道 Git Commit 很重要，它是版本回溯的線索、Code Review 的起點，也是 Debug 時最後的救命繩。</p><blockquote>但在真實世界裡，它往往只是一個開發流程中「不得不完成的步驟」。</blockquote><h4>為什麼我們總是寫不好 Commit</h4><p>Commit 寫不好其實很少是因為工程師不夠專業或不重視，而是寫 commit 本身帶來的切換成本過高。</p><p>當你剛專注於邏輯設計、資料流與邊界條件，下一秒卻必須抽離實作細節，用語言重新整理「做了什麼、為什麼要這樣改、哪些是行為變更、哪些只是重構」這本來就違反工作節奏。</p><p>也因此即使團隊嘗試過各種規範與工具 Conventional Commits、commit template、Git hooks，甚至在 code review 時補說明，實務上往往只改善了格式卻難以真正提升內容品質，最終留下的仍是缺乏上下文、難以回溯的 commit 訊息，以及對「好好寫 commit」這件事越來越強的疲勞感。</p><h4>LLM 能不能幫我產 commit message?</h4><blockquote><strong><em>寫 Git Commit，其實是 LLM 非常擅長的任務</em></strong><em>。</em></blockquote><p>它不需要創意、不需要主觀判斷，只需要根據明確的輸入（git diff），整理出結構清楚、語意精準的摘要。<br>例如：</p><ul><li>IDE 內建的 AI 功能</li><li>透過 Claude Code CLI、Gemini CLI 直接產生</li></ul><p>但實際使用後，我發現這些方式仍然有一些問題。</p><ol><li>IDE 內建的 AI 產 Git Commit 無法每次都產生固定的格式，或是需要綁定在使用某個特定 IDE</li><li>我並不想每次要產生 Git Commit 都要打開 LLM 的 Cli 執行 Prompt 或是寫好的 Command</li></ol><blockquote>能不能像平常寫 Git Commit 一樣下指令就好？</blockquote><p>於是這個專案就誕生了，我的想法其實很單純用 Python 做一個 CLI tool，在本機執行時執行以下步驟：</p><ol><li>擷取 Git Diff</li><li>將內容送進 LLM API</li><li>產生結構化的 Git Commit Message</li><li>保留人工修改的空間，確保最後輸出是可控的</li></ol><h4>第一版：單次請求，快速但有極限</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nmcZGx7JjVji73ciszjSeA.png" /><figcaption>第一版 LLM GIt Commit</figcaption></figure><p>第一版在小改動時沒什麼問題但在大改動時就會遇上 LLM API Ratelimiter 的問題，在常見的 LLM API 都會有以下幾種限制</p><ul><li>RPM (requests per minute)</li><li><strong>RPD</strong> (requests per day)</li><li><strong>TPM</strong> (tokens per minute)</li><li><strong>TPD</strong> (tokens per day)</li><li><strong>IPM</strong> (images per minute)</li></ul><p>基本上第一版就會遇到 <strong>TPM </strong>的問題</p><h4>第二版：Chunk + Summary，穩定但太慢</h4><p>為了解決 Token 限制，我改採 <strong>Chunk</strong> 的方式：</p><ol><li>將 Git Diff 切分成多個區塊</li><li>依序送給 LLM，請它針對每一段產生摘要</li><li>再將所有摘要進行一次 Summary，產生最終的 Git Commit</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uMcGJrBTuy7wA_vsRg4hbA.png" /><figcaption>第二版 LLM GIt Commit</figcaption></figure><p>這個版本在穩定性上幾乎沒有問題，但新的問題也很明顯<strong>速度太慢了 !!!<br></strong>因為所有請求都是依序進行，只要改動稍大，就必須等待所有 chunk 完成，體驗並不理想。</p><h4>第三版：平行化請求，才接近實用</h4><p>在第三版中，我改成<strong>平行發送請求</strong>，同時處理多個 chunk 這個版本在速度與穩定性之間，終於達到一個可以接受的平衡點。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*J-2_YnI9CREqokZgZoPDEA.png" /><figcaption>Final Version</figcaption></figure><h4>既然有 Commit，Changelog 也順便自動化</h4><p>既然 Git Commit 都已經能穩定產生了，那另一個同樣讓人覺得麻煩的東西 <strong>Changelog </strong>自然也不能放過。</p><p>由於 Changelog 本來就是從 Git Commit 衍生而來，因此在我也順勢把 Changelog 的產生流程一起自動化。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*w9MeWmyAUDc6nPMZFLwdFw.png" /><figcaption>LLM Changelog</figcaption></figure><p>這個工具的目標很單純讓工程師把注意力放回真正重要的事，而不是卡在寫 commit message 上。</p><p>這個專案是在不到一週的時間內，透過 AI 輔助快速完成的實驗性工具，目前仍有不少地方可以持續優化，也很歡迎任何回饋或討論。</p><p>如果你對這樣的做法有興趣，專案已開源並上架至 Pip，可以直接安裝試用：</p><p><a href="https://pypi.org/project/git-llm-tool/">git-llm-tool</a></p><p><strong>GitHub Repo</strong>：</p><p><a href="https://github.com/z0890142/git-llm-tool">GitHub - z0890142/git-llm-tool</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=529bc69678aa" width="1" height="1" alt=""><hr><p><a href="https://medium.com/skyler-record/git-commit-%E4%B8%8D%E5%86%8D%E7%85%A9%E7%94%A8-llm-%E8%87%AA%E5%8B%95%E7%94%9F%E6%88%90%E6%9C%89%E6%84%8F%E7%BE%A9%E7%9A%84%E8%A8%8A%E6%81%AF-529bc69678aa">Git Commit 不再煩用 LLM 自動生成有意義的訊息</a> was originally published in <a href="https://medium.com/skyler-record">Skyler Record</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Kubernetes 大檔處理實戰 (2)：被誤解的 Linux Page Cache 與 OOM Killer]]></title>
            <link>https://medium.com/skyler-record/high-memory-usage-in-kubernetes-2-b3bff91fed9a?source=rss-41725112700------2</link>
            <guid isPermaLink="false">https://medium.com/p/b3bff91fed9a</guid>
            <category><![CDATA[golang]]></category>
            <category><![CDATA[kubernetes]]></category>
            <dc:creator><![CDATA[Chung-chun Lo]]></dc:creator>
            <pubDate>Fri, 21 Nov 2025 07:54:20 GMT</pubDate>
            <atom:updated>2025-11-22T04:05:51.541Z</atom:updated>
            <content:encoded><![CDATA[<h4>當 App Heap 很健康時，為何 Active File 導致 Pod 被系統砍殺？</h4><p>最近終於有時間把系列文的下半部整理出來。還記得上一篇提到，我們在客戶的 K8S 環境中做大檔案上傳時，會讓 RAM usage 往上飆的問題嗎？</p><p><a href="https://medium.com/skyler-record/high-memory-usage-in-kubernetes-1-7721274e5a43">High Memory Usage in Kubernetes (1)</a></p><p>在我們自家的 K8S 環境裡，問題已經被成功壓下來了；然而當客戶在他們的環境驗證時，RAM usage 雖然下降了不少，但在高峰時仍然會吃到 <strong>接近 3GB</strong>。為什麼同一套服務，在不同環境會有如此大的差異？這讓我們不得不再深入挖一次。</p><h4><em>客戶所說的「RAM usage」到底是哪個指標？</em></h4><p>客戶口中的「RAM usage」其實指的是</p><p>container_memory_working_set_bytes</p><p>而它的計算方式可以拆成下面這樣：</p><pre>container_memory_working_set_bytes <br>= container_memory_usage_bytes - total_inactive_file<br>= total_cache + total_rss - total_inactive_file<br>= total_inactive_file + total_active_file + total_rss - total_inactive_file<br>= total_active_file + total_rss</pre><p>這裡面有兩個關鍵角色：</p><h4>total_rss 是什麼？</h4><blockquote><em>Process 真正吃掉、無法回收、必須常駐記憶體的部分。</em></blockquote><p>換句話說，就是容器內程式 <em>實際耗用</em> 的記憶體。</p><h4>total_active_file 又是什麼？</h4><blockquote><em>Linux Page Cache 的「活躍頁面」，比 inactive_file 更難被回收。</em></blockquote><p>Page cache = active_file + inactive_file。</p><p>而 working_set_bytes 就是 <strong>active_file + rss</strong> 的合計。</p><p>page_cache = total_active_file + total_inactive_file</p><h4>那客戶的 active_file 到底發生什麼事？</h4><p>當我們請客戶在問題發生時抓 Node 記憶體，就看到線索了</p><blockquote><strong>active_file 在上傳流程中會大幅飆升</strong>。</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*awpPgZ1aH577E_k450jz5g.png" /></figure><p>這也解釋了為什麼 working set（WSS）會那麼大，但問題也跟著浮現</p><h4>明明有設定 memory limit，為什麼 K8S 不先回收 cache，反而直接 OOM？</h4><p>這個行為看起來很違反直覺，但其實完全符合 Linux 與 cgroup 的規則。</p><blockquote>關鍵在於：不是所有 page cache 都能被回收</blockquote><ul><li><strong>inactive_file：可回收</strong></li><li><strong>active_file：通常不會被回收</strong></li></ul><p>而 Kubernetes 在計算 working_set 時，也把 inactive_file 視為「可回收，不算你用到的」。</p><p>但 active_file 卻會被視為「你實際用掉的 memory」。</p><p>於是就形成這樣的情境：</p><blockquote>當 active_file + rss 超過 Pod 的 memory limit 時，即使 Node 還有一堆 page cache，Kernel 也無法釋放足夠記憶體讓 cgroup 掉到 limit 以下，最後只能觸發 cgroup OOM kill。</blockquote><p>這就是客戶環境 OOM 的真正原因。</p><h4>關鍵問題找到了：Split 指令會瘋狂推升 active_file</h4><p>回到我們的檔案流程，有一段是：</p><p><strong>「使用 Linux </strong><strong>split 指令，把大檔案切成許多小檔案」</strong></p><p>而這段流程的記憶體行為其實是：</p><blockquote>讀取大檔案 → 大量頁面進入 page cache<br>逐塊寫入新檔案 → 新生成的小檔也會進入 page cache</blockquote><p>這表示 split 的本質是：</p><blockquote>read(大檔案) + write(小檔案)</blockquote><p>兩邊都會把 page cache（特別是 active_file）往上推。</p><p>在我們的 K8S 環境中沒問題，是因為 Node 本身 RAM 比較小、page cache 容量有限，因此 active_file 不會失控成長；但在客戶那邊（Node RAM 很大），Kernel 反而「很晚」才嘗試釋放 page cache，造成 active_file 持續累積、最後超過 cgroup memory limit。</p><h4>最終解法：把 split 從客戶端移走</h4><p>既然 root cause 是：</p><blockquote><strong><em>Split 過程會造成 active_file 上升 → 進而推爆 working_set → 進而 OOM</em></strong></blockquote><p>那解法就很清楚了：</p><h4>我們調整流程為：</h4><blockquote><strong>先在我們這端自行 split 大檔 → 再將切好的小檔壓進 zip → 再提供給客戶</strong></blockquote><p>這樣客戶端不需要自己跑 split，自然也就不會產生大規模 active_file。<br>客戶在調整後測試，記憶體峰值立刻下降，也不再發生 OOM。</p><h4>參考資料</h4><ul><li><a href="https://blog.mygraphql.com/zh/posts/low-tec/kernel/cgroup-mem/#%e4%bb%80%e4%b9%88-metric-%e6%89%8d%e6%98%af-oom-kill-%e7%9b%b8%e5%85%b3">玩火的容器内存控制 CGroup - 容器基础拾遗 Part 1</a></li><li><a href="https://cloud.tencent.com/developer/article/1637682">kubernetes上报Pod已用内存不准问题分析-腾讯云开发者社区-腾讯云</a></li><li><a href="https://mihai-albert.com/2022/02/13/out-of-memory-oom-in-kubernetes-part-3-memory-metrics-sources-and-tools-to-collect-them/#what-is-the-memory-metric-that-the-kubelet-is-using-when-making-eviction-decisions">Out-of-memory (OOM) in Kubernetes - Part 3: Memory metrics sources and tools to collect them</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b3bff91fed9a" width="1" height="1" alt=""><hr><p><a href="https://medium.com/skyler-record/high-memory-usage-in-kubernetes-2-b3bff91fed9a">Kubernetes 大檔處理實戰 (2)：被誤解的 Linux Page Cache 與 OOM Killer</a> was originally published in <a href="https://medium.com/skyler-record">Skyler Record</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Kubernetes 大檔處理實戰 (1)：Go 應用層的 Memory Spike 優化]]></title>
            <link>https://medium.com/skyler-record/high-memory-usage-in-kubernetes-1-7721274e5a43?source=rss-41725112700------2</link>
            <guid isPermaLink="false">https://medium.com/p/7721274e5a43</guid>
            <category><![CDATA[golang]]></category>
            <category><![CDATA[kubernetes]]></category>
            <dc:creator><![CDATA[Chung-chun Lo]]></dc:creator>
            <pubDate>Sat, 02 Nov 2024 14:44:54 GMT</pubDate>
            <atom:updated>2025-11-22T04:06:32.122Z</atom:updated>
            <content:encoded><![CDATA[<h4>拒絕將檔案一次讀入 Heap！解析 io.ReadAll 與 Slice 分配造成的效能瓶頸</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_Ua5K9Eh-1BS3rM4EjG3iQ.jpeg" /></figure><p>這篇主要是想記錄最近接手了一個約四、五年的舊專案，遇到了一個經典的 Kubernetes (K8s) 記憶體與效能難題。這是一個架設在客戶端 K8s 內部的服務，主要功能是處理大型加密壓縮檔的上傳與後續流程。</p><p>看似單純的檔案處理，卻讓 Pod 的記憶體（WSS）在運作時瘋狂飆升至 10GB，甚至觸發 OOM。這篇文章將紀錄我如何利用 <strong>pprof</strong> 抽絲剝繭，從 Middleware 一路追查到第三方 Source Code，最終將記憶體用量壓制在 1GB 以內的過程。</p><h4>案發背景：一個重度 I/O 的處理流程</h4><p>這個 API 的工作流程相當「重」，具體步驟如下（全非同步執行）：</p><ol><li><strong>Service 接收檔案</strong>：利用 Golang package 進行解密與解壓縮。</li><li><strong>二次解壓</strong>：解開後裡面還包著一層壓縮檔，需呼叫 7Zip 進行第二次解壓縮。</li><li><strong>Split 切割</strong>：最終取得一份大檔，透過 Linux split 指令切分為小檔案。</li><li><strong>後續處理</strong>：對切分後的檔案進行邏輯運算。</li></ol><p><strong>數據規模：</strong></p><ul><li>上傳的壓縮檔：約 <strong>3GB</strong>。</li><li>兩次解壓縮後的大小：約 <strong>10GB</strong>。</li><li><strong>觀測到的現象</strong>：API 運作時，Pod 的記憶體使用量（WSS）直接飆到 <strong>10GB</strong></li></ul><h4>測試環境與工具</h4><p>由於無法直接在客戶的正式環境除錯，我利用 EC2 + Kubeadm 搭建了一套模擬環境：</p><pre>測試檔案：<br>  壓縮檔 700MB（解壓後約 3.x GB）<br><br>監控數據：<br>  FluentBit + Node Exporter：抓取 Instance metrics<br>  Prometheus：蒐集 Node 與 Go process metrics<br><br>核心分析工具：<br>  pprof</pre><h4>除錯策略：手動埋點</h4><p>由於 pprof 只能抓取當下的值，很難精準捕捉到「記憶體飆升瞬間」。因此，我決定不依賴定時抓取，而是直接在程式碼的四個關鍵位置「埋點」進行觀測：</p><ol><li>Controller 收到 Request 的時間點</li><li>Controller 準備進行 response 時</li><li>非同步 Job 未進行任何動作時</li><li>非同步 Job 結束時</li></ol><h4>第一輪攻防：抓出 Middleware 的壞習慣</h4><p>首先，觀察 Go process metrics，發現在高峰期服務本身就佔用了 2GB 記憶體。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kzAArKr60nlRNJbF2upPzg.png" /></figure><h4><em>pprof</em></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1lLGPvDvzgOEi3rAR-PEnA.png" /></figure><p>透過 pprof 分析，兇手現身了：</p><blockquote><strong><em>Middleware </em></strong><strong><em>request_log 竟然使用了 </em></strong><strong><em>io.ReadAll。</em></strong></blockquote><p>這是一個常見的陷阱。為了紀錄 Request Body，Middleware 未經篩選就將所有請求內容讀入記憶體。當上傳 3GB 的檔案時，記憶體裡就硬生生複製了一份 3GB 的 byte slice。</p><p><strong>修正方式</strong>：</p><blockquote>修改 Middleware 邏輯，針對檔案上傳的 Content-Type 過濾掉 Body 的紀錄，避免記憶體複製。</blockquote><h4><strong>第一輪成果</strong>：</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ry61VSkEIl2XQX2vS1N05g.png" /></figure><blockquote><strong>✨ </strong>記憶體高峰從 2GB 下降至 <strong>1.37GB</strong>。雖然有改善，但距離目標還很遠。</blockquote><h4>第二輪攻防：深入核心，追查 Zip Library</h4><p>再次執行 pprof，這次發現 request_log 的問題消失了，但新的熱點出現：</p><ul><li>ZipCryptoDecryptor 佔用了大量記憶體。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*64LFZNL8UdJNa6HDIJ-yow.png" /></figure><h4><strong><em>深入原始碼</em></strong></h4><p>由於 Golang 官方 Zip package 不支援加密，專案使用了第三方套件 github.com/yeka/zip。翻閱原始碼後，我發現了一個驚人的實作方式：</p><pre>// 原始碼片段<br>func ZipCryptoDecryptor(r *io.SectionReader, password []byte) (*io.SectionReader, error) {<br>    z := NewZipCrypto(password)<br>    b := make([]byte, r.Size()) // &lt;--- 兇手在這裡！<br><br>    r.Read(b) // 把整個檔案一次讀進記憶體<br>    m := z.Decrypt(b)<br>    return io.NewSectionReader(bytes.NewReader(m), 12, int64(len(m))), nil<br>}</pre><p>這個 Library 為了方便解密，直接宣告了一個與檔案大小（r.Size()）一樣大的 Slice，把整個檔案讀進記憶體做處理。</p><p><strong>這雖然不是 Memory Leak（因為 Request 結束後 GC 是可以回收的），但在處理大檔案時，這是一個嚴重的 Anti-pattern。</strong></p><p>當檔案高達 3GB 甚至 10GB 時，程式會嘗試向 OS 申請一塊巨大的連續記憶體空間。這會導致 <strong>Memory Spike（記憶體瞬間飆升）</strong>，如果飆升幅度超過了 Pod 設定的 Memory Limit，還來不及等 GC 回收，Pod 就會直接被 OOM Kill。</p><h4>🛠 最終解法：Streaming is King</h4><p>要解決這個問題，核心思維必須從「一次讀取 (Buffer)」轉變為「串流處理 (Stream)」。</p><p>我改寫了解密邏輯，利用 io.Pipe 建立管道，並搭配 Chunk 分塊讀取的方式。這樣做不再需要巨大的暫存空間，而是像水流一樣，讀一點、解密一點、寫出一點。</p><pre>type OffsetReader struct {<br> r      io.Reader<br> offset int64<br> read   int64<br>}<br><br>func NewOffsetReader(r io.Reader, offset int64) *OffsetReader {<br> return &amp;OffsetReader{<br>  r:      r,<br>  offset: offset,<br> }<br>}<br><br>func (o *OffsetReader) Read(p []byte) (n int, err error) {<br> if o.read &lt; o.offset {<br>  skip := o.offset - o.read<br>  var discarded int64<br>  for skip &gt; 0 {<br>   discarded, err = io.CopyN(io.Discard, o.r, skip)<br>   if err != nil {<br>    return 0, err<br>   }<br>   o.read += discarded<br>   skip -= discarded<br>  }<br> }<br><br> n, err = o.r.Read(p)<br> if err != nil {<br>  o.read += int64(n)<br> }<br> return n, err<br>}<br><br>func ZipCryptoDecryptor(r *io.SectionReader, password []byte) (io.Reader, error) {<br> z := NewZipCrypto(password)<br> pr, pw := io.Pipe()<br><br> go func() {<br>  defer pw.Close()<br>  err := z.DecryptStream(pw, r)<br>  if err != nil {<br>   pw.CloseWithError(err)<br>  }<br> }()<br><br> or := NewOffsetReader(pr, 12)<br><br> return or, nil<br>}<br><br>func (z *ZipCrypto) DecryptStream(w io.Writer, r io.Reader) error {<br> buffer := make([]byte, 4096) // 4KB Buffer size<br> for {<br>  n, err := r.Read(buffer)<br>  if n &gt; 0 {<br>   //Decrypt the chunk<br>   decryptedChunk := z.Decrypt(buffer[:n])<br><br>   _, writerErr := w.Write(decryptedChunk)<br>   if writerErr != nil {<br>    return writerErr<br>   }<br>  }<br>  if err == io.EOF {<br>   break<br>  } else if err != nil {<br>   return err<br>  }<br><br> }<br> return nil<br>}</pre><p>詳細實作方法可參考我的 <a href="https://github.com/z0890142/zip">github</a></p><h4>最終戰果：平穩的心電圖</h4><p>在完成上述修改後，我將程式部署到 EC2 進行全量測試（使用 3GB 原始檔，解壓後 10GB）。</p><p><strong>結果令人驚艷：</strong> 不論檔案多大，Golang 的記憶體使用量都<strong>穩定維持在 1GB 左右</strong>，再也沒有出現劇烈的波動或持續增長。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WLdAIQOFvk5JdYeVgq5lEg.png" /><figcaption>Golang Metrics</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SqWDh6DGQ-F0quj5gHjcag.png" /><figcaption>Node Metrics</figcaption></figure><p>從監控圖表可以看到，Node 的記憶體用量那一條平穩的線，就是工程師最想看到的畫面。</p><h4>結語：應用層解決了，但…</h4><p>經過這一連串的優化，應用程式本身的記憶體使用已經非常高效，看似問題已經終結。</p><p>但在交付給客戶環境後，我們發現 K8s 的記憶體監控依然出現異常波動（雖然沒有之前誇張）。這讓我意識到，在 Kubernetes 與 Linux 的世界裡，除了 Application Heap，還有一個常被忽略的隱形殺手 — — <strong>Page Cache</strong>。</p><p>關於 Page Cache 導致的記憶體誤判與 OOM Kill 謎團，我將在<strong>下一篇文章</strong>中詳細分享。</p><ul><li><a href="https://medium.com/skyler-record/high-memory-usage-in-kubernetes-2-b3bff91fed9a">Kubernetes 大檔處理實戰 (2)：被誤解的 Linux Page Cache 與 OOM Killer</a></li><li><a href="https://github.com/z0890142/zip">GitHub - z0890142/zip: Fork of Go&#39;s archive/zip to add reading/writing of password protected zip files.</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7721274e5a43" width="1" height="1" alt=""><hr><p><a href="https://medium.com/skyler-record/high-memory-usage-in-kubernetes-1-7721274e5a43">Kubernetes 大檔處理實戰 (1)：Go 應用層的 Memory Spike 優化</a> was originally published in <a href="https://medium.com/skyler-record">Skyler Record</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[1768. Merge Strings Alternately(Easy)]]></title>
            <link>https://medium.com/skyler-record/1768-merge-strings-alternately-easy-1608b0861df7?source=rss-41725112700------2</link>
            <guid isPermaLink="false">https://medium.com/p/1608b0861df7</guid>
            <category><![CDATA[leetcode]]></category>
            <dc:creator><![CDATA[Chung-chun Lo]]></dc:creator>
            <pubDate>Tue, 07 Nov 2023 00:36:23 GMT</pubDate>
            <atom:updated>2023-11-07T00:36:23.053Z</atom:updated>
            <content:encoded><![CDATA[<h4>題目說明</h4><p>You are given two strings word1 and word2. Merge the strings by adding letters in alternating order, starting with word1. If a string is longer than the other, append the additional letters onto the end of the merged string.</p><p>簡單來說就是會給兩個字串以word1為主將兩個字串的字元分別交互合併成一個字串，如有其中一個字串長於另一個將直接合併在字串的最後面。</p><h4>解題概念</h4><p>這題其實就蠻簡單的分別依序做交互合併即可。</p><pre>func mergeAlternately(word1 string, word2 string) string {<br>    result:=make([]byte,0)<br>    index:=0<br>    for index&lt;len(word1) || index&lt; len(word2){<br>        if index&lt;len(word1){<br>            result=append(result,word1[index])<br>        }<br>        if index&lt;len(word2){<br>            result=append(result,word2[index])<br>        }<br>        index++<br>    }<br><br>    return string(result)<br>}</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1608b0861df7" width="1" height="1" alt=""><hr><p><a href="https://medium.com/skyler-record/1768-merge-strings-alternately-easy-1608b0861df7">1768. Merge Strings Alternately(Easy)</a> was originally published in <a href="https://medium.com/skyler-record">Skyler Record</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[簡述 OPT 與 TOTP]]></title>
            <link>https://medium.com/skyler-record/%E7%B0%A1%E8%BF%B0-opt-%E8%88%87-totp-b37b07bb31a0?source=rss-41725112700------2</link>
            <guid isPermaLink="false">https://medium.com/p/b37b07bb31a0</guid>
            <category><![CDATA[notes]]></category>
            <category><![CDATA[totp]]></category>
            <category><![CDATA[golang]]></category>
            <dc:creator><![CDATA[Chung-chun Lo]]></dc:creator>
            <pubDate>Fri, 15 Sep 2023 06:28:42 GMT</pubDate>
            <atom:updated>2023-09-15T06:28:42.679Z</atom:updated>
            <content:encoded><![CDATA[<p>在這個 AI 興起資訊大爆炸的時代，資訊安全已經是大家越來越重視的一個環節，身為在跟資安相關公司工作的我來說呢如何有效的識別身份變成我們基本要解決的問題。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/995/1*A7re9lntjFCBt3XSFGEw8A.png" /></figure><p>首先我們先來看看以往傳統如何去識別你的身份，在過去我們要登入自己的 Gmail 信箱時都會要求我們輸入帳號密碼來確認身份，但你認為只有帳號密碼就夠了嗎？</p><p>當然不夠！！只要帳號密碼不慎外流或被破解了這樣誰都可以登入你的帳號，因此 MFA（Multi-Factor Authentication）的觀念就誕生了，MFA 最常見的方法有以下幾個。</p><ul><li>打電話</li><li>回答問題</li><li>硬體裝置</li><li>OTP（<strong>O</strong>ne-<strong>T</strong>ime <strong>P</strong>assword）</li></ul><p>打電話跟回答問題是在註冊時要綁定手機門號或是回答指定問題的答案，在進行登入驗證時只要是當時綁定的門號撥打到指定電話，或是回答當時註冊填入的問題即可。</p><p>至於 OTP 的形式就是現在常見透過 Email 或是簡訊的方式傳送一組四位數或六位數的數字，請你在指定時間內填在登入頁面。</p><blockquote>你以為這些方式就夠安全了！？</blockquote><p><a href="https://www.odin-info.com.tw/post/why-you-should-ditch-sms-as-an-auth-factor">為何該棄用無效的驗證因素？別再只用手機收簡訊驗證碼了！</a></p><p>為了強化現有的認證機制越來越多廠商或企業已經改用了 TOTP 或是 WebAuthn 等透過 FIDO2 的認可的身份認證機制。</p><p>今天我們先來聊聊 TOTP 等下次有機會我們再來探討 WebAuthn</p><h4>OTP</h4><p>在這裡我們就要先了解什麼是 OTP？他的運作方式為何？</p><p>OTP 是利用了 HOTP（HMAC-Based One-Tme Password）的算法所計算出來的一種一次性的密碼，公式如下。</p><pre>HOTP(K,C) = Truncate(HMAC-SHA-1(K,C))</pre><p>K 表示密鑰，C表示計數器 counter，利用 HOTP 取得 OTP 範例程式如下</p><pre><br>func HotpGenerateCode(secret string, counter uint64) (string, error) {<br> // 將密鑰轉換為大寫形式<br> secret = strings.ToUpper(secret)<br><br> // 使用 base32 解碼密鑰字符串<br> secretBytes, err := base32.StdEncoding.DecodeString(secret)<br> if err != nil {<br>  return &quot;&quot;, fmt.Errorf(&quot;HotpGenerateCode: %s&quot;, err.Error())<br> }<br><br> // 創建一個 8 字節的緩衝區並將計數器值按大端序寫入其中<br> buf := make([]byte, 8)<br> binary.BigEndian.PutUint64(buf, counter)<br> <br> var hash = func() hash.Hash { return sha1.New() }<br> // 使用指定的哈希算法創建一個 HMAC 對象，並將密鑰傳入<br> mac := hmac.New(hash, secretBytes)<br><br> // 將計數器值添加到 HMAC 輸入<br> mac.Write(buf)<br><br> // 計算 HMAC 的結果<br> sum := mac.Sum(nil)<br><br> // 根據 HOTP 標準，從 HMAC 結果中提取一個 32 位的動態值<br> offset := sum[len(sum)-1] &amp; 0xf<br> value := int64(((int(sum[offset]) &amp; 0x7f) &lt;&lt; 24) |<br>  ((int(sum[offset+1] &amp; 0xff)) &lt;&lt; 16) |<br>  ((int(sum[offset+2] &amp; 0xff)) &lt;&lt; 8) |<br>  (int(sum[offset+3]) &amp; 0xff))<br><br> // 獲取指定位數的驗證碼<br> l := opts.Digits<br> mod := int32(value % int64(math.Pow10(l)))<br> f := fmt.Sprintf(&quot;%%0%dd&quot;, l)<br> return fmt.Sprintf(f, mod), nil<br>}</pre><h4>TOTP（Time-based One Time Password）</h4><p>TOTP 的全名是 <strong>T</strong>ime-based <strong>O</strong>ne <strong>T</strong>ime <strong>P</strong>assword，有沒有覺得他的名子跟 OTP 很像呢？</p><p>如同上面所說 OTP 是基於 HOTP 算出來的一次性算法，至於 TOTP 其實也是使用了 HOTP ，只是將參數 C 換成了時間參數 T，所以公式如下</p><pre>HOTP(K,C) = Truncate(HMAC-SHA-1(K,T))</pre><p>至於 T 的部分並不是直接將時間戳帶入就好了， T 的計算公式如下</p><pre>T = Floor((Current Unix time - T0) / X)</pre><p>T0 為一個UTC的起始的時間戳 ( 1970/01/01 )，Ｘ則為 TOTP 刷新的時間通常默認為 30 秒，但也有 15 秒、60 秒等主要看廠商實作。</p><p>因此產生 TOTP 的範例如下</p><pre>counter := int64(math.Floor(float64(time.Now().UTC().Unix()) / 30))<br>secret:=&quot;test&quot;<br>totpCode,err := HotpGenerateCode(secret,counter)</pre><h4>驗證</h4><p>有那麼 TOTP 又是如何被驗證的呢？有沒有印象當你啟動 Google 的 2FA 時他會請你下載一個 APP 並且掃描一個 QRCODE，其實現在市面上常見的幾個 APP ，如：Google Authenticator、Authy 等等的驗證器機制都是一樣的。</p><p>其實這個 QR Code 的內容包含一些 Metadata 例如：發行廠商、使用者名稱等等，但最重要的是裡面有用來產生 TOTP Code 的 Secret、period（時間間隔）、hash algorithm、TOTP Code 的長度，有了這些資訊你的 APP 也可以使用一樣的方式產生相同的 TOTP Code 。</p><p>因為擁有了 Secret 所以在相同的時間點下，APP 可以產生與 Server 一模一樣 TOTP Code，Server 就會認為你有了<strong> Secret 跟其他相關資訊，所以你就是本人</strong>。</p><blockquote>所以請記得要用經過認可合規的 APP 來當自己的驗證器，才不會導致 secret 等重要資訊外流。</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b37b07bb31a0" width="1" height="1" alt=""><hr><p><a href="https://medium.com/skyler-record/%E7%B0%A1%E8%BF%B0-opt-%E8%88%87-totp-b37b07bb31a0">簡述 OPT 與 TOTP</a> was originally published in <a href="https://medium.com/skyler-record">Skyler Record</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Golang 效能調教工具]]></title>
            <link>https://medium.com/skyler-record/golang-%E6%95%88%E8%83%BD%E8%AA%BF%E6%95%99%E5%B7%A5%E5%85%B7-3aaf221406cf?source=rss-41725112700------2</link>
            <guid isPermaLink="false">https://medium.com/p/3aaf221406cf</guid>
            <category><![CDATA[golang]]></category>
            <category><![CDATA[pprof]]></category>
            <category><![CDATA[multipart-form-data]]></category>
            <category><![CDATA[trace]]></category>
            <dc:creator><![CDATA[Chung-chun Lo]]></dc:creator>
            <pubDate>Wed, 31 May 2023 15:34:24 GMT</pubDate>
            <atom:updated>2023-05-31T15:38:31.940Z</atom:updated>
            <content:encoded><![CDATA[<h3>Golang 效能工具案例</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PIprG4yxurP9nsnwk7K3bg.png" /></figure><p>最近在寫了一個有關檔案上傳的服務並且壓測了一下，在壓測的過程中發現每當 request 數量上來的時候 Gin 在 ParseMultipartForm 的時間就會拉的異常的長。</p><p>從下面 trace 的圖來看就知道光是花在 ParseMultipartForm 就至少 46s !!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/565/1*htd9CMsjS_jmIoG-I_0QNw.png" /></figure><p>上網查了一下似乎也有人遇到類似的問題，但都沒有一個明確的說明原因或是解法。</p><ul><li><a href="https://github.com/gin-gonic/gin/issues/1988">c.Request.FormFile is ridiculously slow sometimes · Issue #1988 · gin-gonic/gin</a></li><li><a href="https://github.com/gin-gonic/gin/issues/3440">GetPostForm sometime very slow · Issue #3440 · gin-gonic/gin</a></li></ul><p>效能問題必須解決所以開始看了一遍 Gin 有關 ParseMultipartForm 的部分，但看來看去覺得 Gin 也只是把 Golang <a href="https://pkg.go.dev/net/http">net/http </a>的內容簡單的在封裝一層而已，而 Golang 本身在這部分應該不太可能會有那麼誇張的效能問題不然社群上早就會有一堆人在提報 issue 了。</p><blockquote><strong>原因到底出在哪呢？</strong></blockquote><p>這時候想到了 pprof 雖然之前就知道這東西，但其實一直沒有使用它的場景所以一直沒用過，所以決定就來使用 pprof 來確認到底是哪一段的花費了大量的時間。</p><p>下圖是 pprof 抓取 CPU 的結果由於是公司的服務所以大部分都遮蔽了，但還是看得出來其實 MultipartForm 並沒有花太多 CPU 的時間，為何跟 Trace 顯示的不同？</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/239/1*rc1DPQERBDN60MIzfqAx1A.png" /></figure><p>到底為什麼 pprof 的值會跟 trace 差了那麼多，查了一下發現 pprof 對於消耗時間的計算是實際 CPU 所消耗的時間。</p><p>這段時間並不包含網路io 、lock 等等的也就是所謂 off cpu 的時間，要觀察 off cpu 的時間要使用 fg prof 其結果如下。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/194/1*2WlqUNxj9490T5lqqnzSlQ.png" /></figure><p>可以看到在抓取 10s 的區間內 multipartForm 總共就佔了 365.27s，搭配先前 pprof 的結果實際在 multipartForm cpu 所花的時間才一秒多。</p><blockquote>代表有大部分的時間都消耗在了其他的地方！！</blockquote><p>這時候又利用了另一個分析工具 go trace ，go trace 主要是用來觀察 groutine 做了哪些操作以及 lock 、執行/阻塞時間等等的。</p><p>使用方式如果是持續在進行中的服務，只要有使用 pprof 的話可以透過以下方式取得檔案。</p><pre>curl https://{host}/debug/pprof/trace?seconds=10</pre><p>取得檔案後再利用 go tool 就可以開啟了</p><pre>go tool trace {file path}</pre><p>開啟 trace web 後觀察了 <a href="http://127.0.0.1:56916/goroutines">Goroutine analysis</a> 內的 runHandler 並採用 <br>Sync block 排序發現許多的 goroutine 光是在 Sync block 就佔了快 10s</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Stz0Q2jYUjSqGoBLw74XDA.png" /></figure><p>點進去其中一個 goroutine 後會發現 cpu 的執行並不是非常漂亮，有著許多的中斷並且都是片段在執行 writeFrameAsync 的操作，查了一下 Frame 是http2 的最小傳輸單元看起來應該是一直在傳送資料。</p><p>其實到這裡基本上已經大該可以猜測原因為壓測時候網路影響導致 upload file 的時間本身就拉得太長了。</p><p>由於我在進行壓測的時候是用我自己的 macbook m1 pro 由於這次的壓測有些因素所以換了壓測工具，並沒有先前建置好的一些環境。</p><p>為了貪圖方便我想說簡單的壓測，量也不是很大 m1 那麼強大應該用 mac 就可以了吧？</p><p>但我少算了現在大部分我都是以 remote 的方式工作，所以網路品質跟頻寬並不是那麼足夠。</p><p>為了近一步證實我的猜測便跟 chatGPT 確認 sync block與multipartForm的關係以及 gin multipartForm 實際運作方式。</p><p>由於先前也跟 chatGPT 確認在進行 multipart 發送 Request 的時候到底是只接收到一部分的資料就會進行 multipartForm 還是會等待資料全部接收完畢才會進行 multipartForm。</p><p>當時得到的回覆是要等到資料全部接收完畢才會進行 multipartForm，也就是因為這個回覆所以才有了上面的一堆事項QQ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/774/1*eggDq8Iw7Caa-b4OsuPoCw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/736/1*uQBiMFW2JoXB59f72mbudg.png" /></figure><p>最後把壓測拉到了 CI 上面去做在 multipartForm 的部分明顯改善了許多。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/224/1*bxqTsYxlT_lxZkG70y4DxA.png" /></figure><p>經過這次得經驗有了一些反省，自己對於 multipart 的相關經驗不足，導致在 debug 的時候不夠敏銳花的太多不必要的時間。</p><p>換個角度想也是這次這個機會才能夠真的運用上 pprof、fg prof、go trace 等工具。</p><h3>結論</h3><blockquote>壓測的時候別偷懶該上公雲開機器就開機器，不行至少也要拉到 Github action 做</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3aaf221406cf" width="1" height="1" alt=""><hr><p><a href="https://medium.com/skyler-record/golang-%E6%95%88%E8%83%BD%E8%AA%BF%E6%95%99%E5%B7%A5%E5%85%B7-3aaf221406cf">Golang 效能調教工具</a> was originally published in <a href="https://medium.com/skyler-record">Skyler Record</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Envoy Rate limit 介紹]]></title>
            <link>https://medium.com/skyler-record/envoy-rate-limit-%E4%BB%8B%E7%B4%B9-f6b474084e2d?source=rss-41725112700------2</link>
            <guid isPermaLink="false">https://medium.com/p/f6b474084e2d</guid>
            <category><![CDATA[notes]]></category>
            <category><![CDATA[envoy-proxy]]></category>
            <dc:creator><![CDATA[Chung-chun Lo]]></dc:creator>
            <pubDate>Sat, 28 Jan 2023 14:15:57 GMT</pubDate>
            <atom:updated>2023-01-28T14:15:57.184Z</atom:updated>
            <content:encoded><![CDATA[<p>Envoy 當作 Proxy 當然少不了 Rate limit 的功能，首先我們先來談談什麼是 Reat limit。</p><blockquote>Rate limit 是一種網絡安全技術，用於限制特定IP地址或用戶在特定時間內能夠發出的請求數量。這種技術可以用於防止大量請求對服務器帶來壓力，保護服務器免受攻擊。</blockquote><p>在實現 Rate limit 時，通常會使用以下兩種算法:</p><ul><li>Leaky bucket：將請求放入漏桶中，漏桶的容量為限制的請求數。當請求超過限制時，則拒絕請求。</li><li>Token bucket：將 token 放入桶中，桶的容量為限制的請求數。當請求到達時，如果桶中有足夠的令牌，則允許請求，否則拒絕請求。</li></ul><p>在使用 rate limit 時，還需要考慮以下幾個重要的參數：</p><ul><li>限制的請求數：即在特定時間內允許的最大請求數。</li><li>限制的時間窗口：即在特定時間內限制請求數。</li><li>循環速率：即在指定時間內重置限制的請求數。</li></ul><p>在 Envoy 中 Rate limit 主要分為兩種：</p><ul><li>Global Rate limit：主要可針對 network level 和 http level 進行限制，如果要使用 Global Rate limit 需要額外連接一個 rate limit server。</li><li>Local Rate limit：可針對單一的 route 進行限制，採用的是 token bucket 機制並且不需要額外連接 rate limit server</li></ul><h4>Local Rate Limit</h4><p>先來看一段官方 sandbox 的範例</p><pre>route:<br>  cluster: service<br>  typed_per_filter_config:<br>    envoy.filters.http.local_ratelimit: &quot;@type&quot;: type.googleapis.com/envoy.extensions.filters.http.local_ratelimit.v3.LocalRateLimit<br>    stat_prefix: http_local_rate_limiter<br>    token_bucket:<br>      max_tokens: 2<br>      tokens_per_fill: 2<br>      fill_interval: 5s<br>    filter_enabled:<br>      runtime_key: local_rate_limit_enabled<br>      default_value:<br>        numerator: 100<br>        denominator: HUNDRED<br>    filter_enforced:<br>        runtime_key: local_rate_limit_enforced<br>        default_value:<br>          numerator: 100<br>          denominator: HUNDRED<br>    response_headers_to_add:<br>      - append_action: OVERWRITE_IF_EXISTS_OR_ADD<br>        header:<br>          key: x-local-rate-limit<br>          value: &#39;true&#39;</pre><p>有關 token bucket 的欄位意義如下</p><ul><li>max_tokens：token bucket 的最大值，也是一開始所具備的 token 數量</li><li>tokens_per_fill：token bucket 每次填充的 token 數量</li><li>fill_interval：填充 token 的時間間隔</li></ul><p>filter_enable 代表是否要啟用 filter 如啟用的話對於 request 檢查 rate limit 的百分比為多少，filter_enable 只是啟用並統計但並不會強制執行 rate limit 限制，默認為 0。</p><p>filter_enforced 代表強制執行 rate limit 的 request 的百分比，默認為 0。</p><p>當我們做了以上的設定後等於五秒內只能有兩筆 request ，這時如果在五秒內發出五筆 request 會發現只有前面兩筆 request 可以正常執行，剩下的皆被 rate limit 阻擋。</p><pre>❯ for i in {1..5}; do curl -si localhost:10000 | grep -E &quot;x-local-rate-limit|429|local_rate_limited&quot;; done<br>HTTP/1.1 429 Too Many Requests<br>x-local-rate-limit: true<br>local_rate_limited<br>HTTP/1.1 429 Too Many Requests<br>x-local-rate-limit: true<br>local_rate_limited<br>HTTP/1.1 429 Too Many Requests<br>x-local-rate-limit: true<br>local_rate_limited</pre><p>使用 Envoy 官網 SandBox 範例可以讓我們更加的清楚 local rate limit 的運作方式，今天的 rate limit 先介紹到這裡，下次我們再來談談 envoy 的 global rate limit。</p><blockquote>參考文章</blockquote><p><a href="https://www.envoyproxy.io/docs/envoy/latest/start/sandboxes/local_ratelimit">Local Ratelimit - envoy 1.26.0-dev-236f2e documentation</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f6b474084e2d" width="1" height="1" alt=""><hr><p><a href="https://medium.com/skyler-record/envoy-rate-limit-%E4%BB%8B%E7%B4%B9-f6b474084e2d">Envoy Rate limit 介紹</a> was originally published in <a href="https://medium.com/skyler-record">Skyler Record</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Envoy Proxy(二)]]></title>
            <link>https://medium.com/skyler-record/envoy-proxy-%E4%BA%8C-13c784be2828?source=rss-41725112700------2</link>
            <guid isPermaLink="false">https://medium.com/p/13c784be2828</guid>
            <category><![CDATA[notes]]></category>
            <dc:creator><![CDATA[Chung-chun Lo]]></dc:creator>
            <pubDate>Sun, 23 Oct 2022 07:46:52 GMT</pubDate>
            <atom:updated>2022-10-23T07:46:52.678Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XdA1FOGLWrH2ZAG1CYgsJQ.png" /></figure><p>經過上次的文章我們可以知道 Envoy 可以透過靜態檔案的方式去設定相關的 Config，但如果我們要將 Envoy 作為一個企業級的應用，每次變動或是 API 上架服務發現等等的，都需要透過檔案的方式重新設定可能會照成以下問題。</p><ul><li>修改設定繁瑣，每次都需要透過檔案替換的方式，這樣在操作上是相當不便利的。</li><li>異動紀錄無法被有效保存，當每次異動的時候都是透過檔案時會發生權限無法有效地被控制，異動項目無法有效地被保存以及如異動後有問題，很難有效且快速的 Rollback。</li></ul><p>為了解決以上問題，我們可以透過 Envoy 所提供的 xDS api 來建立 Control plane 與 Envoy 進行溝通。</p><p>xDS API 簡單來說就是 Envoy 提供多種相關服務的 API 如：Listener Discovery Service(LDS)、Route Discovery Service(RDS)、Cluster Discovery Service(CDS)、Endpoint Discovery Service(EDS)、Aggregated Discovery Service(ADS)、Health Discovery Service(HDS)、Secret Discovery Service(SDS)、Metric Service(MS)、Rate Limit Service(RLS)。</p><p>Control plane 則是透過 xDS API 與 Envoy 溝通的控制平台，在下面我們會以 Envoy 的官方範例為例。</p><p><strong>啟動 envoy 與 control plane</strong></p><pre>$ docker-compose pull<br>$ docker-compose up --build -d proxy<br>$ docker-compose up --build -d go-control-plane<br>$ docker-compose ps</pre><p>這時候我們可以看到透過 localhost:10000 得到的是 service1</p><pre>$ curl <a href="http://localhost:10000/">http://localhost:10000</a></pre><pre>Request served by service1</pre><pre>HTTP/1.1 GET /</pre><pre>Host: localhost:10000<br>Accept: */*<br>User-Agent: curl/7.79.1<br>X-Envoy-Expected-Rq-Timeout-Ms: 15000<br>X-Forwarded-Proto: http<br>X-Request-Id: 12aba39b-feca-4675-a694-2d3d2d1d8672</pre><p>再來我們把範例內的 resource.go 其內容修改如下</p><p>將 UpstreamHost 從 service1 改成 service2</p><pre><strong>const</strong> <strong>(</strong><br>	ClusterName  <strong>=</strong> &quot;example_proxy_cluster&quot;<br>	RouteName    <strong>=</strong> &quot;local_route&quot;<br>	ListenerName <strong>=</strong> &quot;listener_0&quot;<br>	ListenerPort <strong>=</strong> <strong>10000<br></strong>	UpstreamHost <strong>=</strong> &quot;service1&quot;<br>	UpstreamPort <strong>=</strong> <strong>8080</strong><br><strong>)</strong></pre><p>將 Snapshot 的版本從 1 改成 2</p><pre>func GenerateSnapshot() cache.Snapshot {</pre><pre>   return cache.NewSnapshot(</pre><pre>     &quot;1&quot;,</pre><pre>     []types.Resource{}, // endpoints</pre><pre>     []types.Resource{makeCluster(ClusterName)},</pre><pre>     []types.Resource{makeRoute(RouteName, ClusterName)},</pre><pre>     []types.Resource{makeHTTPListener(ListenerName, RouteName)},</pre><pre>     []types.Resource{}, // runtimes</pre><pre>     []types.Resource{}, // secrets</pre><pre>     []types.Resource{}, // extensions configs</pre><pre>  )</pre><pre>}</pre><p>這時候我們在重新啟動 go-control-plane</p><pre>docker-compose up --build -d go-control-plane</pre><p>重新呼叫 localhost:10000 這時會發現從 service1 變成了 service2</p><pre>$ curl <a href="http://localhost:10000/">http://localhost:10000</a></pre><pre>Request served by service2</pre><pre>HTTP/1.1 GET /</pre><pre>Host: localhost:10000<br>Accept: */*<br>User-Agent: curl/7.79.1<br>X-Envoy-Expected-Rq-Timeout-Ms: 15000<br>X-Forwarded-Proto: http<br>X-Request-Id: a9c84178-d9c7-439f-a6b5-00c14c1c0979</pre><p>從這個範例我們可以看到，只要透過了 xDS API 我們也可以寫出符合自己需求的 Control plane 了!!!</p><p>參考資料：</p><p><a href="https://www.envoyproxy.io/docs/envoy/latest/start/sandboxes/dynamic-configuration-control-plane">https://www.envoyproxy.io/docs/envoy/latest/start/sandboxes/dynamic-configuration-control-plane</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=13c784be2828" width="1" height="1" alt=""><hr><p><a href="https://medium.com/skyler-record/envoy-proxy-%E4%BA%8C-13c784be2828">Envoy Proxy(二)</a> was originally published in <a href="https://medium.com/skyler-record">Skyler Record</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[2022 求職紀錄]]></title>
            <link>https://medium.com/skyler-record/2022-%E6%B1%82%E8%81%B7%E7%B4%80%E9%8C%84-ede2788d18d5?source=rss-41725112700------2</link>
            <guid isPermaLink="false">https://medium.com/p/ede2788d18d5</guid>
            <category><![CDATA[面試]]></category>
            <dc:creator><![CDATA[Chung-chun Lo]]></dc:creator>
            <pubDate>Tue, 19 Apr 2022 14:56:53 GMT</pubDate>
            <atom:updated>2022-04-19T14:59:47.491Z</atom:updated>
            <content:encoded><![CDATA[<h4><strong>求職紀錄</strong></h4><h4><strong>Viveport</strong></h4><p><strong>Back-end Engineer</strong></p><p>透過 CakeResume 投遞完履歷後 HR 過沒多久就打電話來進行面試邀約，面試前只有英文測驗、邏輯測驗、性向測驗並沒有Coding test。</p><p>面試的時候是 RD Head 進行一對一的面試，主要是針對過往經驗來詢問，有問到一些 DB 如何選擇還有效能問題，以及要如何選擇用哪種 Message Queue，後面有兩題情境題要我講出系統該如何設計。</p><p>第一題是無限爬蟲主要是進到一個 Page 後要抓出所有的 URL 然後再針對這些 URL 進行爬蟲，就這樣一直無限的延伸下去。</p><p>第二題是將一個長 URL 轉為短URL的設計，過程中交談都蠻愉快的不會讓人感受到有壓力或是任何不適，主要是太久沒面試了所以自己有點緊張，由於只有一面而已所以面試過後說兩週內會通知面試結果。</p><p>結果 : 感謝函。</p><h4><strong>Moxa</strong></h4><p><strong>Senior Back-end Engineer</strong></p><p>一面前有個 45 分鐘四題的 Golang 測驗，一題是 LeetCode easy 的題目剩下的是實作 Queue 並具有 PopTimeout 功能以及並發管理的部分。</p><p>一面線上面試主要是跟 team leader 和其他兩位 senior 同事面試，主要是針對專業能力上的詢問由於 moxa 主要是做 IoT 相關的所以在我前一份工作上的問題比較多，還有詢問之前是如何做性能調教的。</p><p>一面過後當天就收到了二面的邀約。</p><p>二面是前往新莊總部目前因為總部還沒蓋好的關係暫時在宏匯廣場樓上，一開始是 15 分鐘左右的邏輯推理測驗，再來就是跟 HR 以及 Team leader 面談，主要的內容會是在工作或者是其他的人格特質，我只能說 Moxa 的 HR 面試問題都很尖銳啊，例如像是 ：我目前經歷過的三個主管最喜歡那個 最不喜歡那個為什麼？那加入現在面試的主管比較起來呢？我認為自己為什麼在現在公司不到一年但卻也可以有10%的薪資成長？目前還面試了哪些公司，為什麼會想面試他們？目前面試下來不加入 Moxa 最喜歡哪間？加入 Moxa 後呢？</p><p>我只能說我當初的確是沒想到這些問題，所以一開始有點不知所措，但在一二面的對談下來我感受到 Moxa 的主管人的確是蠻好的，他感覺得出來我喜歡接觸並且學習新的工具與技術，他也不諱言地說在他們這某些客戶是相對比較保守的，所以在新技術的進展是會相對比較慢，如果我真的要進來這部分我需要自己評估。</p><p>總而言之呢 Moxa 在這次的面試體驗我是給予滿高的評價，真心覺得是不錯得公司。</p><p>結果 ：Offer Get</p><h4>AmazingTalker</h4><p><strong>Senior Back-end Engineer</strong></p><p>會先收到一份作業需要在 90 分鐘內回傳，個人認為分別是 easy 跟 medium 各一題，然後會有一個是針對 Unit Test 的題目主要是看一段 Function 然後描述自己該如何寫 Test，幸好在現在公司要求的 Code Coverage 很高所以平常寫習慣了…</p><p>最後一題則是 refactor api 主要要求是可讀性、可測試、可重複利用以及避免不必要的資訊回傳和 error handling，送出後下一個工作日就收到面試邀約了，跟單純考刷題比起來個人是還比較喜歡這種類型的前測。</p><p>一面是一位 Senior 的工程師？我其實也不知道面試官的職稱因為開頭他並沒有自我介紹，也沒有給我自我介紹的機會。</p><p>首先稍微介紹一下目前公司的組織架構以及工作內容，再來就直接開始進行討論作業的部分，一開始是針對其中一題覺得我寫的部分有錯來進行討論並且當場修改，後來再討論我 refactor 那提當時的做法跟為什麼會這樣做。</p><p>最後是讓我 QA 的時間，整體面試下來覺得給人的感覺有點壓力不知道是不是故意營造的氛圍。</p><p>技術面試第二輪是由另外一位比較輕切友好的面試官來進行，主要是針對之前 Envoy 的 Control plane 還有另一個在公司做的專案比較有興趣，對談過程中也稍微討論了一下 Message Queue 的選型，個人認為這次的面試體驗比上次好太多了。</p><p>第三面是 HR 面原本 HR 關卡會有兩關，但由於我有 offer 急需給答覆所以 AmazingTalker 這裏就幫我把最後兩關合再一起面，基本上問的問題不外乎就是 AmazingTalker 網站上有提及的一些人格特質跟公司做事方式，個人建議想表現好的部分一定要先上去準備。</p><p>結果：待通知。</p><h4>KKStream</h4><p><strong>Platform Backend Engineer</strong></p><p>前測的部分是我目前寫過最難的，應該是 easy 跟 medium 各一題再來就是兩題拓墣和圖形化的考題，這部分我就無法評斷難易度了因為我個人是幾乎沒寫過這種題目…</p><p>但最後還是有硬解一題出來，四題拿到了 75 分主要是第一題的效能方面沒拿到分，後來想出了更簡單解法真的是殘念啊。</p><p>一面是跟 backend Leader 和 Architecture 的團隊成員一起面試，KKStream 的工作部分主要會由 Architecture team 一同協助 Back end team 做架構的規劃以及技術工具的選擇，主要討論的內容也都是透過工作經歷上做延伸，以及一些人格特質的部分，整體對談下來算是蠻輕鬆愉快的。</p><p>透過獵頭說明 HR 表示確定有進到二面，但由於我這裡的 Offer 需要盡快決定但 KK 表示一週內都無法安排面試所以就放棄了後續的流程。</p><p>整體談下來 KKStream 的工作跟氛圍我覺得是滿不錯的，也正打算打造新的產品但還是希望他們可以改善一下面試速度，畢竟很少有人可以等他們那麼久。</p><p>結果：婉拒後續面試。</p><h4>BitoEX</h4><p><strong>Senior Back-end Engineer</strong></p><p>BitoEx 把技術面試和HR面試合在同一次面試，進去後先是開始了兩題的 Pair programming 第一題是撰寫 Job queue，第二題則是觀看一段 code 然後講出問題點以及該如何改善。</p><p>接下來就是自我介紹的時間以及技術架構提問，以及主管介紹團隊組成、風氣文化之類的再來就是 QA，技術面試完了之後緊接著就是 HR 介紹公司福利以及薪資結構，並表示一週內會有面試結果。</p><p>整體來說 BitoEx 給我的感覺很棒，整個面試氛圍很輕鬆就像是在聊天一樣，主管給人的感覺也很客氣但也感覺得出來工作量也是蠻大的，其實面試過程中主管有跟我坦言他是希望這個職缺是真的找到很 Senior 的人，主要是可以跟他一起討論架構一同激發不同想法的人，所以我個人認為我自己還是屬於 Mid level 而已，所以希望看起來並不大但整體下來面試的體驗還是讓我覺得非常好。</p><p>結果：感謝函。</p><h4>FunNow</h4><p><strong>Back-end Engineer</strong></p><p>一面是同時對到 Team Leader 和其他兩位 Back-end 的夥伴，做完基本的自我介紹後就一樣開始針對目前以及過往的工作經歷進行延伸的詢問，基本上就是 Redis 用過哪些資料結構啊有沒有做過 DB 的性能調教等等的相關問題。</p><p>在面試的過程我也向主管詢問到在前一兩年 FunNow 有一些個資外洩以及信用卡盜刷的消息，這部分是什麼情況照成的以及現在在這部分是否有做些加強以及改善。</p><p>主管其實也很坦誠地說在兩年前的確會有這些事情的發生，盜刷主要是因為在香港端的金流介接平台在當時那個平台的確很常會有盜刷的情況，所以換了平台後就沒有了。</p><p>個資外洩的部分則是當時有受到一些駭客的攻擊所以導致資料有被外洩，目前才取的手段是在 AWS 上使用某個功能(我自己忘記叫什麼)來阻擋駭客的攻擊，除此資外也對公司內部不管是不是開發同仁都加強了資安防護的教育訓練，我認為個資外洩的確是件不好的事但今天主管很坦誠地向我表明並且也說了改善方案我個人在這部分還是非常讚賞的。</p><p>另外要提的一點是，面試團隊在面試前有先去看過我的 Github 以及 Medium 甚至是稍微暸解了一下目前的公司，我覺得這點讓我對於面試團隊是蠻加分的。</p><p>整體而言 FunNow 面試下來讓我感覺整個公司的文化風氣的確是蠻不錯的，至於福利方面可能就會相對比較差一點摟。</p><p>結果：感謝函，主管給了一些正面的 Feedback 並表示主要因為我要求的薪資方面不符合職務規劃。</p><h4>Gogolook</h4><p><strong>Back-end Engineer</strong></p><p>Gogolook 是我接著 FunNow 面完不到一小時就開始的面試，原本想說已經精疲力盡了，所以 Gogolook 就放輕鬆聊好了但沒想到整體面試過程讓我滿滿意的。</p><p>一面是由團隊元老 Kai 和另一位 Senior engineer 進行面試，主要一開始會先有兩題的白板題分別是雙指標合動態規劃的部分，非常幸運的是這兩題我都會寫，所以基本上沒什麼太多的疑問就完成了，面試官這裡也是有點傻眼的狀態，所以補問了如果要進行 Test 我會如何設計 Test Case。</p><p>白板題完了之後就是針對過去的工作經驗延伸出一些架構和技術的問題，由於目前做的項目跟 DB 比較有相關，所以主要都是圍繞在 DB 的部分做詢問但我必須坦言在效能調校的部分我真的是沒什麼實務經驗，除了 DB 的部分還有問了一些 Process 和 Thread 差異以及各個 Process 和 Thread 是如何在溝通。</p><p>最後比較像是工作模式還有人格特質的一些詢問，個人認為 Gogolook 的面試也不會有太多的壓力，整體下來也屬滿放鬆的部分，而且整個營運模式在我看來應該會是蠻穩定發展的，最後表示這週內會告知我是否會進到下一輪的面試。</p><p>結果 : 感謝函 ，主管表示對於系統規劃和雲端服務經驗不符合職務需求。</p><h4>AuthMe</h4><p><strong>Software Engineer ( Golang )</strong></p><p>首先會有一個測驗，分數達 70 分以上才會邀約面試。</p><p>一面的部分感覺是兩個年紀跟我差不多的工程師，看得出來沒什麼面試經驗一直不停的在翻我的經歷和資料問問題，除了對於目前的專案提問之外也問了一些 Golang 相關的問題例如 Goroutine 的運作機制、Interface 的應用還有 NodeJS 與 Golang 在異步工作時的背後機制差異。</p><p>我這裡怎是問了進去後工作內容會是什麼，面試官表示應該會是新產品的開發，新產品大約會是怎樣的型態表示無法告知，需要等到下一階段面試會由老闆告知工作內容跟新產品介紹。</p><p>雖然在一面的過程中無法得知太多工作資訊，但感覺得出來兩位工程師對於技術方面的研究是相當深入的。</p><p>Final 面是跟 CEO 面試，技術方面 CEO 表示一面已經有兩位面試官把關了，所以基本上這次面試主軸會是跟我介紹公司發展、職務規劃以及讓我進行一些 QA。</p><p>基本上 AuthMe 是在做一些身份驗證的服務，目前主要的客群會是在金融業的部分像前陣子的 Line Bank 也是選擇跟他們合作。並且由於老闆們也都是駭客出生，所以對於軟體開發的品質都是有一定的要求。</p><p>從整體對談中感覺得出來 AuthMe 是一個相當有淺力的產品，並且 AuthMe 目前的公司規模相對較小如果再進去工作會遇到比較多的挑戰以及接觸的東西會更加廣泛。</p><p>其實後來跟獵頭討論後覺得 AuthMe 是一個對於未來發展一個滿好的機會，獵頭表示蠻多人選在履歷篩選就被 AuthMe 篩掉了連拿到測驗的機會都沒有，目前只有我面試到最後一關所以獵頭自己也滿訝異的？</p><p>結果 ： Offer Get</p><p>這次找工作我有應徵的職缺蠻多都有拿到測驗機會，而且拿到基本上拿到的測驗都是可以順利進到面試的。</p><p>這跟去年我在找工作的時候比起來我覺得自己是進步蠻多的（ 去年蠻多機會在測驗的時候就被刷掉了 ），我很感謝這次面試中僅管沒有錄取都還是有給予我 Feedback 的主管們讓我能檢視自己的不足。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ede2788d18d5" width="1" height="1" alt=""><hr><p><a href="https://medium.com/skyler-record/2022-%E6%B1%82%E8%81%B7%E7%B4%80%E9%8C%84-ede2788d18d5">2022 求職紀錄</a> was originally published in <a href="https://medium.com/skyler-record">Skyler Record</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Enovy Proxy(一)]]></title>
            <link>https://medium.com/skyler-record/enovy-proxy-%E4%B8%80-c0ec55e2928e?source=rss-41725112700------2</link>
            <guid isPermaLink="false">https://medium.com/p/c0ec55e2928e</guid>
            <category><![CDATA[notes]]></category>
            <category><![CDATA[envoy-proxy]]></category>
            <dc:creator><![CDATA[Chung-chun Lo]]></dc:creator>
            <pubDate>Tue, 22 Mar 2022 09:01:00 GMT</pubDate>
            <atom:updated>2022-03-22T09:01:00.663Z</atom:updated>
            <content:encoded><![CDATA[<p>換到新公司已經過了好長一段時間了，今天就來介紹一下在新公司的第一個專案所接觸到有趣的東西。</p><p>在新公司的第一個專案就是負責公司內部服務新的 API Gateway !!! 不得不說這項專案真的是讓我既興奮又害怕的，怕一個搞不好公司的服務都死在我手上...廢話不多說我們直接開始今天的主題。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6QbCnuun19kRodtKzBm7DA.png" /></figure><h4>Envoy是什麼?</h4><p>Envoy 是使用 C++ 編寫的 L7 代理，單個 Envoy 部署可以在 Java、C++、Go、PHP、Python 等之間形成一個網格。</p><p>會使用 Envoy 主要是因為支援了以下幾種功能</p><ul><li>gRPC</li><li>Load balancing</li><li>Circuit breakers</li><li>Health checks</li><li>TLS termination</li><li>Dynamic discovery &amp; dynamic configuration</li></ul><h4>Envoy 建置</h4><p>Envoy 官網已經提供了相對應的 Docker image 只要使用該 image 即可，而且官方也提供了非常多的教學。</p><p>由於 Envoy 的所有功能都是透過讀取配置文件，所以我們要來撰寫 Envoy Config，這次我們使用 fileSystem 的方式來達成 Dynamic Configuration。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4d30ca1a7122cf95e7ca2cd8de138ab4/href">https://medium.com/media/4d30ca1a7122cf95e7ca2cd8de138ab4/href</a></iframe><p>Config 的部分主要是說明了 CDS (Cluster discovery service)和 LDS (Listener discovery service) 這兩個 Config 的位置，以及說明了 Envoy 的 Admin 頁面位於 19000 Port。</p><p>這裡我們撰寫的一個 Docker-Compose 建立了一個 Envoy Proxy 和 service1 和 service2 兩個 Service。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/00997367f45af54e73929ea2a419144f/href">https://medium.com/media/00997367f45af54e73929ea2a419144f/href</a></iframe><p>再來是 CDS Config 的部分可以看到我們宣告了名為 example_proxy_cluster 的 Cluster 是指到 service1。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9f926c33fd3d0e51d6de32fa3fd35903/href">https://medium.com/media/9f926c33fd3d0e51d6de32fa3fd35903/href</a></iframe><p>LDS 的部分則是宣告了端口為 10000 並且描述了 routing 的部分。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e1692a2f1acb965cd1367bb2bc5353b6/href">https://medium.com/media/e1692a2f1acb965cd1367bb2bc5353b6/href</a></iframe><p>啟動 Docker-Compose 之後我們來看看效果，首先可以透過 Admin 來確認目前的 Config 。透過 Admin 頁面可以看到 Envoy 上的許多資訊，我們進到 config_dump 觀看目前的 config 設定。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HM8qHvUWET7gsj3nra5UDA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t2sYRwkof1jPTnWXsHH5hA.png" /></figure><p>然後嘗試呼叫看看我們的 10000 Port，可以看到順利呼叫到了我們 service1。</p><pre>curl -s http://localhost:10000<br>Request served by service1</pre><pre>HTTP/1.1 GET /</pre><pre>Host: localhost:10000<br>User-Agent: curl/7.64.1<br>Accept: */*<br>X-Forwarded-Proto: http<br>X-Request-Id: 6672902d-56ca-456c-be6a-992a603cab9a<br>X-Envoy-Expected-Rq-Timeout-Ms: 15000</pre><p>接下來我們更改一下 CDS Config 讓 Envoy 把服務改導到 service2。</p><pre>docker-compose exec -T proxy sed -i s/service1/service2/ /var/lib/envoy/cds.yaml</pre><p>再嘗試呼叫一次</p><pre>curl <a href="http://localhost:10000/">http://localhost:10000</a>                                                                                                             <br>Request served by service2</pre><pre>HTTP/1.1 GET /</pre><pre>Host: localhost:10000<br>User-Agent: curl/7.64.1<br>Accept: */*<br>X-Forwarded-Proto: http<br>X-Request-Id: 1c2417b6-df34-484e-9c94-b243ea1c6e68<br>X-Envoy-Expected-Rq-Timeout-Ms: 15000</pre><p>讓我們來確認一下 Envoy 上的 Config</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ircUT7wtw_yaMqGrYTZYMQ.png" /></figure><p>可以看到 Envoy Config 可以透過 FileSystem 的方式去動態的修改 Routing 的部分，但我們實際再運用的時候不管是服務部署或是更新都需要透過修改檔案來更新 Envoy 的確有點不太方便，所以接下來會說明如何利用 Control Plan 的方式來更新 Envoy 。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c0ec55e2928e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/skyler-record/enovy-proxy-%E4%B8%80-c0ec55e2928e">Enovy Proxy(一)</a> was originally published in <a href="https://medium.com/skyler-record">Skyler Record</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>