<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Nontawat Numor on Medium]]></title>
        <description><![CDATA[Stories by Nontawat Numor on Medium]]></description>
        <link>https://medium.com/@mrnonz?source=rss-dc8ffb85ffb------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*KXbL-8prcHuYVJbkY0WfMA.jpeg</url>
            <title>Stories by Nontawat Numor on Medium</title>
            <link>https://medium.com/@mrnonz?source=rss-dc8ffb85ffb------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 03:58:11 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@mrnonz/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Cache บน CDN ยิ่งเยอะ เว็บยิ่งเร็ว… หรืออาจจะไม่?]]></title>
            <link>https://life.lmwn.com/cache-%E0%B8%9A%E0%B8%99-cdn-%E0%B8%A2%E0%B8%B4%E0%B9%88%E0%B8%87%E0%B9%80%E0%B8%A2%E0%B8%AD%E0%B8%B0-%E0%B9%80%E0%B8%A7%E0%B9%87%E0%B8%9A%E0%B8%A2%E0%B8%B4%E0%B9%88%E0%B8%87%E0%B9%80%E0%B8%A3%E0%B9%87%E0%B8%A7-%E0%B8%AB%E0%B8%A3%E0%B8%B7%E0%B8%AD%E0%B8%AD%E0%B8%B2%E0%B8%88%E0%B8%88%E0%B8%B0%E0%B9%84%E0%B8%A1%E0%B9%88-efcea3269f5b?source=rss-dc8ffb85ffb------2</link>
            <guid isPermaLink="false">https://medium.com/p/efcea3269f5b</guid>
            <category><![CDATA[cloudflare-r2]]></category>
            <category><![CDATA[cloudflare]]></category>
            <category><![CDATA[cdn]]></category>
            <category><![CDATA[engineering-2026]]></category>
            <category><![CDATA[latency]]></category>
            <dc:creator><![CDATA[Nontawat Numor]]></dc:creator>
            <pubDate>Wed, 30 Sep 2026 10:22:14 GMT</pubDate>
            <atom:updated>2026-09-30T10:22:14.567Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*seHAxDVl8mB1Y5vQW00QmQ.png" /></figure><p>สวัสดีครับ ในบทความนี้เรายังอยู่กับปัญหาบน CDN ที่ผมพบเจอด้วยความขี้สงสัยของตัวเองว่าทำไมเว็บที่ลูกค้าใช้งานถึงช้าแค่บางครั้ง และไม่ได้ช้าตลอดเวลา ทั้งที่เรามี CDN ช่วยทำ Caching ทุกส่วนแล้ว แต่ยังมีจังหวะที่ช้าได้อย่างไร ?? ผลลัพธ์จากการไขปริศนาครั้งนี้ เราสามารถหั่น Latency ของเว็บไซต์ลงได้ถึง 94% และช่วย User ประหยัดเวลาในการรอหน้าเว็บโหลดรวมกันกว่า 465 ชั่วโมงต่อเดือน!</p><p>วันนี้ผมจะพาทุกท่านร่วมเดินทางไปค้นหาคำตอบร่วมกันครับ</p><p>ผมชื่อ <strong>นลธวัช หนูมอ (นนท์)</strong> ครับ ปัจจุบันรับตำแหน่ง <strong>Senior Staff SRE</strong> ที่ <strong>LINE MAN Wongnai </strong>หน้าที่หลักของผมคือการค้นหาส่วนที่เราสามารถพัฒนาความเสถียรของระบบ/วัดผล/แชร์ความรู้ต่าง ๆ ไปสู่ทีมอื่น ๆ เพื่อนำไปพัฒนาระบบใน LINE MAN Wongnai ของเราให้ดียิ่งขึ้น และบทความนี้เองก็เป็น 1 ในความรู้ที่เรานำมามอบให้กับทุกคนได้เรียนรู้ไปพร้อมกันครับ</p><p>ไปกันเลย !</p><h3>เว็บช้าแค่บางครั้ง</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*p5S538rlEPzAOVV0QB61BA.jpeg" /></figure><p>หากใครเคยทานอาหารที่ร้าน แล้วบางร้านมี QR Code (Mobile Order) ให้สแกนเพื่อสั่งอาหารผ่านมือถือ น่าจะคุ้นตาภาพนี้กันมาบ้าง ผมเองก็เป็น 1 ในลูกค้าที่เข้าร้านอาหาร และได้สั่งอาหารผ่าน Mobile Order ฟีเจอร์นี้เช่นกัน</p><p>แต่อยู่มาวันหนึ่ง ผมก็เกิดความสงสัยว่าทำไมจังหวะแรกที่ผมสแกน QR Code เพื่อเปิดเว็บไซต์ขึ้นมา ตัวเว็บมันจะหยุดไปสักระยะ (หน้าจอสีขาวไม่มีอะไรขึ้นมา) จนมนุษย์แบบเราสัมผัสได้ว่ามันมีจังหวะที่ช้าเกิดขึ้น ผมก็เลยลองปิดเว็บ แล้วสแกน QR Code อีกรอบ แต่ปรากฏว่ารอบถัด ๆ มาไม่เจอปัญหานั้นแล้ว…</p><h3>เริ่มวาดภาพ Architecture กัน</h3><p>ก่อนจะไปเริ่มสืบหาต้นตอของปัญหา เรามาดูภาพ Architecture กันก่อน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QqT6J42wr75hvXMUP8w6wA.jpeg" /></figure><p>ภาพดูเรียบง่ายมาก เพราะเว็บไซต์นี้เป็น Single-Page Application (SPA) ที่มีไฟล์ /index.html สำหรับทำ logic แรกสุดของทั้งเว็บไซต์ไม่ว่าจะเข้ามาที่ Path ใดก็ตาม</p><p>โดยที่ AWS S3 เราทำเป็น S3 static website hosting ให้ fallback any path กลับมาที่ /index.html</p><p>หลังจากนั้นเราทำ Cache บน CDN ด้วย Cache-Control header บน S3 Object สำหรับไฟล์ index.html เราใช้</p><pre>cache-control: public,max-age=30,stale-while-revalidate=600,stale-if-error=600</pre><p>ขอแวะอธิบายความหมายของแต่ละ directive นิดนึง</p><ul><li><strong>public </strong>กำหนดว่า Response นี้สามารถเก็บลง shared cache ได้ซึ่ง CDN จะทำงานตามนี้ และ Cache Response นี้ไว้ที่ CDN เอง</li><li><strong>max-age=30</strong> กำหนดให้ Cache มีระยะเวลา 30s โดยที่ทั้ง Client และ CDN ก็จะเก็บ Cache ไว้ 30s</li><li><strong>stale-while-revalidate=600 </strong>กำหนดให้ทั้ง Client และ CDN สามารถใช้ Cache เดิมไปก่อนเป็นระยะเวลา 600s ในระหว่างที่รอการ Revalidate response ล่าสุดกับ Origin (S3 ของเราในที่นี้) ข้อนี้ช่วยเราป้องกันไม่ให้ Client เจอ Latency ที่เยอะระหว่างที่ Cache Expire ไปแล้ว</li><li><strong>stale-if-error=600 </strong>สิ่งนี้คล้ายกับข้อด้านบน เป็นการกำหนดให้ Client และ CDN ใช้ Cache เดิมไปก่อนได้เป็นเวลา 600s ถ้าหาก Origin (S3) เราล่ม ข้อนี้ออกแบบมาเพื่อซื้อเวลาให้เราเวลาที่ S3 มีปัญหา</li></ul><p>จะเห็นได้ว่าจาก Setting ทั้งหมดของเราครอบคลุมทั้งหมดเลย เพราะเรามี Cache ตั้งแต่ Browser ยัน CDN รวมถึงป้องกันในกรณีที่ S3 ล่มได้ด้วยซ้ำไป</p><h3>If You Can’t Measure It, You Can’t Manage It</h3><p>โอเค มาเริ่มเปลี่ยนความรู้สึกช้าจากต้นบทความ ให้เป็นตัวเลขกันเพื่อจะได้วัดผลได้</p><p>เริ่มจากเราติด <strong>Real User Monitoring (RUM) </strong>ให้เว็บไซต์ของเราก่อน ในที่นี้ผมเลือกใช้ Cloudflare Web Analytics เนื่องจากไม่มีค่าใช้ และเพียงพอสำหรับการ Investigate issue นี้ของเว็บเรา</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Rg6n8fcMxQISjxVyOratiQ.png" /><figcaption><strong>P50</strong> of Request</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Av8_m2a073W-KU_uFk3UtA.png" /><figcaption><strong>P90</strong> of Request</figcaption></figure><p>Metric ที่ผมหยิบมาใช้หาปัญหาคือ <strong>Request</strong> (responseStart - requestStart) ซึ่งเป็นระยะเวลาตั้งแต่ Client ของเราเริ่มส่ง HTTP Request ไปยัง Server (ในทีนี้คือ Cloudflare CDN) จนถึงเราเริ่มได้รับ Response ตอบกลับมา</p><p>จะเห็นได้ว่า <strong>P50</strong> อยู่ที่ประมาณ 123ms ในขณะที่ <strong>P90</strong> สูงถึง 760ms ต่างกันถึง 6.17x เท่าเลยทีเดียว !!</p><p>ตอนนี้เรายืนยันได้แล้วความรู้สึกที่ผมเจอมันไม่ใช่แค่การคิดไปเอง แต่เพราะ User กำลังเจอปัญหานี้เหมือนกันกับผมจริง ๆ</p><h3>If We Can’t Reproduce It, We Can’t Fix It</h3><p>เราต้อง Reproduce ปัญหานี้ให้ได้ก่อน ก่อนที่จะเราจะเริ่ม Fix มันได้ เริ่มจากลอง Load test เบื้องต้นเพื่อหาปัญหา</p><pre>$ oha --disable-keepalive -n 300 https://mobile-order.lmwn.com/<br>Summary:<br><br>Response time histogram:<br>   69.557 ms [1]  |<br>   73.462 ms [18] |■■■■■■■<br>   77.366 ms [34] |■■■■■■■■■■■■■<br>   81.270 ms [75] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■<br>   85.174 ms [79] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■<br>   89.079 ms [51] |■■■■■■■■■■■■■■■■■■■■<br>   92.983 ms [16] |■■■■■■<br>   96.887 ms [0]  |<br>  100.791 ms [8]  |■■■<br>  104.695 ms [8]  |■■■<br>  108.600 ms [10] |■■■■<br><br>Response time distribution:<br>  10.00% in 75.0726 ms<br>  25.00% in 79.0929 ms<br>  50.00% in 82.7168 ms<br>  75.00% in 86.2727 ms<br>  90.00% in 92.3571 ms<br>  95.00% in 101.4728 ms<br>  99.00% in 108.3326 ms<br>  99.90% in 108.5997 ms<br>  99.99% in 108.5997 ms<br><br>Status code distribution:<br>  [200] 300 responses</pre><p>จะเห็นได้ว่า P99.99 ที่เราลอง Load test อยู่ที่เพียง 108ms ซึ่งเป็นค่าที่ใกล้เคียงจากการวัดด้วย RUM ที่ P50 ของ User ที่ใช้งานจริง หมายความว่าเรายัง Reproduce ปัญหาที่ User เจอไม่ได้ (ยังห่างไกล P90 ของ User ที่ 760ms)</p><p>ย้อนกลับมาเช็กที่ CDN Cache stat กันบ้าง ซึ่ง <strong>HIT</strong> Rate อยู่ที่ระดับ 96% สำหรับเว็บไซต์นี้ มีเพียง 4% ที่ <strong>MISS</strong> อยู่</p><p>งั้นเราลองมา Reproduce จังหวะที่ MISS ดูว่าจะพบปัญหาเหมือนกันไหม โดยที่ผมจะใส่ /MISS-path เข้าไป เพื่อยืนยันว่าทั้ง Client และ CDN จะไม่มี Cache ของ Path นี้อยู่แน่นอน</p><pre>$ oha --disable-keepalive -n 300 https://mobile-order.lmwn.com/MISS-path<br>Summary:<br><br>Response time histogram:<br>   64.563 ms [1]   |<br>  129.472 ms [205] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■<br>  194.381 ms [44]  |■■■■■■<br>  259.291 ms [0]   |<br>  324.200 ms [0]   |<br>  389.109 ms [0]   |<br>  454.018 ms [0]   |<br>  518.928 ms [0]   |<br>  583.837 ms [0]   |<br>  648.746 ms [0]   |<br>  713.656 ms [50]  |■■■■■■■<br><br>Response time distribution:<br>  10.00% in 76.9269 ms<br>  25.00% in 80.7893 ms<br>  50.00% in 88.5602 ms<br>  75.00% in 142.2509 ms<br>  90.00% in 709.3593 ms<br>  95.00% in 710.3652 ms<br>  99.00% in 713.1545 ms<br>  99.90% in 713.6557 ms<br>  99.99% in 713.6557 ms<br><br>Status code distribution:<br>  [404] 300 responses</pre><p>โอ้ !! จะเห็นได้ว่าเราพบปัญหาที่ P90 ระดับ 709ms เหมือนกับที่ User กำลังเจอแล้ว โดยที่ P50 ยังปกติดีที่ระดับ 88ms (ของ User P50=123ms, P90=760ms) ซึ่งใกล้เคียงกันมาก โดยที่ User ส่วนใหญ่ใช้ Internet มือถือที่มี Jitter ที่สูงกว่าเราทดสอบด้วย BroadBand Internet ทำให้ฝั่ง User มี Latency สูงกว่านิดหน่อย (ระดับ ~40ms+-)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*IiB4uBupWgg_8qk5" /><figcaption><strong>HIT</strong> vs <strong>MISS</strong> latency</figcaption></figure><p>สรุปถึงตรงนี้ หมายความว่า User จะเจอปัญหาจังหวะ<strong>ช้าสำหรับ MISS Path</strong> บน CDN นั่นเอง</p><p>งั้นเราย้อนกลับมาดู CDN Log กันบ้าง ว่าจังหวะที่ MISS บน CDN คือ User เขาเข้าใช้งาน Path แบบไหนกัน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bxXJTfCzZY3JHCCoORDrHQ.png" /><figcaption>CDN MISS Log</figcaption></figure><p>จาก Log จะสังเกตว่า MISS Request ทั้งหมดมาจาก Path ที่ได้ 404 (ซึ่งเป็นปกติของการทำ SPA เว็บไซต์) โดยที่ QR Code ที่ User สแกนเข้าไปใช้งานนั้น จะได้ ID ที่เป็น Unique มาทำเป็น Path ทำให้ Cardinality ของ Path สูงมาก (สูงจนไม่สามารถ Cache ไว้ล่วงหน้าได้)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DvzdjN_kpikR2ZJvnkGDQQ.png" /><figcaption>Landing page waiting server response 798ms</figcaption></figure><p>หากเราลองทดสอบด้วย Browser ดูก็จะพบปัญหานี้เช่นกัน และเกิดกับเฉพาะจังหวะครั้งแรกที่เรากดเข้ามาเท่านั้น หลังจากเรา Refresh (เหมือนการสแกน QR Code อีกครั้ง) ปัญหานี้จะหายไปทันที ทำให้</p><blockquote>“ปัญหานี้เกิดขึ้นกับเฉพาะ Path ที่เป็น QR Code ใหม่ และเป็นแค่ครั้งแรกของการสแกนเท่านั้น”</blockquote><p>พอ Landing page แรกสุดใช้เวลา Response นานระดับ 700ms++ ทำให้เราเห็นหน้าเว็บขาวค้างไว้ในจังหวะแรกนั่นเอง เพราะไฟล์อื่น ๆ จะต้องรอไฟล์แรกโหลดขึ้นมาให้เสร็จก่อน</p><h4>ทำไมไม่แยก Path asset ออกมา แล้ว Rewrite Path อื่นให้ใช้ /index.html Cache ไปเลย?</h4><p>หลายคนอาจจะนึกออกทันทีว่าวิธีแก้ปัญหาเบื้องต้น คือ เราก็​ Rewrite Path อื่น ๆ ทั้งหมด (ที่ไม่ใช่ asset path) ไปใช้ /index.html เราก็จะได้ CDN Cache ทันที และทำให้ P90 กลับลงมาเท่า ๆ กับ P50 เช่นกัน</p><p>แต่เหตุผลหลักที่ผมไม่เลือกใช้วิธีเขียน Logic ฝังลงไปที่ CDN (เช่น ใช้ Cloudflare Workers) เพื่อ Rewrite Path นั้น เป็นเพราะว่าผมไม่ต้องการให้ CDN มี Logic พิเศษใด ๆ ผมต้องการให้ CDN เป็นเพียง CDN เพื่อทำให้เราสามารถควบคุม Parity ระหว่าง CDN เจ้าอื่น ๆ ได้ด้วย (หาก CDN เจ้าหลักล่ม เราควรย้ายไป CDN อื่นได้ทันที)</p><p>และเหตุผลถัดมาคือมันไม่สนุกอีกด้วย ถ้าเราจะซ่อนปัญหาไว้ใต้พรม โดยที่เรายังไม่รู้ Root cause ที่แท้จริง (ฮ่าๆๆ)</p><h3>AWS S3 Latency สูงเองรึเปล่า?</h3><p>แน่นอน วิธีง่ายที่สุดเราก็ลอง Load test S3 ดูด้วยเส้นที่ไม่มี CDN</p><pre>$ oha --disable-keepalive -n 300 http://mobile-order.lmwn.com.s3-website-ap-southeast-1.amazonaws.com/MISS-path<br>Summary:<br><br>Response time histogram:<br>   97.783 ms [1]  |<br>  103.673 ms [15] |■■■■■■■<br>  109.563 ms [68] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■<br>  115.453 ms [65] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■<br>  121.342 ms [62] |■■■■■■■■■■■■■■■■■■■■■■■■■■■■■<br>  127.232 ms [55] |■■■■■■■■■■■■■■■■■■■■■■■■■<br>  133.122 ms [11] |■■■■■<br>  139.012 ms [11] |■■■■■<br>  144.902 ms [9]  |■■■■<br>  150.791 ms [2]  |<br>  156.681 ms [1]  |<br><br>Response time distribution:<br>  10.00% in 105.8568 ms<br>  25.00% in 109.2552 ms<br>  50.00% in 115.5858 ms<br>  75.00% in 123.3544 ms<br>  90.00% in 129.5104 ms<br>  95.00% in 136.4198 ms<br>  99.00% in 145.3790 ms<br>  99.90% in 156.6812 ms<br>  99.99% in 156.6812 ms<br><br>Status code distribution:<br>  [404] 300 responses</pre><p>สังเกตได้ว่า หากเราไม่มี CDN อย่าง Cloudflare ตรงกลางคั่น P90 กลับดีกว่าที่เรามี CDN คั่นกลาง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*78S1IpUpp41DcALA" /></figure><p>ข้อมูลตอนนี้ที่เรามีคือ</p><ul><li>User -&gt; Cloudflare -&gt; AWS S3 Singapore <strong>P90=709ms</strong></li><li>User -&gt; AWS S3 Singapore <strong>P90=129ms</strong></li></ul><p>เราจึงสรุปได้ว่าปัญหาต้องอยู่ภายใน Cloudflare เองแน่นอน เพราะหากเราให้ User ต่อตรงจะไม่มีปัญหานี้</p><h3>Measure Cloudflare more…</h3><p>ที่นี้เราจะวัดได้ยังไงว่าปัญหาของ Cloudflare อยู่ที่ตรงไหน ? วิธีหนึ่งที่ผมนึกออกคือเราสามารถใช้ Server-Timing HTTP Header เข้ามาช่วยวัด และส่งข้อมูลออกมาได้ แต่เนื่องจาก Cloudflare เองไม่ได้มีฟีเจอร์นี้โดยตรงให้ใช้งาน เราเลยต้องสร้าง Header นี้ขึ้นมาเอง (CDN เจ้าอื่นอาจจะมีให้ใช้งานเลย)</p><h4>HTTP Response Header Transform Rule — Server-Timing</h4><p>ผมใช้ Cloudflare เติม Response Header เพื่อวัดระยะเวลาต่าง ๆ และใส่ข้อมูลอื่นประกอบก่อนส่งมาให้ Client เพิ่มเติมดังนี้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K-pFEC66Yc4N5V76m1jX1A.png" /></figure><pre>concat(&quot;cf-cache;desc=&quot;, http.response.headers[&quot;cf-cache-status&quot;][0], &quot;,cdn-pop;desc=&quot;, substring(cf.ray_id, -3), &quot;,cf-ray;desc=&quot;, cf.ray_id, &quot;,edge;dur=&quot;, to_string(cf.timings.edge_msec), &quot;,origin;dur=&quot;, to_string(cf.timings.origin_ttfb_msec), &quot;,worker;dur=&quot;, to_string(cf.timings.worker_msec), &quot;,tcp-rtt;dur=&quot;, to_string(cf.timings.client_tcp_rtt_msec), &quot;,quic-rtt;dur=&quot;, to_string(cf.timings.client_quic_rtt_msec))</pre><p>อธิบายข้อมูลส่วนที่สำคัญกัน</p><ul><li><strong>cf-cache</strong> เพื่อบอกว่า HIT/MISS บน Cloudflare</li><li><strong>cdn-pop</strong> เพื่อบอก Colo ของ Cloudflare ที่เรา connect ไป เช่น BKK / SIN (<a href="https://life.lmwn.com/%E0%B9%83%E0%B8%8A%E0%B9%89-cdn-%E0%B9%81%E0%B8%A5%E0%B9%89%E0%B8%A7-latency-%E0%B8%84%E0%B8%A7%E0%B8%A3%E0%B8%A5%E0%B8%94-%E0%B9%81%E0%B8%95%E0%B9%88%E0%B8%97%E0%B8%B3%E0%B9%84%E0%B8%A1%E0%B8%9A%E0%B8%B2%E0%B8%87%E0%B8%97%E0%B8%B5%E0%B9%84%E0%B8%A1%E0%B9%88%E0%B8%A5%E0%B8%94-9af4f4bd0167?sharedUserId=mrnonz">อ่านบทความอธิบายเพิ่มเติม</a>)</li><li><strong>edge;dur </strong>วัดมาจาก<strong> </strong>cf.timings.edge_msec คือเวลาทั้งหมดที่ Cloudflare ใช้ processing request ของเรา (ไม่นับรวมเวลาที่ส่งไปหา Origin)</li><li><strong>origin;dur </strong>วัดมาจาก<strong> </strong>cf.timings.origin_ttfb_msec คือเวลาทั้ง​ Network RTT + Origin processing time</li><li><strong>tcp-rtt / quic-rtt</strong> คือเวลาของการทำ Connection Handshake ระหว่าง Client กับ Cloudflare Edge server</li></ul><p>Cloudflare เองมี Metrics อีกมากมายให้เราเลือกใช้งานได้ สามารถเลือกใช้งานให้เหมาะสมกับ Use case ของเราได้เลย แต่ข้อควรระวัง คือ Server-Timing ไม่ควรใส่ข้อมูล Sensitive / Credential เข้าไป เพราะอาจจะทำให้ Client / Search-engine เก็บข้อมูลเหล่านี้ออกไปได้</p><p>Result ของการเพิ่ม Server-Timing เข้าไปเป็นดังนี้</p><pre>$ curl -v https://mobile-order.lmwn.com/ 2&gt;&amp;1 | grep server-timing<br><br>&lt; server-timing: cf-cache;desc=HIT,cdn-pop;desc=BKK,cf-ray;desc=..-BKK,edge;dur=6,origin;dur=0,worker;dur=0,tcp-rtt;dur=16,quic-rtt;dur=0<br>&lt; server-timing: cf-cache;desc=MISS,cdn-pop;desc=BKK,cf-ray;desc=..-BKK,edge;dur=712,origin;dur=39,worker;dur=0,tcp-rtt;dur=16,quic-rtt;dur=0</pre><p>เราแบ่งเป็น 2 case ดังนี้</p><ul><li><strong>HIT on Cloudflare</strong> =&gt; edge;dur=<strong>6</strong> Cloudflare ใช้เวลาเพียง 6ms ในการ processing request</li><li><strong>MISS on Cloudflare</strong> =&gt; edge;dur=<strong>712</strong> Cloudflare ใช้เวลามากถึง 712ms ในการ processing request และ origin;dur=<strong>39</strong> ในส่วนของ S3 ใช้เวลาเพียง 39ms</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*d_vi8HbhuM7G3fK-tiFhew.png" /><figcaption>Server Timing on Chrome Network tab</figcaption></figure><p>หากเราติด Servier-Timing เข้าไปแล้ว เราสามารถ debug ผ่าน Browser ต่าง ๆ ได้เช่นกัน จะทำให้เรามองภาพได้ง่ายขึ้นอีกด้วยว่าใช้เวลาในแต่ละส่วนเท่าใด</p><h3>edge;dur per request</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eWAPz0XlZBdK-pJXlaE2cQ.png" /><figcaption>X-axis: request number (1–50, sequential). Y-axis: edge latency (ms).</figcaption></figure><p>ผมลองทดสอบ Load test ดูเฉพาะส่วนของ <strong>edge;dur </strong>จากกราฟจะเห็นว่า P50 ของ Cloudflare ใช้เวลา processing request เราอยู่ที่ 630.5ms นั่นเอง</p><p>ข้อมูลนี้เป็นตัวยืนยันอย่างชัดเจนว่า Cloudflare มี Latency ที่สูงมากในการทดสอบของเรา</p><h3>อะไรที่ทำให้ Cloudflare Latency เยอะขนาดนี้ ?</h3><p>เนื่องจากเราไม่มี Internal information มากกว่านี้ในระบบของ Cloudflare แล้ว สิ่งที่เราทำได้คือ A/B Testing ด้วยการลองปิดทีละฟีเจอร์ที่ใช้สำหรับเว็บไซต์นี้ แล้วทำการทดสอบ Latency โดยรวมทีละส่วนไป</p><p>โดยสิ่งที่ผมลองปิดไปคือ URL Rewrite, WAF, OWASP Rule set, Custom Rule set, HTTP Compression ผลที่ได้คือไม่มีอะไรเปลี่ยนแปลงอย่างนัยสำคัญ ทำให้สิ่งเหล่านี้ถูก Rule-out ออกไปจาก Root cause ทันที</p><p>แต่มี 1 ฟีเจอร์ที่ไม่อยู่ใน Traffic sequence ของ Cloudflare และผมได้ลองปิดดูคือ <strong>Cloudflare Cache Reserve </strong>ผลที่ได้คือ Latency ลดลงมาเป็นปกติทันที !!</p><pre>curl -v https:/mobile-order.lmwn.com/MISS-path 2&gt;&amp;1 | grep server-timing<br><br>&lt; server-timing: cf-cache;desc=MISS,cdn-pop;desc=BKK,cf-ray;desc=..-BKK,edge;dur=43,origin;dur=26,worker;dur=0,tcp-rtt;dur=13,quic-rtt;dur=0</pre><p>จะสังเกตได้ว่าต่อให้เรา MISS on Cloudflare Cache แต่ <strong>edge;dur=43</strong> ก็ใช้เวลาเพียง 43ms เท่านั้น เมื่อเทียบกับก่อนหน้าที่ระดับ 721ms <strong>ทำให้ Latency ลดลงทันที 94%</strong> !!!</p><h3><strong>Cloudflare Cache Reserve คืออะไร? ทำไมช้าขนาดนี้?</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*xVXjzR89QjCKTBTN.png" /><figcaption>Cloudflare Cache Reserve</figcaption></figure><blockquote>Cache Reserve is a large, <strong>persistent data store</strong> <a href="https://developers.cloudflare.com/r2/">implemented on top of R2</a>.</blockquote><blockquote>In the same way that Tiered Cache builds a hierarchy of caches between your visitors and your origin, <strong>Cache Reserve serves as the ultimate upper-tier cache</strong>, that will reserve storage space for your assets for as long as you want. This ensures that your content is served from cache longer, <strong>shielding your origin from unneeded egress fees.</strong></blockquote><p><strong>Cloudflare Cache Reserve</strong> จะเข้ามาทำหน้าที่เป็นด่านสุดท้าย ก่อนจะถึง Origin Server ในกรณีที่ Edge/Tier ด้านล่างไม่มี Cache อยู่ เพื่อการันตีว่าทุก ๆ Request ที่เราสั่งให้ Cloudflare Cache ไว้ จะมี Cache ให้แน่นอน เนื่องจาก Cache Reserve จะนำ Object เหล่านั้นไปบันทึกลง <strong>Cloudflare R2</strong> Storage ให้เราอีกที (Cache ที่ Edge node มีโอกาสที่จะถูก evict ออกก่อนที่ Cache จะ expire ได้)</p><p>โดนหลักการแล้วฟังดูดีเลย และที่ LINE MAN Wongnai เราเปิดใช้งานฟีเจอร์นี้เพราะว่าการ Processing บางรูปแบบที่ Origin คือ เสีย Cost ทั้ง Latency, Egress fee ยกตัวอย่างเช่น การ Resize รูปภาพให้เหมาะกับขนาดหน้าจอของลูกค้า ถ้าหากเราไม่มี Cache บน CDN เราก็ต้อง Process รูปนั้นใหม่อีกครั้ง (ทั้งที่เราเคย Process ไปแล้ว) และเราเสียค่า Data transfer Egress อีกทีด้วย</p><p>จะได้เห็นได้ว่าเราเสียทั้ง Processing time (CPU) + Infra Cost + Egress Cost เลย</p><p>กลับกัน หากเราเปิดใช้งาน Cloudflare Cache Reserve เราก็เสียเพียงค่า Read (class B) ขึ้นมาเพียงครั้งเดียว ต่อให้ Object จะขนาดใหญ่แค่ไหน เราก็คิด Cost เป็นเพียงจำนวนครั้งที่ Request ($0.36/million reqs)</p><p>….ฟังดูดีเลยใช่ไหม?</p><h3>ลองหา Cloudflare R2 Latency กัน</h3><p>เพื่อไม่ให้มี Network RTT มารบกวนผล ผมเลือกตั้ง Server บน AWS Singapore เพื่อทดสอบไปยัง Cloudflare R2 Bucket Asia-Pacific (APAC)</p><p>โดยผมได้เขียน Script เพื่อทดสอบ Request แบบ Sequential เพื่อหา Baseline Latency โดยแบ่งเป็นเคส 1KB, 100KB, 1MB ของ Object</p><p>สามารถดู Script ได้ที่ Repo <a href="https://github.com/mrnonz/cloudflare-r2-latency">https://github.com/mrnonz/cloudflare-r2-latency</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NfVHzAK3gXHU9tqwa21wkQ.png" /></figure><p>จะเห็นได้ว่า P50 ของ Object size 100KB จะอยู่ที่</p><ul><li>PUT <strong>223.3ms</strong></li><li>HEAD 75.0ms</li><li>GET <strong>97.5ms</strong></li></ul><p>ซึ่ง <strong>HEAD ≈ GET TTFB </strong>มีค่าใกล้เคียงกัน ผมจึงยึดตาม <a href="https://developers.cloudflare.com/cache/advanced-configuration/cache-reserve/#cache-reserve-pricing">Cache Reserve Document </a>ที่บอกว่า</p><blockquote>In most cases, a Cache Reserve <strong>miss</strong> will result in both one <strong>class A</strong> and one <strong>class B</strong> operation</blockquote><p>หมายความว่า หาก Cache Reserve <strong>MISS</strong> จะถูกคิดเงินทั้ง class A (<strong>PUT</strong>) + class B (<strong>GET</strong>) ทำให้ Latency โดยรวมเลยเกิดจากการ PUT + GET ของ R2 เข้าไปใน Cache Reserve ด้วย</p><p>ในกรณีของ P50 100KB Object เราจะได้ Latency ทั้งหมด 223.3+97.5 ≈ 320ms</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ca9HsBDJJGIGW3KI8QdSrg.png" /></figure><p>จะเห็นว่าเพียง R2 Latency อย่างเดียวก็ทำให้ Request ที่เรา MISS มี Latency เพิ่มขึ้นอย่างน้อย 320ms แล้วสำหรับ P50 และมากถึง 488ms สำหรับ P99 หากเราเปิดใช้งาน Cloudflare Cache Reserve</p><h4>แต่ R2 กับ Cache Reserve เป็นคนละฟีเจอร์กัน มีข้อสังเกตอื่นไหมว่าคือสิ่งเดียวกัน?</h4><p>สิ่งที่ทำให้ผมมั่นใจว่าเบื้องหลังของ Cloudflare Cache Reserve คือ Cloudflare R2 จริง ๆ ก็คือ ราคา</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*D41TKc8ERm5SL9RACmnPtw.jpeg" /></figure><p>เมื่อนำราคาทั้ง 2 มาวางเทียบกัน จะเห็นว่าราคาเท่ากันทุกประการ เป็นอีกเครื่องยืนยันนอกเหนือจาก Document ที่บอกว่า “Cache Reserve is a large, persistent data store <a href="https://developers.cloudflare.com/r2/">implemented on top of R2</a>.”</p><p>เราเลยสามารถอ้างถึง R2 Latency มาเป็น Latency ของ Cache Reserve ได้ด้วยนั่นเอง !! และนี่คือเหตุผลเบื้องหลังว่าทำไม Cache Reserve ที่เราเปิดใช้งานมันถึงทำให้ MISS Path ในจังหวะแรกของการเปิดหน้า Mobile Order เว็บไซต์</p><h3>วิธีแก้ไขสำหรับ MISS High Latency</h3><p>เนื่องจากเรายืนยัน Root cause ที่ชัดเจนได้แล้วว่า Latency MISS รอบแรกนั้นมาจาก Cloudflare Cache Reserve และด้วย Use case ของเว็บไซต์นี้เราไม่ต้องการ Cache Reserve เลย เพราะไฟล์ Assets อื่น ๆ สามารถ Cache บน Edge ของ CDN ได้อยู่แล้วในระดับ HIT rate 99.9% มีเพียงไฟล์ /index.html ไฟล์เดียวเท่านั้นที่จะถูกโหลดในจังหวะแรกสุดของทุก ๆ Path (ซึ่งในกรณีนี้เป็น high cardinality path)</p><p>ทางออกที่ง่ายที่สุดคือ เลือกปิด Cache Reserve ของเว็บไซต์นี้ และ Cache Reserve เองเป็น Domain-wide ฟีเจอร์ คือ กดเปิดแล้วครอบคลุมทั้ง Domain เราเลย</p><p>เราเลยต้อง Filter เฉพาะ subdomain และทำการ <strong>Bypass Cache Reserve </strong>ไปแทน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*m9z-Ck8Q8IeVqZgG9H3p5A.png" /></figure><p>เพียงเท่านี้ Latency ของ MISS Path เราก็กลับลงมาตาม Baseline ที่ควรจะเป็น และ <strong>edge;dur</strong> เหลือประมาณ 55ms</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-NnDn-EkKhpHRF9lZXc9NQ.png" /></figure><p>ส่วนด้านล่างคือ ผลลัพธ์หลังจากเรา Deploy ขึ้น Production ไป</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iqGnoJZo978vc5w405GJMA.png" /><figcaption><strong>P90</strong> of Request</figcaption></figure><p>ช่วงเวลา 09:28 P90 Request จาก RUM ลดลงจากระดับ ~400ms -&gt; 130ms ทันที แปลว่าลูกค้าเราก็จะสังเกตได้เช่นกันว่าหน้าเว็บของเราโหลดได้เร็วยิ่งขึ้น โอกาสที่เกิดอาการค้างที่หน้าขาวก็จะน้อยลงเช่นกัน</p><p>หากรวมระยะเวลาทั้งหมดที่เราประหยัดให้ User ได้ใน 1 เดือน เราช่วยลดเวลาการมองหน้าจอขาว ๆ เพื่อรอเว็บโหลดไปได้มากถึง <strong>465 ชั่วโมง</strong>! เปลี่ยนเวลาที่สูญเปล่า ให้ลูกค้าได้สั่งอาหารทันใจขึ้นเลยทีเดียว</p><h3><strong>Key </strong>Takeaway</h3><ul><li><strong>ไม่มี Silver Bullet ในโลกของ System Architecture:</strong> ฟีเจอร์อย่าง Cloudflare Cache Reserve มีประโยชน์มหาศาลในการช่วยลด Origin Egress Cost (โดยเฉพาะกับไฟล์ขนาดใหญ่) แต่ต้องแลกมาด้วย <strong>“Architectural Overhead”</strong> ที่เกิดจากการเขียนและอ่าน (PUT + GET) บน R2 ในจังหวะที่เกิด Cache MISS ดังนั้นควรเลือกเปิดใช้ให้ตรงกับ Use case ของระบบ</li><li><strong>Observability </strong>(If you can’t measure it, you can’t fix it)<strong>: </strong>ปัญหาที่มองไม่เห็นคือปัญหาที่แก้ไม่ได้ การมี Real User Monitoring (RUM) ช่วยยืนยันว่าปัญหาเกิดขึ้นจริง และการประยุกต์ใช้ Server-Timing Header คือกุญแจสำคัญที่ช่วยให้เราเจาะลึกเข้าไปใน &quot;Black Box&quot; ของ CDN ได้ว่าเวลาที่เสียไป เกิดขึ้นที่ฝั่ง Client, Edge, หรือ Origin กันแน่</li><li><strong>อย่าเพิ่งด่วนสรุปว่า Origin ช้าเสมอไป:</strong> หลายครั้งเวลาเว็บช้า เรามักจะพุ่งเป้าไปที่ Origin (AWS S3) แต่เคสนี้พิสูจน์ให้เห็นว่า ถ้า Origin ของเราอยู่ใกล้ และตอบสนองได้เร็วอยู่แล้ว การมี Layer หรือฟีเจอร์ที่ไม่จำเป็นมาคั่นกลางบน CDN กลับกลายเป็นการเพิ่ม Latency โดยไม่รู้ตัว</li><li><strong>แก้ปัญหาที่ Root Cause สนุกกว่าการซ่อนมันไว้ใต้พรม:</strong> แม้ว่าเราจะมีทางลัดอย่างการทำ Path Rewrite ที่ Edge เพื่อแก้ปัญหานี้ให้จบ ๆ ไป แต่การกัดไม่ปล่อย ขุดหาหลักฐานจนพบว่าตัวการคือ Cache Reserve ไม่เพียงแต่ช่วยแก้ปัญหาได้อย่างตรงจุดและยั่งยืน แต่ยังทำให้ทีมได้ความรู้เชิงลึกเกี่ยวกับพฤติกรรมของ Cloudflare R2 กลับมาอีกด้วย</li></ul><p>หวังว่าบทความนี้จะเป็นประโยชน์ และเป็นไอเดียให้กับเพื่อน ๆ ที่กำลังเผชิญปัญหา ลองนำเทคนิคการใช้ Server-Timingไปปรับใช้กันดูนะครับ</p><p>ที่ LINE MAN Wongnai ยังมีโจทย์สนุก ๆ ให้เรามาท้าทายความสามารถอีกเพียบ! ถ้าเพื่อน ๆ ชอบบรรยากาศการทำงานที่ได้ทดลอง วัดผล และสร้าง Impact ให้ผู้ใช้งานจริง ไม่ต้องรอช้าครับ ผมรอร่วมเดินทางกับทุกคนอยู่ แวะไปดูตำแหน่งต่าง ๆ ได้ที่นี่เลย <a href="https://careers.lmwn.com/development">https://careers.lmwn.com/development</a></p><h4>Citations</h4><ul><li><a href="https://developers.cloudflare.com/cache/advanced-configuration/cache-reserve">https://developers.cloudflare.com/cache/advanced-configuration/cache-reserve</a></li><li><a href="https://www.fastly.com/blog/lightweight-latency-measurement-with-server-timing">https://www.fastly.com/blog/lightweight-latency-measurement-with-server-timing</a></li><li><a href="https://aws.amazon.com/blogs/networking-and-content-delivery/how-to-identify-website-performance-bottlenecks-by-measuring-time-to-first-byte-latency-and-using-server-timing-header/">https://aws.amazon.com/blogs/networking-and-content-delivery/how-to-identify-website-performance-bottlenecks-by-measuring-time-to-first-byte-latency-and-using-server-timing-header/</a></li></ul><p><em>Written by Nontawat (Non) — Senior Staff Reliability Engineer (SRE)</em><br><em>Artworks by Nontapat Duangpromma (Friend) — Multimedia Graphic Designer (Intern)</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=efcea3269f5b" width="1" height="1" alt=""><hr><p><a href="https://life.lmwn.com/cache-%E0%B8%9A%E0%B8%99-cdn-%E0%B8%A2%E0%B8%B4%E0%B9%88%E0%B8%87%E0%B9%80%E0%B8%A2%E0%B8%AD%E0%B8%B0-%E0%B9%80%E0%B8%A7%E0%B9%87%E0%B8%9A%E0%B8%A2%E0%B8%B4%E0%B9%88%E0%B8%87%E0%B9%80%E0%B8%A3%E0%B9%87%E0%B8%A7-%E0%B8%AB%E0%B8%A3%E0%B8%B7%E0%B8%AD%E0%B8%AD%E0%B8%B2%E0%B8%88%E0%B8%88%E0%B8%B0%E0%B9%84%E0%B8%A1%E0%B9%88-efcea3269f5b">Cache บน CDN ยิ่งเยอะ เว็บยิ่งเร็ว… หรืออาจจะไม่?</a> was originally published in <a href="https://life.lmwn.com/">Life@LINE MAN Wongnai</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ใช้ CDN แล้ว Latency ควรลด… แต่ทำไมบางทีไม่ลด?]]></title>
            <link>https://life.lmwn.com/%E0%B9%83%E0%B8%8A%E0%B9%89-cdn-%E0%B9%81%E0%B8%A5%E0%B9%89%E0%B8%A7-latency-%E0%B8%84%E0%B8%A7%E0%B8%A3%E0%B8%A5%E0%B8%94-%E0%B9%81%E0%B8%95%E0%B9%88%E0%B8%97%E0%B8%B3%E0%B9%84%E0%B8%A1%E0%B8%9A%E0%B8%B2%E0%B8%87%E0%B8%97%E0%B8%B5%E0%B9%84%E0%B8%A1%E0%B9%88%E0%B8%A5%E0%B8%94-9af4f4bd0167?source=rss-dc8ffb85ffb------2</link>
            <guid isPermaLink="false">https://medium.com/p/9af4f4bd0167</guid>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[cdn]]></category>
            <category><![CDATA[dns]]></category>
            <category><![CDATA[site-reliability-engineer]]></category>
            <category><![CDATA[engineering-2026]]></category>
            <dc:creator><![CDATA[Nontawat Numor]]></dc:creator>
            <pubDate>Wed, 20 May 2026 08:27:48 GMT</pubDate>
            <atom:updated>2026-05-20T08:27:48.590Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fLO0-tvz5UjVIpVPn6BpDQ.png" /></figure><p>สวัสดีครับ ในวันนี้ผมจะพาทุกท่านไปดูปัญหาที่เกิดขึ้นจริงกับ <strong>LINE MAN Wongnai</strong> ที่เกี่ยวข้องกับปัญหา <strong>CDN</strong> โดยตรง ทั้งที่จริงแล้ว เราคาดหวังว่า CDN จะเข้ามาช่วยลด Latency ให้เรา แต่เราพบว่ามันไม่จริงทุกเคสเสมอไป และเรามีวิธีแก้ไขอย่างไร (แอบสปอย มีของแถมเป็น Cost saving หลายแสนบาทต่อปีอีกด้วย) เชิญอ่านต่อด้านล่างนี้ได้เลยครับ</p><p>ผมขอแวะแนะนำตัวเองอีกสักนิด ผมชื่อ <strong>นลธวัช หนูมอ (นนท์)</strong> ปัจจุบันรับตำแหน่ง <strong>Senior Staff Site Reliability Engineer (SRE)</strong> ที่ <strong>LINE MAN Wongnai </strong>สำหรับ LINE MAN Wongnai แล้วตำแหน่ง SRE คือคนที่ช่วยดูแลข้อมูลทุก ๆ Byte ที่ส่งตรงไปถึงมือของลูกค้าทุกคน จึงเป็นที่มาของบทความนี้ว่าทำไมเราถึงจริงจังกับปัญหาของทุก ๆ latency ที่เกิดขึ้น เพราะมันหมายถึงประสบการณ์ใช้งานของลูกค้าทุกคนเช่นเดียวกันครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*xDGlAjZUrZGMSOIx" /></figure><p>ปูพื้นคำว่า CDN กันก่อน หลายท่านอาจจะเคยใช้งาน <strong>CDN (Content Delivery Network)</strong> กันมาบ้างแล้ว มันเริ่มมาจากปัญหาที่ว่า หากเรามี Content ที่ถูกเก็บไว้บน Server ของเราอยู่ห่างไกลจากลูกค้ามากเกินไป จะทำให้ลูกค้า Download Content เราได้ช้าลง และความเสถียรน้อยลงเนื่องจากระยะทางที่มากขึ้น ก็มาพร้อมกับปัญหาต่าง ๆ ในด้าน Network มากมายตามไปด้วย เช่น Bandwidth ที่น้อยลง, Network latency ที่มากขึ้น, Network Congestion เป็นต้น</p><p>อย่างในภาพตัวอย่างข้างบน (Without CDN) จะสังเกตได้ว่าหากเราดู Network latency เพียงอย่างเดียว โดยที่ Content เราอยู่ที่ S3 ภายใต้ AWS — Singapore ลูกค้าที่พยายาม Download Content เหล่านี้ก็จะมี Network latency แตกต่างกันตามระยะทางในโลกความเป็นจริง ยิ่งอยู่ไกลมาก Network latency ก็จะเพิ่มขึ้นเป็นเงาตามตัวไป</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*UsfHHlfenVnKhuRD" /></figure><p>CDN ในยุคแรก คือ การที่เราพยายามเอา Content หรือข้อมูลต่าง ๆ ที่เราอยากส่งไปถึงมือลูกค้า ไปวางไว้ใกล้ ๆ อุปกรณ์ของลูกค้า ไม่ว่าจะเป็น มือถือ, คอมพิวเตอร์ หรือแม้กระทั่ง Server ของลูกค้าเช่นเดียวกัน หรือที่เราเรียกกันจนชินปากว่า CDN Cache นั่นเอง แต่ในยุคนี้แล้ว เหล่า CDN เจ้าต่าง ๆ พยายามใส่ Feature เข้ามามากมาย จนกลายร่างเป็น Security product (WAF, Rate limit) ชิ้นหนึ่งเลยก็ว่าได้ แต่ในวันนี้ผมจะพาไปใช้งาน Feature พื้นฐาน อย่างการ Cache Content ว่าทำไมเราถึงเจอปัญหาเรื่อง Latency อยู่ดี ?</p><h3>Latency ปกติดีเมื่อยังไม่มี CDN</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Bx1DZ4b7f394KDEo" /></figure><p>เนื่องจากที่ LINE MAN Wongnai เองเรามี Cloud ที่เป็นทั้ง <strong>Public Cloud (AWS)</strong> และ <strong>Private Cloud (Verda)</strong> ของตัวเองด้วยที่ Singapore ทำให้เรามีการเรียกใช้งานข้อมูลข้ามกันไปมาระหว่าง 2 Cloud เป็นเรื่องปกติตลอดเวลา</p><p>และในตัวอย่างของวันนี้ เรามี Server ฝั่ง Verda ที่จะ Download Content ที่อยู่บน S3 AWS — Singapore เพื่อนำไปใช้งานต่อก่อนจะ Response กลับไปหามือถือของ User โดยระหว่าง 2 Cloud นี้มี Network latency ประมาณ ~2ms เป็นพื้นฐาน</p><p>ในภาพนี้ก็ดูไม่มีปัญหาอะไร และใช้งานได้ดีตลอดเวลาที่ผ่านมาหลายปี แต่แล้วเราก็พบกับวิธีที่จะช่วยทำ Cost Optimization ของเราได้ นั่นก็คือ…</p><h3>Amazon CloudFront Flat-rate pricing plans</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*eft4KIvt2ZTO4_KV.jpg" /><figcaption>CloudFront Flat-rate pricing plans</figcaption></figure><p>เมื่อช่วงท้ายปี 2025 ทาง AWS ได้เปิดตัววิธีการคิดเงินแบบใหม่ ของ <strong>CloudFront</strong> (CDN ของ AWS) โดยมีชื่อว่า <strong>Flat-rate pricing plans </strong>หลักการ คือ เราจ่ายเงินเป็นรายเดือน แล้วเราใช้ได้เต็มที่โดยที่ CloudFront จะให้โควต้าการใช้งานมา เช่น จ่ายเงิน $15/mo แล้วคุณใช้ได้ 10M Requests พร้อมกับ Data transfer 50TB/mo และที่สำคัญ ถ้าเราใช้เกินออกไปจากนี้ เขาไม่คิดเงินเราเพิ่มแล้ว โดย CloudFront อาจจะ Throttling เราต่อแทน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hkM64wj87gFlDCosFDiH_A.png" /><figcaption>CloudFront Flat-rate pricing plans</figcaption></figure><p>ฟังดูยังกับกินบุฟเฟ่ต์เลย มีราคาตั้งแต่ $0/mo (อ่านไม่ผิดครับ ฟรี !) ไปยัน $1,000/mo ให้กดเลือกบนหน้าเว็บไซต์ของ AWS</p><p>จุดที่น่าสนใจมันอยู่ตรงนี้ครับ ลองเคาะเครื่องคิดเลขเล่น ๆ กัน เดิม S3 Singapore เราจ่ายค่า Data transfer OUT to the internet (<strong>DTO</strong>) ที่ $0.12/GB แปลว่าถ้าหากเราใช้ CloudFront Flat-rate Pro ที่ราคา $15/mo ได้โควต้ามา 50TB เราจะทดแทนค่า DTO เดิมที่ราคา 50TB * $0.12/GB = $6,000 ทันที !!</p><p>เพราะหากเราเอา CloudFront มาคั่นด้านหน้า S3 (ไม่ว่าจะ Region ใดก็ตาม) เราจะไม่เสียค่า DTO ฝั่ง S3 แล้วครับ เพราะถือว่าเราจ่ายเงินค่า DTO ที่ CloudFront แทน ทำให้ Data transfer ระหว่าง CloudFront &lt;&gt; S3 ฟรีทันที</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*l-zs-iHiphotdkYfZAxGNQ.png" /></figure><p>เมื่อคำนวณเงินเสร็จหลังจาก AWS เปิดตัว Flat-rate นี้ผมตาลุกวาวทันที เหมือนเอา $15 ไปแลกกับ $6,000 OMG !!</p><h3>ไม่รอช้า ผมเติม CloudFront เข้ามาคั่นเลยทันที</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*roHHa6Tu8v_DRvP_" /></figure><p>เมื่อผมคำนวณการใช้งานต่าง ๆ เรียบร้อยแล้ว และเพื่อไม่ให้มีผลกระทบกับการใช้งานเดิม ผมเลยเลือกใช้ Plan Business ที่ราคา $200/mo เพื่อการันตีว่าการใช้งานของเราจะอยู่ในโควต้าแน่นอน และไม่โดน Throttling จาก CloudFront ครับ ทำให้เรายังคงประหยัดเงินได้ระดับ $2,000/mo หรือ $24,000/yr (ปีละเกือบแปดแสนบาท คุ้มสุด ๆๆ)</p><p>Latency ก็ควรจะดีขึ้นด้วย เพราะได้ CloudFront มา Cache content ให้ ไม่ต้องไปหยิบ Object จาก S3 บ่อย ๆ แถมเหมือนได้ลดราคาอีกตั้ง $2,000/mo</p><p>ถ้าเรื่องราวจบ Happy แบบนี้ก็คงไม่สนุกสินะครับ ? (ฮ่า ๆๆ)</p><h3>เติม CDN เข้ามาคั่นกลาง แต่ Latency ดันเพิ่มขึ้น ?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*J4J8TkHkzOlIttvXI36XeQ.png" /><figcaption>Latency เพิ่มขึ้นหลังจากใช้ CloudFront</figcaption></figure><p>หลังจากที่เราได้นำ CloudFront เข้ามาคั่นกลางแล้วปรากฎว่าไม่เป็นอย่างที่เราคาดหวังไว้ เนื่องจาก latency ระหว่าง 2 Cloud ของเรากลับพุ่งสูงขึ้นเป็นระยะ ๆ โดยที่ไม่มีความผิดปกติจาก S3 ที่อยู่ด้านหลังเลย หากสังเกตในภาพดูจะเห็นว่า Baseline latency เราอยู่ที่ประมาณ ~250ms (รวมทั้ง CloudFront + S3 แล้ว) แต่ช่วงที่เกิดปัญหา latency เราพุ่งไปถึง ~2,700ms หรือเยอะขึ้นถึง 10.8x เท่ากันเลยทีเดียว และแน่นอนเรายอมรับ latency เหล่านี้ไม่ได้ครับ</p><p>เมื่อเราพยายามหา Pattern หรือลักษณะการเกิดก็ไม่พบว่าเป็นเพราะอะไร เนื่องจากเวลาที่เกิดมันสุ่มมาก และไม่ตรงกับ Load ที่เรามักใช้งานเยอะในช่วงเวลากลางวันของไทย</p><h3>ระหว่าง Verda &lt;&gt; AWS วิ่งยังไง ?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*--5WfwMmM8H8Rjei" /></figure><p>เนื่องจากเรามีการส่งข้อมูลไปกลับระหว่าง Verda และ AWS อยู่ตลอดเวลา เราจึงทำ Public peering กับ AWS ที่ Singapore โดยผ่าน <strong>IX</strong> (Internet Exchange) อยู่ทั้งหมด 2 เจ้าด้วยกัน โดยที่ Network latency baseline เราอยู่ที่ประมาณ ~2ms ตลอดเวลา</p><p>เราเลยไปยืนยันกับทีม Network ว่าในส่วนนี้ไม่มีปัญหาอะไร และ Network Capacity ปกติดีตลอดระยะเวลาที่เราพบปัญหา เราจึงตัดปัญหาของ IX ตรงกลางออกไปก่อน แล้วปัญหาอยู่ตรงไหน ? เราเลยลองขยับไปด้านขวาของภาพอีกที</p><h3>AWS CloudFront มีปัญหารึเปล่า ?</h3><p>พอเราไม่พบปัญหาฝั่งเราเองแล้ว จึงลองเปิด AWS Support Ticket เพื่อช่วยกัน Investigate ปัญหานี้ หลังจากส่งมอบข้อมูลกันไปมาอยู่หลายวัน เราจึงเริ่มเจอ Root cause ที่ชัดเจนมากขึ้น</p><p>AWS ยืนยันว่า Edge server (CDN server) ฝั่ง CloudFront ไม่พบปัญหาใด ๆ เช่นเดียวกัน รวมไปถึง Network bandwidth/capacity ก็มีเพียงพอ และไม่ได้ติด Internal rate limit ใด ๆ</p><p>เมื่อเราค้น Log ฝั่ง CloudFront ลงไปมากขึ้น จึงพบว่า Server ฝั่ง Verda ที่เราคาดหวังว่าจะ connect ไปหา CloudFront ที่ Singapore (ภายในประเทศ) กลับผิดคาด !!</p><p>ด้านล่างนี้คือภาพที่เรา Debug ออกมาแล้วพบว่าเราต่อไปหา CGK ของ CloudFront</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/854/1*uvQfgZWI8gT9sK1oeqiIyw.png" /><figcaption>Verda ต่อไปหา CGK Edge CloudFront</figcaption></figure><p>ในทุก ๆ HTTP request ที่เราส่งไปหา CloudFront ทาง CloudFront จะแนบ Response Header x-amz-cf-pop กลับมาหาเราด้วย เพื่อบ่งบอกว่า Request นี้ถูก Serve ด้วย Edge Server ที่ไหนของ CloudFront เราลองมาแปลความหมายในบรรทัดนี้กันครับ x-amz-cf-pop: CGK50-P1</p><ul><li>amz = Amazon</li><li>cf = CloudFront</li><li>pop = Point of Presence หรือ Edge Location นั่นเอง</li><li><strong>CGK</strong> = รหัสสนามบิน IATA ของ Soekarno-Hatta International Airport หรือแปลความง่าย ๆ ก็คืออยู่แถว ๆ กรุงจาการ์ตา (Jakarta) ประเทศอินโดนีเซียนั่นเอง !!</li><li>ส่วนค่าอื่น ๆ เป็น Internal code ภายในของ CloudFront เองครับ</li></ul><p>งั้นแปลว่าตอนนี้ Server ของเราที่อยู่ฝั่ง Verda-Singapore กำลังต่อไปหา CloudFront ที่ Jakarta แทนที่จะเป็น Singapore ใช่ไหม?</p><p>คำตอบคือ<strong> ถูกต้องครับ</strong> !! เป็นที่มาของ latency ที่เราพบว่าสูงมาก ๆ นั่นเอง และเป็นเพราะ Network Bandwidth/Congestion ที่เรา Download ข้ามประเทศนั้นไม่เพียงพอ จึงทำให้เราเห็น response_LBL (Last Byte Latency) ที่ฝั่ง CloudFront สูงขึ้นอีกด้วย (ทีม AWS เองก็ยืนยันถึง response_LBL ของเคสนี้สูงขึ้นจริง)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/884/1*AJk5qUATaT5kzMKfyprLOQ.png" /></figure><p>เกร็ดเล็กเกร็ดน้อยก่อนจะไปกันต่อ ในหลาย ๆ CDN มักมีวิธี Debug และแปลความหมายของ Header ต่างกัน หาก CDN ยอดฮิตอย่าง Cloudflare ที่คนไทยใช้กัน จะใช้ Response Header ชื่อว่า cf-ray เช่น cf-ray: 9d879f88f927f847-<strong>SIN </strong>โดยที่ 3 ตัวอักษรท้ายจะหมายถึงรหัสสนามบิน IATA (รหัสเหมือนตอนที่ซื้อตั๋วเครื่องบินเลย) แบบเดียวกันกับที่ CloudFront ใช้งาน และคนไทยเรามักจะเห็นรหัสเหล่านี้บน CDN ผ่านตาได้บ่อย ๆ</p><ul><li>BKK = กรุงเทพมหานคร</li><li>URT = สุราษฎร์ธานี</li><li>CNX = เชียงใหม่</li><li>SIN = สิงคโปร์</li><li>HKG = ฮ่องกง</li><li>CGK = จาการ์ตา</li></ul><p>ต่อไปนี้ผมจะใช้รหัสตัวย่อเหล่านี้ในบทความด้วยครับ</p><h3>Request เรากำลังลอยไปลอยมาข้ามประเทศอยู่ !</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*t797mBxZnojieK4k" /></figure><p>มาดูภาพปัจจุบันกันบ้าง ตอนนี้เราไขประตูบานแรกได้แล้วว่า Root cause คือเราต่อไปหา CloudFront ผิดประเทศนั่นเอง (ในทาง CDN เราเรียกปัญหานี้ว่า Out-Of-Country)</p><p>และเนื่องจากปัญหาไม่ได้อยู่ระหว่าง User -&gt; Verda server ของเราแล้ว หลังจากนี้ผมจะตัดฝั่ง User ออกจากภาพให้มองได้ง่ายขึ้นครับ</p><p>ถ้านับเฉพาะ Network latency จากเดิมที่มีเพียง 2ms ตอนนี้กลับพุ่งขึ้นสูงถึง 30ms เพราะ Request เรามี 2 hop ใหญ่ ๆ</p><ol><li>Verda (SIN) → CloudFront (CGK) ใช้เวลา 15ms</li><li>CloudFront (CGK) → AWS S3 (SIN) ใช้เวลาอีก 15ms</li></ol><p>รวมทั้งหมดเป็น 30ms นั่นเอง หากเรามองผ่าน ๆ เพียงแค่ Network latency อย่างเดียวก็ทำให้ Request ระหว่าง 2 Cloud เราช้าลงอย่างน้อย 15x เท่าแล้วว !! (จาก 2ms เป็น 30ms) ยังไม่นับรวมปัญหาเรื่อง Bandwidth หรือ Network loss ต่าง ๆ อีกด้วย</p><h3>ทำไมเราต่อเข้า CGK แทนที่จะเป็น SIN ?</h3><p>ก่อนจะไปเฉลยปัญหากัน เราต้องเข้าใจการทำงานของ CDN ก่อนว่า วิธีที่ CDN เลือกจะส่ง User/Client ไปยัง Edge server ต่าง ๆ ที่กระจายตัวอยู่ทั่วโลกเขาทำอย่างไรกัน โดยที่มีอยู่ 2 วิธีหลัก ๆ คือ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/810/1*7hAHOfI5PdMDkWyhUxieaQ.png" /><figcaption>Anycast Routing</figcaption></figure><p><strong>วิธีที่ 1 </strong>เรียกว่า <strong>Anycast</strong> IP / CDN วิธีนี้ใช้ประโยชน์จาก <strong>BGP</strong> (Border Gateway Protocol) อีกที โดยการประกาศ IP ของตัวไปยัง Edge server ที่กระจายตัวอยู่ทั่วโลก</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Gxk_-HnvFJXY0isJYl4tKg.png" /><figcaption>PING www.lmwn.com</figcaption></figure><p>หากเราลองเทสด้วย PING (ตัวอย่าง IP 104.18.24.60 ของเว็บ <a href="http://www.lmwn.com/">www.lmwn.com</a>) จากมุมต่าง ๆ ของโลกจะพบว่า latency จะค่อนข้างต่ำไม่ว่าเราจะอยู่ส่วนไหนของโลก (ไม่เกิน 2.5ms) เพราะ Internet ของ User/Client จะเลือก Network Routing ที่ใกล้ที่สุด ที่ BGP คิดมาให้แล้ว และ connect ไปหา Edge Server ใกล้ ๆ นั่นเอง CDN ที่ใช้วิธีนี้หลัก ๆ คือ Cloudflare, Cloud CDN (GCP), Fastly จริง ๆ แล้ว CloudFront เองสามารถทำ Anycast IP ได้เช่นเดียวกัน แต่มีค่า Fee อยู่ที่ $3,000/mo ผมเลยขอละเว้นไว้ก่อน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*a6saO_oTNPUgGa619zfuCA.png" /><figcaption>Unicast Routing</figcaption></figure><p><strong>วิธีที่ 2 </strong>เรียกว่า Unicast IP / CDN โดยที่ Server 1 เครื่อง (หรือ 1 กลุ่ม) จะมี 1 IP address ที่แตกต่างกัน หมายความว่าถ้าหากเราใช้ CDN ที่เป็น Unicast เราจะเห็นว่าเว็บไซต์เรามี IP แตกต่างกันตามแต่ละพื้นที่ของ User ด้วย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-IGTQpxvg_TXHifX42II3Q.png" /><figcaption>PING wongnai.com</figcaption></figure><p>ลองทดสอบด้วยการ PING เว็บ wongnai.com ที่ใช้งาน CloudFront อยู่จะสังเกตได้ว่าในแต่ละประเทศ เราได้รับ IP Edge คนละ IP กันเลย เนื่องจาก CloudFront ส่งเราไปยัง <strong>“IP Server ที่คิดว่าอยู่ใกล้ที่สุดให้เราแทน”</strong> (ในความเป็นจริง CDN มีหลายปัจจัยอย่างมากในการเลือก Edge server ให้เรา แต่เพื่อให้ภาพเข้าใจง่ายเราจะใช้แค่เรื่อง Geolocation-based อย่างเดียวครับ) CDN เจ้าใหญ่ ๆ ที่ใช้วิธีนี้ เช่น CloudFront, Akamai</p><p>โดยผมยังไม่ขอเล่าถึง CDN บางเจ้าที่ใช้ผสมกันระหว่าง Unicast กับ Anycast (Hybrid) นะครับ เดี๋ยวบทความจะยาวเกินไป</p><h3>CloudFront รู้ได้ยังไงว่าเรากำลังจะ connect มาจากที่ไหน ?</h3><p>ลองนึกภาพตามนะครับ เราอยู่ที่กรุงเทพ และกำลังจะเข้าเว็บ wongnai.com เรายังไม่รู้ IP ของเว็บเลยด้วยซ้ำ แต่ CloudFront ต้องส่งเราไป Server ที่กรุงเทพแล้ว ? แล้ว CloudFront เอาข้อมูลจากไหนไปวิเคราะห์ว่าเรา “กำลังจะ” connect จากกรุงเทพ​ ?</p><p>… ให้เวลาหยุดคิดนิดนึงครับ</p><p>คำตอบคือ CloudFront ใช้ DNS ในการเลือก Server ให้เราครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/567/0*fsOpmYfHz73wnB_N" /></figure><p>จากภาพหากเรียงตามขั้นตอนเราจะเห็นว่า</p><ol><li>User อยู่ที่ BKK กำลังจะเข้าเว็บที่อยู่ด้านหลัง CloudFront เลยต้องทำการ Resolve DNS ของเว็บกับ DNS Server หากเราใช้ Internet ในไทยไม่ว่าจะเจ้าสีเขียว หรือสีแดง หรืออื่น ๆ ก็ตาม จะมีการ config DNS Server ภายในของแต่ละค่ายไว้ให้เราเรียบร้อย</li><li>DNS Server ของค่าย Internet จะไปถาม Authoritative DNS server ของ CloudFront ว่าเว็บนี้ ๆ ควรตอบ IP Address อะไรกลับไปบ้าง</li><li>DNS ของ CloudFront จะตอบ IP BKK กลับไปให้ในกรณีนี้เพราะ<strong>เห็นว่า User มาจาก BKK</strong></li><li>DNS Server ของค่ายเน็ตตอบ IP ที่ได้มากลับไปให้ User</li><li>User connect IP ตามที่ได้มาไปยัง CloudFront — BKK นั่นเอง</li></ol><p>เอ๊ะ หากอ่านดูดี ๆ อีกครั้งเราจะเริ่มสงสัยว่าข้อ 3 ที่ฝั่ง CloudFront รู้ได้ยังไงว่า User มาจาก BKK ?</p><p>CloudFront อาศัยดูจาก 2 ปัจจัยหลัก ๆ คือ</p><ol><li>ดูจากว่า User ใช้ DNS Server อะไร (ก็คือข้อ 2 ด้านบน) เพราะ CloudFront คิดว่า DNS Server ในข้อนี้ควรจะอยู่ใกล้กับ User มากที่สุดแล้ว เพราะค่าย Internet เลือกมาให้แล้ว (ค่ายเน็ตเองก็ต้องไปตั้ง DNS Server ตัวเองอยู่ใกล้ ๆ กับ User อีกที) ยกเว้น User คนนั้นอาจจะ Advance ขึ้นโดยการ config DNS Server ไปใช้ที่อื่น ข้อนี้ก็จะมีปัญหาไปด้วย</li><li>ดูจากว่า User ใช้ IP Address อะไรโดยผ่านสิ่งที่เรียกว่า <strong>EDNS0-Client-Subnet (ECS)</strong></li></ol><h3>ใช้ EDNS0-Client-Subnet เข้ามาช่วยแก้ปัญหา</h3><p>สิ่งที่น่าสนใจอยู่ตรงที่ <strong>EDNS0-Client-Subnet (ECS) </strong>ครับว่าทำงานยังไง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0T9VErnLKBrjjUZec9mNHA.png" /><figcaption>RFC 7871</figcaption></figure><p>หากเราไปดูใน <strong>RFC 7871 (</strong>Client Subnet in DNS Queries<strong>) </strong>จะเห็นว่าใน Protocol เราส่ง Client address information ไปด้วยนั่นเอง (บางที่จะใช้คำว่า partial client IP address เพราะเราตัดบางส่วนของ IP ออกเนื่องจากเรื่อง Privacy ครับ) เพื่อบอก Authoritative DNS server ของ CloudFront ว่า User คือกลุ่ม IP ใดครับ</p><p>ในภาพนี้ผมจำลองด้วยการส่ง ECS เข้าไปด้วยตัวเองผ่าน command dig</p><pre>dig wongnai.com @8.8.4.4 +subnet=49.228.244.0/22</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wCf5BhRXUNIRAld-8vOI_g.png" /></figure><p>และได้ List CloudFront Edge IP server กลับมา หากเราลองสุ่มหยิบ IP เหล่านั้นไป connect ดูจะพบว่าเราได้ Server ที่อยู่ BKK กลับมาจริง ๆ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UKfy24c-Kuioor12gaRqQw.png" /></figure><p>ที่นี้เรามาลองส่อง Packet DNS Query กันจริง ๆ เลยดีกว่า ว่าหน้าตาของ ECS ที่ว่าจะเป็นยังไงกัน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7_4RH17QTXGZ716TjQrU-A.png" /><figcaption>Packet DNS Query with ECS</figcaption></figure><p>จะเห็นได้ว่าในส่วนของ Packet DNS Query นั้นได้มีการแนบ Client Subnet ip address เข้าไปด้วย และ DNS Server ของ Google (8.8.4.4) ได้ทำการส่งข้อมูลนี้ต่อไปยัง CloudFront ทำให้ CloudFront รู้ได้นั่นเองว่า User คนนี้กำลังใช้ Internet ของค่ายไหนอยู่ และมี Location-based จาก IP นั่นเอง !!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BIDVTy8MTQXNst5tlSNuWQ.png" /></figure><p>ตอนนี้เราได้ภาพครบแล้วว่า CloudFront เลือก Edge location ให้เราอย่างไร กลับมาดูภาพปัจจุบันของปัญหานี้กันว่าเราใช้อะไรยังไงอยู่บ้าง ทำไม CloudFront ถึงเลือกให้เราผิด</p><h3>เราใช้ Cloudflare DNS เป็น DNS Resolver ของเราอยู่</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ROa4em_cQ0ellMQx" /></figure><p>จากในภาพจะเห็นว่าเราเลือกใช้ Cloudflare DNS (1.1.1.1, 1.0.0.1) เป็น Upstream DNS ของเรา แต่ก็ดูปกติดีเพราะเราเองมี Public Peering ไปหา Cloudflare เช่นเดียวกัน ทำให้เรา connect ไปหา Cloudflare ที่ Singapore (SIN) ตามปกติ และเราคาดหวังว่า CloudFront จะตอบ IP Edge ที่ SIN กลับมาให้เรา แล้วมันมีอะไรผิดปกติในภาพนี้ ?</p><p>เมื่อเราไปสืบค้นข้อมูลเพิ่มเติม จะพบว่า Cloudflare ระบุไว้ชัดเจนว่า Cloudflare DNS จะไม่ส่งข้อมูล IP ของ client / ECS ไปยัง Authoritative DNS server เพื่อรักษาความเป็นส่วนตัวของผู้ใช้งาน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nyCDK7a2e_suCKpgnzKIGw.png" /></figure><p>นี่แหละ เราต้องเจอต้นตอของปัญหาทั้งหมดแล้วแน่ ๆๆ (ฮ่า ๆๆ)</p><h3>ย้ายไปใช้ Google Public DNS ทันที</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*obkneYGAw-CAb-La6doZPA.png" /></figure><p>เมื่อเราทราบข้อมูลนี้แล้ว ผมก็ไม่รอช้าครับ สลับไปใช้งาน Google Public DNS (8.8.8.8, 8.8.4.4) ทันที เพราะเนื่องจาก Google ทำการเติมข้อมูล IP Address ของเราลงไปใน ECS และส่งข้อมูล ECS นี้ไปยัง CloudFront ให้เราด้วยครับ แบบนี้แหละ latency เราก็ต้องหายไปแล้วสินะ !!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*GJfgk9HNXIWVuqKC" /></figure><p>ผลลัพธ์ที่ได้มากลับไม่มีอะไรเปลี่ยนแปลง ปัญหาที่เรา connect ไป CGK แทนที่จะเป็น SIN ยังคงอยู่เหมือนเดิม … แล้วปัญหาคืออะไรได้อีก ??</p><p>เราเลยนึกขึ้นได้ว่า IP ที่ Verda-Singapore นั้นเราใช้วิธีแบ่ง IP บาง Subnet จาก Japan เพื่อมาใช้งานที่ Singapore งั้นก็อาจจะเป็นเพราะข้อมูล IP Address ที่เราใช้ connect ไปหา Google Public DNS จะยังไม่อัปเดต ?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q6ZRu1o13UDb4rUTynVJtA.png" /></figure><p>เมื่อเราลองค้นดูก็พบว่าเป็นแบบนั้นจริง ๆ ฐานข้อมูล IP Address ของโลกนี้คิดว่า IP ของเราใช้งานจาก Japan แทนที่จะเป็น Singapore ทำให้ CloudFront ตอบ Edge IP ให้เราไม่แม่นยำพอ เราเลยสืบค้นต่อว่าแล้ว CloudFront ใช้ Geolocation Database ใด คำตอบที่เราพบคือใช้ <strong>MaxMind</strong> GeoIP database</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*njV9fWpsaP2_JEZmWk0LTw.png" /><figcaption>CloudFront use MaxMind GeoIP databases</figcaption></figure><h3>งั้นเราก็อัปเดตข้อมูลบน MaxMind ก็ปิดงานเลยได้สินะ ?</h3><p>เพราะงั้นแล้วเราไม่รอช้าครับ ผมส่งขออัปเดตข้อมูลไปยัง MaxMind ทันที</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Apom_57YFMz4Zt_XZbcHWg.png" /></figure><p>ในระหว่างที่รออัปเดตจากทาง MaxMind และต้องรอทาง CloudFront อัปเดตฐานข้อมูลตามอีก ผมก็นึกไอเดียขึ้นได้ 1 ข้อ นั่นก็คือ…</p><h3>ทำไมเราไม่กำหนด ECS เพื่อแก้ปัญหาไปเลยหล่ะ !!</h3><p>ไหน ๆ เราก็ลองกำหนดค่า ECS ในตัวอย่าง command dig ไปแล้ว เราก็ไปทำวิธีนี้กับ Local DNS Cache ใน Verda เราเลยสิ</p><p>เริ่มจากเลือก IP ที่เราจะส่งไปใน ECS ก่อน จะต้องเป็น IP ที่แก้ปัญหานี้ได้หายขาด และถูกต้องต่อไปในอนาคตด้วย และแน่นอน IP ที่ CloudFront จะรู้จักดีเองที่สุดคงเป็น IP อื่นใดไม่ได้ นอกจาก IP ของ AWS เองครับ ผมจึงเลือก IP 3.0.0.9 มายืนพื้นให้เราครับ</p><p>ลองทดสอบด้วย dig กันก่อนว่าสามารถใช้งานได้</p><pre>dig wongnai.com @8.8.4.4 +subnet=3.0.0.9/32</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gBWKN7HY7Pdbn8iygWOJjw.png" /></figure><p>เมื่อเราลองใช้ /32 ส่งเข้าไปทำให้ Google Public DNS reject เรากลับมาแทนที่จะตอบ IP Address ให้เรา เนื่องจากปัญหา Privacy ที่ว่าไปในข้างต้น เราเลยเลือกที่ส่งไปเพียง /24 นั่นก็คือ</p><pre>dig wongnai.com @8.8.4.4 +subnet=3.0.0.0/24</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*U7jXGJ6hAXjY3XRm5HqCag.png" /></figure><p>เพื่อยืนยันว่า IP ที่ได้มาถูกต้อง แน่นอนครับต้องนำไปทดสอบว่าเป็น Edge ที่ไหนอีกที</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Lb9odJiMKPp6atFFnuTGgg.png" /></figure><p>เย้ !! เราได้ <strong>SIN</strong> (Singapore) Edge location กลับมาจาก CloudFront แล้วครับ ทีนี้ก็เหลือจิ๊กซอว์ชิ้นสุดท้าย ที่จะทำให้ฝันเราเป็นจริงครับ แต่แล้ว…</p><h3>Local DNS Cache ใช้ ECS ไม่ได้</h3><p>ปัญหายังคงไม่จบ เนื่องจากเจ้า Local DNS Cache เดิมของเรามันใช้ ECS ไม่ได้ จะลองพยายาม Hack หรือ Custom Build หลายท่าแล้วก็ยังดูไม่ simple พอ ผมเลยล้างกระดานใหม่ งั้นเราเปลี่ยน Local DNS Cache ไปเลยไหม ?</p><p>พอลอง research ไปเรื่อย ๆ เลยไปสะดุดตากับ <strong>CoreDNS</strong> (ที่เราคุ้นชิน คุ้นตามาหลายปีใน Kubernetes นั่นแหละ)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Jfb4mveTTnfwiWc87MgpGw.png" /><figcaption>CoreDNS Plugin rewrite</figcaption></figure><p>โดย CoreDNS มี plugin ชื่อว่า rewrite ที่สามารถให้เรากำหนด edns0 สำหรับใช้ทำ ECS ให้เราได้นั่นเอง !!</p><p>โจทย์เราคืออยาก rewrite ECS ด้วย IP 3.0.0.0/24 จึงต้องเปิด RFC 7871 ขึ้นมาดูอีกครั้งว่าจะต้องส่งอย่างไร</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BfR_0VXfqxFBLPeDAxnomw.png" /><figcaption>RFC 7871</figcaption></figure><p>เมื่อนำ Protocol ที่ได้จาก RFC ไปประกอบกับ format ที่ CoreDNS ใช้เราเลยได้หน้าตาออกมาเป็น ดังนี้</p><pre>rewrite edns0 local set 0x8 &lt;Hex Payload&gt;</pre><p>มาคำนวณ Hex Payload กันดีกว่า</p><ul><li>Family: เราใช้ IPv4 คือค่า 1 เสมอ จึงได้ค่า 0001</li><li>Source Prefix-Length: เราใช้ /24 เมื่อแปลงเป็น Hex ก็จึงได้ค่า 18</li><li>Scope Prefix-Length: เป็นส่วนที่ฝั่ง Upstream เติมให้เรา เราจึงต้องใช้ 0 เสมอ จึงได้ค่า Hex 00</li><li>Address: เราต้องการ IP 3.0.0 (เพราะเราตัดแค่ /24 หรือ 3.0.0/24 นั่นเอง) แปลงเป็น Hex จึงได้ค่า 030000</li></ul><p>เมื่อนำมาต่อกันทั้งหมดเราจะได้ Hex Payload คือ 00011800030000 หรือเขียนในรูปของ Hex คือ 0x00011800030000 นั่นเอง !!! Wow</p><p>นำมาประกอบกันทั้งหมดเป็น config CoreDNS เราจะได้</p><pre>. {<br>    # Force upstream to see the client as 3.0.0.0/24<br>    rewrite edns0 local set 0x8 0x00011800030000<br>    <br>    forward . 8.8.8.8 8.8.4.4<br>}</pre><h3><strong>Deploy จริงกันเถอะ !!</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*fn-OEVbdP27Rg6x5" /></figure><p>ในเมื่อเราได้ของครบในมือแล้ว เราก็ Deploy ทันทีตั้งแต่ Non-production ไล่ขึ้นไปจนถึง Production และแน่นอนครับ นี่คือผลลัพธ์ที่เราได้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FjNI0t_9kbGEjQETFqYb6A.png" /><figcaption>Result; CoreDNS with custom ECS</figcaption></figure><p>จะสังเกตได้ว่า latency ของเรากลับลงมาเป็นปกติ เหมือนก่อนที่เราจะเติม CloudFront เข้ามาคั่นกลางทันทีหลัง Deploy CoreDNS ที่เรากำหนด ECS เอง จึงเป็นอันปิดจบ Long-Story Optimization แบบสวยงามครับ</p><p>ได้สนุกทั้งไล่ตามหา Root cause แถมประหยัด Cost ได้ปีละ $24,000 อีกด้วย (ฮ่า ๆ)</p><h3>สรุปภาพรวมกัน</h3><p>จากต้นทางเริ่มมาจากที่เราอยากทำ Cost Optimization โดยการเพิ่ม CDN อย่าง CloudFront เข้ามาคั่นกลาง แต่แล้วปัญหาก็ไม่ง่ายอย่างที่คิด เพราะ CloudFront เลือก Steering traffic ของลูกค้าด้วยข้อมูลเท่าที่ตัวเองมี ประกอบกับข้อมูล IP Address ของเราที่ไม่แม่นยำพอจึงทำให้ CloudFront เลือก Edge location ให้เราผิดจากภายในประเทศ กลับเป็นนอกประเทศแทน จึงเป็นที่มาของ latency อีกมากมาย</p><p>เราเลยต้องหาวิธีในการอัปเดตฐานข้อมูล IP Address จนไปถึงวิธีที่แม่นยำพอโดยการกำหนดค่าของ ECS DNS Query เองเพื่อให้ CloudFront ตอบ IP ที่แม่นยำให้แก่เราได้ เราจึงรักษาไว้ได้ทั้ง latency ที่ดีขึ้นกว่าเดิม (เพราะมี CDN มา Cache content ด้านหน้า S3 ให้ด้วย) และยังลด Cost ของเราได้ที่ระดับ $24,000 ต่อปีเลย</p><p><strong>หากใครสนใจงานสนุก ๆ ที่ท้าทายแบบนี้ ไม่ต้องรอช้าครับ ผมรอร่วมเดินทางกับทุกคนอยู่ ลองดูตำแหน่งต่าง ๆ ที่นี่ได้เลย </strong><a href="https://careers.lmwn.com/"><strong>https://careers.lmwn.com</strong></a></p><p>..แล้วพบกันใหม่บทความหน้านะครับ ขอบคุณครับ</p><h3>Citations</h3><ul><li><a href="https://datatracker.ietf.org/doc/html/rfc7871#page-8">https://datatracker.ietf.org/doc/html/rfc7871#page-8</a></li><li><a href="https://developers.google.com/speed/public-dns/docs/ecs">https://developers.google.com/speed/public-dns/docs/ecs</a></li><li><a href="https://coredns.io/plugins/rewrite/">https://coredns.io/plugins/rewrite/</a></li><li><a href="https://docs.aws.amazon.com/Route53/latest/DeveloperGuide/routing-policy-edns0.html">https://docs.aws.amazon.com/Route53/latest/DeveloperGuide/routing-policy-edns0.html</a></li></ul><p>Written by Nontawat (Non) — Senior Staff Reliability Engineer (SRE)<br>Artworks by Chaiwat (Wat) — Senior Multimedia and Graphic Designer</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9af4f4bd0167" width="1" height="1" alt=""><hr><p><a href="https://life.lmwn.com/%E0%B9%83%E0%B8%8A%E0%B9%89-cdn-%E0%B9%81%E0%B8%A5%E0%B9%89%E0%B8%A7-latency-%E0%B8%84%E0%B8%A7%E0%B8%A3%E0%B8%A5%E0%B8%94-%E0%B9%81%E0%B8%95%E0%B9%88%E0%B8%97%E0%B8%B3%E0%B9%84%E0%B8%A1%E0%B8%9A%E0%B8%B2%E0%B8%87%E0%B8%97%E0%B8%B5%E0%B9%84%E0%B8%A1%E0%B9%88%E0%B8%A5%E0%B8%94-9af4f4bd0167">ใช้ CDN แล้ว Latency ควรลด… แต่ทำไมบางทีไม่ลด?</a> was originally published in <a href="https://life.lmwn.com/">Life@LINE MAN Wongnai</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[เราลด latency กว่า 50% ด้วย Config ไม่กี่บรรทัดได้ยังไง?]]></title>
            <link>https://life.lmwn.com/how-did-we-reduce-latency-by-over-50-with-just-a-few-lines-of-config-22b1ff083ab4?source=rss-dc8ffb85ffb------2</link>
            <guid isPermaLink="false">https://medium.com/p/22b1ff083ab4</guid>
            <category><![CDATA[latency]]></category>
            <category><![CDATA[performance-optimization]]></category>
            <category><![CDATA[site-reliability-engineer]]></category>
            <category><![CDATA[engineering2025]]></category>
            <category><![CDATA[system-architecture]]></category>
            <dc:creator><![CDATA[Nontawat Numor]]></dc:creator>
            <pubDate>Mon, 23 Jun 2025 06:51:22 GMT</pubDate>
            <atom:updated>2025-06-23T15:32:35.977Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uaMhc86W-rnYQr_GnfQkXQ.png" /></figure><p>สวัสดีครับ วันนี้ผมจะมาเล่าเรื่องราวที่สุดสนุก ที่กว่าจะออกมาเป็น Config เพียงไม่กี่บรรทัดจนทำให้เราสามารถลด latency ของ API ได้มากกว่า 50% ที่ <strong>LINE MAN Wongnai</strong> ครับ</p><p>ก่อนอื่นขอแนะนำตัวเองอีกสักนิด ผมชื่อ <strong>นลธวัช หนูมอ (นนท์) </strong>ปัจจุบันรับตำแหน่ง <strong>Staff Site Reliability Engineer (SRE)</strong> ที่ <strong>LINE MAN Wongnai (LMWN) </strong>หากท่านใดสงสัยว่าตำแหน่งนี้ คืออะไร, ทำงานอะไรบ้าง, ความท้าทายเป็นอย่างไร <a href="https://life.wongnai.com/%E0%B9%80%E0%B8%88%E0%B8%B2%E0%B8%B0%E0%B8%A5%E0%B8%B6%E0%B8%81%E0%B9%80%E0%B8%9A%E0%B8%B7%E0%B9%89%E0%B8%AD%E0%B8%87%E0%B8%AB%E0%B8%A5%E0%B8%B1%E0%B8%87%E0%B8%97%E0%B8%B5%E0%B8%A1-site-reliability-engineering-sre-%E0%B8%97%E0%B8%B5%E0%B9%88-line-man-wongnai-%E0%B8%97%E0%B8%B5%E0%B8%A1%E0%B8%97%E0%B8%B5%E0%B9%88%E0%B8%97%E0%B8%B3%E0%B9%83%E0%B8%AB%E0%B9%89-10-c6da505cf26a">อ่านต่อที่นี่</a>ได้เลยครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*DFWDpvHm2A6ZiJOE" /><figcaption>Service A ยิง gRPC ไปหา Service B โดยมี Network latency ~2ms</figcaption></figure><p>มาเริ่มกันด้วยภาพ Architecture ของเส้นทาง request ของเราในวันนี้กันก่อนดีกว่า ในภาพนี้จะเห็นว่าเราใช้ gRPC ในการคุยกันข้ามไปยัง Service B ที่อยู่ปลายทาง ซึ่ง Server ปลายทางของเรานั้นอยู่กันคนละระบบ (จริง ๆ แล้วอยู่กันคนละ Cloud เลยก็ว่าได้) แต่ทั้ง 2 Cloud นี้ไม่ได้เชื่อมกันด้วย Private Network ด้วยปัญหาเชิงลึกบางอย่าง จึงทำให้ต้องคุยกันข้ามผ่าน Internet</p><p>เนื่องจากเรามีการทำ Public Peering ไปหา Cloud ปลายทาง (ต่อจากนี้ผมจะเรียกว่า AWS ครับ) และทั้ง 2 ฝั่งอยู่ใน region เดียวกันคือ Singapore ทำให้โดยทั่วไปแล้วลิงก์ระหว่าง 2 Cloud นี้มี Network latency เพียง 2ms</p><h3><strong>แล้วปัญหาของเราในวันนี้คืออะไร?</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x4LODwvfxv3QPQ2uwlAavA.png" /><figcaption>P99 API latency ที่ฝั่ง Service A วัดได้</figcaption></figure><p>ฝั่ง Service A เห็นว่า latency ของ Service B สูงมากระดับ 100ms ~ 1s ซึ่งถือว่าเป็นช่วงที่กว้างเกินไปมากสำหรับ request ของ function เหล่านี้</p><p>ปัญหาง่ายมาก ! คิดอะไรไม่ออก เราก็โทษ Service B ก่อนเลย ว่าฝั่งปลายทางช้าเอง (ฮ่าๆ) เราก็ไปดูฝั่ง Service B ว่า latency เป็นยังไง?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-dNzlO45fioDR8zz4DSJJw.png" /><figcaption>P99 API latency ของ Service B</figcaption></figure><p>ฝั่ง Service B เลยเอา latency มาดูกัน ปรากฏว่าโดยส่วนใหญ่แล้ว P99 ต่ำกว่า 50ms ด้วยซ้ำไป อาจจะมีบาง function ที่ขึ้นไปถึง 100ms แต่ก็ไม่เคยถึง 1s แบบที่ฝั่งต้นทางวัดได้เลย</p><p>ต้นทางบอกว่า P99 ช้าถึง 1s แต่ปลายทางบอกว่าช้าสุดแค่ 100ms … แล้วใครช้า?</p><p>โอเค ตอนนี้ภาพ Architecture อาจจะหยาบเกินไป เราต้องเริ่มมองให้ลึกลงไปอีกว่ามีส่วนไหนในระบบที่ช้าได้บ้าง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*5mQIp01AVvS8H4aq" /><figcaption>OpenResty ทำหน้าที่เป็น forward proxy ยิง gRPC ไปหาปลายทาง</figcaption></figure><p>ภาพดูมีรายละเอียดมากขึ้น โดยมี OpenResty (ที่ด้านล่างเป็น NGINX อีกที) มาคั่นกลางก่อนวิ่งออก Internet อยู่ โดย OpenResty ทำหน้าที่เป็น forward proxy (grpc_pass) ยิง gRPC ไปหาปลายทางเราให้เราอีกที เนื่องจาก Server ภายใน Cloud ต้นทางวิ่งออก Internet ไม่ได้ และ OpenResty เข้ามาทำหน้าที่นี้ให้แทน</p><p>พอเราวาดแบบนี้ปุ๊ป เราก็โทษ OpenResty ต่อทันทีว่าช้าที่นี่ งั้นเรามาดู latency ที่ OpenResty กัน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Iv1yOGtBgG1SzwgduSwXMg.png" /><figcaption>P99 อยู่ที่ราว ๆ 68ms</figcaption></figure><p>P99 ที่เราเห็นจาก OpenResty เพียง 68ms ซึ่งยังห่างไกลจากคำว่า 1s (1,000ms) อยู่มาก แล้วปัญหาอยู่ที่ไหน? จะอยู่ระหว่าง Service A กับ OpenResty ก็ดูเป็นไปได้ยากมาก เพราะ Internal network latency ต่ำมาก ๆ เพียง 0.5ms โอกาสที่จะทำให้ช้าระดับ 1s เป็นไปยากมาก เราเลยตัดความเป็นได้ที่จะเกิดจาก Internal network ออกไปก่อน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*1aj-_5TM8KjWW4QL" /></figure><h3>วิธีแก้ปัญหาสุดง่าย</h3><p>…ก็คือ คิดไปเองว่าอาจจะมีปัญหาใน OpenResty งั้นเราก็ลอง scale-out เลยเผื่อจุดนี้รับ load ไม่ไหวแล้ว</p><p>พอ scale-out OpenResty เพิ่มขึ้น 50% ปรากฏว่าปัญหานี้ไม่หายไป latency ยังคงอยู่ที่เท่า ๆ เดิม</p><p>โอเค scale-out ไม่หาย งั้นอาจจะเป็นที่ bug บางอย่างใน OpenResty ก็ได้ เพราะเราไม่ได้ upgrade version มานานมากแล้ว</p><p>เราเลยลอง upgrade OpenResty จาก version 1.21.4.2 -&gt; 1.27.1.2 ซึ่งเป็นการข้าม version ที่ไกลระดับเกือบ 2 ปีกันเลยทีเดียว (jul-2023 → mar-2025) !! นี่แหละ มันต้องเป็น bug ที่ผสมอยู่ในระหว่าง 2 ปีนี้แน่ ๆ</p><p>แต่ข่าวร้าย… หลังจาก upgrade แล้ว latency ยังคงเยอะเหมือนเดิม (ถ้ามันง่ายแบบนี้คงไม่เกิดเป็นบล็อกนี้ ฮ่าๆๆ)</p><p>เราเลยลองตรวจสอบ network รอบ ๆ โดยละเอียดอีกครั้ง ทั้งเส้น Internal และ Internet แต่ทุกอย่างยังคงดูปกติดี ยังไม่พบจุดต้องสงสัย</p><p>งั้นกลับมาผู้ต้องสงสัยที่ OpenResty กันอีกที เริ่มจาก</p><h3><strong>OpenResty วัด latency นี้ได้ถูกต้องจริงรึเปล่า?</strong></h3><p>โค้ดที่เราใช้สร้าง metric นี้เขียนด้วย lua คือ</p><pre>log_by_lua_block {<br>  metric_requests:inc(1, {ngx.var.server_name, ngx.var.status})<br>  metric_latency:observe(tonumber(ngx.var.request_time), {ngx.var.server_name})<br>}</pre><p>ซึ่งวัดจาก $request_time ของ NGINX อีกที พอไปเปิด doc NGINX ดูก็จะพบนิยามว่า</p><p>request processing time in seconds with a milliseconds resolution; time elapsed between the <strong>first bytes were read from the client</strong> and <strong>the log write after the last bytes were sent to the client</strong></p><p>หมายความว่ามันถูกวัดตั้งแต่เริ่มได้รับ request จนจบ request แล้วจริง แล้ว latency ระดับ 1s มันอยู่ตรงไหน?</p><p>หลังจากเราพึ่งพา metrics ไม่ได้ ต่อไปเราก็มาดู log จาก OpenResty กันอีกที</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sALFM8NrfS8UCmlZV6fBPQ.png" /><figcaption>Log ของ OpenResty ที่ request ช้ากว่า 500ms</figcaption></figure><p>พอเรากาง log ออกมาก็ชัดเจนว่าจุดที่ช้าคือต้องอยู่ระหว่าง OpenResty และ Service B แล้ว (อย่างน้อยก็สบายใจได้ว่าเรา scope ปัญหาได้เล็กลงไปอีกขั้น)</p><p>ก่อนจะไปอีกจุด แล้วแบบนี้เรายังเชื่อถือ metrics จาก OpenResty ที่เราวัดมาได้รึเปล่า? งั้นเราลองดู P99.9 ดูเพิ่มดีกว่า</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pRQzT1su9PXkQgnOV7Rrhw.png" /><figcaption>P99.9 ของ OpenResty</figcaption></figure><p>พอเราวาด P99.9 ของ OpenResty ออกมา ก็เป็นที่ชัดเจนว่า metrics เราทำงานถูกต้องแล้ว ที่วัด P99.9 ระดับ 1s ได้ (จดไปอีก 1 ข้อว่า สิ่งที่เราเห็นอาจจะไม่ใช่ทั้งหมด เพราะเราไม่ได้วาดกราฟทั้งหมดออกมาให้เห็น ฮ่าๆ)</p><p>โอเค กลับมาที่ OpenResty และระหว่าง Service B กันว่าช้าที่จุดไหน เริ่มจากเราเติมภาพให้มันลึกขึ้นไปอีก จะได้รู้ว่ามีใครอยู่ระหว่างทางบ้าง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*KQlrQ8dYn04D9mOB" /></figure><p>จะเห็นว่าจริง ๆ ด้านหน้าของ Service B มี <strong>AWS NLB (Network Load Balancer)</strong> คั่นอยู่ ซึ่งทำงานที่ Layer 4 ตาม OSI model งั้นเราตามไปดูที่ NLB กันว่ามันช้าที่นี่รึเปล่า?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ryBvJL8595jlacTMm1QJJA.png" /><figcaption>metrics reset count บน AWS NLB</figcaption></figure><p>เราพบว่ามี Client reset count จำนวนมาก เมื่อเทียบกับ Target reset count มีเพียงนิดเดียว Client reset count หรือ <strong>TCP_Client_Reset_Count</strong> ตามนิยามของ AWS คือ</p><blockquote>The total number of reset (<strong>RST</strong>) packets sent from a client to a target. These resets are <strong>generated by the client</strong> and forwarded by the load balancer.</blockquote><p>หมายความว่า RST packet เหล่านี้ถูกส่งมาจากฝั่ง OpenResty เองแน่ ๆ เราจึงตัดความเป็นไปได้ว่าอาการช้านี้ไม่ได้เกิดขึ้นที่ฝั่ง AWS แล้วเนื่องจากทั้ง latency ของ Service B เองที่ปกติ รวมไปถึง metrics อื่น ๆ ของ AWS NLB ดูปกติดี</p><p>งั้นเรามาหาคำตอบต่อว่า RST packet ที่ส่งมาจาก OpenResty เป็นอย่างไรบ้าง เริ่มจากเราเอา packet ของเครื่องที่ OpenResty รันอยู่มาดูกัน ด้วยการใช้ pcap (capturing network traffic) ออกมา (ผมไม่ขอลงรายละเอียดนะครับ เดี๋ยวจะลึกเกินไป)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KrqihcjrGAL-j5Jc0XhLbw.png" /><figcaption>Packet ของ OpenResty</figcaption></figure><p>IP ที่ขึ้นต้นด้วย 10.42. คือ IP ของ Pod OpenResty, ส่วน 47.130. คือ IP ของ AWS NLB ซึ่งจะเห็นได้ว่ามี TCP Retransmission เกิดขึ้นตลอดเวลา ไม่ได้ขึ้นกับ workload ขณะนั้น</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ex3UDAGMZXSFK68kN_aocw.png" /><figcaption>OpenResty ยิง RST ไปหา AWS NLB</figcaption></figure><p>และส่วนสุดท้ายของ TCP stream จะเห็นได้ว่า AWS NLB ส่ง <strong>[FIN, ACK]</strong> มายัง OpenResty แล้ว ตามปกติฝั่ง OpenResty ควรส่ง <strong>[FIN, ACK]</strong> กลับไปเพื่อ Terminate TCP connection (ตามปกติในการปิด TCP connection ต้องมี 2 FINs &amp; 2 ACKs) แต่ดันเลือกที่จะส่ง RST packet ออกไปแทน</p><p>ตอนนี้เรายืนยันได้แล้วว่า OpenResty เป็นคนส่ง RST packet ออกไปเอง แล้วเราจะทำยังไงให้มันลดลงได้บ้าง ? (ติดไว้ก่อน)</p><p>ในระหว่างที่ผมนั่งดู network packet ที่เก็บมาก็สังเกตเห็น TCP stream อีกรูปแบบที่ไม่เกิด TCP Retransmission ขึ้นเลย นั่นก็คือ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1blmbbLu-vDOrlPkTA1MZQ.png" /><figcaption>TCP stream ที่ใช้ Source IP เป็น Public IP</figcaption></figure><p>จากภาพก่อนที่ Source IP เป็น Pod IP (10.42.) ตอนนี้ Source IP เป็น 147.92. ซึ่งเป็น Public IP ของ Server เครื่องนี้แทน ทำให้เรารู้แล้วว่า TCP Retransmission จะเกิดขึ้นกับเฉพาะตอนที่เราใช้ Pod IP ยิงออกไปหาปลายทางเท่านั้น เนื่องจากเรา capture packet บน physical device พร้อมกัน 2 ตัวที่ฝั่งนึงผ่านการทำ NAT มาแล้ว ทำให้ Wireshark แปลผลผิดได้</p><h3>แล้วเราจะแก้ยังไงดี?</h3><p>เริ่มจาก Pod OpenResty ของเรารันเป็น container (บน Linux) และคุมด้วย kubernetes ทำให้ตามค่า default แล้วทุกครั้งที่เวลาเราสร้าง Pod ต่าง ๆ ออกมามันจะถูกแยก network namespace ออกจาก Server/Host ของเรา (ไม่ใช่ kubernetes namespace นะครับ) ทำให้ได้ IP เช่น 10.42. ออกมา (แยกออกจาก IP ของ Server อีกที)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*0uzMqpoJYpxzf3Cq" /><figcaption>Network namespace เมื่อเราสร้าง Pod บน Server</figcaption></figure><p>จากด้านบนจะเห็นว่า Pod OpenResty ต้องผ่าน veth1 (Virtual Ethernet), cbr0 (Custom Bridge) และ eth0 (Ethernet) ก่อนจะวิ่งออกจาก Server ไปได้ (ของจริงอาจจะมี eth interface หลายตัวได้)ในระหว่างทางนี้อาจจะมีการทำ Encapsulate Ethernet frames / NAT ต่าง ๆ ผมขอละไว้เพราะเดี๋ยวลึกไปครับ</p><p>กลับมาที่โจทย์ของเราตอนนี้ คือจะทำยังไงให้ Pod ของ OpenResty สามารถใช้งาน Public IP ของ Server ได้โดยตรง?</p><p>คำตอบตรงตัวมากครับ</p><h3><strong>“ก็ย้ายมันไปรันใน Host/Root network namespace สิ”</strong></h3><p>ทำยังไง? ใน kubernetes เองมี options ชื่อว่า <strong>hostNetwork</strong> อยู่ในส่วนของ Pod Spec อยู่แล้ว เราเพียงกำหนด <strong>hostNetwork: true</strong> ให้ก็เป็นอันเรียบร้อย (เบื้องหลังจริง ๆ มันไปสั่งให้ตอนสร้าง container ใช้ host network อีกที) และเมื่อเราใช้ hostNetwork เรียบร้อยแล้วเราจะไม่สามารถ resolve DNS ภายใน Cluster kerbernetes ได้ (เพราะมันถูกย้ายมาใช้ Server/Host DNS settings แทน) ถ้าหากเราต้องการให้ Pod เรา resolve DNS กลุ่ม services, endpoints ได้ตามเดิมต้องใส่ <strong>dnsPolicy: ClusterFirstWithHostNet</strong> เข้าไปด้วยอีกที ทำให้หน้าตา Pod Config เราจะเป็น</p><pre>apiVersion: v1<br>kind: Pod<br>metadata:<br>  name: openresty<br>  namespace: proxy-prod<br>spec:<br>  containers:<br>  - image: openresty:1.27<br>    name: openresty<br>  hostNetwork: true<br>  dnsPolicy: ClusterFirstWithHostNet</pre><p>และทำให้ภาพ container ของเราเปลี่ยนเป็นดังนี้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*rc_Zo9KWFF0BLllv" /><figcaption>container OpenResty ใช้ host network</figcaption></figure><p>จะเห็นได้ว่า Pod ของ OpenResty นั้นย้ายมาใช้ host network ร่วมกันกับ Server เลย พอไม่มี Virtual Ethernet แล้วก็ไม่ต้องมี routing overhead/NAT อีกต่อไป ทำให้เราได้ <strong>performance</strong> ดีขึ้นอย่างแน่นอน (ผมขอละเรื่อง security implications ไว้เดี๋ยวยาวไป เพราะ container เราจะถูก expose ออก public network ด้วย)</p><p>โอเค งั้นเรามาวัดผลกันหน่อย ว่าปัญหาแปลผล TCP Retransmission ผิดจะหายไปตามสมมติฐานของเรารึเปล่า?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qDbDHsg7pVlHm05UBFZGGg.png" /><figcaption>Packet ของ OpenResty หลังใช้ hostNetwork</figcaption></figure><p>เย้ !! จะเห็นได้ว่าปัญหา TCP Retransmission หายไปหมดแล้ว เนื่องจากเราย้ายมาใช้ <strong>hostNetwork</strong> เรียบร้อย ทำให้ Source IP ของเราเป็น Public IP เสมอ</p><p>รวมไปถึงภาพรวมของ latency เราดีขึ้นเล็กน้อยเมื่อเทียบกับก่อนใช้งาน host network</p><p>แต่… ปัญหายังไม่ถูกแก้ไขครบทุกข้อ ตามกรอบสีแดงจะเห็นว่า latency ในบางช่วงของ TCP Stream นี้ยังสูงถึงระดับ 1s (delta), มิหนำซ้ำ ปัญหาฝั่ง OpenResty ก็ยังส่งคง RST packet ออกไปอยู่ดี… (กรอบสีเหลือง)</p><p>(หายใจลึก ๆ อีกที) ไปกันต่อ !!</p><p>แล้ว latency ที่สูงระดับ 1s นี้มาจากไหนกัน? จะเห็นได้ว่าช่วงที่ latency 1s นั่นมาจาก ip 47.130. ของฝั่ง AWS เอง… แต่เดี๋ยวนะ เรายืนยันด้าน network latency ไปหลายรอบแล้วว่าไม่มีโอกาสมากพอที่จะเกิดจากฝั่ง AWS และ packet ที่วัดได้จากฝั่ง AWS ก็ไม่มีส่วนไหนที่ช้าระดับ 1s เลย (แล้วปัญหาอยู่ที่ไหน ปวดหัว ฮ่าๆ)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/720/0*ADNAA5K8P_pelR7v" /><figcaption>ปัญหาอยู่ระหว่าง Hypervisor และ Guest Kernel</figcaption></figure><p>เนื่องจากเรามีทีมที่ดูแล Infrastructure ของฝั่ง Cloud ต้นทางอีกที เราเลยให้ทีมนั้นช่วยยืนยันว่าไม่มีปัญหาใน network layer จนได้คำตอบที่มั่นใจกลับมาว่าปัญหาไม่ได้อยู่ที่ network hardware/component แล้ว และปัญหาน่าจะอยู่ในระหว่าง Hypervisor ของ Server เรา รวมไปถึง Guest kernel ของเราเอง</p><p>งั้นเริ่มจากตรวจสอบโดยรอบภายใน Guest VM (Server ที่เราเรียกกันมาตลอดทาง) เพื่อดูปัญหาทั่วไปอย่าง</p><ol><li><strong>exhausted source port</strong> ก็ไม่เกิดขึ้น เนื่องจาก OpenResty เอง error log ดูปกติดี ไม่มีจุดไหนน่าสงสัย รวมไปถึงเราตรวจสอบจำนวน port ที่ใช้งานอยู่ และว่างอยู่ก็ยังห่างกันหลายเท่าตัว รวมไปถึงปัญหา 1s นั้นไม่ได้เกิดขึ้นตอนเริ่ม TCP connection ใหม่ แต่เกิดระหว่าง stream แทน จึงตัดข้อสงสัยนี้ออกไป</li><li><strong>tcp_tw_recycle=0</strong> ถูกปิดอยู่ เราจึงตัดปัญหาการ reuse socket ใน TIME_WAIT ออกไป</li><li><strong>MTU=1500</strong> ตลอดเส้นทาง ทำให้เราตัดปัญหาเรื่อง IP fragmentation ออกไป</li></ol><p>ดูเหมือนเราจะไม่มีทางเลือก นอกจากเราต้องการข้อมูลเชิงลึกเพิ่มขึ้น ทำให้ผมเริ่มมองการ probe kernel ด้วย stap script ดู (<a href="https://en.wikipedia.org/wiki/SystemTap">SystemTap</a>) แต่แล้วก็นึกขึ้นได้ว่าจริง ๆ เรามองข้ามไปจุดนึง นั่นก็คือ</p><h3>การ Reuse TCP connections</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GlOkksBUx9kA188AWakPtg.png" /><figcaption>gRPC ใช้ HTTP/2</figcaption></figure><p>เนื่องจาก gRPC อยู่บน HTTP/2 อยู่แล้ว เราไม่จำเป็นต้องเปิด-ปิด TCP connections บ่อย ๆ ทำให้เราลด handshake overhead ลงได้</p><p>แล้ว OpenResty ทำงานแบบไหนอยู่? มาดู config ของ OpenResty ที่เราใช้งานกันครับ</p><pre>location / {<br>     grpc_ssl_protocols    TLSv1.3;<br>     grpc_ssl_server_name  on;<br>     grpc_socket_keepalive on;<br>     grpc_pass             grpcs://${AWS_HOST};<br>}</pre><p>หน้าตาดู simple รับ request เข้ามาทั้งหมดแล้วส่งออกไปยัง gRPC Upstream ที่ AWS_HOST</p><p>แล้วปกติ OpenResty (NGINX) เปิด-ปิด TCP connection เมื่อไหร่บ้าง? <a href="https://www.f5.com/company/blog/nginx/avoiding-top-10-nginx-configuration-mistakes#no-keepalives">ตามเอกสาร</a>ที่ F5 (เจ้าของ NGINX) บอกไว้ว่า</p><blockquote>By default, NGINX <strong>opens a new connection</strong> to an upstream (backend) server for <strong>every new incoming request</strong>.</blockquote><p>ความหมายตรงตัว แปลว่า NGINX จะเปิด-ปิด TCP connection ใหม่เสมอ เมื่อ proxy ไปยัง upstream (ในที่นี้คือ AWS_HOST) และสอดคล้องกับ packet OpenResty ที่เราเก็บออกมาได้ว่าเจ้า NGINX พยายามเปิด-เปิด TCP connection ใหม่อยู่เรื่อย ๆ</p><p>โอเค เราเจอจุดที่ควร Improve เพิ่มเติมแล้ว งั้นเรามาคำนวณกันนิดนึงว่าแล้วถ้าเราไม่ Reuse TCP connection เนี่ย มันเสียเวลาแค่ไหนกันเชียว? เริ่มจากวาดภาพให้ละเอียดขึ้นอีกหน่อย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*YMgYJcDma9ORyleG" /></figure><p>เนื่องจากเส้น request เหล่านี้วิ่งผ่าน Internet และแน่นอนเพื่อความปลอดภัยของข้อมูลเราใช้ TLSv1.3 เพื่อทำ encryption เสมอ (ตาม config ด้านบน) ทำให้ในทุก ๆ request เราต้องมีการทำ handshake ทั้งหมด 2 layers</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/968/0*0yTF3sHnjimccKeF.png" /><figcaption>TCP + TLSv1.3</figcaption></figure><h3>handshake ที่ว่ามีอะไรบ้าง?</h3><p>ถ้าหากเราปล่อยให้ เปิด-ปิดบ่อย ๆ จะใช้เวลา (latency overhead) แค่ไหน?</p><ol><li>TCP handshake — 1 round-trip</li><li>TLS handshake — 1 round-trip ; ในที่นี้เราใช้ TLSv1.3 ซึ่งใช้เพียง 1 round-trip ถ้าหากใครใช้ TLSv1.2 จะเสียเพิ่มเป็น 2 round-trips ครับ (ใครใช้ TLSv1.2 อยู่ควรมองการ implement TLSv1.3 เพิ่มเพื่อประหยัด round-trip ด้วยนะครับ)</li></ol><p>แปลว่าจากทั้งหมดเราจะเสีย handshake overhead ทั้งหมด 2 round-trips แล้วทั้งหมดนี้ใช้เวลาเท่าไหร่? งั้นเราลองวัดด้วย ssl-handshake กัน</p><pre>$ ./ssl-handshake -c 5 -n AWS_HOST 47.130.ABC.XYZ:443<br>Starting ssl-handshake v1.6.1 ( https://github.com/tuladhar/ssl-handshake ) at Sat, 10 May 2025 12:25:23 JST<br>SSL handshake with 47.130.ABC.XYZ:443: tcp=1ms handshake=3ms version=1.3 total=4ms<br>SSL handshake with 47.130.ABC.XYZ:443: tcp=1ms handshake=3ms version=1.3 total=4ms<br>SSL handshake with 47.130.ABC.XYZ:443: tcp=1ms handshake=2ms version=1.3 total=3ms<br>SSL handshake with 47.130.ABC.XYZ:443: tcp=1ms handshake=3ms version=1.3 total=4ms<br>SSL handshake with 47.130.ABC.XYZ:443: tcp=1ms handshake=2ms version=1.3 total=3ms<br><br>--- 47.130.ABC.XYZ:443 handshake statistics ---<br>5 handshakes sent, finish: 5, fail: 0, time: 4000ms<br>rtt min/avg/max: 2/2/3 ms</pre><p>จะเห็นได้ว่าตัวเลขออกมาราว ๆ 4ms หมายความว่าในทุก ๆ request ที่ยิงไปหา Upstream ที่ AWS เราต้องเสียเวลาเปิด Connection ใหม่ <strong>“อย่างน้อย”</strong> 4ms เสมอ และยังไม่รวม Compute latency + OS Overhead ต่าง ๆ ที่จะเพิ่มขึ้นเมื่ออยู่ใน Server/VM ที่ highload (cpu contention สูง)</p><p>ถ้าหากเราให้ Compute latency + OS Overhead ในช่วงเวลา peak load เพิ่มอีกราว ๆ 5ms หมายความว่า <strong>Total overhead </strong>สำหรับการเปิด-ปิด gRPC connection กับปลายทางจะอยู่ที่ราว ๆ 4ms + 5ms =<strong> 9ms/connection</strong></p><p>9ms เป็นตัวเลขที่อาจจะดูน้อย หรือมากขึ้นอยู่กับแต่ละ Business อีกที แต่ตัวเลขนี้สำหรับเราที่ LINE MAN Wongnai เองถือว่าเป็นตัวเลขที่เราจับตามองอยู่ตลอดเวลา ถ้าหากมีช่องทางลดลงได้ เราก็พร้อมที่จะเข้าไป Optimize ทันที</p><p>งั้นเรามา Reuse TCP Connections ให้กับ OpenResty กัน !! โดยเราจะเพิ่ม directive ส่วนของ upstream แยกออกมาเพื่อใช้ keepalive ของ upstream อีกที หน้าตา config ใหม่จะเป็นดังนี้</p><pre>upstream aws_host {<br>    zone upstream_aws_host 64k;<br>    server ${AWS_HOST};<br>    keepalive 32;<br>}<br><br>server {<br>    location / {<br>         grpc_ssl_protocols    TLSv1.3;<br>         grpc_ssl_server_name  on;<br>         grpc_socket_keepalive on;<br>         grpc_set_header       Host ${AWS_HOST}; # ใช้สำหรับ SNI เพื่อให้ AWS NLB route ได้ถูกต้อง<br>         grpc_pass             grpcs://aws_host;<br>    }<br>}</pre><p>หลังจากแยก directive upstream แล้ว เราจึงเพิ่ม directive keepalive เข้าไปด้วยเพื่อบอกให้ OpenResty (NGINX) เริ่มทำ Keep-Alive</p><p>keepalive directive ไม่ใช่ตัว limit จำนวน connections นะครับ แต่ใช้สำหรับการทำ Keep-Alive และบอกว่าเราจะ limit จำนวน <strong>“idle keepalive connections”</strong> ไม่เกินเท่าไหร่ เพราะฉะนั้นแล้วค่านี้ไม่จำเป็นต้องเยอะเกินไปครับ ถ้าหากเยอะเกินไปอาจจะทำให้ upstream ฝั่ง AWS รับ connections ใหม่ ๆ ไม่ได้แทน</p><p>เอาหล่ะ !! config เราครบถ้วน</p><h3>ลองทดสอบบน Non-Production stage กัน !!!</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kiLA_v6iEtWslMeSC3pH4w.png" /><figcaption>packet ของ OpenResty หลังเปิด keepalive บน upstream directive</figcaption></figure><p>จะสังเกตได้ว่าในระหว่าง TCP stream มีการส่ง TCP Keep-Alive (ไม่ใช่ HTTP Keep-Alive นะครับ ระวังสับสน) กันไปมา เพื่อบอกอีกฝั่งว่าเรายังคงใช้ TCP connection นี้อยู่นะ ทำให้ผลลัพธ์ตรงกับที่เราคาดหวังไว้ เพราะงั้นแล้วเราไม่รีรอครับ</p><h3>deploy ขึ้น Production เพื่อดูผลลัพธ์ต่อไป</h3><p>หลังจากเรา deploy Production เรียบร้อย monitor ส่วนต่าง ๆ ครบเรียบร้อย รวมไปถึง functional สามารถใช้งานได้ตามปกติแบบที่ควรจะเป็น และแล้ว.. เราก็พบกับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RMJH2-Z-MqSkfYSi69jKDA.png" /><figcaption>latency ของ OpenResty หลังเปิด TCP Keep-Alive</figcaption></figure><p>latency โดยรวมทั้งหมดลดลงอย่างชัดเจน</p><ul><li>P50 18ms -&gt; 7ms -61%</li><li>P75 22ms -&gt; 9ms -59%</li><li>P95 34ms -&gt; 17ms -50%</li><li>P99 82ms -&gt; 42ms -49%</li><li>P99.9 1,440ms -&gt; 87ms -94% !!!</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9Uhkb_62Yp9AxzqxPcuXhA.png" /><figcaption>CPU consumption time ของ OpenResty</figcaption></figure><p>CPU consumption ของ OpenResty ลดลงอย่างชัดเจน จาก Avg ที่ระดับ 27% -&gt; 9.5% หรือลดลง 65% !!</p><p>ส่วนฝั่ง AWS NLB เอง <strong>Client reset count</strong> หายไปหมดตามที่คาดการณ์ไว้เนื่องจากไม่มีการยิง RST packet ไปหา AWS แล้ว รวมไปถึง <strong>New flow count TLS</strong> ลดลงอย่างชัดเจนเนื่องจากไม่มีการทำ TLS handshake บ่อยเมื่อเทียบกับก่อนเปิด Keep-Alive</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/762/1*HyIVSYpTbWUwWfd5vzRUbg.png" /><figcaption>Client reset count หลังเปิด TCP Keep-Alive บน OpenResty</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/798/1*qqNIDwzOjLQZTJUHvfNP2g.png" /><figcaption>New flow count TLS หลังเปิด TCP Keep-Alive บน OpenResty</figcaption></figure><p>และแล้ว… แน่นอนครับ Service A ที่เราพยายามแก้ปัญหา P99 latency สูงมากก็ได้หายไปทันทีด้วยเช่นกัน เย้ !!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rpaMzR99nOZlkptwmVmMAA.png" /><figcaption>P99 API latency ที่ฝั่ง Service A วัดได้หลังเปิด TCP Keep-Alive</figcaption></figure><p>ทั้งหมดนี้ทำให้ latency ของ Service ทั้งหลายที่อยู่ในระบบของ LINE MAN Wongnai ดีขึ้นทันตาเห็น เพราะจริง ๆ แล้วต้นทางไม่ได้มีเพียง Server A เพียง Service เดียว แต่เรายังมีอีกหลาย Service มากมายที่ chain ต่อกันอีกด้วย</p><h3><strong>สรุปวิธีลด latency มากกว่า 50% ด้วยเพียง config ไม่กี่บรรทัดกัน</strong></h3><ol><li>เราย้าย Pod ของ proxy เราไปรันด้วย <strong>hostNetwork</strong> ทำให้เราได้ประสิทธิภาพที่ดีขึ้น และลดปัญหาการแปลผลเรื่อง<strong> TCP Retransmission </strong>ผิดพลาดบน Wireshark ได้</li><li>เราเปิด <strong>Keep-Alive</strong> ในส่วน upstream ของ proxy (OpenResty/NGINX) ของเราเพื่อลด handshake overhead ทั้งจาก TCP และ TLS ลง</li></ol><blockquote><strong>เพียงเท่านี้เราก็ลด latency ของ gRPC proxy เราได้มากกว่า 50% !!!!</strong></blockquote><p>และนี่คือ Story ทั้งหมดที่ทำให้ application อย่าง <strong>LINE MAN</strong> บนมือถือของผู้ใช้งานทั่วประเทศไทยเร็วขึ้นไปอีกขั้น และแน่นอน เราไม่หยุดอยู่เพียงเท่านี้ เรายังกระหายที่จะทำให้มันดีขึ้น เร็วขึ้นอยู่ตลอดเวลาครับ ถ้าหากใครสนใจงานที่สนุก ท้าทาย และน่าตื่นเต้นแบบนี้</p><h4>คลิกเลย <a href="https://careers.lmwn.com/">https://careers.lmwn.com</a>/ ผมรอทุกท่านมาร่วมเดินทางด้วยกันอยู่ครับ !!</h4><h3>More Ref</h3><ul><li><a href="https://www.alibabacloud.com/help/en/ack/ack-managed-and-ack-dedicated/user-guide/use-the-host-network">https://www.alibabacloud.com/help/en/ack/ack-managed-and-ack-dedicated/user-guide/use-the-host-network</a></li><li><a href="https://nginx.org/en/docs/http/ngx_http_upstream_module.html#keepalive">https://nginx.org/en/docs/http/ngx_http_upstream_module.html#keepalive</a></li><li><a href="https://www.cloudflare.com/learning/ssl/what-happens-in-a-tls-handshake/">https://www.cloudflare.com/learning/ssl/what-happens-in-a-tls-handshake/</a></li><li><a href="https://blog.cloudflare.com/the-story-of-one-latency-spike/">https://blog.cloudflare.com/the-story-of-one-latency-spike/</a></li><li><a href="https://docs.aws.amazon.com/elasticloadbalancing/latest/network/load-balancer-cloudwatch-metrics.html">https://docs.aws.amazon.com/elasticloadbalancing/latest/network/load-balancer-cloudwatch-metrics.html</a></li></ul><p><em>Written By Nontawat —Staff Site Reliability Engineer<br>Artworks by Uraiwan — Multimedia Graphic Designer (Intern)</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=22b1ff083ab4" width="1" height="1" alt=""><hr><p><a href="https://life.lmwn.com/how-did-we-reduce-latency-by-over-50-with-just-a-few-lines-of-config-22b1ff083ab4">เราลด latency กว่า 50% ด้วย Config ไม่กี่บรรทัดได้ยังไง?</a> was originally published in <a href="https://life.lmwn.com/">Life@LINE MAN Wongnai</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ไปลองนั่ง Waymo รถยนต์ไร้คนขับของ Google เป็นยังไงบ้าง?]]></title>
            <link>https://life.lmwn.com/ride-hailing-waymo-8f1270cebab2?source=rss-dc8ffb85ffb------2</link>
            <guid isPermaLink="false">https://medium.com/p/8f1270cebab2</guid>
            <category><![CDATA[storyoflmwn]]></category>
            <category><![CDATA[waymo]]></category>
            <category><![CDATA[google]]></category>
            <dc:creator><![CDATA[Nontawat Numor]]></dc:creator>
            <pubDate>Mon, 18 Mar 2024 14:19:08 GMT</pubDate>
            <atom:updated>2024-03-18T14:19:08.610Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*R_6M0x3xzAur1igX6wj7yQ.png" /></figure><p>สวัสดีครับ หลังจากเพิ่งปล่อย Blog ของ AWS re:Invent 2023 ไปไม่นาน ภายในทีมเองก็นึกขึ้นได้ว่านอกจากผมได้ไปดูงาน AWS แล้ว ผมยังได้ลองนั่ง <strong>Waymo</strong> อีกด้วย เลยอยากเขียน Blog มาเล่าสู่กันฟังว่าไปลองใช้จริงแล้วเป็นอย่างไรบ้าง?</p><p>ขอแนะนำตัวเองอีกสักนิดนึงก่อนเข้าเนื้อหาครับ ผมชื่อ <strong>นลธวัช หนูมอ </strong>ชื่อเล่นว่า <strong>นนท์</strong> ปัจจุบันรับหน้าที่เป็น Staff Site Reliability Engineer​​ ที่บริษัท LINE MAN Wongnai (<strong>LMWN</strong>) ครับ งานอดิเรกผมก็ชอบลองทำนั่นนี่ไปเรื่อย รวมไปถึงลอง <br>Technology ใหม่ ๆ เลยเป็นที่มาของ Blog ในวันนี้อย่างการลองนั่ง <strong>Waymo</strong> ครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*z-9-usXIs4OUP1uWvGB4yg.png" /><figcaption>Ride Hailing by Waymo</figcaption></figure><h3><strong>อะไรคือ Waymo?</strong></h3><p><strong>Waymo</strong> คือ บริการเรียกแท็กซี่ไร้คนขับของ Google หรือบางคนอาจจะเรียกว่า <strong>Robotaxi</strong> (Robot + Taxi) ก็ได้ครับ</p><p>จริง ๆ จะบอกว่าของ Google โดยตรงก็ไม่ค่อยถูกต้องเท่าไหร่ครับ เพราะแต่เดิม Waymo คือ project รถยนต์ไร้คนขับของ Google แต่ภายหลังแยกบริษัทออกมาแล้ว ตอนนี้อยู่ภายใต้ Alphabet อีกที ซึ่ง Alphabet ก็คือบริษัทแม่ของ Google อีกชั้นครับ (ไม่งงเนอะ ถ้างงก็อ่านต่อครับ แต่ไม่มีอธิบายส่วนนี้เพิ่มละนะ ฮ่า ๆๆ)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*awPo9QhSnctcJ3-6sMbEpw.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@gibblesmash139?utm_content=creditCopyText&amp;utm_medium=referral&amp;utm_source=unsplash">gibblesmash asdf</a> on <a href="https://unsplash.com/photos/a-car-that-is-driving-down-the-street-Qr67ewAPBvY?utm_content=creditCopyText&amp;utm_medium=referral&amp;utm_source=unsplash">Unsplash</a></figcaption></figure><h3><strong>Project รถยนต์ไร้คนขับไม่ใช่ของใหม่</strong></h3><p>Project รถยนต์ไร้คนขับหรือ Self-Driving Car จริง ๆ แล้วก่อตั้งมานานมากแล้วครับ ต้นกำเนิดของ Waymo เองก็เกิดมาตั้งแต่ปี 2004 ตั้งแต่ยังเป็น Stanford Self-Driving Car Team อยู่เลย ถ้าให้นับรวม ๆ จนถึงวันนี้ก็เป็นเวลา 19 ปีเต็ม ถ้านับเป็นอายุคนก็เข้าสู่วัยรุ่นเต็มตัวแล้ว</p><p><strong>Waymo</strong> เองตอนนี้ให้บริการเพียงแค่ 4 เมืองหลัก ๆ นั่นก็คือ <strong>Phoenix</strong>, Arizona และ <strong>San Francisco</strong>, California ส่วนเมือง Los Angeles (LA) และ Austin กำลังอยู่ในแผน และจะเปิดให้บริการภายในปี 2024 นี้ (ผมเองก็เห็นประกาศมานานแล้ว ชาว LA และ Austin ก็คงตั้งตารออยู่เหมือนกัน)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6YgzwxQetr019GTvyT1sxg.jpeg" /></figure><h3><strong>ตั้งใจบินไป San Francisco เพื่อลองนั่ง Waymo?</strong></h3><p>ถ้าใครตามอ่าน Blog AWS re:Invent 2023 ก่อนหน้านี้มาจะทราบกันดีครับว่างานของ AWS จัดที่ Las Vegas ซึ่งอยู่คนละรัฐกับ San Francisco เลย</p><p>…แล้ว ผมตั้งใจบินไป San Francisco เพื่อลองนั่ง <strong>Waymo</strong> เลยเหรอ?</p><p>คำตอบคือ… ผมแค่โชคดีครับ ฮ่า ๆๆ เพราะการจะบินตั้งแต่ประเทศไทย ไป Las Vegas มันต้องอาศัยการต่อเครื่องบินหลายต่อครับ แล้ว San Francisco ก็เป็นเมืองระหว่างทางที่ผมจะไป Las Vegas นั่นเองง</p><p>เรียกได้ว่า ผมแค่บังเอิญโชคดีได้แวะเมืองนี้ครับ เวย์ม๊งเวย์โม (Waymo) อะไรนี่ไม่ได้อยู่ในแผนการเดินทางผมแต่แรกหรอกครับ ฮ่า ๆๆ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YlWnuf1Wfx5b_ghGrEO0Cw.png" /><figcaption>waitlist ของ Waymo</figcaption></figure><h3><strong>ใคร ๆ ก็ลองใช้ Waymo ได้เลย?</strong></h3><p>ถึงแม้รถยนต์ไร้คนขับอย่าง Waymo จะอายุเริ่มเข้าสู่วัยรุ่นขนาด 19 ปีก็ตาม แต่ก็ยังไม่ได้เปิดอย่างแพร่หลายให้ทุกเมือง/ทุกคนใช้ได้นะครับ ยังคงจำกัดวงใช้งานของผู้ใช้อยู่</p><p>ซึ่งหากใครอยากจะลองใช้เจ้า Waymo นี้ก็สามารถกดขอ waitlist ผ่านเว็บไซต์ของ Waymo (<a href="https://waymo.com/">https://waymo.com/</a>) ได้เลยครับ</p><h4><strong>แล้วผมได้ waitlist กับเขาด้วยเหรอ?</strong></h4><p>….แน่นอนครับ ผมไม่มี waitlist ฮ่า ๆ</p><p>แต่ผมยังโชคดีขึ้นไปอีกขั้น ที่ผมมีเพื่อนที่ San Francisco พอดี และเพื่อนของผมมี waitlist ครับ</p><p>เราก็ได้ไปเที่ยวกันตามปกติ แล้วเพื่อนก็ถามผมว่า</p><blockquote>“เอ้อ นี่เรามี account Waymo พอดี มาลองนั่งกันไหม?”</blockquote><p>เพราะเพื่อนผมเองก็ยังไม่เคยลอง ผมเองก็ตอบรับอย่างรวดเร็วว่า “<strong>ลอง</strong> !!!”</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*J7UWLcIkaqALOs5a.png" /><figcaption>Waymo One ขณะกำหนดจุด PICKUP และ DROPOFF</figcaption></figure><p>หลังจากนั้นเพื่อนผมก็กดแอป <strong>Waymo One</strong> เพื่อเรียกรถเลย โดยตัวแอปก็เหมือนแอปเรียกรถต่าง ๆ ที่เราคุ้นชินกันครับ เริ่มจากเลือกจาก PICKUP ไป DROPOFF พร้อมแสดงราคาและตัดเงินจากบัตรเครดิต หรือ Apple Pay/Google Pay ได้เลย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*lDWu7wirya05-0ht" /><figcaption>Waymo One ขณะรอรถ</figcaption></figure><p>ข้อดีอย่างนึงของ Waymo คือราคาค่อนข้างถูก เมื่อเทียบการเรียกแท็กซี่ หรือแอปเรียกรถอื่น ๆ</p><p>อาจจะเพราะอยู่ในช่วงแรกของการทดลองใช้ต่าง ๆ และที่สำคัญไม่ต้องกดให้ Tip คนขับ เพราะ<strong>รถมันไม่มีคนขับ</strong> !! ฮ่า ๆ</p><p>ที่นี่เวลาใช้บริการอะไรต่าง ๆ เรามักจะให้ Tip กันเสมอ ๆ เรียกได้ว่าเป็นธรรมเนียมที่ทุกคนปฎิบัติกันครับ ปกติคิดจากค่าบริการ แล้วคิดบวกเพิ่มไปอีกสัก 15% — 25% (ผมที่แอบชินธรรมเนียมไม่ให้ Tip จากญี่ปุ่น พอมาเจอที่นี่ก็แอบสะดุ้งหลายทีเหมือนกันครับ)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1VKKWyVrp_MRTmIcdDih5Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/0*yblsOmMUqH22Ic9o" /><figcaption>Letters from the app that will appear on car at pick-up</figcaption></figure><p>หลังจากนั้นน้องก็จะค่อย ๆ ขับมาตามจุดนัด พร้อมกับขึ้นชื่อ/สี ที่เราตั้งไว้ในแอป บนจอด้านบนของตัวรถครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YSZrsSIvFZPVAmrkUdi4tg.jpeg" /></figure><p>ผมเกือบลืมบอกไปรถยนต์ที่ Waymo ใช้เป็นรถไฟฟ้าทั้งหมดนะครับ น้องก็จะเงียบ ๆ ไม่ค่อยได้ยินเสียงเท่าไหร่</p><p>จากนั้นเจ้า Waymo ก็จะมาจอดตามจุด Pickup ตามที่เราเลือกไว้ เราก็เพียงเดินเข้าไปใกล้ ๆ ตัวรถแล้วก็กด Unlock 1 ทีแล้วขึ้นรถได้เลย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wbyXIkzrXubYbOpQzxOigw.jpeg" /><figcaption>ด้านหน้าของห้องโดยสาร</figcaption></figure><p>รถที่ผมได้นั่งจะเป็น Jaguar I-PACE สีขาว (เท่าที่สังเกตเห็น Waymo ใช้สีขาวหมดเลย)</p><p>ฝั่งคนขับ (พวงมาลัยซ้าย) ก็จะไม่มีคนขับแบบในภาพเลยครับ ในตัวรถก็มีฟังก์ชันทั่วไป มีจอภาพทั้งด้านหน้า และด้านหลัง ขนาดหน้าจอไม่ได้ใหญ่มากเมื่อเทียบกับ Tesla ครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vNRIprEykvdAHPvRysKB_w.jpeg" /><figcaption>จอด้านหลังภายในห้องโดยสาร</figcaption></figure><p>พอขึ้นรถมาแล้วทุกคนก็ต้องคาดเข็มขัดให้เรียบร้อย รวมถึงคนขับ(ที่ไร้คนขับ) ด้วยครับ ก็จะถูกคาดเข็มขัดไว้ตลอดเวลาเหมือนกัน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JJf-OGXTLWFRf_9jvC7sHw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6ycb_KOxTFb4xqamc4Lqng.jpeg" /><figcaption>หน้าจอของ Waymo</figcaption></figure><p>ฟังก์ชันของหน้าจอก็จะใช้สำหรับทั่วไป เช่น บอกข้อมูลเส้นทาง, บอกเวลาโดยประมาณว่าจะถึงปลายทางกี่โมง, เปลี่ยนเพลงในรถ, ติดต่อ Support รวมไปถึงข้อมูลของตัวรถอีกด้วย</p><p>โดยตัวรถจะมีทั้งกล้อง, Lidar, Radar รอบคันเพื่อใช้สำหรับรวบรวมข้อมูลต่าง ๆ มาประมวลผลเส้นทาง, ความเร็วของตัวรถ</p><p>พอตัวรถตัดสินใจเส้นทาง และความเร็วได้แล้วก็จะขับไปเรื่อย ๆ ตามเส้นทางครับ ก็เป็นความรู้สึกที่แปลก ๆ ดีนะ แบบพวงมาลัยหมุนเอง รถเคลื่อนที่เอง คือถ้าอย่าง Tesla มันก็ยังพอมีคนนั่งด้านหลังพวงมาลัย แล้วเข้าควบคุมรถได้ตลอดเวลา แต่พอเป็น Waymo แล้วเราทำอะไรไม่ได้เลยครับ ได้แค่นั่งดูที่นั่ง(ที่ไม่มีคนขับ) แล้วได้แต่หวังว่าจะไม่เกิดอุบัติเหตุอะไร ฮ่า ๆๆ</p><p>แถมอีกนิด ในตัวรถเองก็มีกล้องเพื่อความปลอดภัยอีกด้วย (เดี๋ยวผมมี usecase จริงที่ได้ใช้กล้องตัวนี้บอกท้าย Blog ด้วยครับ)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*D77TzwdGao7nGW6hLVNKjw.jpeg" /><figcaption>หน้าจอบอกกรวยจราจร</figcaption></figure><p>ตัวรถเอง detect ได้ทั้งป้ายสัญญาณไฟจราจร, ป้าย Stop, กรวยจราจร, คน, รถขนาดต่าง ๆ ตามท้องถนนได้หมดเลย เรียกได้ว่าก็เห็นเหมือนที่คนเห็นหมดเลย และเห็นไกลกว่าตาของคนอีกด้วยครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*jql579cNxM3Crjev" /><figcaption>Waymo cars capture a mind-boggling amount of data on surrounding objects and traffic patterns.</figcaption></figure><p>พอเอาข้อมูลทั้งหมดทั้งจากกล้อง, Lidar, Radar ต่าง ๆ มารวมกันก็จะได้ภาพแบบด้านบนออกมา อันนี้ผมหยิบภาพมาจาก Blog ของ Google ที่เขาบอกว่าผู้โดยสารจะเห็นเพียงแค่ภาพที่ออกมาดูง่าย ๆ แล้ว ส่วนภาพประมวลผลด้านหลังนั้นเอาไว้ให้คอมพิวเตอร์ (ตัวรถ) ตัดสินใจเองครับ</p><p>จากที่ลองมา Path (เส้นทางเดินรถ) มันเปลี่ยนได้ตลอดเวลาตาม Object (วัตถุต่าง ๆ รอบ ๆ รถ) เปลี่ยนแบบ Real-time เลยก็ว่าได้</p><p>ตัวรถเองเคารพกฎจราจรเป็นอย่างดีเลย เรียกได้ว่าหากเจอป้าย Stop ที่แยกใดตัวรถจะหยุดรถจนความเร็วเป็น 0 km/hr เสมอครับ ถึงแม้รอบ ๆ จะไม่มีรถ/คน อย่างแน่นอน (ก็ขับรถตามกฎหมายบ้านเมืองอะเนอะ) แต่ก็แอบทำให้คนนั่งเวียนหัวเล็กน้อย ฮ่า ๆ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*JSW8I0fc1iFJDgyx" /></figure><p>ภาพรถ Render สร้างออกมาให้เห็นก็จะแยกเป็น Object อย่างง่าย เช่น</p><ul><li>วงกลมสีขาว คือ คน</li><li>สี่เหลี่ยมสีน้ำเงิน คือ รถยนต์</li><li>กรวยสีส้ม คือ กรวยจราจร</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*U66x7Pp9VH1JyLhIc_7oaQ.png" /></figure><h3><strong>บางครั้ง Waymo ยังตัดสินใจช้าอยู่</strong></h3><p>ในบางแยกที่ซับซ้อน เช่น 5 แยก ตัว Waymo เองยังใช้เวลาตัดสินใจค่อนข้างนานอยู่ ผมเห็นตัวรถลังเลหลายรอบ (สังเกตจากที่เปลี่ยน Path สลับไปมา และจอดค้างนาน) ตอนนั้นเองผมก็ลังเลด้วยครับ ว่าจะเอายังไงดี ฮ่า ๆ เพราะผมก็คงเข้าไปควบคุมตัวรถไม่ได้เหมือนกัน แล้วถ้าตัวรถไม่ขยับต้องทำยังไง? ติดต่อ Support ให้ช่วยขับรถหน่อยเหรอ? ฮ่า ๆ</p><p>แต่สุดท้ายก็ผ่านไปได้ด้วยดีครับ คิดว่าคงมาจากระดับความปลอดภัยที่อยากมั่นใจว่าจะไม่เกิดอุบัติเหตุอะไร เลยใช้เวลาตัดสินใจนาน (เดาเอาเอง)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*P1vd2ZYeGgV2tukd9AGVag.png" /><figcaption>ขณะเปลี่ยนเลนถนน</figcaption></figure><p>เวลาที่รถจะเปลี่ยนเลนก็มีสัญลักษณ์บอก คิดว่าอันนี้เหมือนรถอื่น ๆ ทั่วไปอย่าง Tesla ก็มีเหมือนกัน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*twnHXQBZPPib8Tw5J_mKwg.jpeg" /><figcaption>Waymo กำลังหลีกทางให้รถคันอื่น</figcaption></figure><p>ภาพด้านบนคือ Waymo กำลังหลีกทางให้รถบัสอยู่ จะเห็นว่าเลนของถนนที่จะขับไปมี 3 เลน</p><blockquote>ด้านซ้าย มีรถจอดอยู่ตลอดแนวถนน (สี่เหลี่ยมสีน้ำเงิน)</blockquote><blockquote>ตรงกลาง มีรถบัสกำลังขับมาทางเรา (ขับไปยังด้านล่างของภาพ)</blockquote><blockquote>ด้านขวา มีรถจอดตันทางอยู่ 1 คัน</blockquote><p>Waymo เองก็ถือตัดสินใจได้ดี โดยการขับไปหลบด้านขวา เพื่อหลีกทางให้รถบัสไปก่อนครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*14AF9pcYmMVjitcYA-dUYg.jpeg" /></figure><h4>ลองติดต่อ Support ของ Waymo</h4><p>ตามสัญญาที่ผมบอกว่าจะมาเฉลยเรื่องที่ได้ใช้กล้องภายในตัวรถ Waymo</p><p>… อันที่จริง ผมทำแว่นกันแดดหายครับ ฮ่า ๆ</p><p>ระหว่างที่กำลังขึ้น Waymo ผมก็จำได้ว่าผมยังเห็นแว่นกันแดดอยู่ แต่หลังจากลงจาก Waymo มันก็หายไปแล้ว… เลยได้ติดต่อกับทาง Support ของ Waymo</p><p>ช่องทางที่ติดต่อเข้าไปก็คือโทรศัพท์ไปหา Support ครับ แล้วก็เล่า ๆ ว่าเราลืมของนะ คิดว่าลืมอะไร ลืมไว้ที่ส่วนไหนของรถ ทาง Support ก็บอกว่าขอเช็กข้อมูลแล้วจะแจ้งกลับไป</p><p>หลังจากทาง Support วางสายไปได้ไม่ถึง 5 นาทีก็โทรกลับมาบอกว่า</p><blockquote>เราได้ตรวจสอบกล้องภายในตัวรถแล้ว เราไม่เจอแว่นกันแดดของคุณนะ แต่ยังไงแล้วหลังจากตัวรถกลับเข้ามา Depot(อู่รถ) แล้วเราจะตรวจสอบโดยคนอย่างละเอียดให้อีกครั้ง แล้วจะแจ้งกลับไปอีกที</blockquote><p>หลังจากผ่านไปสัก 1 วันทาง Waymo ก็อีเมลแจ้งกลับมาครับว่า</p><blockquote>เราไม่เจอแว่นกันแดดของคุณเลย</blockquote><p>ฮ่า ๆ เศร้าไป 1 ยกครับ… แต่ไม่เป็นไร ถือว่าได้ลองใช้งานฟังก์ชันของ Waymo ให้ครบ ๆ และได้เรื่องมาเล่าใน Blog นี้ ฮ่าๆ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UBfUKNKh7X07GBvnLwhG2g.jpeg" /></figure><h3>ความรู้สึกหลังลองใช้ Waymo</h3><p>ต้องขอออกตัวก่อนผมเองก็ไม่ได้ใช้ Waymo มามากมายอะไร ใช้แค่ Trip สั้น ๆ เพียงไม่กี่ครั้งครับ หลังจากลองใช้ Waymo มาก็ถือว่าสะดวกดี เรียกได้ว่าสามารถแทนการนั่งแท็กซี่แบบปัจจุบันได้เลย (แถมถูกกว่า) จะขาดก็เพียงแค่ไม่มีคนขับให้คุยเล่นระหว่างทางแก้เหงา ฮ่า ๆ</p><p>โดยรวมตัว Technology ถือว่าทำออกมาได้น่าประทับใจเลยครับ จากเด็กอย่างผมที่เคยตื่นเต้นกับ Tesla ที่มี Autopilot พร้อมกับ Full Self-Driving ก็ถือว่า Wow แล้วตอนนั้น พอมาเจอกับ Self-Driving Car แบบของจริง แบบไร้คนขับ 100% ก็ Wow ไปอีกขั้นเลยครับ</p><p>แต่ทั้งนี้ทั้งนั้นต้องบอกว่า Area ที่เปิดให้ใช้งานของ Waymo ยังมีจำกัด และภูมิประเทศ/เส้นทางยังถือว่าไม่ได้เป็นโจทย์ที่จะใช้ใน Worldwide scale ได้ ตัวรถเองก็ไม่ได้ทำความเร็วมากมายอะไร เพราะเน้นขับในตัวเมืองเสียมากกว่า</p><p>ถ้าหาก Waymo จะขยาย Area เพิ่มคงต้องตามกันต่อไปครับว่าจะเป็นโจทย์ที่น่าตื่นเต้นสำหรับ Waymo อีกมากน้อยแค่ไหน หากท่านใดอยากติดตามข่าว IT/Technology แบบนี้สามารถอ่านจาก Blognone (<a href="https://www.blognone.com/">https://www.blognone.com/</a>) ได้เลยครับ (ขายแบบเนียน ๆ ฮ่า ๆ)</p><h3>ก่อนจะพบกันใหม่ใน Blog ถัดไป</h3><p>Blog นี้ก็ถือเป็นอีก 1 Blog ที่ผมได้ออกมาเล่า Technology ต่าง ๆ ที่พบเจอมา ต้องขอขอบคุณ <strong>LMWN</strong> และทีมงานทุกท่านที่เป็นแรงผลักดัน และทำงานอยู่เบื้องหลังเพื่อให้ผมได้ออกไปสัมผัส Technology อย่างนี้นะครับ ขอบคุณครับบ</p><p>รวมไปถึงขอขอบคุณเพื่อนของผมที่ San Francisco มา ณ ที่นี้ด้วยนะครับ ถ้าหากไม่มีเพื่อนคนนี้ คงไม่มี Blog นี้อย่างแน่นอน (เพราะผมไม่มี account Waymo ฮ่า ๆ)</p><p>หวังว่าผู้อ่านทุกคนจะชอบใจใน Blog สบาย ๆ อ่านลื่นไหลแบบนี้นะครับ ถ้าหากอยากให้ไปลอง หรืออยากให้เล่าอะไรเพิ่มเติมก็ Comment หรือส่งหาผมโดยตรงที่ <a href="https://www.facebook.com/MrNonz/">Facebook — Nontawat Numor</a> ได้เลยครับ</p><p>ลากันไปด้วยภาพของผม และ Googleplex ที่ตั้งบริษัท Google ที่(เคย)เป็นเจ้าของ Waymo</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Hpr6phf_GsyePhmtNH0bVQ.jpeg" /><figcaption>ผม และ Googleplex, Mountain View, California</figcaption></figure><p>…แล้วพบกันใหม่ใน Blog หน้านะครับ ขอบคุณครับบบ</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8f1270cebab2" width="1" height="1" alt=""><hr><p><a href="https://life.lmwn.com/ride-hailing-waymo-8f1270cebab2">ไปลองนั่ง Waymo รถยนต์ไร้คนขับของ Google เป็นยังไงบ้าง?</a> was originally published in <a href="https://life.lmwn.com/">Life@LINE MAN Wongnai</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ไปร่วมงาน AWS re:Invent 2023 แล้วเจออะไรบ้าง?]]></title>
            <link>https://life.lmwn.com/what-we-found-at-aws-re-invent2023-02be01d25d8b?source=rss-dc8ffb85ffb------2</link>
            <guid isPermaLink="false">https://medium.com/p/02be01d25d8b</guid>
            <category><![CDATA[reinvent]]></category>
            <category><![CDATA[amazon]]></category>
            <category><![CDATA[innovation]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[engineering2023]]></category>
            <dc:creator><![CDATA[Nontawat Numor]]></dc:creator>
            <pubDate>Fri, 05 Jan 2024 06:13:49 GMT</pubDate>
            <atom:updated>2024-01-05T06:13:49.772Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0eILAZRHzWgx0FkpFfl9LA.png" /></figure><p>สวัสดีครับ หลังจากที่ผมห่างหายจากการเขียน Blog ไปสักระยะ ก็ได้โอกาสอันดีในการกลับมาเขียน Blog อีกครั้ง ก่อนอื่นขอแนะนำตัวเองอีกสักครั้งนะครับ</p><p>ผมชื่อ<strong> นลธวัช หนูมอ (นนท์)</strong> ปัจจุบันเป็น <strong>Staff Site Reliability Engineer (SRE)</strong> ที่ <strong>LINE MAN Wongnai (LMWN) </strong>ครับ</p><p>ในวันนี้ผมจะพาทุกท่านไปชมงานที่เรียกได้ว่า ยิ่งใหญ่ที่สุดในรอบปีของ <strong>AWS</strong> (Amazon Web Services) เลยก็ว่าได้ครับ และนั่นก็คือ <strong>AWS re:Invent 2023 </strong>โดยในปีนี้ทาง LMWN ได้รับเชิญจากทาง AWS และได้รับการสนับสนุนจากทาง SiS Distribution (Thailand) PCL. ครับ (ขอบคุณครับบบ)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0vqxjRPUYaCCL7F8SkTbeA.jpeg" /><figcaption>จุดรับ Badge และ Swag ของ AWS re:Invent</figcaption></figure><p>เรียกได้ว่าหากใครอยู่ในวงการ Cloud, Infra คงคุ้นชินกับชื่อ AWS กันเป็นอย่างดี เพราะ AWS เองก็เป็น Public Cloud ที่ใหญ่ที่สุดในโลกอยู่แล้วด้วย วันนี้เราจะไปดูกันครับว่างานนี้คืออะไร บรรยากาศในงานเป็นอย่างไร รวมไปถึงทีมงาน LMWN ได้ Key Takeaway อะไรบ้างจากงานนี้ครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hA6RGdapWmaZcXDQq-7MhA.jpeg" /></figure><h3><strong>AWS re:Invent คืออะไร?</strong></h3><p>งาน AWS re:Invent คืองานสัมมนาที่ยิ่งใหญ่ที่สุดของ AWS ที่จัดขึ้นในแต่ละปี โดยในตัวงานเองจะถูกแบ่งออกเป็นหลาย ๆ ส่วน ไม่ว่าจะเป็น</p><ul><li>การประกาศ Service, Product, Technology ใหม่ ๆ ของ AWS</li><li>Success case/Experience จากลูกค้าของ AWS</li><li>งาน Expo ที่จัดแสดง Service, Product จากนานา Partner ทั่วโลก</li><li>Technical Session มากมายหลักหลายพัน session</li></ul><p>ต้องบอกว่า AWS re:Invent เป็นงานที่ใหญ่มากกกกก (ก.ไก่ ล้านตัว) ใหญ่ขนาดที่ว่า ผู้เข้าร่วมงานมากกว่า 50,000 คน (ห้าหมื่นจริง ๆ ครับ ไม่ได้พิมพ์ผิด) มี Session มากกว่าหลัก 2,000 session ใช้สถานที่จัดงานทั้งหมด 6 สถานที่กันเลยทีเดียว</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VNIDxlV_jQjItjxTMNhkkQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2udFwdRr8huBcQ6Ftf4gQg.jpeg" /><figcaption>Las Vegas สถานที่จัดงาน AWS re:Invent</figcaption></figure><h4><strong>สถานที่จัดงาน</strong></h4><p>ในทุกๆ ปีงาน AWS re:Invent จะถูกจัดที่ Las Vegas ประเทศสหรัฐอเมริกา ที่คนไทยเรียกกันสั้น ๆ ว่าเวกัส (Vegas) นั่นเอง โดยปี 2023 จัดขึ้นระหว่างวันที่ 27 Nov — 1 Dec ที่ผ่านมาทั้งหมด 5 วันครับ แต่ส่วนใหญ่ session จะอยู่ 4 วันแรก วันสุดท้ายจัดงานถึงช่วงเที่ยง หลาย ๆ คนก็เดินทางกลับกันแล้วครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*m6wDoQA-eKxPiHUci4ArlA.png" /><figcaption>AWS re:Invent campus</figcaption></figure><h4>แล้วทำไมเราต้องมานั่งดูแผนที่จัดงานด้วย?</h4><p>เนื่องจากขนาดของงานค่อนข้างใหญ่ การจัดที่โรงแรม/หอประชุมเดียวคงไม่เพียงพอ งานนี้ทาง AWS ใช้สถานที่ทั้งหมด 6 แห่งในการจัดงาน</p><p>เพราะแต่ละสถานที่มันไกลลลล กันมาก ๆๆ ครับ (ในที่นี้ผมจะขอเรียกว่าโรงแรมละกันครับ เพราะส่วนใหญ่จัดในห้องประชุมของโรงแรม) เรียกได้ว่าถ้าเราเดินทางจากเลข 1 สีส้ม (Encore) ไปเลข 6 สีส้ม (Mandalay Bay) เราคงร่วม session ได้แค่ 2–3 session ต่อวัน ต้องไม่ลืมนะครับ ทั้งงานนี้จัดขึ้น 5 วันมี session มากกว่า 2,000 session เลย ถ้าพลาดอันที่เราสนใจไปคงเสียดายแย่เลย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pLHQhNEzhWngthRJ_j5bEg.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_PLceVsw3f9BztC98fXzPA.jpeg" /><figcaption>Shuttle bus และ Monorail ที่ใช้เดินทางข้ามสถานที่จัดงาน</figcaption></figure><p>การเดินทางในวันงานเราสามารถใช้ Shuttle bus หรือ Monorail ที่ทาง AWS จัดเตรียมไว้ให้ได้ฟรีเลยครับ บางครั้งที่ผมต้องข้ามไปมาระหว่างโรงแรมที่จัดงานก็อาศัย Shuttle bus นี่แหละครับ นอกจากจะทุ่นแรงการเดินทางแล้ว ผมก็แอบงีบหลับในบัสด้วยครับ (ก็งานมันเดินเยอะจนเหนื่อยนี่ ฮ่า ๆๆ )</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*A_NiqguC6D3k8S4EJ7juvg.jpeg" /><figcaption>ทีมงาน AWS re:Invent ที่คอยช่วยเหลือคนหลงทางอย่างผม</figcaption></figure><h4>หลง !!</h4><p>แน่นอนครับ งานทั้งใหญ่ ทั้งกว้าง และเยอะขนาดนี้ เราหลงกันเป็นประจำครับ ในตลอดเส้นทางของงานจะมีทีมงานใส่เสื้อสีเหลือง ๆ เขียนว่า Ask me! อยู่ เราสามารถเข้าไปสอบถามเส้นทางในงานได้ตลอดเลย (ผมเองก็แอบถามบ่อย ๆ ครับ เพราะหลงประจำ ฮ่า ๆ ) แถมมีธงเขียนคำว่า AWS re:Invent ไว้ให้มองเห็นแต่ไกลด้วยนะ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tNXlWYzZqrfXiu6C0ZSxyw.jpeg" /></figure><h4><strong>จองที่นั่งใน session</strong></h4><p>ตั้งแต่ก่อนเริ่มงานเราจะสามารถเข้าไปกดจองที่นั่ง (Reserve Seat) ของ session ต่าง ๆ ผ่าน Website/Application ของ AWS Events ล่วงหน้าได้ครับ เนื่องจาก session ที่ฮิตฮอตเนี่ยที่นั่งเต็มตลอด แล้วพอที่นั่งเต็มจะไม่ได้เปิดให้เข้าไปยืนแอบฟังนะครับ เรียกได้ว่าเก้าอี้ในห้องมีกี่ตัว ก็มีผู้เข้าฟังได้แค่นั้นเลย เราเลยต้องจองที่นั่งกันไปก่อน เพื่อการันตีว่าเราจะได้ที่นั่งแน่นอนครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pgecs_h0RiY5kJtXuricSw.png" /><figcaption>YouTube AWS Events</figcaption></figure><h4><strong>แต่ก็มี Record ย้อนหลังให้ดูนี่?</strong></h4><p>ใช่ครับ หลายคนอาจจะทราบกันดีว่า AWS re:Invent มี Record ให้ดูกันได้ฟรี ๆ กดจาก YouTube ของ <a href="https://www.youtube.com/@AWSEventsChannel/featured">AWS Events</a> ยังได้เลย ฮ่า ๆๆ</p><p>แต่ ๆ จะมีบาง session ที่ไม่มี Record ครับ เช่น Chalk Talk</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Z7gKiK8UY_lKBED8QqmbWQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PSsz42IJP7df0jLDtCHGmw.jpeg" /><figcaption>ภาพบรรยากาศใน session</figcaption></figure><h4><strong>Chalk Talk คืออะไร?</strong></h4><p>Chalk Talk คือ Session ที่ผู้บรรยายจะมาเล่าสิ่งต่าง ๆ ให้ฟังแล้วมีกระดานอันนึงตั้งอยู่ แล้วก็จะวาด ๆ เขียน ๆ กระดานอันนั้นเพื่อถกประเด็นต่าง ๆ กับผู้ฟังได้</p><p>และ Chalk Talk เองนี่แหละครับ ที่จะเป็นกึ่ง ๆ session ปิด ที่เราจะได้มีโอกาสเข้าไปฟังสด ๆ จากบรรดาเหล่าเทพ หรือ Specialist ในหัวข้อนั้น ๆ หลาย ๆ ข้อมูลที่ไม่เคยได้ยินจากที่ไหน เราก็จะได้ยินจากในห้องนี้แหละครับ</p><p>ที่สำคัญคือ Chalk Talk ไม่มีการ Streaming/Record ใด ๆ ทั้งสิ้น เรียกได้ว่า พลาดแล้วพลาดเลยครับ !! (ผมเองก็พลาดไปหลายอันมาก ๆ ฮ่า ๆๆ )</p><h4>จองไม่ทัน / Session อยู่ไกล</h4><p>แล้วถ้า session นั้น ๆ เราจองไม่ทัน หรือโรงแรมที่จัด session ที่เราอยากฟังอยู่ไกลมาก ๆ ไปไม่ทันแน่ ๆ ทำยังไง?</p><p>ในงานเองจะมี Repeat Session ที่สุดฮิตให้อยู่แล้วครับ เราสามารถกดดูตารางใน Application ได้เลยว่าจะมี Repeat อีกครั้งตอนไหน และจัดที่ใด รวมไปถึงกดจองที่นั่งได้เลย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mtYV6aMX1pC738fBcs9ngg.jpeg" /><figcaption>ห้อง SIMULCAST</figcaption></figure><p>และในงานมีสิ่งที่เรียกว่า <strong>SIMULCAST</strong> ด้วย เจ้า SIMULCAST ก็คือเหมือน Live Streaming สด ๆ ให้ดูครับ เช่น โรงแรมที่เราอยากไปดูสดอยู่ไกลมาก ที่โรงแรมเราอยู่ก็จัด SIMULCAST เป็นห้องให้เราไปนั่งใส่หูฟัง แล้วฟังพร้อมกันสด ๆ ได้เลย</p><p>ตอนเข้าไปห้องนี้ครั้งแรกแอบตื่นเต้นเล็กน้อย เพราะในห้องตามภาพจะมีหลาย ๆ จอ ซึ่งแต่ละจอก็คือคนละ Session กัน แล้วที่หูฟังจะมีไฟสี ๆ แยกตาม Session ไป ถ้าเราใส่หูฟังสีไหน ก็จะเป็นเสียงของ session นั้น แล้วเราสลับสีไปฟังของ Session อื่นได้ทันทีเลย (Wowww)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*afMEYsyyQAmN13AYb2qOgQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*L7xEGPeVcK8q5LeEoOLaVQ.jpeg" /><figcaption>ห้องอาหาร</figcaption></figure><h4>อาหารการกิน</h4><p>กองทัพต้องเดินด้วยท้อง และแน่นอนว่างานใหญ่ระดับนี้เรื่องอาหารก็เป็นเรื่องสำคัญไม่แพ้กับเนื้อหาของ session เลยครับ</p><p>(ห้องอาหารใหญ่มากกก และมีแบบนี้ 6 ที่ตามโรงแรมที่จัดงานเลยครับ)</p><p>ในทุกวันงานมีทั้งอาหารมื้อเช้า และมื้อเที่ยงให้ทาน (แน่นอนครับ ผมตื่นไม่ทันมื้อเช้าสักวัน ฮ่า ๆ ) โดยอาหารจะจัดออกเป็น 2 แบบหลัก ๆ คือ Grab &amp; Go และเป็น Buffet ไลน์อาหารให้ตักทานเอง สำหรับใครรีบ ๆ ก็สามารถหยิบกล่อง ๆ อย่าง Grab &amp; Go ออกไปทานข้างนอกได้ หรือจะเลือกทานแบบ Buffet ภายในห้องอาหารก็ได้ครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t4wuQjWsJJULw5tLw0hT4g.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FEyI-fYbJvipCxXqBD16Ow.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9BsBasG38UJUIJYDIRLmMA.jpeg" /><figcaption>Buffet ไลน์อาหาร และ Grab &amp; Go</figcaption></figure><p>นอกจากอาหารที่มีให้แล้ว ในทุก ๆ ช่วงการจัด session เราจะมีของว่างทานเล่นจัดเตรียมมาให้เรื่อย ๆ เลยครับ รวมไปถึงน้ำดื่มที่มีให้เราได้กดดื่มได้ตลอดการเดินชมงานเลย ต้องบอกว่าขนมเยอะมากจริง ๆ ครับ มาแทบให้เห็นตลอดเวลาเลย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OdFTd8Zyv8fZQB4tqemkNQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YeqqTJEYyfLI55Kt0rQM3A.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EiGFPMILQqQZDP-cfS4r6g.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MYQM34eaGW3LUEZyOVEesg.jpeg" /><figcaption>ของว่างทานเล่นระหว่างเดินชมงาน</figcaption></figure><h3>ลงมือทำจริงกับ Workshop</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lx-0J8imAmLoT-wu-T2cHQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TF1L4q_2I64Czu-DN_3BTA.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UBwbvt20qY1_ZuTG8nX8WA.jpeg" /><figcaption>Workshop กับทีมงาน AWS</figcaption></figure><p>หลังจากท้องอิ่มแล้ว เรามาเติมอาหารสมองกันต่อครับ</p><p>นอกจากจะมี session ที่ให้เราเข้าร่วมฟังแล้ว ยังมี session ที่ให้เราได้ลงมือทำจริงกับ Workshop ด้วยครับ โดยจะเป็นห้องให้เราเข้าไปเปิด Computer ส่วนตัวนั่งทำ Lab จริง ๆ ได้ฟรี พร้อมกับมีทีมงาน AWS คอยช่วยแนะนำเราตลอดการทำ Workshop เลย</p><p>ใน Workshop เองก็จะนำ Lab ของ AWS มาให้ลองทำ มีโจทย์ให้แก้ตามครับ ก็ถือเป็นอีกอันที่สนุกดีนะครับ เพราะผมเองก็เข้าฟัง session มาเยอะมาก ๆ ได้เปลี่ยนบรรยากาศมานั่งพิมพ์ ๆ เขียนโค้ดก็สนุกไปอีกแบบ</p><h3>Expo โชว์ Product จาก Partner</h3><p>นอกจาก session ต่าง ๆ ที่มากมายจาก AWS แล้ว ในงานเอาก็มีโซนจัดงาน Expo จาก Partner อีกด้วยครับ ในงาน Expo จะเป็น Hall ใหญ่ ๆ ที่แบ่งเป็นโซนย่อย ๆ ให้แต่ละ Partner ได้มาจับจองสถานที่โชว์ของกัน รวมไปถึงแจก Swag แบบกระหน่ำกันสุด ๆ หากใครเป็นสายล่า Swag ต้องไม่พลาด Expo เลยนะครับ เราจะได้คุยกับผู้เชี่ยวชาญในแต่ละ Product แล้วยังได้ Swag ติดไม้ติดมือกลับบ้านมากมายเลย (ผมเองก็ได้เสื้อกลับมาใส่นุ่ม ๆ หลายตัวเลย ฮ่า ๆ )</p><p>เรียกได้ว่า Product ต่าง ๆ เกือบทั้งหมดที่ผมใช้ทำงานในวงการนี้ อยู่ในงาน Expo แห่งนี้เกือบทั้งหมดเลยครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7tg-NZ4O_hfVPXsAXBP_fw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9dGVnPxnz2AFnfd1bstMKQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*F-XS3tg37hdHMEImPCwyag.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qu1ED9zhudwCPdIwOQ7sDw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lh9HKlYmdvlUglIAKVn5GA.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*C1gj6V9QRCDSk3rV5K7hfw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*el3aZp1O6HU9GLvifCeuDg.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VspIUVneoxIacZ7mK3huOA.jpeg" /><figcaption>ในงาน Expo จะมี Partner ต่าง ๆ มาจัดแสดง Service/Product มากมาย</figcaption></figure><p>ในตัวงาน Expo เองนอกจากจะมี Partner มาแสดง Service/Product แล้ว ก็ยังมีทีม AWS เองที่มาจัดแสดง Product ต่าง ๆ รวมไปถึงมีทีม Specialist จากทาง AWS ให้เราเดินเข้าไปถามปัญหาต่าง ๆ ได้โดยตรงอีกด้วยครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*af0iWdKeuOTsu9WUlzNTaQ.jpeg" /><figcaption>ห้องฟัง Keynote</figcaption></figure><h3>Keynote จากผู้บริหารบริษัทระดับโลก</h3><p>และแน่นอนครับ Highlight ของงานนี้จะเป็นอะไรไปไม่ได้นอกจากการมานั่งฟัง Keynote จากผู้บริหารบริษัทระดับโลกอย่าง Amazon.com</p><p>หลายคนก็จะบอกว่า แต่เอ… ทุกคนก็นั่งฟัง Keynote live Online อยู่บ้านก็ได้นี่ … ใช่ครับ</p><p>แต่หลังจากที่ผมโดนโน้วน้าวโดยทีมงาน AWS เองแล้วว่า</p><blockquote>จะมีสักกี่ครั้งในชีวิตที่เราจะได้มานั่งฟัง CEO, CTO ตัวจริงจากบริษัทอันดับต้น ๆ ของโลกอย่าง Amazon มาบรรยายให้ฟังสด ๆ นี่น่าจะนับครั้งในชีวิตได้เลย (ขนลุกก)</blockquote><p>แม้กระทั่งทีมงาน AWS เองก็อยากจะเข้ามานั่งฟัง Keynote มาก ๆ ครับ แต่บัตรของทีมงานเข้าไม่ได้ เนื่องจากถูกกันที่นั่งไว้ให้ Attendee เท่านั้นครับ ….</p><p>เอาหล่ะ พอผมได้ยินอย่างนี้ผมก็ตั้งตารอเข้าฟัง Keynote เลย…</p><p>แต่การฟัง Keynote ไม่ง่ายขนาดนั้นครับ… Keynote จาก CTO ถูกจัดในเวลา 08:30 AM… โอ้ เรามันคนทำงานสาย Tech ด้วยซิ งานเช้าขนาดนี้จะตื่นยังไงไหว? ฮ่า ๆๆ</p><p>แต่ไหน ๆ ก็บินข้ามน้ำข้ามทะลมาไกลขนาดนี้ เลยคิดว่า 8 โมงก็ 8 โมง ตื่นไหวแหละ… แต่ ๆๆ ทีมงาน AWS ก็บอกต่อว่า คุณนนท์ควรไปแต่เช้ามาก ๆ ล่วงหน้าสัก 1 ชั่วโมงก็ยังดีครับ เพราะคนอยากเข้าเยอะมาก ๆ และที่นั่งห้องสดมีจำกัด ถ้าเต็มแล้วเต็มเลยครับ OMG…</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zAuKYG2anrHyOZ_nh7WadQ.jpeg" /><figcaption>ต่อคิวเข้าห้อง Keynote ก่อน 45 นาที</figcaption></figure><p>และนี่คือภาพการต่อคิวเข้าห้อง Keynote เวลา 07:45 ครับ ผมมาถึงก่อนเวลา 45 นาทีแล้ว… คนก็ยังเยอะมาก ๆๆๆๆ อยู่ดี (OMGG ผมนึกว่าทีม AWS อำกันเล่น ๆ ให้ตื่นเช้า ฮ่า ๆๆ )</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aREZrSRWs7kGjjNrM5HMxw.jpeg" /><figcaption>Architect with cost in mind</figcaption></figure><p>ในงานวันนี้เป็น Keynote จาก Dr. Werner Vogels ที่เป็น CTO ของ Amazon เองเลยครับ</p><p>โดย Key Takeaway ที่น่าสนใจคือ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*X73ErrmjcY6-ggYOZQSkyA.jpeg" /><figcaption><a href="https://thefrugalarchitect.com/">The Frugal Architect</a></figcaption></figure><ul><li><a href="https://thefrugalarchitect.com/">The Frugal Architect</a> ที่ถูกเขียนขึ้นมาจากประสบการณ์ของ Dr. Werner ทำขึ้นมาเพื่อเป็นแนวทางให้ทุกคนได้เอาไปใช้ในการออกแบบระบบ โดยแบ่งออกเป็น 3 หัวใจหลักคือ Design, Measure และ Optimize และแบ่งเป็น 7 ข้อย่อย สามารถอ่านเพิ่มเติมจากลิงก์นี้ได้ครับ <a href="https://thefrugalarchitect.com/">https://thefrugalarchitect.com/</a></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*enMXYDdZkASJWPapYcLaSg.jpeg" /><figcaption>cost-aware architectures</figcaption></figure><ul><li>ในทุก ๆ การทำงาน หรือออกแบบ Architect ต้องคำนึงถึงเรื่อง Cost เสมอครับ เพราะถ้าหาก Business โตขึ้นเรื่อย ๆ แต่ Infra Cost ก็ยังโตด้วยความเร็วเท่า ๆ เดิมอยู่แบบนี้ Business จะไปต่อยากครับ เราต้องทำให้ Infra Cost มีความเร็วในการเติบโตที่ช้าลงเรื่อย ๆ แล้ว Business เราก็จะทำกำไรได้</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8SXoguit6YN8ycqFsH1SYQ.jpeg" /><figcaption>This is too much for a single person to be an expert in.</figcaption></figure><ul><li>Dr. Werner บอกว่า AWS Service เองมีเยอะมาก ๆๆ เกินกว่าที่มนุษย์ 1 คนจะเชี่ยวชาญทุกอย่างได้ เลยเปิด AI ผู้ช่วยอย่าง Amazon Q ออกมาเพื่อเป็นผู้ช่วยเราในการถามตอบ/ให้คำแนะนำเราสำหรับการใช้งาน AWS</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xQYZznCzILvxAFHm2D61iw.jpeg" /><figcaption>AWS Application Composer in VS Code</figcaption></figure><ul><li>เปิดตัว AWS Application Composer in VS Code ที่ทำให้เราสามารถ Drag &amp; Drop component ต่าง ๆ ของ AWS แล้วสร้างออกมาเป็น YAML ไฟล์เอาไป deploy CloudFormation ต่อได้ทันที ถือว่าสะดวกขึ้นมาก ๆ หรือกลับกันถ้าเราเขียน YAML มาแล้วอยาก Visualize ก็สามารถใช้สิ่งนี้ได้เช่นกันครับ</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5Bfen9mOpgSUSHy07a29bQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ewwutbjFL1JCbWdyPuQPvQ.jpeg" /></figure><h3>Keynote จาก SVP, AWS Utility Computing Products— <strong>Peter DeSantis</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PcGVpZQsmQKAq8AawhFM5w.jpeg" /><figcaption>Amazon Aurora Limitless Database</figcaption></figure><ul><li>Amazon Aurora Limitless Database — เป็นสุดยอด Aurora DB ที่ทำให้เราสามารถเขียนข้อมูลได้หลักล้าน trx/s รวมไปถึงเก็บ data ได้หลัก PB เลยครับ เลยเป็นที่มาของชื่อว่า Limitless เพราะเราไม่ต้องพึ่งพา Writer แค่ 1 node อีกต่อไป</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-gDX-TETWZGYZmGzJG2arw.jpeg" /><figcaption>Amazon ElastiCache Serverless</figcaption></figure><ul><li>Amazon ElastiCache Serverless — ปัญหากวนใจหลาย ๆ คนคือ เราจะเปิดเครื่อง Redis, Memcached เท่าไหร่ดีถึงจะพอ? เพราะถ้า Overprovisioning เกินไปก็จะเสีย cost เยอะ ถ้าน้อยเกินไปก็ Performance แย่อาจจะลามไปถึงเกิดปัญหากับ Transaction จริงได้ ทาง AWS เลยเปิดตัว Serverless ออกมาเพื่อแก้ปัญหานี้ครับ ต่อไปนี้ก็ไม่ต้องห่วงแล้วว่าถ้าจะเปิดมาเพื่อการ Development เล็ก ๆ น้อย ๆ จะทำยังไงให้คุ้มค่าดี รวมไปถึงจะ Scale ยังไงให้ทันกับ spike workload การเข้ามาของ ElastiCache Serverless ก็ถือเป็นอีกหนึ่งทางเลือกที่น่าสนใจครับ</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9dxaVHtzTqRNjHPFaOF8uw.jpeg" /><figcaption>Amazon Redshift Serverless Next-generation AI-driven scaling and optimizations</figcaption></figure><ul><li>Amazon Redshift Serverless Next-generation AI-driven scaling and optimizations — ทาง AWS เอา AI เข้ามาช่วยจัดการเรื่องการ scaling ของ Redshift เพื่อลดปัญหากวนใจเวลาที่ขนาดของ data เปลี่ยน, concurrent user เข้ามาพร้อมกันเยอะ ๆ รวมไปถึง query ที่ซับซ้อน เพราะสิ่งเหล่านี้ต้องการ Manual scaling พอมี AI เข้ามาช่วยเลยทำให้จัดการง่ายขึ้น โดย AI จะทำหน้าที่ในการเรียนรู้ Workload ของเราแล้ว scale ให้ auto ทำให้สามารถเพิ่ม Price Performance ได้สูงสุดถึง 10x เท่าเลยครับ</li></ul><h3>Keynote จาก CEO, AWS — Adam Selipsky</h3><ul><li>เปิดมาด้วยหัวข้อ 80% ของ Unicorn ใช้งาน AWS ครับ (ฮ่า ๆ โชว์ stat ก่อนเลย)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IVBVkJ01mX1sILxyqI9zBQ.jpeg" /><figcaption>Amazon S3 Express One Zone</figcaption></figure><ul><li>Amazon S3 Express One Zone — เป็น Storage ที่ออกแบบมาให้ลด Latency ได้สูงสุดถึง 10x เท่าถ้าเทียบกับ S3 Standard โดยทาง AWS เคลมว่าสามารถรับ Request หลัก 100K rps ได้โดยที่ latency ยังอยู่ในเลขหลักเดียวของ millisecond (ms) เหตุผลที่เร็วขนาดนี้เพราะข้อมูลจะถูกเก็บไว้ใน AZ (Availability Zone) เดียวเท่านั้น เหมาะกับงานประเภทที่ต้องการ access data บ่อย ๆ แต่ใช้ไม่นานอย่าง AI/ML training, financial modeling, media processing, HPC (High-performance computing) โดยมี SLA ที่ 99.9% ครับ</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q0xJKXAQzF5Ayr_JgVmBEg.jpeg" /><figcaption>AWS Graviton4</figcaption></figure><ul><li>AWS Graviton4 — อันนี้ผมเองตื่นเต้นเป็นพิเศษครับ เพราะ Graviton4 นี่เร็วกว่า Graviton3 ที่ 30% รวมไปถึงเร็วกว่า 40% เมื่อใช้งานกับ database และ 45% เมื่อใช้กับ Java โดยใส่ core เพิ่มขึ้น 50% และมี memory bandwidth เพิ่มขึ้น 75% เรียกได้ว่าแค่เห็นก็ตาลุกวาวแล้ว อยากเริ่มใช้เร็ว ๆ แล้วครับ (ผมตั้งตารอตั้งแต่ Graviton3 บน RDS แล้วครับ ฮ่า ๆ )</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WjUXBds-kdmMUY187B71Rg.jpeg" /><figcaption>AWS Trainium2</figcaption></figure><ul><li>AWS Trainium2 — สำหรับชาว generative AI และ ML training ทาง AWS เปิดตัว Trainium2 ที่เร็วกว่า Trainium เดิมถึง 4x เท่า สามารถนำมาต่อกันเยอะ ๆ จนสร้าง supercomputing ระดับ 65 exaflops ได้เลย</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5swRcxwWJYYSDBJPnzIL2g.jpeg" /><figcaption>Amazon Project Kuiper</figcaption></figure><ul><li>Amazon Project Kuiper — อันนี้ผมแอบตื่นเต้นเอง เป็น project ที่ส่งดาวเทียมออกไปนอกโลกเพื่อสร้างโครงข่าย internet (คุ้น ๆ เนอะ) และใช่ครับ เจ้าสิ่งนี้คือคู่แข่ง Starlink ของ SpaceX อย่างแน่นอน โดยความคืบหน้าของ project คือมีดาวเทียม 2 ดวงของ Kuiper อยู่บนวงโคจรโลกแล้ว และ Amazon ก็ได้ทำสัญญากับ SpaceX (คู่แข่ง) เพื่อให้ช่วยส่งดาวเทียม Kuiper สู่วงโคจรอีกด้วย ตามแผนคือจะเริ่มเปิดให้ทดสอบการใช้งาน internet ดาวเทียมได้ในภายในกลางปี 2024 ครับ</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aRG1_ZY5qub060z06NMsKw.jpeg" /></figure><p>ตอนแรกผมก็ไม่คิดว่า Blog นี้จะเดินทางมาไกลขนาดนี้ ขอบคุณทุกท่านที่อ่านมาถึงตรงนี้นะครับ ทั้งหมดนี้เป็นเพียงส่วนเล็ก ๆ จากงาน AWS re:Invent 2023 และ Blog นี้จะเกิดขึ้นไม่ได้เลยถ้าเราขาดทีมงาน AWS, ทีมงาน SiS รวมไปถึงทีมงาน LMWN ผู้อยู่เบื้องหลังที่ร่วมกันส่งทีม LMWN ไปร่วมงาน ขอพื้นที่ตรงนี้ขอบคุณทุก ๆ ท่านอีกครั้งครับ</p><p>ถ้าหากใครสนใจมาร่วมลงมือทำงานที่สนุก ๆ จอยงานน่าตื่นเต้น ๆ แบบนี้ก็สมัครเข้ามาได้เลยที่</p><blockquote><a href="https://careers.lmwn.com/">https://careers.lmwn.com/</a></blockquote><p>บอกว่าติดตามมาจากพี่นนท์ที่เขียน Blog ยาว ๆ ก็ได้ครับ (ฮ่า ๆ )</p><p>ทิ้งท้ายกันไปด้วยภาพน่ารัก ๆ ของทีม SRE ที่เข้าร่วมงาน AWS re:Invent 2023 ครับผมม ไว้เจอกันใหม่ใน Blog หน้านะครับบบ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oRERSg9oBm0wKCJjCDKNKg.jpeg" /><figcaption>น้องติ (ซ้าย) และนนท์ (ผม-ขวา) ทีม SRE LMWN ที่งาน AWS re:Invent 2023</figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=02be01d25d8b" width="1" height="1" alt=""><hr><p><a href="https://life.lmwn.com/what-we-found-at-aws-re-invent2023-02be01d25d8b">ไปร่วมงาน AWS re:Invent 2023 แล้วเจออะไรบ้าง?</a> was originally published in <a href="https://life.lmwn.com/">Life@LINE MAN Wongnai</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[CPU Limit บน Kubernetes คือ สิ่งที่สร้างความปวดหัวให้กับ LINE MAN Wongnai]]></title>
            <link>https://life.lmwn.com/cpu-limit-%E0%B8%9A%E0%B8%99-kubernetes-%E0%B8%84%E0%B8%B7%E0%B8%AD-%E0%B8%AA%E0%B8%B4%E0%B9%88%E0%B8%87%E0%B8%97%E0%B8%B5%E0%B9%88%E0%B8%AA%E0%B8%A3%E0%B9%89%E0%B8%B2%E0%B8%87%E0%B8%84%E0%B8%A7%E0%B8%B2%E0%B8%A1%E0%B8%9B%E0%B8%A7%E0%B8%94%E0%B8%AB%E0%B8%B1%E0%B8%A7%E0%B9%83%E0%B8%AB%E0%B9%89%E0%B8%81%E0%B8%B1%E0%B8%9A-line-man-wongnai-3f6a11aa0869?source=rss-dc8ffb85ffb------2</link>
            <guid isPermaLink="false">https://medium.com/p/3f6a11aa0869</guid>
            <category><![CDATA[sre]]></category>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[engineering2023]]></category>
            <category><![CDATA[kubernetes-cluster]]></category>
            <category><![CDATA[site-reliability-engineer]]></category>
            <dc:creator><![CDATA[Nontawat Numor]]></dc:creator>
            <pubDate>Tue, 04 Apr 2023 09:05:23 GMT</pubDate>
            <atom:updated>2023-04-04T15:37:38.591Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Wy2BUUwDc_Xc6mGMsgLQgw.png" /></figure><p>สวัสดีครับ หลายท่านอาจเคยอ่าน Blog ผมผ่านตามาแล้วบ้าง ยังไงแล้วขอแนะนำตัวเองอย่างเป็นทางการอีกครั้งนะครับ ผมชื่อ <strong>นลธวัช หนูมอ (นนท์)</strong> เป็น <strong>Senior Site Reliability Engineer (SRE) ที่ LINE MAN Wongnai (LMWN)</strong></p><p>วันนี้ผมจะพาทุกท่านไปพบกับฟีเจอร์ของ Kubernetes ที่ทั้งน่าใช้ แล้วก็น่าปวดหัวมากชื่อว่า <strong>CPU Limit</strong></p><p>อยากให้ทุกท่านลองนึกภาพถึง CPU Limit ก่อนว่ามันควรทำงานยังไงน้า? แล้วมันทำงานได้แบบที่เราคาดหวังรึเปล่า?</p><p>บอกได้เลยครับว่า เจ้าสิ่งนี้มันสร้างความเจ็บปวดให้แก่ LMWN มากมาย… แถมผมใช้เวลาคิดวิธีแก้มันเป็นเดือนๆ กว่าจะคิดออก ฮ่าๆๆ</p><h3>รู้จักกับ Resources ใน Kubernetes</h3><p>เหล่าผู้ใช้ Kubernetes มักมีข้อแนะนำ Best Practice กันว่า เราควรตั้งค่า Resources ไว้ด้วยนะ!! ใช่ไหมครับ? หน้าตาของไฟล์ก็ประมาณนี้</p><pre>apiVersion: v1<br>kind: Pod<br>metadata:<br>  name: service-lmwn<br>spec:<br>  containers:<br>  - name: log-lmwn<br>    image: lmwn.com/logger:v1    <br>    resources:<br>      requests:<br>        memory: &quot;64Mi&quot;<br>        cpu: &quot;250m&quot;<br>      limits:<br>        memory: &quot;128Mi&quot;<br>        cpu: &quot;500m&quot;</pre><p>หน้าตาดูเรียบง่ายดีจัง แถมความหมายอ่านแล้วก็ดูเหมือนจะเข้าใจได้ทันที…</p><p>ให้นึกอีกทีครับว่ามันเข้าใจทันทีได้รึเปล่า… ฮ่าๆๆ (เพราะจริงๆ แล้วมันมีความซับซ้อนซ่อนไว้ใต้พรมอยู่ด้วย)</p><p>ลองมาแกะดูทีละส่วนกันดีกว่าว่ามีอะไรบ้าง ผมขอแยกส่วนของ <strong>requests</strong> ออกมาก่อนนะครับ เพราะเป็นส่วนที่เข้าใจได้ง่ายดี</p><h4>Resource Requests</h4><pre>    resources:<br>      requests:<br>        memory: &quot;64Mi&quot;<br>        cpu: &quot;250m&quot;</pre><p>ส่วนของ <strong>requests</strong> ใช้สำหรับ <a href="https://kubernetes.io/docs/concepts/scheduling-eviction/kube-scheduler/"><strong>kube-scheduler</strong></a><strong> </strong>เพื่อดูว่ามี node (ในที่นี้คือ k8s worker) ไหนบ้างที่มี resource “เหลือ” เพียงพอต่อการรัน workload ซึ่งถ้าหาก node นั้นๆ มี resource เพียงพอก็จะสั่งให้ <a href="https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet/"><strong>kubelet</strong></a> (ใน node ปลายทาง) รัน workload ขึ้นมาใช้งาน เป็นอันเสร็จกระบวนการ ง่ายเนอะ? ง่ายๆ แบบนี้แหละ</p><p>หากใครอยากอ่านวิธีที่ <a href="https://kubernetes.io/docs/concepts/scheduling-eviction/kube-scheduler/"><strong>kube-scheduler</strong></a><strong> </strong>ใช้คำนวณเชิงลึก สามารถอ่านจาก blog นี้ของพี่วิน <a href="https://medium.com/u/6dc577b5eda5">Manatsawin Hanmongkolchai</a> ได้เลยครับ <a href="https://life.wongnai.com/how-kubernetes-schedule-pods-352a7bb0eb10"><strong>Kubernetes Schedule Pod อย่างไร</strong></a></p><p>ความหมายของ config ด้านบนคือ เราจอง <strong>Memory</strong> 64Mi (Mebibyte) ไว้ให้ container (ใน pod มีได้หลาย containers) ตัวนี้ พร้อมกับ <strong>CPU</strong> 250m (millicore) ถ้าไม่มี node ไหนว่างก็จะไม่รันเลย ให้ <strong>pending</strong> รอจนกว่าจะมี resource ว่างเหลือพอสำหรับรัน</p><p>ความหมายดูตรงไปตรงมาดี ไม่มีอะไรซับซ้อนมาก</p><h4>Resource Limits</h4><pre>    resources:<br>      limits:<br>        memory: &quot;128Mi&quot;<br>        cpu: &quot;500m&quot;</pre><p>มาดูส่วนของ <strong>limits</strong> กันบ้างดีกว่า</p><p>ตัว limits เองถูกใช้งานผ่าน <a href="https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet/"><strong>kubelet</strong></a> (node agent) ที่อยู่ตาม node ต่างๆ นั่นเอง ผมขอแบ่งเป็น 2 อย่างนะครับ คือ</p><ol><li><strong>Memory </strong>วิธีใช้ง่ายมากครับ ถ้า container นั้นๆ ใช้ memory เกินกว่าที่ limit ไว้ (ในตัวอย่างนี้ 128Mi) ให้ kill container ทิ้ง เราจะได้รับ event ชื่อ <strong>OOMKilled </strong>กลับมา หรือที่เราเรียกกันจนติดปากว่า OOM (Out Of Memory) นั่นเอง</li><li><strong>CPU</strong> วิธีที่ kubelet นำค่านี้ไปใช้นั้นซับซ้อนนิดนึง ไปดูกันครับ</li></ol><h3>รู้จักกับ CPU Limit</h3><p>จริงๆ แล้ว <strong>Kubernetes</strong> ไม่ได้ทำ <strong>CPU Limit</strong> เองเลย ผ่าม !! ฮ่าๆๆ (ทำไมดูผมสนุกกับการหลอกผู้อ่านไปมา ฮ่าๆๆ)</p><p>เพราะจริงๆ แล้ว <strong>container</strong> ไม่ใช่สิ่งที่ถูกสร้างขึ้นใหม่มาจากศูนย์ แต่เป็นการใช้สิ่งที่มีอยู่แล้วใน <a href="https://en.wikipedia.org/wiki/Linux_kernel">Linux kernel</a> เข้ามาช่วยสร้างอย่าง <a href="https://en.wikipedia.org/wiki/Cgroups"><strong>cgroups</strong></a><strong> </strong>โดยเจ้า cgroups จะคอยจัดการ resource (CPU, Memory, disk I/O, Network) ของกลุ่ม process ให้เราอีกที</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*H57Hlr8d2fA3iAPSSnTKLA.png" /><figcaption>path /sys/fs/cgroup</figcaption></figure><p>โดย config ที่เกี่ยวข้องถูกเก็บไว้ที่ path /sys/fs/cgroupในทุกๆ node นั่นเอง และแยกย่อยไปตามแต่ละ pod &amp; container ที่รันอยู่ใน node (รายละเอียดของ folder structure ผมขอข้ามไปนะครับ)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vqzxjLABK3V61amOGVLDug.png" /><figcaption>Inside cpu slice of each container folder</figcaption></figure><p>ใน folder ของแต่ละ container มีไฟล์แยกย่อยอีกตามภาพครับ ในบทความนี้ผมจะพูดถึงเพียง 3 ไฟล์สำคัญคือ cpu.cfs_period_us , cpu.cfs_quota_us , cpu.stat</p><h4>CPU Limit ด้วย CFS quota</h4><p>การทำงานของ CPU limit บน Linux kernel จะใช้<strong> </strong><a href="https://docs.kernel.org/scheduler/sched-bwc.html"><strong>CFS Bandwidth Control</strong></a> เข้ามาช่วยอีกที ผ่านการตั้งค่าไฟล์ cpu.cfs_period_us และ cpu.cfs_quota_us (us = μ ย่อมาจาก microseconds) เพื่อควบคุม <strong>“เวลา” </strong>ที่ container เราสามารถใช้ได้บน CPU</p><ul><li>cpu.cfs_period_us CFS จะแบ่งช่วงเวลาของ CPU ออกเป็นรอบๆ (period) ในหน่วย microseconds (ต่อไปผมจะใช้คำว่า <strong>period </strong>แทนนะครับ) โดยค่าดีฟอลต์ที่ Kubernetes ตั้งค่ามาให้อยู่ที่ 100,000 us = 100 ms</li><li>cpu.cfs_quota_us ตรงตัวเลยครับ คือ quota เวลา (microseconds) ที่ container เราจะได้รับไป มาจากการตั้งค่าผ่าน <strong>CPU Limit</strong> นั่นเอง</li></ul><p>เช่น เราตั้งค่า cpu: 500mบน Kubernetes, ตัว kubelet จะนำไปตั้งค่าcpu.cfs_quota_us เป็น <strong>50000</strong> (50,000us)</p><p>ตรงนี้หลายคนอาจจะสังเกตแล้วว่าผมแปลงหน่วยผิดรึเปล่า 500ms = 500,000us สิ ไม่ใช่ 50,000us</p><blockquote>ถ้าสังเกตดีๆ เราจะเห็นว่า 500m(millicore) != 500ms(milliseconds)</blockquote><p>จริงๆ 50,000us ถูกต้องแล้วครับ เพราะดีฟอลต์ของ cpu.cfs_period_us เรากำหนดเป็น period ละ 100ms (100,000us) ทำให้ค่าที่เรากำหนดผ่าน CPU Limit เราต้องหาร 10 อีกที จึงออกมาเป็น 50,000us ครับ หน้าตาจะออกมาแบบนี้</p><pre> (vCPU)  (millicore) =&gt; (milliseconds)   (microseconds)<br>  1 vCPU   == 1000m  =&gt; 100ms         == 100,000us<br>0.5 vCPU   == 500m   =&gt; 50ms          == 50,000us</pre><p>(มาถึงจุดนี้อาจเริ่มมึนๆ กันบ้างละ ฮ่าๆ)</p><p>หลายคนจะทักว่า ที่ผ่านมาเรากำหนด CPU Limit บน Kubernetes เป็น millicore (เสี้ยวซีพียู) กันนี่นา? ใช่ครับ เราใช้ millicore กัน อย่าง cpu: 1คือ 1 CPU ส่วน cpu: 500m คือ 0.5 CPU แต่พอมาอยู่ใน CFS เรามอง CPU กันในหน่วยเวลาแทน จึงออกมาเป็นหน่วย microseconds ตามด้านบนครับ</p><blockquote>เกล็ดเล็กเกล็ดน้อย: ใน Kubernetes ความหมายของ 1 CPU คือ 1 vCPU บน Cloud หรือ 1 Hyper-threading บน Intel processor</blockquote><p>เย้ ! เรารู้จักความหมายของค่าใน CFS สักที… ต่อไปมาดูกันดีกว่าว่าที่มันแบ่งเป็น period แล้วมี quota เนี่ย มันทำงานจริงๆ เป็นยังไง</p><p>สมมุติให้ task (load, request จาก client) ใช้เวลาประมวลผลทั้งหมด 200ms และผมไม่ได้กำหนด CPU Limit จะได้ภาพนี้ออกมาครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nOQ0N23om1kulx0HtYmDUA.png" /><figcaption>source: <a href="https://jaanhio.me/blog/kubernetes-cpu-requests-limits/">https://jaanhio.me/blog/kubernetes-cpu-requests-limits/</a></figcaption></figure><p>ดูดีเนอะ ถ้าผมไม่ได้กำหนด CPU Limit เลย task ผมก็ทำงานได้จบในเวลา 200ms ตามที่คาดหวังปกติเลย</p><p>งั้น เราลองกำหนด CPU Limit ไว้บ้างดีกว่า เพราะเราเรียนมาแล้วว่า Best Practice ของ Kubernetes ต้องตั้งค่านี้ไว้</p><pre>    resources:<br>      limits:<br>        cpu: &quot;500m&quot;</pre><p>ดีดนิ้วทีเดียว เราก็ได้ CPU Limit มาละ!! จาก task ของเราใช้เวลาแค่ 200ms นี่ เราให้ CPU Limit ไปเลย 500m หรือ 0.5 vCPU แบบนี้ก็เหลือเฟือเนอะ ป่ะ ไปดูกัน!!</p><p>สิ่งที่เกิดขึ้นจริง เมื่อเราจับเวลาของ CPU เพื่อดูการทำงานมันจะออกเป็นแบบนี้ครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*rwZA0tKoL8Qe7R6d.png" /><figcaption>source: <a href="https://jaanhio.me/blog/kubernetes-cpu-requests-limits/">https://jaanhio.me/blog/kubernetes-cpu-requests-limits/</a></figcaption></figure><p>จากเดิมที่ task เราใช้เวลาแค่ 200ms ในการประมวลผลผ่าน CPU ตอนนี้มันจะใช้เวลาทั้งหมด 350ms แทน ใช่ครับ มันเป็นแบบนี้จริงๆ ตอนผมรู้จักมันครั้งแรกก็ตกใจเหมือนทุกคนเลย</p><p>ทำไมมันเป็นแบบนั้นได้ !!!</p><p>ลองสังเกตดีๆ เราจะพบว่ามันเกิด <strong>CPU Throttled</strong> สีแดงๆ ขึ้นมาเต็มไปหมดเลย… เพราะอะไรกันนะ?</p><p>เป็นเพราะเรากำหนด CPU Limit ไว้ 500m หรือ 50ms/period (default period คือ 100ms) ทำให้ในกรอบเวลาทุกๆ 100ms เนี่ย เราใช้ CPU ประมวลผลได้ทีละ 50ms แล้วหลังจากนั้นอีก 50ms ที่เหลือก็จะถูก <strong>Throttled </strong>ไปหมดเลยจนกว่าจะครบ 1 period</p><p>running 50ms, throttled 50ms สลับไปมาเรื่อยๆๆๆ (4 รอบ) จนเรา running ได้ครบ 200ms ก็ถือว่าจบ task นั้นๆ ของเรา</p><p>ความแย่คือ task เดิมที่เราทำงานเสร็จใน 200ms จะช้าขึ้นไปเป็น 350ms ทันที เพียงแค่ตั้งค่า CPU Limit เพิ่มมาเท่านั้น …. What!</p><p>และใช่ครับ ถ้า client เราส่ง request เข้ามา มันจะเกิด latency มากมายจากสิ่งนี้ได้ทันที</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zIOPHwjOtD8A-WQ7ISSjDg.png" /><figcaption>CPU usage and CPU throttling</figcaption></figure><h3>CPU Throttling ฝันร้ายของ Latency</h3><p>จากตัวอย่างข้างบน task จริง 200ms แต่ใช้เวลาประมวลผลจริงรวม 350ms คิดเวลาที่ถูก <strong>CPU Throttled </strong>เป็น 150ms คิดง่ายๆ คือเราเสียเวลาไปกับ <strong>CPU Throttled </strong>ทั้งหมด 42.8% ของ request</p><p>สรุปคือนั่ง optimize กันแทบตาย มาช้าเพราะ<strong> CPU Limit</strong> บรรทัดเดียว… ใช่ครับ ผมก็บ่นแบบนี้มาก่อน</p><p>(ถ้าคิดว่ามันแย่แล้ว… เรามีต่อครับ)</p><p>ถ้าให้ทายกัน ทุกท่านคิดว่าระบบจะมองค่า <strong>CPU Usage</strong> รวมเป็นทั้งหมดกี่ ms?</p><p>เฉลย มันคิดออกมาเป็น 200ms เท่าเดิมครับ เพราะอีก 150ms มันคือ <strong>CPU Throttled </strong>จึงไม่ถูกนับรวมเข้ามา มันเลยทำให้กราฟ CPU Usage ของเรานั้นต่ำเตี้ยเรี่ยดินมากกก ในขณะที่ Latency เราพุ่งไปไกลถึง 350ms แล้ว !!! นี่เป็นปัญหาใต้พรมจริงๆ ครับ ถ้าหากเราไม่กางกราฟ CPU Throttling ออกมาดูก็จะคิดว่าทุกอย่างมันปกติไปหมดเลย…</p><p>ด้านล่างนี้เป็นภาพที่ตั้ง CPU Limit ไว้ 800m แต่ peak CPU Usage ใช้อยู่ราวๆ เพียง 200m เท่านั้น จะเห็นว่าก็เกิด CPU Throttling เต็มไปหมดเลยครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/531/0*OQ5z6Pw3LlQkTXDq.gif" /><figcaption>source: <a href="https://erickhun.com/posts/kubernetes-faster-services-no-cpu-limits/">https://erickhun.com/posts/kubernetes-faster-services-no-cpu-limits/</a></figcaption></figure><p>ถ้าย้อนกลับไปข้างบน ผมยังติดทุกคนไว้ 1 ไฟล์คือไฟล์ cpu.stat ซึ่งจะเป็นพระเอกที่ช่วยเราในการมองเห็น CPU Throttling ได้ครับ</p><pre>$ cat cpu.stat<br>nr_periods 1511728<br>nr_throttled 611387<br>throttled_time 80937318020351</pre><p>เมื่อเราลองเปิดดูไฟล์ cpu.stat จะพบ 3 บรรทัดนี้</p><ul><li><strong>nr_periods:</strong> จำนวน period ทั้งหมดที่รันผ่านมา</li><li><strong>nr_throttled</strong>: จำนวน period ที่ถูก <strong>Throttled</strong></li><li><strong>throttled_time</strong>: เวลาทั้งหมดที่ถูก <strong>Throttled</strong> ในหน่วย nanoseconds</li></ul><p>ถ้าหากเราลองเอา <strong>nr_throttled </strong>มาหารด้วย<strong> nr_periods </strong>เราจะได้ percentage จำนวน period ที่ถูก<strong> Throttled</strong> ไปเนอะ และจะรู้ว่าสถานการณ์มันแย่แค่ไหน</p><p>ไม่ต้องกดเครื่องคิดเลขครับ ผมกดให้ละ ได้ออกมาที่ 40.44% และใช่ครับ นี่คือค่าจริงบน Production Server ของ <strong>LMWN</strong> … (กรีดร้องได้ครับ)</p><p>ถ้าหากใครใช้ <a href="https://github.com/google/cadvisor">cAdvisor</a> อยู่แล้วเราจะมี metrics เพิ่มขึ้นมาคือ container_cpu_cfs_throttled_periods_total, container_cpu_cfs_periods_total, container_cpu_cfs_throttled_seconds_total นะครับ อย่าลืมนำไปลองวาดกราฟดูนะครับ เผื่อจะได้กรีดร้องกันบ่อยขึ้น ฮ่าๆ</p><p>….. แต่ถ้าหากยังกรีดร้องไม่พอ เรามีสิ่งที่แย่ขึ้นไปอีกครับ !!</p><h3>บั๊กใน Linux kernel</h3><p>(เปิดหัวข้อมาก็หนักใจเลย ฮ่าๆๆ)</p><p>ใช่ครับ เรามีบั๊กใน Linux kernel เรื่อง CFS อีกด้วย … จาก kernel ที่เราแบ่ง periods ละ 100ms จริงๆ แล้ว kernel ยังแบ่งย่อยลงไปอีกชั้นเรียกว่า <strong>slice</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QI09QxxW5OaaXS8UfPwKmw.png" /><figcaption>sched_cfs_bandwidth_slice_us</figcaption></figure><p>ค่าดีฟอลต์ถูกตั้งค่าไว้ที่ 5000us หรือ 5ms พอแบ่งทีละ 5ms จาก 100ms จะได้ทั้งหมด <strong>20 slices</strong> (ลอง cat /proc/sys/kernel/sched_cfs_bandwidth_slice_us ดูได้ครับ)</p><p>ตัว kernel เองใช้ global quota bucket ในการกำหนดเวลาที่เหลืออยู่ (runtime_remaining สำหรับ container) เพื่อจะได้รู้ว่าเวลาไหนที่ต้อง Throttling แล้วเนื่องจาก quota ที่กำหนดมาหมดแล้ว</p><p>มาดูภาพการทำงานดีกว่าครับ สมมุติให้ application เรามี 2 threads และเราตั้ง <strong>CPU Limit</strong>: 200m หรือ quota = 20ms ในแต่ละ period</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/988/0*k8OkEg6jvf6OUd4h.png" /><figcaption>source: <a href="https://engineering.indeedblog.com/blog/2019/12/cpu-throttling-regression-fix/">https://engineering.indeedblog.com/blog/2019/12/cpu-throttling-regression-fix/</a></figcaption></figure><blockquote><strong>กราฟบน</strong>: คือ Global Quota ที่เหลืออยู่ ณ เวลานั้นๆ</blockquote><blockquote><strong>กราฟกลาง: </strong>คือ Quota ที่ถูกส่งให้แต่ละ core ของ CPU เอาไปใช้งาน</blockquote><blockquote><strong>กราฟล่าง</strong>: คือ เวลาที่ task แต่ละ thread เข้าไปรันใน CPU แต่ละ core</blockquote><p>กราฟนี้ความยาว 100ms (เท่ากับ 1 period) ทำให้ Global Quota เราเริ่มที่ 20ms (จาก CPU Limit) หลังจาก Worker 1 เริ่มทำงาน จะถูกแบ่ง CPU slice 5ms ลงมาที่ Per-CPU Quota แล้วก็ใช้จนหมดใน 5ms พอดี (task ที่ทำใช้เวลา 5ms พอดี) เช่นเดียวกับ Worker 2 ก็ได้ task ที่ทำเสร็จใน 5ms พอดี (ถือว่ายังโชคดีอยู่…)</p><p>แต่ในโลกความเป็นจริง คงไม่มี task ไหนที่จบลงตัวใน 5ms ทุกครั้งเสมอไป มาดูตัวอย่างที่ task ไม่จบใน 5ms กันบ้าง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/988/0*oj5ayEmLdWYNZZNp.png" /><figcaption>source: <a href="https://engineering.indeedblog.com/blog/2019/12/cpu-throttling-regression-fix/">https://engineering.indeedblog.com/blog/2019/12/cpu-throttling-regression-fix/</a></figcaption></figure><ul><li><strong>ที่เวลา 30ms </strong>— Worker 1 มี task ที่ทำงานเสร็จใน 1ms จึงเหลือ Per-CPU Quota 4ms (เพราะ slice ละ 5ms เราใช้ไป 1ms จึงเหลือ 4ms) และยังโชคดีที่เรามีรอบการคืน Per-CPU Quota กลับไปหา Global Quota ด้วยครับ</li><li><strong>ที่เวลา 38ms </strong>— ทำการคืน Per-CPU Quota กลับไปหา Global Quota แต่มีบั๊ก! มันคืนไม่หมด เหลือทิ้งไว้ <strong>1ms</strong></li><li><strong>ที่เวลา 41ms </strong>— Worker 2 มี task ใหญ่มาก อยากจะรันงานนานๆ เลย เลยขอ Global Quota มาที่ Per-CPU ทีละ 5ms เรื่อยๆ จนหมด หลังจากนั้นพอ Global Quota หมดแล้ว (ที่ตั้ง CPU Limit มา 20ms) ก็จะโดน <strong>CPU Throttled</strong> นั่นเอง !!</li></ul><p>จากกราฟตรงกลางจะเห็นว่า Per-CPU Quota สีน้ำเงิน มันเหลือทิ้ง<strong> 1ms</strong> จนจบ period เลย</p><p>โอเคแหละ 1ms สำหรับเซิร์ฟเวอร์ที่มี 2 cores คงยังไม่เป็นปัญหาอะไรมาก</p><p>มาลองคำนวณกันครับถ้าเรามีเซิร์ฟเวอร์ที่ 88 cores จะเป็นอย่างไรบ้าง?</p><p>เวลาที่หายไปทั้งหมดคือ 88–1 = 87ms (N-1) ต่อ period เดี๋ยวนะ 87ms/100ms นั่นเหรอ? ใช่ครับ พูดง่ายๆ คือต่อให้ container เราใช้ CPU น้อยมาก มันมีโอกาสที่ CPU core จะใช้งานไม่ได้ไปแล้ว 0.87 CPU!!! OMG (นี่มัน million-dollar bug)</p><p>เพราะฉะนั้น ถ้าเราใช้ application เดิมไปรันที่เซิร์ฟเวอร์ที่ core เยอะขึ้น มันยิ่งแย่ (เศร้าจริง) บั๊กนี้อยู่กับเรามาตั้งแต่ปี 2014 ครับ และคนเริ่ม report กันเยอะขึ้นเรื่อยๆ ตั้งแต่ปี 2018 <a href="https://github.com/kubernetes/kubernetes/issues/67577">CFS quotas can lead to unnecessary throttling</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*lsm31DqUm2fHnjpr" /><figcaption>Photo by <a href="https://unsplash.com/@johnschno?utm_source=medium&amp;utm_medium=referral">John Schnobrich</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><h3>วิธีแก้ปัญหา</h3><p>มาถึงวิธีแก้ปัญหากันบ้าง ทำยังไงดี? เรามีปัญหาตั้ง 2 อย่างใหญ่ๆ เลย</p><h4>แก้บั๊ก kernel</h4><p>เอาปัญหาบั๊ก kernel ก่อน บั๊กนี้ถูกแก้ไปแล้วในปี 2019 โดยให้เราอัพเกรดเป็น kernel ที่ <strong>version ≥ 5.4</strong> ครับ ซึ่งเป็น practice ที่ดี ควร upgrade kernel ให้บ่อยๆ เนอะ</p><p>คนที่ patch แก้บั๊กนี้ (commit patch<a href="https://github.com/torvalds/linux/commit/512ac999d2755d2b7109e996a76b6fb8b888631d">512ac99</a> , <a href="https://github.com/torvalds/linux/commit/de53fd7aedb100f03e5d2231cfce0e4993282425">de53fd7</a>) เขาเทสต์แล้วบอกว่า</p><blockquote>In the case of an artificial testcase (10ms/100ms of quota on<br>80 CPU machine), this commit resulted in almost <strong>30x performance<br>improvement</strong></blockquote><p>performance ดีขึ้น 30x เท่า!</p><p><strong>แก้ CPU Throttled ที่มองไม่เห็น</strong></p><p>ปัญหานี้ค่อนข้างยาก เพราะขึ้นกับ application ของเราครับ เราต้องรู้ว่า task ที่เข้ามาจะใช้เวลารันทั้งหมดกี่ ms บน CPU Core นั้นๆ, บนเซิร์ฟเวอร์เครื่องนั้น, บนสภาพแวดล้อมของงานทุก task บนเซิร์ฟเวอร์รวมกัน…. โอ้ แค่คิดก็ยากเกินไปครับ</p><p>ถ้าหากเป็น application ที่ห่วงเรื่อง latency มาก สิ่งที่ทำได้คือการลองเพิ่ม <strong>CPU Limit</strong> ขึ้นไปเรื่อยๆ จนกว่าค่า percentage ของ <strong>CPU Throttling</strong> จะลดต่ำลงจนพอใจ (ต่ำกว่า 10% หรือเป็น 0% เลยก็ดี)</p><p>แต่เดี๋ยวนะ ถ้าเพิ่ม CPU Limit ไปเรื่อยๆ จาก cpu: 500m อาจจะกลายเป็น 1 vCPU, 2.5 vCPU, 10 vCPU เพิ่มไปเรื่อยๆ ใช่ไหม? คำตอบคือใช่ครับ</p><h3>แล้ว LINE MAN Wongnai แก้ยังไง?</h3><p>เนื่องจาก LMWN เราเองมีคลัสเตอร์ Kubernetes หลายคลัสเตอร์มาก ทั้งบน Public Cloud (AWS, GCP), Private Cloud อีก เลยมี environment ที่แตกต่างกันในแต่ละคลัสเตอร์ค่อนข้างเยอะ</p><ul><li>คลัสเตอร์ใหม่ๆ เรา <strong>upgrade kernel</strong> ให้เป็นเวอร์ชันที่ไม่มีบั๊กนี้แล้ว พร้อมกำหนด CPU Limit ให้เหมาะสมสำหรับ use case ของแต่ละ application</li><li>คลัสเตอร์ที่ไม่สามารถ upgrade kernel ได้จริงๆ เราทำแบบนี้ครับ…</li></ul><blockquote>เลิกใช้ CPU Limit!!! ลบมันออกไปปปปปปป</blockquote><p>ถ้ามันแก้ไม่ได้ และปัญหาเกิดจาก <strong>CPU Limit</strong> เราก็ลบมันสิ !! ถูกต้องครับ บางคลัสเตอร์บน LMWN เรา<strong>ถอด CPU Limit</strong> ออกไปแล้ว เพราะเราห่วง latency มาก จึงยอมถอดมันออกไปเลย</p><p>พอทำแล้ว ปัญหาก็ผุดขึ้นมาในหัวทุกคนทันทีว่า “ถ้า application เรามันกิน CPU จนไปรบกวน application อื่นล่ะ?”</p><p>คำถามคือตรงจุดเลยครับ มันเป็น <strong>trade-off</strong> ที่เราต้องยอมแลกมาด้วยการลด <strong>pod density</strong> ลง (ทำให้จำนวน pod/server น้อยๆ) เพื่อให้มีพื้นที่สำหรับ application ได้เกิด CPU Spike ขึ้นมาโดยไม่รบกวน application อื่นๆ</p><p>หน้าตา pod spec ออกมาแบบนี้ครับ</p><pre>apiVersion: v1<br>kind: Pod<br>metadata:<br>  name: service-lmwn<br>spec:<br>  containers:<br>  - name: log-lmwn<br>    image: lmwn.com/logger:v1    <br>    resources:<br>      requests:<br>        memory: &quot;64Mi&quot;<br>        cpu: &quot;250m&quot;<br>      limits:<br>        memory: &quot;128Mi&quot;</pre><h3>ฝันร้ายที่เราเจอยังไม่จบ…</h3><p>(บทความนี้ผมให้ทุกคนได้กรีดร้องจนพอใจเลยครับ)</p><p>สำหรับ service หรือ application ทั่วไปที่มีการ deploy อยู่เรื่อยๆ แบบ Zero Downtime (อ่านวิธีการทำ Zero Downtime Deployment ของ LMWN ได้ที่นี่ครับ <a href="https://life.wongnai.com/kubernetes-zero-downtime-deployment-faef1d0eabda">Kubernetes ทำ Zero Downtime Deployment ให้เราจริงเหรอ?</a>) ก็คงไม่มีปัญหาอะไร แค่แก้ pod spec โดยลบบรรทัด<strong> CPU Limit</strong> ออกก็จบแล้ว</p><p>แต่มันมี service อีกกลุ่มนึงครับ ที่เรายัง deploy ไม่ได้ เพราะมันต้องมี down time และผมเองก็ไม่อยากทำให้แอปของ LINE MAN Wongnai ต้องมี down time หลายชั่วโมง เพราะถือเป็นช่วงเวลาที่ตีเป็นมูลค่าธุรกิจมากมายทีเดียว</p><p>ให้ทายเล่นๆ ครับ service แบบไหนถึง down ไม่ได้ ถ้า down แล้วถึงขั้นต้องปิดทั้ง คลัสเตอร์เลย</p><p>เฉลยยยยย มันคือ service ที่ทำ <strong>Network Overlay Container </strong>ของทั้งคลัสเตอร์ครับ และคลัสเตอร์นี้เราใช้ <a href="https://github.com/flannel-io/flannel">flannel</a> อยู่</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Am7oLiZhdMkEH03G.png" /><figcaption>Network Overlay with flannel (source: <a href="https://ranchermanager.docs.rancher.com/v2.5/faq/container-network-interface-providers">https://ranchermanager.docs.rancher.com/v2.5/faq/container-network-interface-providers</a>)</figcaption></figure><p>ปัญหาคือเจ้า flannel กำหนด <strong>CPU Limit</strong> ที่ 100m เป็นดีฟอลต์ และคลัสเตอร์นี้เราพลาดท่า หลงใช้ default config มาตั้งแต่เริ่มไปซะแล้ว (OMG 0.1 vCPU เนี่ยนะ ถามจริง) ทำให้เราเจอ<strong> CPU Throttling </strong>บางเซิร์ฟเวอร์หนักขึ้นไปถึง 70% เลยครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ESKAzX5vauGKQtv9rywBUg.png" /><figcaption>CPU Throttling on flannel when limit cpu at 0.1 vCPU</figcaption></figure><p>กราฟด้านบนคือ Production ของ LMWN เลยครับ… (ผมขอกรีดร้องด้วย ฮ่าๆ)</p><p>จริงๆ flannel เพิ่งลบ CPU Limit นี้ออกจากค่าดีฟอลต์เมื่อ <a href="https://github.com/flannel-io/flannel/pull/1694">dec, 2022 </a>ที่ผ่านมานี้เอง หากใครใช้อยู่ จงรีบไปเช็กกันให้ไวเลยครับบบ</p><h3>แล้วทำยังไงกับ flannel?</h3><p>เอาจริงๆ เป็นโจทย์ที่ยากมาก เพราะ</p><ul><li>แก้ <strong>DaemonSet</strong> config ของ flannel ก็ไม่ได้ เพราะไม่รู้มันจะเริ่ม rollout จาก node ไหนบ้าง ทำให้เราคาดเดาไม่ได้อีกว่า network ของ node ไหนจะดับ กลายเป็น down time มั่วไปหมด</li><li>จะทำ <strong>down time</strong> <strong>window </strong>ให้ทั้งบริษัท LMWN ก็ดูยิ่งใหญ่ไปมาก และคงรู้สึกผิดในใจมากถ้าจะขอ window หลายชั่วโมง ฮ่าๆๆ</li><li>จะทำ <strong>DaemonSet</strong> ใหม่ที่ถอด CPU Limit ออกแล้ว deploy ขึ้นโดยทยอย cordon &amp; drain ทีละเครื่องเพื่อ deploy flannel ใหม่เข้าไปก็ดูกินเวลาเยอะมากๆ แถมเซิร์ฟเวอร์แต่ละเครื่องถูก allow network policy ต่างกัน ต้องเตรียม แผนที่ดีมากในการรันแต่ละเครื่อง (เหนื่อยแน่นอน)</li><li>จะสร้าง <strong>server</strong> ใหม่เพื่อมาทดแทนก็มี resource ไม่เพียงพออีก เพราะเราใช้ Private Cloud ในส่วนนี้ และเหนื่อยในการทำ network policy อีกเยอะมาก</li></ul><p>แต่ละวิธีมันใช้แรงเยอะมาก และอาจไม่คุ้มกับสิ่งที่ได้คืนมา จนกระทั่งวันนี้ครับ วันนี้แหละ วันที่ผมเขียนบทความนี่เลย ผมเจอวิธีนึงโดยบังเอิญ (เพราะค้นอินเทอร์เน็ตก็ยังไม่เคยเจอวิธีนี้)</p><p>ผมมานึกเล่นๆ ครับว่าเจ้าไฟล์ cpu.cfs_quota_us ที่เราใช้กำหนด Quota ของแต่ละ container นี่ มันถูกสร้างตอน container เกิดขึ้น (pod creation) ถ้าหากเราเปลี่ยนค่ามัน มันก็จะเหมือนแก้ <strong>CPU Limit</strong> ของ container นั้นๆ เลยสิ !!!</p><blockquote>ปิ๊งป่อง !!</blockquote><p>มันใช้ได้ผลครับ ผมใช้วิธีเข้าไปในแต่ละเซิร์ฟเวอร์ เพื่อเขียนค่า <strong>“-1”</strong> (ไม่ให้มีการ limit CPU bandwidth) ลงไปในไฟล์ cpu.cfs_quota_us ของ container flannel โดยไม่จำเป็นต้อง restart flannel daemon เลย! หมายความว่าเราสามารถแก้มันแบบไม่มี downtime ได้ทันที!</p><p>ด้านล่างเป็น shell script ที่ผมเขียนขึ้นมาแบบเร็วๆ เพื่อลองเทสต์ครับ</p><pre>DockerId=$(docker ps | grep flannel | grep -v &quot;pause&quot; | grep -v &quot;install&quot; | awk &#39;{ print $1 }&#39;)<br>echo &#39;-1&#39; &gt; /sys/fs/cgroup/cpu/kubepods.slice/kubepods-burstable.slice/$(docker inspect --format=&quot;{{.HostConfig.CgroupParent}}&quot; $DockerId)/docker-$(docker inspect --format=&quot;{{.Id}}&quot; $DockerId).scope/cpu.cfs_quota_us</pre><p>ผลที่ได้คือ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*P-ZqZ8IdU6f5xD_MiVuBOg.png" /><figcaption>Nodes CPU Throttling</figcaption></figure><p>CPU Throttling หายไปหมดเลย (แบบตะโกน)</p><p>เป็นวิธีแก้ปัญหาที่คิดไม่ถึงจริงๆ ครับว่าจะสามารถแฮ็กได้แบบนี้ และแน่นอนครับ latency ที่พุ่งขึ้นมาแปลกๆ อย่าง P95 หรือ P99 ของเราก็ลดลงมากกว่า 40% เลย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pGv9f23XyAzJhHMIOhWyGg.png" /><figcaption>P95 response time ที่ลดลงหลังจากถอด CPU Limit ออก</figcaption></figure><h3>สรุปเรื่องวันนี้</h3><p>วันนี้ผมพาทุกท่านไปดูถึงปัญหาของ <strong>CPU Throttling</strong> ที่มันเกิดขึ้น ว่าจริงๆ แล้ว Kubernetes นั้น implement CPU Limit ด้วย <strong>CFS</strong> บน <strong>kernel</strong> อีกที โดยเจ้า kernel แบ่ง CPU Time ออกเป็น <strong>period</strong> ละ 100ms แล้วก็ใช้งาน แต่ดันมีบั๊กที่อยู่มา 5 ปีเลยทีเดียว</p><p>วิธีแก้ขึ้นกับความเหมาะสมของแต่ละ Cluster/Service อีก บางคลัสเตอร์ก็ upgrade kernel เป็น <strong>version ≥ 5.4</strong> ก็แก้บั๊กพร้อมกับกำหนด CPU Limit ให้เหมาะสมกับ service ได้</p><p>แต่บางคลัสเตอร์แก้ไม่ได้ก็ต้องถอด <strong>CPU Limit </strong>ออกซะเลย แต่ก็ต้องระวังเรื่อง <strong>pod density</strong> ให้ดีด้วยนะครับ</p><p>แถมบาง service ถอด <strong>CPU Limit </strong>ไม่ได้เพราะห้ามมี down time สุดท้ายจบไปด้วยการ patch file cpu.cfs_quota_us ที่ <strong>kernel</strong> ใช้งานแบบแฮ็กหน่อยๆ แทน</p><p>ปวดหัวสมชื่อบล็อกเลยเนอะ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1006/0*slO9QNPQv-QvFK1L.png" /></figure><h3>จะขาดการขายของได้อย่างไรกัน !!</h3><p>จะเห็นว่าที่ <strong>LINE MAN Wongnai</strong> เราให้ความสำคัญกับการแก้ปัญหาในระดับ <strong>fundamental</strong> มาก และงานที่นี่ท้าทายเราสุดๆ ผมรับประกันได้เลยว่า ถ้าเราได้ร่วมงานที่ LMWN เราจะเจอโจทย์ยากๆ เจอสิ่งท้าทายใหม่ๆ อยู่ตลอดเวลาแน่นอนครับ</p><p>คลิกเลย <a href="https://careers.lmwn.com/">https://careers.lmwn.com</a>/ ผมรอพบทุกคนอยู่นะครับ</p><p>แล้วพบกันใหม่ในบทความถัดไปนะครับบ ขอบคุณครับ</p><h3>More Ref</h3><ul><li><a href="https://www.youtube.com/watch?v=UE7QX98-kO0">https://www.youtube.com/watch?v=UE7QX98-kO0</a></li><li><a href="https://engineering.indeedblog.com/blog/2019/12/cpu-throttling-regression-fix/">https://engineering.indeedblog.com/blog/2019/12/cpu-throttling-regression-fix/</a></li><li><a href="https://danishpraka.sh/2022/02/20/kubernetes-and-cpu-limits.html">https://danishpraka.sh/2022/02/20/kubernetes-and-cpu-limits.html</a></li><li><a href="https://community.ibm.com/community/user/aiops/blogs/dina-henderson/2022/06/29/kubernetes-cpu-throttling-the-silent-killer-of-res">https://community.ibm.com/community/user/aiops/blogs/dina-henderson/2022/06/29/kubernetes-cpu-throttling-the-silent-killer-of-res</a></li><li><a href="https://aws.amazon.com/blogs/containers/using-prometheus-to-avoid-disasters-with-kubernetes-cpu-limits/">https://aws.amazon.com/blogs/containers/using-prometheus-to-avoid-disasters-with-kubernetes-cpu-limits/</a></li><li><a href="https://komodor.com/learn/kubernetes-cpu-limits-throttling/">https://komodor.com/learn/kubernetes-cpu-limits-throttling/</a></li><li><a href="https://www.phoronix.com/news/Linux-Backport-For-CFS-Quota-IN">https://www.phoronix.com/news/Linux-Backport-For-CFS-Quota-IN</a></li><li><a href="https://jaanhio.me/blog/kubernetes-cpu-requests-limits/">https://jaanhio.me/blog/kubernetes-cpu-requests-limits/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3f6a11aa0869" width="1" height="1" alt=""><hr><p><a href="https://life.lmwn.com/cpu-limit-%E0%B8%9A%E0%B8%99-kubernetes-%E0%B8%84%E0%B8%B7%E0%B8%AD-%E0%B8%AA%E0%B8%B4%E0%B9%88%E0%B8%87%E0%B8%97%E0%B8%B5%E0%B9%88%E0%B8%AA%E0%B8%A3%E0%B9%89%E0%B8%B2%E0%B8%87%E0%B8%84%E0%B8%A7%E0%B8%B2%E0%B8%A1%E0%B8%9B%E0%B8%A7%E0%B8%94%E0%B8%AB%E0%B8%B1%E0%B8%A7%E0%B9%83%E0%B8%AB%E0%B9%89%E0%B8%81%E0%B8%B1%E0%B8%9A-line-man-wongnai-3f6a11aa0869">CPU Limit บน Kubernetes คือ สิ่งที่สร้างความปวดหัวให้กับ LINE MAN Wongnai</a> was originally published in <a href="https://life.lmwn.com/">Life@LINE MAN Wongnai</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Kubernetes ทำ Zero Downtime Deployment ให้เราจริงเหรอ?]]></title>
            <link>https://life.lmwn.com/kubernetes-zero-downtime-deployment-faef1d0eabda?source=rss-dc8ffb85ffb------2</link>
            <guid isPermaLink="false">https://medium.com/p/faef1d0eabda</guid>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[engineering2022]]></category>
            <category><![CDATA[developer-tools]]></category>
            <category><![CDATA[software-engineering]]></category>
            <category><![CDATA[zero-downtime]]></category>
            <dc:creator><![CDATA[Nontawat Numor]]></dc:creator>
            <pubDate>Thu, 22 Dec 2022 04:08:55 GMT</pubDate>
            <atom:updated>2022-12-22T04:08:55.881Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="zero downtime" src="https://cdn-images-1.medium.com/max/1024/1*GLAzTmGQ4OYy_1wzPN-EtQ.png" /></figure><p>สวัสดีครับ ก่อนอื่นขอแนะนำตัวนะครับ ผมชื่อ <strong>นลธวัช หนูมอ (นนท์)</strong> เป็น Senior Site Reliability Engineer (SRE) ที่ LINE MAN Wongnai (LMWN) หน้าที่ของผมคือทำให้ระบบเสถียรที่สุดเท่าที่เป็นไปได้ หนึ่งในปัญหาวันนี้ก็เป็นหัวใจสำคัญของหน้าที่ของผมด้วยนั่นเอง</p><p>บทความนี้ผมจะพาไปเจาะลึกว่า จริงๆ แล้วที่เราไว้ใจ <strong>Kubernetes (k8s) </strong>ให้ช่วยทำ<strong> Zero Downtime Deployment</strong> เนี่ย มันทำได้จริงเหรอ? เบื้องหลังมันทำงานยังไง? แล้วถ้ามันไม่ได้ทำให้เราจริงๆ จะแก้ปัญหามันอย่างไรดี? (หลายท่านคงเดาได้แล้วสินะครับ ว่า Kubernetes อาจจะไม่ได้ทำ Zero Downtime ให้เราเก่งขนาดนั้น ฮ่าๆ)</p><p>แอบบอกใบ้เลยครับว่า</p><blockquote>ที่ <a href="https://lmwn.com/">LINE MAN Wongnai</a> เราลด Error request จากหลักพันให้เหลือ 0 ระหว่างการ deploy ด้วยบทความนี้ !!</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*233ybRoSk9a8e3JwxnoYaw.png" /><figcaption>Request บางส่วนที่เกิด Error ระหว่างการ deploy</figcaption></figure><h3>ปัญหา k8s ที่เจอมาตลอด แต่หาสาเหตุไม่เจอ</h3><p>ที่ผ่านมา เวลาจะ deploy service ใดๆ ก็ตามขึ้นระบบของ LMWN เรามักตรวจพบ request ที่ error อยู่ตลอดเวลา แต่ก็ไม่เคยหา root cause ของมันพบสักที</p><p>สิ่งที่พบคือ error log นี้ ซึ่งบอกใบ้เราคร่าวๆ ว่ามีหลาย request ที่ error เนื่องจาก connection มีปัญหา</p><pre>upstream connect error or disconnect/reset before headers. reset reason: connection failure<br>upstream connect error or disconnect/reset before headers. reset reason: connection termination</pre><p>ปัญหานี้ยิ่งทวีคูณความรุนแรงขึ้นตามจำนวน request ที่ fail หมายความว่า ยิ่งเรา deploy service ของเรา ณ เวลาที่มีผู้ใช้งานเป็นจำนวนมาก impact ที่เกิดขึ้นจะยิ่งมากตามไปด้วย และเราเจอ error แบบนี้เป็นหลักพัน request ทุกครั้งที่ deploy เลยทีเดียว</p><p>แต่วันนี้เราแก้ปัญหาสำเร็จแล้วววว (วันนี้จริงๆ ครับ ผมแก้ปัญหานี้เสร็จก็เริ่มเขียนบทความนี้เลย ฮ่าๆๆ)</p><h3>Kubernetes ทำ Zero Downtime Deployment ให้เราแล้วนี่?</h3><p>หลายท่านคงทราบกันดีว่า Kubernetes มีระบบที่ช่วยตรวจสอบ service ของเราก่อนที่จะเริ่มรับทราฟฟิกจากผู้ใช้งานจริง ที่เรียกกันติดปากว่าทำ “h<strong>ealth check</strong>”</p><p>หลักการ health check นี่ตรงไปตรงมาเลยครับ มันจะคอยตรวจสอบว่า service เราพร้อมใช้งานจริงไหมอยู่ตลอดเวลา</p><p>มาแอบดูวิธีการทำงานคร่าวๆ ของการวิธีการทำ health check กันดีกว่าครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1010/0*x3u8Z-1iGcHMVeQu.GIF" /><figcaption><a href="https://cloud.google.com/blog/products/containers-kubernetes/kubernetes-best-practices-setting-up-health-checks-with-readiness-and-liveness-probes">https://cloud.google.com/blog/products/containers-kubernetes/kubernetes-best-practices-setting-up-health-checks-with-readiness-and-liveness-probes</a></figcaption></figure><h4><strong>livenessProbe</strong></h4><p><strong>livenessProbe</strong> คอยช่วยเรา restart container ให้เรานั่นเอง เวลาที่ใครเจอปัญหาว่า service ทำงานต่อไม่ได้ เกิดปัญหา deadlock ต่างๆ เราจะนึกวิธีแก้แบบเร็วๆ ว่า ก็ลอง restart มันเลยใช่ไหมครับ? เจ้าสิ่งนี้เองที่ช่วยให้เราไม่ต้องคอย restart container เพียงแค่ใส่ probe นี้ให้เรียบร้อยเวลาที่เกิดปัญหาตาม condition มันจะ restart container เองครับ</p><pre>livenessProbe:<br>  httpGet:<br>    path: /liveness-healthz<br>    port: liveness-port<br>  failureThreshold: 1<br>  periodSeconds: 10</pre><p>หน้าตา config ง่ายๆ แบบนี้เลยครับ เป็นการบอกว่า Kubernetes จะคอยเช็กทุกๆ 10 วินาทีว่า service เราที่ path /liveness-healthz healthy รึเปล่า? (ได้ 200 ≤ http_response_code &lt; 400) ถ้าเกิดมี fail เกิดขึ้นแม้แต่ครั้งเดียว ก็จะ restart container นั้นให้ทันที</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1010/0*3mbYsdkN4dXPbGE0.GIF" /><figcaption><a href="https://cloud.google.com/blog/products/containers-kubernetes/kubernetes-best-practices-setting-up-health-checks-with-readiness-and-liveness-probes">https://cloud.google.com/blog/products/containers-kubernetes/kubernetes-best-practices-setting-up-health-checks-with-readiness-and-liveness-probes</a></figcaption></figure><h4><strong>readinessProbe</strong></h4><p>ถัดมาคือ <strong>readinessProbe</strong> ตามชื่อเลยครับ ตัว probe นี้คอยเช็กว่า service ของเราพร้อมรับ request รึเปล่า? (accepting traffic) ถ้าหากเช็กแล้วผ่านเงื่อนไข ตัว Kubernetes ถึงเริ่มปล่อย request (traffic) เข้าไปให้ ในทางกลับกัน ถ้า readinessProbe เช็กแล้วไม่ผ่าน Kubernetes จะตัดไม่ให้ request ไหลเข้าไปนั่นเอง</p><pre>readinessProbe:<br>  httpGet:<br>    path: /readiness-healthz<br>    port: readiness-port<br>  failureThreshold: 1<br>  periodSeconds: 10</pre><p>หน้าตา config คล้ายกันเลยครับ ต่างกันเพียงแค่เวลาที่เช็ก readiness fail จะทำให้ Kubernetes หยุดส่ง request เข้าไป</p><p>แอบบอก practice ไว้นิดนึงครับ ปกติเราควรแยก path (logic) สำหรับ livenessProbe และ readinessProbe ออกจากกัน สิ่งที่แต่ละ path ควรทำคือ</p><ul><li><strong>livenessProbe</strong> ควรเช็กว่า service เรายัง alive/dead โดยการเช็กจาก main thread ของ service หรือเรียกง่ายๆ ว่า service เราค้างรึเปล่า ถ้าค้างจะได้ restart container ได้</li><li><strong>readinessProbe </strong>ควรเช็กว่า service ของเราพร้อมรับ traffic จริงๆ รึยัง เช่น service ต้องต่อ database, cache ได้ ถึงจะพร้อมรับ traffic เป็นต้น</li></ul><p>จะเห็นว่าจุดประสงค์ต่างกัน เราจึงควรแยก path (logic) ของ 2 probe นี้ออกจากกัน</p><h4>startupProbe</h4><p>เรามี probe ตัวสุดท้าย ชื่อว่า <strong>startupProbe</strong> เจ้า probe ตัวนี้จะช่วยเราใน service ที่ใช้เวลา startup นานๆ ได้ครับ หลักการของมันง่ายมาก ถ้าเราใส่ <strong>startupProbe </strong>ไว้ มันจะเป็น probe แรกที่ทำงานขึ้นมา และมันจะเช็กไปเรื่อยๆๆ จนเช็กผ่าน (Healthy) แล้วอีก 2 probe (readinessProbe, livenessProbe) ถึงเริ่มทำงานนั่นเอง เหมือนเป็นการยื้อเวลาให้ service ของเรา start ครับ</p><pre>startupProbe:<br>  httpGet:<br>    path: /healthz<br>    port: liveness-port<br>  failureThreshold: 30<br>  periodSeconds: 10</pre><p>จาก config ด้านบน มันจะเช็กไปเรื่อยๆ ทุก 10 วินาที และเมื่อเจอ request ที่ success จะถือว่าทำงาน probe นี้เสร็จแล้ว แต่กลับกันถ้า fail เราจะปล่อยให้ fail ได้สูงสุด 30 ครั้ง (30 * 10s = 300 วินาที) ถ้าเกิด fail เกิน 300 วินาทีก็จะ kill container เราให้ครับ</p><h4>มีตั้ง 3 Health Check Probe ยังไม่พออีกเหรอ?</h4><p>หลายท่านคงคิดว่า probe 3 ตัวนี้น่าจะช่วยทำให้เรานอนหลับแบบสบายใจได้แล้วนะ?</p><ul><li>เวลาที่ deploy อะไร มี <strong>startupProbe</strong> คอยเช็กให้ว่า service เรา start เสร็จรึยัง</li><li>เวลาที่ service เราค้างด้วยอาการแปลกๆ มี <strong>livenessProbe</strong> ที่คอย restart ให้</li><li>เวลาที่ service เรายังไม่พร้อมรับ traffic มี <strong>readinessProbe</strong> คอยป้องกันไม่ให้ traffic เข้ามายัง service เราด้วย</li></ul><p>และใช่ครับ probe 3 ตัวนี้ยังไม่พอสำหรับเรา ระบบของ LMWN เราใช้งานครบทั้ง 3 probe ก็ยังเจอกับปัญหาแปลกๆ ที่เราคาดไม่ถึงอยู่ดี</p><p>ผมลองให้ทุกท่านเดาเล่นๆ ครับ ว่าจากปัญหาที่เราเจอเกิดจากอะไรได้บ้าง….</p><p>(เดาไม่ถูกไม่เป็นไรนะครับ ผมเองก็ใช้เวลาเดาหลายเดือนกว่าจะเจอ ฮ่าๆๆ)</p><h3>ปัญหาเกิดแค่เวลา Terminate Pod</h3><p>เมื่อผมลองสังเกตลงไปลึกมากขึ้นของ error request ที่เจอ ผมพบว่ามันเกิดเฉพาะกับ <strong>pod ที่กำลังถูกลบ</strong> (ไม่ได้เกิดกับ pod ที่เพิ่งถูกสร้างขึ้นมาเลย) ทำให้ผมยิ่ง scope ลงไปได้มากขึ้นครับ ว่าปัญหาต้องเกี่ยวข้องกับเฉพาะตอน<strong> terminate pod</strong> นั่นเอง</p><p>health check ของเราทำหน้าที่ได้ดีแล้วเวลาที่มีการสร้าง pod ใหม่ (create pod) เพราะถ้า health check ทั้ง 3 probe ทำงานไม่ผ่านสักตัว pod เราจะไม่ได้ process traffic ใดๆ อยู่ดี</p><p>ส่วนการลบ pod (pod termination) เกิดขึ้นอยู่ตลอดเวลา ไม่ว่าจะเป็นตอนที่เรา deploy service โดย pod เก่าๆ ก็ต้องถูก terminate, หรือเวลาที่ node มีปัญหา ทำให้ Kubernetes ย้าย pod เราไปลง node อื่น, รวมถึงเวลาที่เราสั่งลบตรงๆ ด้วยคำสั่ง kubectl delete {pod} เป็นต้น</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VJJvlBsUgSPQyoFaC5SXOg.png" /><figcaption>Pod Termination Process (source: <a href="https://engineering.rakuten.today/post/graceful-k8s-delpoyments/">https://engineering.rakuten.today/post/graceful-k8s-delpoyments/</a>)</figcaption></figure><h3>Pod Termination ทำงานอย่างไร?</h3><p>เรามาลองเจาะลึกลงไปกันดีกว่า ว่า ณ เวลาที่ terminate pod มันเกิดอะไรขึ้นบ้าง?</p><ol><li>API server แก้ไข state ของ pod เป็น Terminating แล้วเก็บเข้า etcd</li><li>kubelet เริ่ม pod eviction หรือลบ pod นั้นๆ ออกจาก node ตัวเอง</li><li>endpoints-controller เริ่มการ update endpoint โดยลบ endpoint ของ pod นี้ออกจาก list ตัวเอง</li><li>API server ได้รับข้อมูล list endpoint ใหม่มา และเริ่มประกาศ list endpoint นี้ออกไปให้ kube-proxy (endpoint propagation)</li><li>kube-proxy เริ่มทำการ update iptables rules ของ node ตัวเอง</li></ol><p>หากใครสงสัยการทำงานของ endpoint/kube-proxy/iptables ลองอ่านจากบทความนี้ดูนะครับ<a href="https://medium.com/wongnai/why-should-you-be-aware-of-kube-proxy-if-you-are-concerned-about-latency-e4c22a111884"> ถ้าห่วง Latency ทำไมถึงไม่ควรมองข้าม kube-proxy?</a></p><p>มีจุดสังเกตอย่างหนึ่งครับ ในภาพจะเห็นว่าจังหวะข้อ 2 และข้อ 3 มันเกิดพร้อมๆ กัน และในความเป็นจริงมันเกิดขึ้นพร้อมกันแบบ <strong>asynchronous</strong></p><p>มาถึงจุดนี้หลายคนคงเริ่มเดาออกบ้างแล้วใช่ไหมครับ ว่าปัญหาเกิดจากจุดไหน?</p><blockquote>ถ้าหาก container ของเรา shutdown เสร็จก่อนที่ kube-proxy update iptables rules จะทำให้ทุกๆ request ที่ส่งเข้า container นั้น fail ทั้งหมด</blockquote><p>พูดง่ายๆ คือ</p><blockquote>Kubernetes จะส่ง traffic เข้า pod ที่กำลังถูก terminate อยู่</blockquote><p>Oh my god!!! ใช่ครับ อ่านไม่ผิดครับ Kubernetes จะส่ง traffic เข้าไป pod ที่กำลังถูกปิด และเป็นแบบนี้เสมอมาครับ !</p><p>…. ไม่ต้องตกใจไปนะครับ เพราะคุณไม่ได้ตกใจคนเดียว ครั้งแรกที่ผมพบ root cause ข้อนี้ผมก็ตกใจเหมือนกัน ฮ่าๆๆ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*X5QKrQujrB2QZLBunRpV_w.png" /><figcaption>Pod is deleted before the endpoint is propagated (source: <a href="https://learnk8s.io/graceful-shutdown">https://learnk8s.io/graceful-shutdown</a>)</figcaption></figure><h3>Root cause ของปัญหา</h3><p>พอเราลองมาขยาย timeline ของการ terminate pod จะเห็นว่าถ้า kube-proxy มัน update iptables rules (ขอเรียกว่า <strong>endpoint propagatation </strong>นะครับ) ของตัวเองไม่ทันกับที่ pod ลบไป จะทำให้ node ต่างๆ ยังพยายามส่ง request เข้าไปยัง pod (ip address) ที่ถูกลบไปแล้ว จึงทำให้เกิด <strong>connection failure</strong> หรือ <strong>connection termination </strong>ตามมาได้</p><p>เราเรียกสิ่งนี้ว่า race condition ครับ เพราะเราไม่รู้ว่า process (<strong>endpoint propagatation Vs Pod eviction</strong>) ไหนจะเสร็จก่อนกัน</p><blockquote>งั้นวิธีแก้ปัญหา race condition อันนี้ก็ง่ายมากสิ ทำให้ endpoint propagation ทำงานเสร็จก่อนเริ่ม Pod eviction ก็พอแล้ว?</blockquote><p>ถูกต้องนะครับบบบ !!</p><p>แต่ข่าวร้ายครับ… หลังจากที่ผมพยายามหาวิธีแก้แบบ solid solution ด้วย Kubernetes เอง กลับพบว่ามันไม่มีวิธีนั้นครับ… (OMG)</p><p>แต่ไม่เป็นไรครับ เรายังมีพระเอกอีกคนที่คอยช่วยเราอยู่</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*naBAehHVEhpzRro3WjoFVw.png" /><figcaption>preStop hook process (source: <a href="https://learnk8s.io/graceful-shutdown">https://learnk8s.io/graceful-shutdown</a>)</figcaption></figure><h3>preStop hook</h3><p>ในจังหวะที่ <strong>kubelet</strong> กำลังทำ Pod eviction (ลบ pod ออกจาก node ตัวเอง ตามข้อ 2 ข้างบน) เราสามารถใส่ hook พิเศษตัวนึงเข้าไปได้ สิ่งนี้เรียกว่า preStophook โดย <strong>preStop </strong>นี้จะทำงานก่อนการเริ่มส่ง <strong>SIGTERM</strong> ไปยัง container นั้นๆ</p><blockquote>ขยายความ <strong>SIGTERM</strong> นิดนึง ปกติแล้วเวลาที่ Kubernetes จะปิด container ลงนั้น Kubernetes เองจะส่ง SIGTERM ออกไปยัง process (container)</blockquote><blockquote>เพื่อแจ้งให้ process เริ่มทำการปิดตัวเอง (clear request/clear connection ต่างๆให้เรียบร้อย) แล้ว shutdown process ตัวเอง</blockquote><p>ส่วนวิธีจัดการรับ <strong>SIGTERM</strong> เข้าไปสู่ service แล้วจะจัดการอย่างไร ผมแนะนำอ่านบทความนี้ต่อได้เลยครับ <a href="https://life.wongnai.com/%E0%B8%84%E0%B8%B8%E0%B8%93-shutdown-nginx-container-%E0%B9%83%E0%B8%99-kubernetes-%E0%B8%96%E0%B8%B9%E0%B8%81%E0%B8%A7%E0%B8%B4%E0%B8%98%E0%B8%B5%E0%B8%A3%E0%B8%B6%E0%B9%80%E0%B8%9B%E0%B8%A5%E0%B9%88%E0%B8%B2-92656e702987">คุณ Shutdown Nginx Container ใน Kubernetes ถูกวิธีอยู่รึเปล่า?</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Fb8feOLSCmrmkROI.png" /><figcaption>source: <a href="https://engineering.rakuten.today/post/graceful-k8s-delpoyments/">https://engineering.rakuten.today/post/graceful-k8s-delpoyments/</a></figcaption></figure><p>แต่ถ้าหาก process ไม่ปิดตัวเองภายในเวลาที่กำหนดตาม <strong>terminationGracePeriodSeconds </strong>(default 30 วินาที) ตัว Kubernetes จะส่ง <strong>SIGKILL</strong> เข้าไปเพิ่ม และ kubelet จะให้อีก 2 วินาทีก่อนที่จะ force kill container ไป</p><blockquote>….และอย่าลืมนะครับ ทั้งหมดนี้เป็นจังหวะเดียวกันกับที่ endpoints-controller เริ่ม <strong>endpoint propagatation </strong>ครับ</blockquote><p>แล้วเราจะทำยังไงกันดี???</p><h3>…รอ</h3><p>วิธีที่ผมเลือกใช้ในการแก้ปัญหานี้ก็คือ…. รอ ครับ</p><blockquote>รอให้ <strong>endpoint propagatation </strong>ทำงานเสร็จก่อน แล้วค่อยเริ่ม p<strong>od eviction</strong> นั่นเอง</blockquote><p>ในเมื่อเรามีพระเอกอย่าง <strong>preStop</strong> hook ที่จะทำงานให้เสร็จก่อนเริ่มส่ง <strong>SIGTERM</strong> ไปยัง process เราก็ใช้สิ่งนี้รอให้นานพอที่ <strong>endpoint propagatation</strong> จะทำงานเสร็จ และวิธีใช้งานก็ง่ายมากครับ</p><pre>spec:<br>  terminationGracePeriodSeconds: 30<br>  containers:<br>  - name: &quot;{{APP_NAME}}&quot;<br>    lifecycle:<br>      preStop:<br>        exec:<br>          command: [&quot;/bin/sh&quot;,&quot;-c&quot;,&quot;sleep 10&quot;]</pre><p>ผมใส่ sleep 10 วินาทีเข้าไปดื้อๆ แบบนี้เลยครับ และนี่เป็นโซลูชันที่ LMWN ใช้บน production เรียบร้อยแล้ว</p><p>แต่เราจะรู้ได้ยังไงว่าต้อง sleep รอทั้งหมดกี่วินาทีถึงจะพอ? เพราะถ้ารอนานๆ ก็อาจจะบั่นทอนหัวใจ (แฮร่ ไม่ใช่ !! )</p><p>เพราะถ้ารอนานไปก็เสียเวลา terminate เปล่าๆ หรือถ้ารอไม่นานพอกลายเป็นว่าปัญหาก็ยังอยู่</p><p>ข่าวร้ายคือไม่มีตัวเลขที่ชัดเจนสำหรับสิ่งนี้ เราต้องหา magic number สำหรับแต่ละ system ของเรากันเอง โดยที่ผมคาดว่าไม่ควรใช้เกิน 10–20 วินาที</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/805/0*U0lN6aIc1r0hElX4.png" /><figcaption>source: <a href="https://wangwei1237.github.io/Kubernetes-in-Action-Second-Edition/docs/Understanding_the_pod_lifecycle.html">https://wangwei1237.github.io/Kubernetes-in-Action-Second-Edition/docs/Understanding_the_pod_lifecycle.html</a></figcaption></figure><h3><strong>terminationGracePeriodSeconds ก็รอต้องให้นานพอ</strong></h3><p>จากที่ผมอธิบายไปข้างต้นว่า <strong>terminationGracePeriodSeconds </strong>จะเป็นตัวกำหนดว่าเราจะ force kill process เมื่อใด และเราไม่ควรปล่อยให้เกิดการ force kill ขึ้นอย่างไม่จำเป็น เพราะมันหมายถึงว่าถ้ามีการ force kill เกิดขึ้น จะทำให้ request ที่จังหวะนั้นๆ ทำงานอยู่ fail ไปทันที</p><p>โดย terminationGracePeriodSeconds จะเริ่มนับเวลาตั้งแต่การเกิด <strong>preStop</strong> hook แล้วถ้าเกินเวลาที่ตั้งไว้ก็จะ KILL container ต่อไป</p><p>ข่าวร้ายคือเราไม่มี magic number สำหรับ config นี้เหมือนกันครับ โดยผมตั้งขึ้นมาเองจาก</p><pre>terminationGracePeriodSeconds = preStop_sleep_seconds + max_request_timeout + etc<br>terminationGracePeriodSeconds = 10 + 60 + 5 = 75</pre><p>ผมใช้ 3 ค่ามารวมกัน</p><ol><li>preStop_sleep_seconds ที่ตั้งไว้ 10s</li><li>max_request_timeout ที่ยอมให้เกิดขึ้นได้ในระบบเราที่ 60s</li><li>etc เผื่อเรื่องอื่นๆ อีก 5s</li></ol><p>ทั้งหมดรวมกันได้ 75s ทำให้ config ที่เราใช้เป็นแบบนี้ครับ</p><pre>spec:<br>  terminationGracePeriodSeconds: 75<br>  containers:<br>  - name: &quot;{{APP_NAME}}&quot;<br>    lifecycle:<br>      preStop:<br>        exec:<br>          command: [&quot;/bin/sh&quot;,&quot;-c&quot;,&quot;sleep 10&quot;]</pre><p>ค่า sleep 10s และ terminationGracePeriodSeconds 75s นี้ถูกใช้งานเป็น default ที่ LMWN ด้วย</p><p>ผลที่ได้คือ….</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*waGmP2w_7useVq3t0MTY5Q.png" /><figcaption>Error request ระหว่างการ deploy ลดลงเหลือ 0 ครั้ง</figcaption></figure><h3>Result</h3><blockquote>Error request ระหว่างการ deploy ของเราลดลงจนเลย 0 request !!!!</blockquote><p>เป็นไปตามที่คาดหวังไว้เลยครับ หลังจากที่เราลองทดสอบบน Production (คนจริงเทส on prod) จากกราฟจะสังเกตได้ว่าเราไม่มี Error เกี่ยวกับเรื่อง connection ระหว่างการ deploy เลย</p><p>เราเลยเริ่ม deploy config นี้ขึ้นไปยัง service ต่างๆ บน production ต่อไป เพราะมันคือ config ที่ทำให้ระบบของเราเสถียรมากยิ่งขึ้นครับ</p><p>แบบนี้สินะ เราถึงกล้าพูดได้ว่า…</p><blockquote>เราทำ Zero Downtime Deployment ได้จริงๆ แล้ว</blockquote><h3>สรุปเนื้อหากัน</h3><p>จากที่ผมพาไปเจาะลึกถึงการทำ <strong>Zero Downtime Deployment</strong> ใน <strong>Kubernetes</strong> นั้น ทั้งที่นำ probe ต่างๆ เข้ามาช่วยไม่ว่าจะเป็น startupProbe, readinessProbe หรือ livenessProbe เอง แต่ยังไม่เพียงพอที่จะทำให้เกิด Zero Downtime Deployment ขึ้นได้</p><p>เพราะ Kubernetes ยังมีปัญหา<strong> race condition</strong> คือระหว่างที่ endpoints-controller มีการทำ<strong> endpoint propagation </strong>มันคือจังหวะเดียวกันเป๊ะกับที่ kubelet เริ่ม<strong> pod eviction</strong> เราคาดเดาไม่ได้ว่าสิ่งใดจะทำงานเสร็จก่อน จึงเป็นที่มาของปัญหา connection failure/connection termination</p><p>วิธีการแก้ที่ดีพร้อมก็ยังไม่มีในวันนี้ แต่เรายังพอใช้ตัวช่วยอย่าง <strong>preStop</strong> hook เข้ามาทำการ sleep รอให้นานเพียงพอกับที่ <strong>endpoint propagation </strong>จะทำงานเสร็จ แล้วจึงค่อยเริ่มส่ง <strong>SIGTERM</strong> ไปหา process เพื่อ shutdown process ต่อไป</p><p>ข้อควรระวังอีกอย่างคือ เราต้องให้เวลา <strong>terminationGracePeriodSeconds</strong> นานเพียงพออีกด้วย เพื่อป้องกันไม่ให้เกิด <strong>SIGKILL</strong> ขึ้นโดยไม่จำเป็นในระบบของเรา</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1006/1*WJAg28zlWZ7GGgAuyFADSQ.png" /><figcaption><a href="https://careers.lmwn.com/">https://careers.lmwn.com/</a></figcaption></figure><h3>ขายของเสมอมา และตลอดไป !</h3><p>ถ้าหากใครอยากร่วมงานแบบที่เรา <strong>Go Deeper</strong> กันเยอะๆๆ แบบนี้ และเราแคร์ลงไปจนถึง request ในช่วงเวลาเพียงไม่กี่วินาที อย่ารีรอที่จะกดสมัครมาร่วมงานกับเรานะครับ</p><blockquote><a href="https://careers.lmwn.com/">https://careers.lmwn.com</a>/ บอกว่าตามมาจากบทความของนนท์ได้เลยครับ</blockquote><p>(…บอกไว้เท่ๆ ครับ ไม่มีผลต่อการพิจารณานะครับ ฮ่าๆ)</p><p>แล้วพบกันใหม่ในบทความถัดไปจาก <strong>LINE MAN Wongnai </strong>นะครับ ขอบคุณครับบบบบ Yeah !!</p><h3>More Ref</h3><ul><li><a href="https://cloud.google.com/blog/products/containers-kubernetes/kubernetes-best-practices-terminating-with-grace">https://cloud.google.com/blog/products/containers-kubernetes/kubernetes-best-practices-terminating-with-grace</a></li><li><a href="https://learnk8s.io/graceful-shutdown">https://learnk8s.io/graceful-shutdown</a></li><li><a href="https://engineering.rakuten.today/post/graceful-k8s-delpoyments/">https://engineering.rakuten.today/post/graceful-k8s-delpoyments/</a></li><li><a href="https://kubernetes.io/docs/concepts/workloads/pods/pod-lifecycle">https://kubernetes.io/docs/concepts/workloads/pods/pod-lifecycle</a></li><li><a href="https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-startup-probes/">https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-startup-probes/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=faef1d0eabda" width="1" height="1" alt=""><hr><p><a href="https://life.lmwn.com/kubernetes-zero-downtime-deployment-faef1d0eabda">Kubernetes ทำ Zero Downtime Deployment ให้เราจริงเหรอ?</a> was originally published in <a href="https://life.lmwn.com/">Life@LINE MAN Wongnai</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ทำไม DNS ถึงเป็นเส้นผมบังภูเขาที่ LINE MAN Wongnai?]]></title>
            <link>https://life.lmwn.com/%E0%B8%97%E0%B8%B3%E0%B9%84%E0%B8%A1-dns-%E0%B8%96%E0%B8%B6%E0%B8%87%E0%B9%80%E0%B8%9B%E0%B9%87%E0%B8%99%E0%B9%80%E0%B8%AA%E0%B9%89%E0%B8%99%E0%B8%9C%E0%B8%A1%E0%B8%9A%E0%B8%B1%E0%B8%87%E0%B8%A0%E0%B8%B9%E0%B9%80%E0%B8%82%E0%B8%B2%E0%B8%97%E0%B8%B5%E0%B9%88-line-man-wongnai-7c2f48625cb2?source=rss-dc8ffb85ffb------2</link>
            <guid isPermaLink="false">https://medium.com/p/7c2f48625cb2</guid>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[developer]]></category>
            <category><![CDATA[engineering2022]]></category>
            <category><![CDATA[dns]]></category>
            <category><![CDATA[latency]]></category>
            <dc:creator><![CDATA[Nontawat Numor]]></dc:creator>
            <pubDate>Wed, 09 Nov 2022 09:55:04 GMT</pubDate>
            <atom:updated>2022-11-09T16:24:19.059Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EO688MkLPMm9qY6P-mdaxA.png" /></figure><p>สวัสดีครับ กลับมาพบกันอีกครั้ง ในบทความนี้ผมจะพาไปดูว่าทำไม๊ ทำไม <strong>DNS</strong> ที่ใช้แปลง Domain เป็น IP Address เนี่ย</p><blockquote>เราถึง Optimize จนสามารถลด Latency ในระบบเราได้มากถึง 21% ในช่วง Peak load เลย !!</blockquote><p>ก่อนอื่นขอแนะนำตัวอีกครั้งอย่างเป็นทางการนะครับ ผมชื่อ นลธวัช หนูมอ (นนท์) เป็น Senior Site Reliability Engineer (SRE) ที่ LINE MAN Wongnai (LMWN) ครับ หน้าที่หลักของผมเลยคือการดูแล System ของ LMWN รวมไปถึงการ Optimize response time ทั้งหมดของระบบครับ</p><p>ในบทความนี้ผมจะพาไปเจาะลึกถึงต้นตอของเส้นผม 1 เส้น ที่บังตาเรามาโดยตลอด และเส้นผมนี้เองที่ทำให้ระบบทั้ง Kubernetes Cluster ของเราทำงานได้รวดเร็วมากยิ่งขึ้น ถ้าพร้อมแล้ว ไปกันเลยย !!</p><h3>DNS คืออะไร?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*0D2b6svzIxl2uuFM.png" /><figcaption>DNS query flow | source: <a href="https://www.cloudflare.com/learning/dns/what-is-dns/">https://www.cloudflare.com/learning/dns/what-is-dns/</a></figcaption></figure><p>หลายท่านคงคุ้นชินคำนี้เป็นอย่างดี ผมขออธิบายอย่างรวดเร็วนะครับ</p><p>DNS ย่อมาจาก <strong>Domain Name System</strong> (DNS) หรือถ้าแปลง่ายๆ ให้นึกถึงสมุดหน้าเหลือง หรือแอป Whoscall ที่ใช้จดเบอร์โทรศัพท์ของแต่ละที่ครับ จะมีชื่อ และเบอร์โทรอยู่ เจ้า DNS ทำหน้าที่นั้นเหมือนกัน เพียงแค่เปลี่ยนมาอยู่ในโลกของ Internet โดย DNS คอยตอบเราครับว่า Domain ที่เรากำลังต้องการจะติดต่อไปคุยด้วยเนี่ย มี IP Address เป็นค่าอะไรอยู่ ณ เวลานี้</p><p>(แอบนึกในใจ เด็กๆ จะรู้จักสมุดหน้าเหลืองอยู่รึเปล่า ฮ่าๆ)</p><h3>แล้ว DNS มันเกี่ยวข้องกับ Latency อย่างไร?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TvULsGKsoaOE71FuPqxJXA.png" /><figcaption>Timings in browser when download file</figcaption></figure><p>แน่นอนครับว่า DNS เนี่ยมันกระทบต่อภาพรวมทั้งหมดของ Latency ในระบบที่เกิดขึ้น เวลาเราเข้า Website ต่างๆ มันจำเป็นต้องแปลง Domain เป็น IP Address เสมอ ถ้าหากเราตั้งค่าไว้ไม่ดี ก็จะนำมาสู่ Latency ที่ไม่จำเป็นสำหรับ Website ของเราได้</p><p>จากภาพข้างบน ผมทดสอบง่ายๆ ด้วยการเข้าเว็บปกติ จะเห็นได้ว่า Downloaded time ทั้งหมดใช้เวลา <strong>581ms</strong> แต่เราเสียเวลาไปกับการทำ <strong>DNS Resolution </strong>แล้วทั้งสิ้น <strong>76ms</strong> หรือว่าง่ายๆ คือ <strong>13%</strong> ของเวลาทั้งหมดที่เรา download ไฟล์ .html แค่ไฟล์เดียว หมดไปกับการแปลง Domain เป็น IP Address นั่นเอง (Developer คิดในใจ Optimize API แทบตาย แต่เสียเวลาไปกับ DNS ซะเยอะเลย ฮ่าๆ)</p><blockquote>ถึงตรงนี้ หลายคนคงเริ่มจินตนาการออกแล้วใช่ไหมครับว่า จะเกิดปัญหาอะไรตามมาบ้าง…</blockquote><p>แต่ในบทความนี้เราจะไม่ได้โฟกัสการ Optimize ที่ฝั่ง Client แต่เปลี่ยนมาเป็นการ Optimize DNS ภายใน Kubernetes Cluster แทนครับ</p><h3>DNS บน Kubernetes ทำงานยังไง?</h3><p>ก่อนที่เราจะเข้าใจถึงต้นตอของปัญหา เราต้องไปศึกษาวิธีการทำงานของเจ้า DNS ภายใน Kubernetes Cluster กันก่อนครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BtVbUFbIyBgsEacCUe-49w.jpeg" /><figcaption>source: <a href="https://cloud.google.com/kubernetes-engine/docs/how-to/kube-dns">https://cloud.google.com/kubernetes-engine/docs/how-to/kube-dns</a></figcaption></figure><p>ข้างบนนี้เป็นตัวอย่าง flow การทำงานของ kube-dns ที่อยู่บน Google Kubernetes Engine (GKE) ครับ ขั้นตอนตรงไปตรงมามากครับ เมื่อเวลา caller pod ต้องการติดต่อไปที่อื่น ไม่ว่าจะเป็น ภายใน/ภายนอก Cluster เอง ถ้าหากติดต่อผ่าน Domain ก็ต้องทำการขอ IP Address จาก kube-dns ก่อนเสมอ และถ้าหาก kube-dns ไม่มีคำตอบให้ก็จะส่งคำถามนี้ต่อขึ้นไปยัง Cloud DNS (DNS resolver) ของ GCP นั่นเอง</p><p>จากภาพก็ดูไม่มีปัญหาอะไรเลยเนอะ แต่ทว่า… ที่ LINE MAN Wongnai เราใช้ Cloud ทั้งที่เป็น <strong>Public Cloud</strong> อย่าง AWS, GCP และ <strong>Private Cloud</strong> ของ<a href="https://engineering.linecorp.com/en/blog/verda-at-cloudnative-openstack-days-2019-1-2/"> LINE Verda </a>แอบกระซิบเล็กน้อยว่าแอปแชทอันดับ 1 ของประเทศไทยอย่าง <a href="https://line.me/en/"><strong>LINE</strong></a> ก็ทำงานอยู่บน LINE Verda เช่นเดียวกัน !</p><h3>ทุก Cluster ของ LMWN เลือกใช้ CoreDNS</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*oHW9ysnm-vBJ4HeG.png" /><figcaption>Source: <a href="https://coredns.io/2017/06/08/how-queries-are-processed-in-coredns/">https://coredns.io/2017/06/08/how-queries-are-processed-in-coredns/</a></figcaption></figure><p>ที่ LMWN เราเลือกใช้ <strong>CoreDNS</strong> (<a href="https://coredns.io/">https://coredns.io/</a>) เพื่อทำเป็น DNS ให้แก่ Kubernetes Cluster เหตุผลที่เราเลือกใช้มาจาก <strong>Performance </strong>ที่สูง, การ <strong>Config</strong> ตรงไปตรงมารูปร่างหน้าตาอ่านแล้วเข้าใจง่าย, มี <strong>Plugin</strong> เพียงพอต่อ Requirement ที่เราต้องการ รวมไปถึงยังเป็น Project บน CNCF (<a href="https://www.cncf.io/">https://www.cncf.io/</a>) ที่ Graduated อีกด้วย</p><p>เมื่อเราเลือกใช้งาน CoreDNS แล้ว ก็ถึงเวลาที่เราจะเริ่มหาปัญหา และ Optimize เจ้า CoreDNS กันครับ</p><h3>ปัญหาแรก เราไม่มี DNS Server ที่สิงคโปร์</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*69jvIFHfSX_NMze1RNBcYw.jpeg" /><figcaption>DNS Caching upstream from Singapore to Japan region</figcaption></figure><p>ใน LINE Verda นั้นเรามี Region ใหญ่ๆ อยู่ 2 ประเทศ คือที่ สิงคโปร์ และญี่ปุ่น โดยเราเลือกตั้ง Server ส่วนที่แคร์เรื่อง Latency ไว้ที่ประเทศสิงคโปร์เป็นหลัก</p><p>เหตุผลที่เราตั้ง Server ไว้ที่สิงคโปร์เป็นเพราะว่าเราต้องการ Latency ที่ต่ำที่สุดที่เป็นไปได้สำหรับผู้ใช้งาน LINE MAN Wongnai เพราะฐานผู้ใช้งานหลักเรามาจากประเทศไทยนั่นเอง</p><blockquote>เกล็ดเล็กเกล็ดน้อยระหว่างทาง; Latency บน fiber optic จากไทยไปสู่สิงคโปร์อยู่ที่ <strong>~25ms</strong> และจากไทยไปญี่ปุ่นอยู่ที่ ~122ms</blockquote><p>พอเห็นจากตัวเลขแล้ว ทุกท่านคงตอบได้อย่างรวดเร็วเลยใช่ไหมครับว่า ถ้าให้เลือกประเทศที่ตั้ง Server จะเลือกที่ญี่ปุ่น หรือสิงคโปร์</p><p>แต่เนื่องจากเป็น Private Cloud ที่เราสร้างขึ้นมากันเอง และด้วยข้อจำกัดทางด้าน Policy ต่างๆ ทำให้เราไม่มี <strong>DNS Server</strong> ที่สิงคโปร์ !! (Oh my god) แถมเราไม่สามารถส่ง DNS Query ออกไปยัง Public DNS ตรงๆ ได้อีกด้วย</p><p>…. เรายังพอโชคดีอยู่ที่ทาง Verda ได้ทำการสร้าง <strong>DNS Caching</strong> ไว้ภายในสิงคโปร์ให้เรา แต่จุดที่สำคัญก็คือ ถ้าหาก <strong>DNS Caching</strong> ที่สิงคโปร์ไม่มี cache อยู่ (cache miss) ตัว DNS Caching จะทำการ upstream ไปถาม DNS Server จากที่<strong>ญี่ปุ่น</strong>แทน (Latency ระหว่างสิงคโปร์และญี่ปุ่นอยู่ที่ <strong>~74ms</strong>) จุดนี้เลยทำให้เราต้อง <strong>Tuning caching</strong> ให้ดียิ่งขึ้น เพื่อลดการถาม DNS ที่ญี่ปุ่นให้น้อยที่สุด</p><h3>เริ่มแก้ปัญหา DNS Caching</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/920/1*_KSX5NiVx1tnv5fRrMEBXA.png" /><figcaption>DNS query latency which route to Japan</figcaption></figure><p>จากเดิมที่เราไม่ได้ Tuning caching config ของ DNS ไว้ดีพอ และเราทราบดีถึงปัญหาที่ถ้าเกิด DNS cache miss ขึ้นในระบบเรา จะทำให้เรา Latency ของเราพุ่งสูงมาก จากภาพจะสังเกตได้ว่า P99 ของ DNS query เราวิ่งอ้อมจากสิงคโปร์ไปสู่ญี่ปุ่น ทำให้ Latency พุ่งสูงเกินกว่า 74ms ขึ้นไป !</p><p>จึงเป็นที่มาของ CoreDNS config ข้างล่างนี้ ที่เราตัดสินใจ cache record DNS ไว้นานมากในระดับชั่วโมง เหตุผลเป็นเพราะว่าเราทราบดีว่า DNS query ที่จะวิ่งไปสู่ upstream นั้น ล้วนแล้วแต่เป็น query ที่ไม่ได้ต้องการติดต่อกันภายในของ Kubernetes Cluster เลย แต่เป็นการติดต่อภายนอก Cluster ทั้งหมด ไม่ว่าจะเป็นการคุยกับ Partner, 3rd Party และ service เหล่านี้มักจะไม่ค่อยเปลี่ยน IP Address กันด้วยเหตุผลที่ว่า ต้องมีการทำ IP Whitelisting เวลาคุยกันอยู่เสมอ</p><pre>.:53 {<br>    <strong>kubernetes</strong> cluster.local {<br>        pods verified<br>    }</pre><pre>    <strong>forward</strong> . 10.0.0.1 10.0.0.2<br>    <strong>cache</strong> {<br>        success 25600 3600 600<br>        denial 12800 600 300<br>        prefetch 100<br>        serve_stale<br>    }<br>}</pre><p>อธิบาย Config CoreDNS กันคร่าวๆ ก่อน ในส่วนรายละเอียดเชิงลึกรบกวนศึกษาจาก CoreDNS Document (<a href="https://coredns.io/plugins/">https://coredns.io/plugins/</a>) นะครับ</p><ul><li>kubernetes คือ ให้ตอบ query ที่เป็น IP Address ภายใน cluster กลับไป</li><li>forward คือ upstream resolver ให้วิ่งไปสู่ DNS Caching ของ <strong>Verda </strong>(จุดนี้เราเปลี่ยนให้เป็น DNS Caching ที่สิงคโปร์นั่นเอง)</li><li>cache คือ การกำหนดให้ cache ตาม query response</li></ul><p>ตัว Config ดูเรียบง่าย และตรงไปตรงมามากครับ และนี่คือผลลัพธ์ที่ได้จากการทำ Caching ครั้งนี้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7SzNV1m9G9o08DE9csV6iA.png" /><figcaption>P99 drop from 110ms to submillisecond</figcaption></figure><p>จะเห็นได้ว่า Latency ของ P99 ลดลงอย่างชัดเจนจากระดับ 110ms ลงไปต่ำกว่า 1ms ทันทีที่ Apply config นี้ขึ้นไป</p><blockquote>ตอนนี้หลายท่านคงอุทานในใจไปแล้วว่า <strong>แม่เจ้า !!! เยอะมากกก </strong>แต่ยังไม่หมดแค่นั้น เรายังเจอปัญหาอีก 1 ข้อก็คือ… (ให้เวลานึกสัก 5 วินาทีครับ ว่ามีจุดไหนที่ Optimize ได้อีกบ้าง)</blockquote><h3>Client query DNS บ่อยกว่าที่คิด</h3><p>หากใครใช้ Kubernetes อยู่แล้ว คงทราบกันดีว่าเราสามารถเรียกใช้งาน Service ต่างๆ ภายใน Cluster ผ่าน service name ได้เลย เช่น</p><pre><strong># curl </strong><a href="http://service-b/"><strong>http://service-b</strong></a><strong><br></strong>Hello from service-b</pre><p>แต่อาจจะยังไม่ทราบกันว่าเบื้องหลังนั้นการ resolve <strong>“service-b”</strong> ให้เป็น IP Address นั้นมันทำงานยังไง เดี๋ยวผมอธิบายให้ฟังครับ</p><p>ถ้าหากเราลอง shell เข้าไปภายใน container สักตัวของ Kubernetes และลองอ่านไฟล์ /etc/resolv.conf นี้ดูจะพบว่าหน้าตา config จะเป็นประมาณนี้ครับ</p><pre><strong># cat /etc/resolv.conf </strong><br>nameserver 10.53.0.10<br>search demo.svc.cluster.local svc.cluster.local cluster.local<br>options <strong>ndots:5</strong></pre><p>แต่ละบรรทัดหมายความว่าอะไร?</p><ul><li>nameserver คือ ClusterIP ของ CoreDNS service นั่นเอง เรียกง่ายๆ ว่า client container นี้จะไปถาม DNS จาก IP นี้ครับ</li><li>search คือ magic ตัวนึงที่ทำให้เราสามารถเรียกเพียงแค่ชื่อก็ได้ IP Address เลย (เดี๋ยวผมอธิบายข้างล่างอีกที)</li><li>options ส่วนที่เราเพิ่ม setting ต่างๆ เข้าไปได้ จะถูกนำไปรวมเป็น DNS config อีกที</li></ul><p>จะสังเกตว่าเรามี options <strong>ndots:5 </strong>อยู่ ในส่วนนี้ความหมายของมันคือ</p><blockquote>ถ้าหากเราพยายาม resolve domain ที่มี <strong>. (dot) </strong>ใน domain ไม่ถึง <strong>5 ตัว</strong> เราจะทำการไล่ตาม search path แทน</blockquote><p>อธิบายแบบนี้อาจจะงงไปหน่อย ลองดูตัวอย่างจริงครับ</p><ul><li><a href="http://lmwn.com/">lmwn.com</a> มี 1 dot</li><li><a href="https://careers.lmwn.com/">careers.lmwn.com</a> มี 2 dot</li><li>service-b มี 0 dot</li></ul><p>พอเป็นแบบนี้ domain ใดๆ ที่ query เข้ามาและมีไม่ถึง 5 dot มันจะทำการไล่ตาม search path โดยการยก search domain นั้นมาต่อท้าย query domain เราอีกทีครับ ยกตัวอย่างที่เรา call <strong>“service-b” </strong>จะได้</p><pre>1. Query service-b<strong>.demo.svc.cluster.local</strong> &lt;= NOERROR</pre><p><strong>NOERROR</strong> คือ ได้คำตอบกลับไปเป็น ClusterIP ของ service-b ตามปกติ แต่ถ้าหากเราเรียก <strong>service-c</strong> ที่อยู่ namespace <strong>demo2</strong> จะเป็นอย่างไร? (curl http://service-c.demo2)</p><pre>1. Query service-c.demo2<strong>.demo.svc.cluster.local</strong> &lt;= NXDOMAIN<br>2. Query service-c.demo2.<strong>svc.cluster.local</strong> &lt;= NOERROR</pre><p><strong>NXDOMAIN </strong>แปลว่า domain นี้ไม่มีอยู่จริง เลยไม่มีคำตอบ และเราจะ query domain ถัดไปตามลำดับของ search path</p><p>จะเห็นว่าเราต้องทำการ query DNS ถึง 2 รอบกว่าจะได้คำตอบกลับมา (อย่าลืมนะครับ ถ้า DNS latency เราสูง ตอนนี้ต้องคูณ 2 เข้าไปอีก !!!)</p><p>แล้วถ้าเรา call ไปหา service ภายนอก Cluster หล่ะ จะเป็นยังไง? (curl <a href="https://lmwn.com/">https://lmwn.com/</a>)</p><pre>1. Query lmwn.com<strong>.demo.svc.cluster.local</strong> &lt;= NXDOMAIN<br>2. Query lmwn.com.<strong>svc.cluster.local</strong> &lt;= NXDOMAIN<br>3. Query lmwn.com<strong>.cluster.local</strong> &lt;= NXDOMAIN<br>4. Query lmwn.com &lt;= NOERROR</pre><blockquote>เราต้อง Query DNS ทั้งหมด 4 รอบ จนกว่าจะได้คำตอบ หมายถึง DNS Latency คูณ 4 รอบบบบบ</blockquote><p>โอ้… แบบนี้รับไม่ได้แน่นอนครับ แต่ไม่เป็นไรครับ ที่ <strong>CoreDNS</strong> เรามีตัวช่วยวิเศษอยู่ตัวนึง สิ่งนั้นก็คือ…</p><h3>autopath บน CoreDNS</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/761/0*ulIdO38yXVj0g6fu.png" /><figcaption>ตัวอย่างการ query DNS หลายรอบ | source: <a href="https://cilium.io/blog/2019/12/18/how-to-debug-dns-issues-in-k8s/">https://cilium.io/blog/2019/12/18/how-to-debug-dns-issues-in-k8s/</a></figcaption></figure><p>เจ้า <strong>autopath</strong> เป็นเหมือนพระเอกเรา ที่เวลา client query DNS ไม่มีอยู่จริงเข้ามาแล้วได้คำตอบเป็น <strong>NXDOMAIN</strong> ตัว CoreDNS จะพยายาม resolve ต่อไปให้เราเรื่อยๆ จนเจอคำตอบ และตอบ query DNS ไปตั้งแต่ query แรกของเรา (แทนที่จะ query ใหม่จนครบ 4 รอบ)</p><p>ไหนลองเพิ่ม autopath เข้า CoreDNS config ดู</p><pre>.:53 {<br>    <strong>autopath</strong> @kubernetes<br>    kubernetes cluster.local {<br>        pods verified<br>    }</pre><pre><strong>    </strong>forward . 10.0.0.1 10.0.0.2<br>    cache {<br>        success 25600 3600 600<br>        denial 12800 600 300<br>        prefetch 100<br>        serve_stale<br>    }<br>}</pre><p>ลองทดสอบ <strong>nslookup</strong> จาก container ภายใน Cluster</p><pre><strong>root@container:/# nslookup lmwn.com</strong><br>Server:         10.53.0.10<br>Address:        10.53.0.10#53</pre><pre>Non-authoritative answer:<br><strong>lmwn.com.demo.svc.cluster.local</strong>       canonical name = <strong>lmwn.com</strong>.<br>Name:   <strong>lmwn.com</strong><br>Address: 192.0.78.24</pre><p>จะสังเกตได้ว่าจากเดิมถ้าเรา query lmwn.com เราจะต้อง query ทั้งหมด 4 รอบจนกว่าจะได้คำตอบ แต่เมื่อเราใช้ <strong>autopath</strong> เข้ามาช่วย เราจะ query เพียงแค่รอบเดียว และได้คำตอบที่เป็น <strong>CNAME</strong> กลับมาในทันทีครับ</p><blockquote>ขอบคุณ Contributor ที่พัฒนา autopath ขึ้นมาในโลก</blockquote><p>แต่… ยังไม่หมดแค่นั้นครับ มีอีกนิดดดนึงที่เรา Optimize ได้…</p><h3>แถมเรื่อง IPv6</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*7Shchmu1CO5Dv7Zp.png" /><figcaption>source: <a href="https://www.cisco.com/c/en/us/solutions/ipv6/overview.html#~q-a">https://www.cisco.com/c/en/us/solutions/ipv6/overview.html#~q-a</a></figcaption></figure><p>ตามปกติแล้วใน Linux เราจะพยายาม resolve Domain ทั้ง IPv4 และ IPv6 อยู่แล้ว ถึงแม้ใน Kubernetes Cluster ของเราจะไม่มี <strong>IPv6</strong> ให้ใช้งานเลยก็ตาม แต่มันก็จะพยายาม resolve อยู่ดี…</p><p>ถ้าหากเราเปิด log ของ <strong>CoreDNS</strong> จะพบ error แบบนี้เต็มไปหมด</p><pre>Query unknown-galaxy. A<br>Query unknown-galaxy. AAAA<br>Query unknown-galaxy.cluster.local. AAAA<br>Query unknown-galaxy.cluster.local. A<br>Query unknown-galaxy.svc.cluster.local. AAAA<br>Query unknown-galaxy.svc.cluster.local. A<br>Query unknown-galaxy.default.svc.cluster.local. A<br>Query unknown-galaxy.default.svc.cluster.local. AAAA</pre><p>จะเห็นได้ว่า client พยายาม Query ทั้ง IPv4 (A record) และ IPv6 (AAAA record) มาเต็มไปหมดเลย เนื่องจากที่ LMWN เราไม่มีการใช้งาน <strong>IPv6 </strong>เราจะทำการปิดไม่ให้ CoreDNS ของเราพยายาม resolve IPv6 ไปหา upstream โดยการเพิ่ม template ของ AAAA ดังนี้</p><pre>.:53 {<br>    <strong>template ANY AAAA</strong><br>    autopath @kubernetes<br>    kubernetes cluster.local {<br>        pods verified<br>    }</pre><pre>    forward . 10.0.0.1 10.0.0.2<br>    cache {<br>        success 25600 3600 600<br>        denial 12800 600 300<br>        prefetch 100<br>        serve_stale<br>    }<br>}</pre><p>บรรทัดที่เพิ่มเข้าไปเป็นการบอกว่า ถ้ามี query AAAA (IPv6) เข้ามา เราจะตอบกลับทันทีว่า <strong>NOERROR </strong>และตัว CoreDNS เราจะไม่พยายาม forward คำตอบไปหา upstream (Verda DNS) ครับ</p><h3>Result สุดท้ายที่ LMWN ได้รับจาก CoreDNS</h3><p>หลังจากที่ Tuning กันไปแล้ว เรามาดู result ที่ LMWN ได้รับกันครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PzI2Bf0BpEfFFra5RhpWEQ.png" /><figcaption>P99 ของ query DNS อยู่ต่ำว่า 500 us</figcaption></figure><p>ภาพนี้คือ Latency ของการ query DNS จะเห็นได้ว่า P99 ของเราต่ำกว่า 500us (0.5ms) โดยที่เราตั้งเป้าไว้ที่ไม่เกิน 2ms (happy)</p><p>เรามาดู cache hit rate กันบ้างดีกว่า</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9COhoMCmfCZ61caNfhPd-Q.png" /><figcaption>query DNS hit rate</figcaption></figure><p>และแน่นอนครับ query DNS ของเรามี hit rate สูงในระดับที่ <strong>99.4%</strong> เห็นแบบนี้แล้ว ผมก็ชื่นใจ มีแรงไป Optimize ส่วนอื่นๆ ต่อเล๊ยย (happy*2)</p><blockquote>จากการ Optimize CoreDNS ทำให้ภาพรวมทั้งหมดของ API Latency เมื่อเจอ Peak load ลดลงถึง 21% !!</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CC4bssTVIfbP0ARmxKSNVw.png" /><figcaption>API Latency P99 (สีส้มของเมื่อวาน, สีเขียวของวันนี้)</figcaption></figure><p>นี่คือหน้าตาของ <strong>API Latency</strong> ที่ลดลงของ LMWN ครับ เส้นสีเขียวลดลงอย่างเห็นได้ชัดเจนเมื่อเจอ Peak load เข้ามา (happyyyyy)</p><p>และนี่คือผลลัพธ์ทั้งหมดจากที่เราไปทัวร์ดูการ setting CoreDNS กันมาครับ</p><p>ส่วนครั้งหน้าผมจะพาทุกท่านไปชมการ Optimize ส่วนไหนอีก <strong>กด Follow ไว้</strong> จะได้ไม่พลาดบทความสนุกๆ แบบนี้อีกครับ !</p><h3>สรุปเนื้อหา</h3><p>ที่ <strong>LMWN</strong> เรามุ่งมั่นที่จะส่งมอบประสบการณ์ที่ดีที่สุดให้แก่ผู้ใช้งาน และ <strong>Latency</strong> เป็น 1 ในหัวใจสำคัญที่เราพยายาม Optimize กันอยู่ เราเองมีเส้นผมบังภูเขาอยู่ในบางจุด ทำให้เราอาจจะมองข้ามไปนั้นก็คือ <strong>Kubernetes DNS </strong>เมื่อเราเจาะลึกลงไปดูถึงหลักการทำงานของมันก็ยิ่งพบปัญหาต่างๆ อีกมากมาย ไม่ว่าจะเป็น</p><ul><li>upstream resolver ที่อยู่ไกล</li><li>การตั้งเวลา caching dns record ไม่ดี</li><li>client query dns บ่อยกว่าที่คิดไว้</li><li>IPv6 ที่ไม่มีการใช้งานอยู่จริง</li></ul><p>ในแต่ละวิธีนั้นแก้ไขด้วยการปรับ caching ให้เหมาะสม, เลือก upstream resolver ให้อยู่ใกล้เรา รวมไปถึงการใช้ autopath บน CoreDNS</p><p>ปัญหาเหล่านี้ล้วนแก้ด้วยวิธีง่ายๆ อย่างการ Config <strong>CoreDNS</strong> ไม่เพียงกี่บรรทัด</p><p>แต่การนำมาซึ่ง Config ไม่กี่บรรทัดนั้นต้องใช้เวลา research อย่างมาก ผมเองหวังว่าบทความนี้จะเป็นส่วนหนึ่งที่ทำให้หลายๆ ท่าน และอีกหลายๆ บริษัทได้นำไปปรับใช้เพื่อ Optimize เรื่อง <strong>Latency</strong> กันนะครับ</p><p>ถ้าเห็นว่าบทความนี้มีประโยชน์ และสนุก อย่าลืมแชร์, เขียน Comment ให้กำลังใจผู้เขียนกันด้วยนะครับ</p><h3>ต้องไม่ลืมที่จะขายของ</h3><p>เรื่องเนื้อหาอาจจะไม่ถนัด แต่เรื่องขายของเราไม่เคยพลาดครับ</p><p>ที่ <strong>LINE MAN Wongnai</strong> เราเปิดรับเพื่อนร่วมงานอีกมากมายหลายตำแหน่ง ใครอยากทำงานสนุกๆ ที่ส่ง Impact ไปสู่ประเทศไทยแบบนี้, ใครอยากพัฒนาระบบที่ส่งมอบประสบการณ์ที่ดีแก่ผู้ใช้งานทุกท่าน อย่ารอช้าที่จะสมัครเข้าร่วมงานกับเราที่ <a href="https://careers.lmwn.com/">https://careers.lmwn.com/</a> นะครับบ</p><p>..แล้วพบกันใหม่บทความหน้าครับ ขอบคุณครับบบบ</p><h3>More Ref</h3><ul><li><a href="https://www.cloudflare.com/learning/dns/what-is-dns/">https://www.cloudflare.com/learning/dns/what-is-dns/</a></li><li><a href="https://wondernetwork.com/">https://wondernetwork.com/</a></li><li><a href="https://kubernetes.io/docs/concepts/services-networking/dns-pod-service/">https://kubernetes.io/docs/concepts/services-networking/dns-pod-service/</a></li><li><a href="https://www.infracloud.io/blogs/using-coredns-effectively-kubernetes/">https://www.infracloud.io/blogs/using-coredns-effectively-kubernetes/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7c2f48625cb2" width="1" height="1" alt=""><hr><p><a href="https://life.lmwn.com/%E0%B8%97%E0%B8%B3%E0%B9%84%E0%B8%A1-dns-%E0%B8%96%E0%B8%B6%E0%B8%87%E0%B9%80%E0%B8%9B%E0%B9%87%E0%B8%99%E0%B9%80%E0%B8%AA%E0%B9%89%E0%B8%99%E0%B8%9C%E0%B8%A1%E0%B8%9A%E0%B8%B1%E0%B8%87%E0%B8%A0%E0%B8%B9%E0%B9%80%E0%B8%82%E0%B8%B2%E0%B8%97%E0%B8%B5%E0%B9%88-line-man-wongnai-7c2f48625cb2">ทำไม DNS ถึงเป็นเส้นผมบังภูเขาที่ LINE MAN Wongnai?</a> was originally published in <a href="https://life.lmwn.com/">Life@LINE MAN Wongnai</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ถ้าห่วง Latency ทำไมถึงไม่ควรมองข้าม kube-proxy?]]></title>
            <link>https://life.lmwn.com/why-should-you-be-aware-of-kube-proxy-if-you-are-concerned-about-latency-e4c22a111884?source=rss-dc8ffb85ffb------2</link>
            <guid isPermaLink="false">https://medium.com/p/e4c22a111884</guid>
            <category><![CDATA[kube-proxy]]></category>
            <category><![CDATA[sre]]></category>
            <category><![CDATA[engineering2022]]></category>
            <category><![CDATA[kubenetes]]></category>
            <category><![CDATA[latency]]></category>
            <dc:creator><![CDATA[Nontawat Numor]]></dc:creator>
            <pubDate>Wed, 12 Oct 2022 03:34:47 GMT</pubDate>
            <atom:updated>2022-10-12T03:34:47.368Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="latency" src="https://cdn-images-1.medium.com/max/1024/1*yH4crTHF69a0u6FcpzbQxQ.png" /></figure><p>สวัสดีครับ นี่เป็นบทความแรกที่ผมเขียนขึ้นตั้งแต่ได้มีโอกาสร่วมงานกับ <strong>LINE MAN Wongnai (LMWN) </strong>ครับ เลยอยากขอแนะนำตัวเองสักนิดนึงว่าเป็นใคร</p><p>ผมชื่อ นลธวัช หนูมอ (นนท์) เป็น Senior Site Reliability Engineer (SRE) ที่ LINE MAN Wongnai ครับ หน้าที่ของตำแหน่งนี้ถ้าจะให้อธิบายง่ายๆ ก็คือ ทำยังไงก็ได้ไม่ให้ Service, System ต่างๆ ของเราล่มครับ แต่ด้วยนิยามคำว่าล่มเองเนี่ย มันตามมาพร้อมกับหลายส่วนที่ต้องดูแล และ 1 ในหัวใจของ SRE คือเรื่อง <strong>Latency</strong> นั่นเอง</p><p>พอพูดถึงเรื่อง Latency แล้วหลายๆ ท่านจะนึกถึงเรื่องการ Optimize API, Index database, Data sharding, Tuning cache เป็นต้น แต่ในบทความนี้เราจะพาทุกท่านดำดิ่งลึกลงไปใน layer ของ Infrastructure อย่าง Kubernetes layer นั่นเอง ถ้าพร้อมกันแล้ว เราไปรู้จักกับพระเอกของเราในวันนี้กันเลยครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3x3cu7Bih1Ah9QFsFyoTCw.png" /><figcaption>source: <a href="https://www.stackrox.io/blog/kubernetes-networking-demystified/">https://www.stackrox.io/blog/kubernetes-networking-demystified/</a></figcaption></figure><h3>kube-proxy คืออะไร?</h3><p>หลายคนที่ใช้ Kuberntes มาแล้วจะพอคุ้นๆ ตา หรือผ่านตากันบ้างครับว่าใน Cluster ของเราจะมี Component ตัวนึงที่ชื่อว่า <strong>kube-proxy</strong> ประกอบอยู่ ซึ่งเจ้า kube-proxy เนี่ยเปรียบเสมือนทางเข้า-ออกที่ใช้ในการติดต่อกันภายใน/ภายนอก Kubernetes cluster หรือเรียกง่ายๆ ว่ามันเกิดมาเพื่อดูแล network ของ Kubernetes นั่นเองครับ และตามชื่อเลยครับ มีคำว่า proxy อยู่ ตัวมันเองทำหน้าที่เป็น proxy ให้ทุกๆ Node ที่ใช้งานอยู่ (kube-proxy เองเลยต้องรันอยู่ในทุกๆ node ด้วย) และไม่ว่าอะไรก็ตามที่ต้องการติดต่อไป <strong>“ภายนอก Node”</strong> ของตัวเอง ล้วนแล้วผ่านเจ้า <strong>kube-proxy</strong> นี้กันทั้งนั้น (ถึงตรงนี้หลายท่านคงจะเริ่มนึกออกแล้วว่า ทำไมเราถึงต้องห่วงเจ้า kube-proxy ด้วย ถ้าเราแคร์เรื่อง <strong>Latency</strong> กัน)</p><blockquote>ถ้าหาก <strong>Traffic</strong> ของเราวิ่งผ่าน kube-proxy แบบนี้ถ้าเจ้า kube-proxy ทำงานได้ช้า, มีปัญหา มันก็กระทบ Latency ทั้งหมดของระบบเราทันทีเลยใช่ไหม?</blockquote><p>ถูกต้องนะครับบบบ เลยเป็นที่มาของบทความนี้นั่นเอง ว่าเราจะรับมือกับเจ้า kube-proxy ยังไงกันดี?</p><h3>kube-proxy ทำงานยังไง</h3><p>ก่อนจะไปดูเรื่อง Latency ของ kube-proxy เรามาดูหลักการทำงานของ kube-proxy กันก่อนดีกว่าครับ</p><blockquote>(เสียงตะโกนดังมาจากเด็กท้ายห้อง) พี่นนท์ครับๆ ปกติเวลาผม Call Service ภายใน Cluster ผมไม่เห็นต้องทำอะไรกับ kube-proxy เลยนะครับ ผมก็แค่</blockquote><blockquote><strong>root@a-pod:~# curl http://hello-world</strong><br>Hi from hello-world</blockquote><blockquote>เพียงเท่านี้ hello-world ที่อยู่ใน Cluster ผมก็ตอบ request กลับมาได้ปกติเลย แถมเวลาผมกด scale-out เป็นหลายๆ Pod ผมก็ไม่ต้องทำอะไรเพิ่มเลย มันก็กระจาย Load traffic ให้ผมอย่างสบายๆ เลย เจ้า Magic นี้มันเกิดขึ้นได้อย่างไรครับ?</blockquote><p>คำถามนี้ดีมากเลยครับ ทำไม ณ เวลาที่ scale-out, scale-in, terminate pod พร้อมๆ กับที่เรียกใช้งาน <strong>“hello-world”</strong> มันถึงทำงานได้อย่างปกติเลย? เหตุผลที่มันสามารถทำงานได้อย่างต่อเนื่อง และปกติเพราะว่าจริงๆ แล้วเรา call หา hello-world ที่ IP Address เดิมเสมอครับ!!</p><pre><strong>root@a-pod:/# nslookup hello-world</strong><br>Server:         10.19.0.10<br>Address:        10.19.0.10#53</pre><pre>Name:   hello-world.demo.svc.cluster.local<br>Address: 10.19.111.111</pre><p>โดยที่ hello-world ของเราเนี่ยจะได้ <strong>ClusterIP </strong><strong>10.19.111.111 </strong>ไปครับ ไม่ว่าเราจะเพิ่ม/ลด จำนวน Pod ของ hello-world อย่างไรก็ตาม มันก็จะได้ IP Address แค่ 1 IP และเป็น IP เดิมเสมอเลย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FQIkju3bztz7GUUTC6iy8g.png" /><figcaption>a-pod call to the same IP Address of hello-world service</figcaption></figure><blockquote>(เด็กคนเดิมยกมือถามทันที) พี่นนท์ครับ แบบนี้ยิ่ง Magic ไปใหญ่เลย ทำไมไม่ว่าจำนวน Pod จะมากน้อยแค่ไหน แต่ก็มี IP Address เดียว แล้วทำไม Traffic ของผมมันถึงกระจายอย่างเท่าๆ กันใน Cluster ได้ครับ?</blockquote><p>Magic ที่ซ่อนอยู่ก็คือ…. kube-proxy มีการทำ <strong>load balancer</strong> ให้กับทุกๆ node อยู่นั่นเองครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*y9POHx5s_Uvj0RQL" /><figcaption>source: <a href="https://blog.okmeter.io/kubernetes-in-production-services-34c3234c94c8">https://blog.okmeter.io/kubernetes-in-production-services-34c3234c94c8</a></figcaption></figure><p>โดยที่ kube-proxy เนี่ยจะคอยคุยกับ <strong>kube-apiserver</strong> เพื่อทำการ update ข้อมูลของฝั่งตัวเองตลอดเวลาว่า ณ ขณะนี้มี pod ไหนบ้างที่เพิ่ม/ลด, ถูก terminate, unhealthy ต่างๆ เพราะข้อมูลเหล่านี้ทั้งหมดจะต้องถูกรวบรวมและนำมาสร้าง rules ของตัวเองต่อไป</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YXteETxYyqWN2OW9om6esQ.jpeg" /><figcaption>source: <a href="https://unsplash.com/photos/ISG-rUel0Uw">https://unsplash.com/photos/ISG-rUel0Uw</a></figcaption></figure><h3>iptables</h3><p>rules ที่ว่านั้นเบื้องหลังคือ <strong>iptables rules </strong>โดยที่ kube-proxy จะคอย update rules ภายในแต่ละ node ของตัวเองครับ โดยเจ้า iptables นี้เอง ที่คอยทำหน้าที่เปรียบเสมือน <strong>Load balancer</strong> ให้แก่เรา</p><p>เราไปแอบดูหน้าตา rules ที่มันใช้ดีกว่า ผมสมมุติให้ hello-world ขณะนี้มี Pod ที่รันและ healthy อยู่ทั้งหมด 2 pod นะครับ</p><p>อันนี้เป็นตัวอย่าง iptables rules ที่มีอยู่ในทุกๆ Node ของ Cluster นี้ครับ</p><pre>-A KUBE-SERVICES -d 10.19.111.111/32 -p tcp -m comment --comment &quot;demo/hello-world: cluster IP&quot; -m tcp --dport 80 -j <strong>KUBE-SVC-33X6KPGSXBPETFQV</strong></pre><p>โดยที่ Traffic ทั้งหมดที่วิ่งไปหา IP Address <strong>10.19.111.111 </strong>จะผ่านเข้า Chain <strong>KUBE-SVC-33X6KPGSXBPETFQV </strong>และที่ด้านหลังจากนั้นจะถูกแบ่งออกเป็นอีก 2 Chain ตามจำนวน pod ที่ผมยกตัวอย่างไว้ เขียนเป็น rules ได้ตามข้างล่างนี้เลยครับ</p><pre>-A KUBE-SVC-33X6KPGSXBPETFQV -m comment --comment &quot;demo/hello-world:&quot; -m statistic --mode random <strong>--probability 0.50000000000</strong> -j KUBE-SEP-ALRUKLHE5DT3R34X</pre><pre>-A KUBE-SVC-33X6KPGSXBPETFQV -m comment --comment &quot;demo/hello-world:&quot; -j KUBE-SEP-X7DMMHFVFOT4JLHD</pre><p>มีจุดสังเกตนึงครับ จะเห็นว่า Chain อันแรกถูกตั้งค่า --probability 0.50000000000 ไว้ จุดนี้เองครับที่หมายความว่า</p><blockquote>โดยความน่าจะเป็นที่ 0.5; Chain ข้อแรกจะถูกรันด้วยโอกาสที่ 50% และอีก 50% จะถูกข้ามไป Chain ข้อถัดไป</blockquote><blockquote>จะเห็นว่า iptables ไม่ได้ใช้ round robin style แต่ใช้วิธี <strong>random</strong> ตามความน่าจะเป็นแทน</blockquote><p>เลยทำให้โอกาสของทั้ง 2 chain ถูกรันด้วย <strong>probability</strong> เท่ากันที่ 50% ครับ (พอจะเริ่มเดาออกกันแล้วใช่ไหมครับว่า ทำไมเวลาเรา call <strong><em>hello-world</em></strong> traffic เราถึง load balance เข้าทั้ง 2 pod อย่างเท่าๆ กันได้)</p><p>โอเคครับ ไปกันต่อที่ Chain สุดท้ายกันดีกว่า</p><p>และ Chain ข้างล่างนี้เองจะเป็นจุดที่ทำให้เรายิงออกจาก Node ต้นทางไปสู่ Node ปลายทางได้</p><pre>-A KUBE-SEP-<strong>ALRUKLHE5DT3R34X</strong> -p tcp -m comment --comment &quot;demo/hello-world:&quot; -m tcp -j <strong>DNAT</strong> --to-destination <strong>10.16.0.11:8080</strong></pre><pre>-A KUBE-SEP-<strong>X7DMMHFVFOT4JLHD</strong> -p tcp -m comment --comment &quot;demo/hello-world:&quot; -m tcp -j <strong>DNAT</strong> --to-destination <strong>10.16.1.8:8080</strong></pre><p>จาก 2 Chain ข้างบนนั้นจะเป็นการทำ <strong>DNAT </strong>เพื่อเปลี่ยน Destination IP จาก <strong>10.19.111.111 </strong>เป็น IP Address ของ Pod แต่ละปลายทาง</p><ul><li>KUBE-SEP-<strong>ALRUKLHE5DT3R34X</strong> ทำ DNAT ไปสู่ <strong>10.16.0.11:8080</strong></li><li>KUBE-SEP-<strong>X7DMMHFVFOT4JLHD</strong> ทำ DNAT ไปสู่ <strong>10.16.1.8:8080</strong></li></ul><p>และนี่คือทั้งหมดที่ kube-proxy ใช้จัดการกับการทำ load balancing ด้วย <strong>iptables</strong> ครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KbQQkw9CfGCq7l8VVeoaXQ.png" /><figcaption>source: <a href="https://www.stackrox.io/blog/kubernetes-networking-demystified/">https://www.stackrox.io/blog/kubernetes-networking-demystified/</a></figcaption></figure><p>(แอบคิดในใจ ทำไมพี่นนท์ไม่ใส่รูปนี้มาแต่แรก ฮ่าๆ)</p><p>คำถามถัดมา แล้วถ้ามีการ scale-out pod จะเป็นอย่างไร? คำตอบตรงไปตรงมาครับ เจ้า kube-proxy ก็จะทำการเพิ่ม rules เข้าไปตามจำนวน pod ที่เกิดขึ้นเลย</p><p>ถ้าหากมี pod ใหม่เกิดขึ้นอีก 10 pods; ในทุกๆ node ก็จะมี rules ที่ต้องคิดเพิ่มขึ้นอีก 10 rules… ถ้าหากมีเพิ่มอีก 100 pods ก็เพิ่ม 100 rules….</p><blockquote>ตัวเลขมันดูเป็น O(n) มากๆๆๆ เลย คำตอบคือ ถูกต้องครับ !! iptables ที่ kube-proxy ใช้มันทำงานเป็น <strong>O(n)</strong> หมายความว่าทุกๆ ครั้งที่เราจะยิง traffic ออกไปภายนอก Node เนี่ย มันต้องมา Execute rule เหล่านี้ก่อน N รอบ</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pGDELkb4gmCfJKyo8tmaeQ.png" /><figcaption><a href="https://www.bigocheatsheet.com/">https://www.bigocheatsheet.com/</a></figcaption></figure><blockquote>I smell a problem here…</blockquote><p>จากภาพจะเห็นว่า O(n) ก็ดูไม่ได้แย่อะไรนะ… แต่เดี๋ยวก่อน ถ้าหาก Cluster เรามี pod เยอะระดับ 1,000 pods หล่ะ? มันก็ทำงาน 1,000 รอบในทุกๆ ครั้งที่ใช้งาน และยิ่งมีจำนวน Traffic เยอะ ก็ยิ่งต้องทำงานเยอะขึ้นทวีคูณไปเรื่อยๆๆ แล้ว <strong>Latency</strong> ที่เราห่วงหล่ะ…. (Oh my God, I now smell that…)</p><p>ใช่ครับ มันจะเริ่มแย่ถ้าหาก Pod เราเยอะเกินไป และใช่อีกครับ ที่ LINE MAN Wongnai เรามีหลายพัน Pod ภายใน Cluster เดียว ถ้าหากใครอยากทำงานกับ Cluster ใหญ่ๆ และสนุกแบบนี้ เลื่อนลงไปดูหัวข้อขายของได้เลยครับ ไม่ต้องอ่านเนื้อหาแล้ว (หยอกนะครับ อ่านต่อให้ผมก่อนนน)</p><p>แล้วเราจะแก้ปัญหานี้ยังไงดี? เราแยก Cluster ดีไหม? แบบแบ่งให้ Cluster ละ 500 pods แบบนี้แทนจะดีขึ้นไหม? งื้มมมม ก็ดูพอได้นะครับ แต่มันก็ตามมาด้วยปัญหาอย่างอื่นน่ะสิ เช่น Cluster-to-Cluster จะคุยกันยังไง คุยข้าม Service จะเป็นอย่างไร… แค่คิดก็หัวจะปวดแล้ว</p><p>… แต่ พระเจ้ายังใจดีกับเราอยู่ครับ ใน <strong>Kubernetes 1.11 </strong>เรามี kube-proxy mode ตัวใหม่เพิ่มเข้ามานั้นก็คือ <strong>IPVS-Based </strong>(ณ วันนี้ Kubernetes 1.25 ยังไม่ได้เปิดเป็น default mode)</p><h3>kube-proxy with IPVS-Based</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*JSJ4R6eG9AC1gVMj" /><figcaption>iptables Vs IPVS</figcaption></figure><p>IPVS-Based คืออะไร? เจ้า IPVS เนี่ยย่อมาจาก <strong>IP Virtual Server </strong>ครับ โดยหลักการ คือ มันทำ <strong>load balancing</strong> ใน kernel ได้เหมือนกับ iptables เลย แต่จุดที่แตกต่างคือ มันสามารถทำ load balancing ได้หลาย algorithm ไม่ว่าจะเป็น round-robin, shortest-expected-delay, least connections, และ hashing โดยที่ Time Complexity ของมันอยู่ที่ <strong>O(1)</strong> ใช่ครับ อ่านไม่ผิด O(1) หมายความว่ามันทำงานได้เร็วกว่า O(n) ของ iptables แน่นอน และไม่ว่า Cluster เราจะใหญ่ขึ้นแค่ไหน จำนวน pod มากน้อยอย่างไร มันจะไม่ส่งผลต่อการทำ load balancing ของ kube-proxy ของเราครับ</p><blockquote>ซื้อ !!! ฉันจะเอา kube-proxy ที่ใช้ IPVS based</blockquote><h3>แล้วเราเลือก kube-proxy mode อะไรดี?</h3><p>ถ้าถามผม ผมเลือก <strong>IPVS</strong> แน่นอนครับ (ฮ่าๆๆ)</p><p>แต่เดี๋ยวก่อนนน เราคงดู Big O notation อย่างเดียวคงไม่ได้ แล้วผลทดสอบของจริงหล่ะ เป็นยังไงบ้าง?</p><p>ข้างล่างนี้เป็นผลทดสอบด้วย Service ละ 10 pods นะครับ</p><h4><strong>Round-Trip response time</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/0*AAitI82kkc1zVw5D.png" /><figcaption>Round-Trip response time</figcaption></figure><p>อันนี้เป็นภาพเปรียบเทียบ <strong>Round-Trip response time </strong>จะสังเกตได้ว่า</p><ul><li>ค่าเฉลี่ยระหว่าง iptables และ IPVS จะไม่ค่อยต่างกันเลยถ้าเราใช้ไม่เกิน 1,000 services (10,000 pods)</li><li>เราจะเห็นความต่างได้ชัดเจนกับเส้นที่<strong>ไม่ได้ใช้ keepalive </strong>(สีจางๆ) เพราะ มันต้องมีการสร้าง connection ใหม่ในทุกๆ request</li></ul><p>จากภาพเราจะเห็นได้ว่า response time overhead ของ kube-proxy จะขึ้นอยู่กับ<strong>การสร้าง connection ใหม่</strong> ไม่ใช่จำนวน services, ไม่ใช่จำนวน request ที่ใช้งาน เพราะใน Linux เองมีการทำ <strong>connection tracking (conntrack) </strong>อยู่แล้ว เลยทำให้ packet ที่ match ใน conntrack ไม่ต้องไปผ่าน iptables หรือ IPVS เลย สามารถ forward ต่อไปได้ทันทีครับ</p><blockquote>แล้วทำไม IPVS ที่ 10,000 services ที่ไม่ได้ทำ <strong>keepalive</strong> มันถึงช้าด้วยหล่ะ? ไหนบอกว่า O(1) แล้วทำไมมันถึงช้าขึ้นได้??</blockquote><h4>CPU Usage</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/0*gU2tqZOorO6CarxZ.png" /><figcaption>Total CPU</figcaption></figure><p>เหตุผลหลักของ IPVS ที่ช้าขึ้นเป็นเพราะไม่ได้ทำ<strong> keepalive/persistent connection</strong> ไว้ มันจึงจำเป็นต้องใช้ <strong>CPU</strong> ไปกับการเปิด connection เลยส่งผลให้ response time มันช้าขึ้นตามไปด้วยครับ</p><p>จากภาพจะมีจุดสังเกตอยู่ ก็คือ</p><ul><li>CPU ไม่ค่อยต่างกันถ้าเราใช้ไม่ถึง 1,000 services (10,000 pods)</li><li>ที่ระดับ 10,000 services (100,000 pods) ฝั่งของ iptables ใช้ CPU เพิ่มขึ้นประมาณ 35% และ IPVS ใช้เพิ่ม 8% จากเดิม</li></ul><p>เห็นแบบนี้แล้ว เราต้องลองตั้ง <strong>keepalive</strong> ให้ดียิ่งขึ้นนะครับ เช่น ถ้าเราทำ keepalive ไว้ที่ 50 request/connection แบบนี้จำนวน iptables rule ที่ต้อง execute ก็ลดลง ~50 เท่าได้เลยครับ</p><h3>เลิกใช้ kube-proxy ได้ไหม?</h3><p>แล้วถ้าหากไม่อยากใช้ kube-proxy แล้วหล่ะ ตอนนี้ หรือในอนาคตมี Tools ตัวไหนที่น่าจับตามองรึเปล่า?</p><p>คำตอบคือ มีครับ !! และที่ LINE MAN Wongnai เองเริ่มมีใช้งานในบาง Cluster ของ Production เรียบร้อยแล้ว สิ่งนั้นก็คือ…..</p><blockquote>Cilium ที่เป็น eBPF-based Networking นั่นเอง !</blockquote><p>ส่วน <strong>Cilium (</strong><a href="https://cilium.io/">https://cilium.io/</a><strong>) </strong>คืออะไร แล้วทำไมที่ LMWN ถึงต้องใช้? มันน่าตื่นเต้นแค่ไหน ไว้ติดตามที่บทความถัดไปจากเราได้เลยนะครับ</p><p><strong>อย่าลืมกด Follow ไว้!</strong> จะได้ไม่พลาดบทความดีๆ จากทาง LMWN ครับ</p><h3>สรุปกันสักนิด</h3><p>หัวใจสำคัญของ Kubernetes Network คือใช้<strong> kube-proxy </strong>ในการทำ load balance ไปสู่ service ปลายทาง และปัจจุบันนั้น Kubernetes ยังคงใช้ <strong>iptables</strong> เป็น default mode อยู่ จุดที่สำคัญคือ iptables ทำงานเป็น<strong> O(n)</strong> โดยยังต้อง Execute rules เยอะขึ้นตามจำนวน pod ที่มีอยู่ใน cluster</p><p>Cluster ยิ่งใหญ่ iptables ก็มี overhead สูงขึ้นเรื่อยๆ แต่เรายังสามารถแก้ได้ด้วยการเปลี่ยน mode ของ kube-proxy เป็น<strong> IPVS based </strong>แทน นอกจากจะได้ข้อดีที่ <strong>O(1)</strong> แล้ว เรายังสามารถทำ load balance ด้วย algorithm ใหม่ๆ ได้นอกเหนือจากวิธี Random load balancing อีกด้วย</p><p>ที่สำคัญ ควรตั้งค่าการทำ <strong>keepalive</strong> ให้เหมาะสม จะทำให้เราลดการสร้าง Connection ใหม่ๆ ลงได้ รวมไปถึง Linux มี <strong>conntrack</strong> อยู่แล้ว ที่ทำให้เราไม่ต้องส่ง packet ผ่าน kube-proxy บ่อยๆ เป็นการลด overhead latency ของ request ลงได้</p><p>และในอนาคตถนนทุกเส้นของ LMWN Kubernetes Cluster กำลังมุ่งสู่ <strong>Cilium </strong>ที่กำลังเข้ามาทำหน้าที่แทน kube-proxy เรียบร้อยแล้ว</p><p>ทั้งหมดนี้เป็นเหตุผลว่า ทำไมเวลาที่เราห่วง <strong>Latency</strong> ไม่ควรที่จะละเลยเจ้า <strong>kube-proxy</strong> นั่นเองงงง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FRJwXYuxBIHaeUXDROBS_w.png" /><figcaption><a href="https://careers.lmwn.com/">https://careers.lmwn.com/</a></figcaption></figure><h3>ขายของ</h3><p>ถ้าหากใครอยากเป็นส่วนหนึ่งที่เข้ามาร่วมสร้าง Impact ที่ยิ่งใหญ่ของประเทศไทย อย่ารอช้าที่จะสมัครเข้าร่วมงานกับ LINE MAN Wongnai</p><p>ดูรายละเอียดตำแหน่ง และสมัครเข้าร่วมงานได้ที่ <a href="https://bit.ly/3fXUoqI">https://careers.lmwn.com/</a> แล้วเจอกันใหม่ในบทความถัดไปนะครับ หรือถ้าอยากเจอผมตัวจริงก็กดสมัครเข้ามาได้เลยครับ (ฮ่าๆ)</p><h3>More Ref</h3><ul><li><a href="https://medium.com/google-cloud/understanding-kubernetes-networking-services-f0cb48e4cc82">https://medium.com/google-cloud/understanding-kubernetes-networking-services-f0cb48e4cc82</a></li><li><a href="https://www.stackrox.io/blog/kubernetes-networking-demystified/">https://www.stackrox.io/blog/kubernetes-networking-demystified/</a></li><li><a href="https://blog.okmeter.io/kubernetes-in-production-services-34c3234c94c8">https://blog.okmeter.io/kubernetes-in-production-services-34c3234c94c8</a></li><li><a href="https://scalingo.com/blog/iptables">https://scalingo.com/blog/iptables</a></li><li><a href="https://www.tigera.io/blog/comparing-kube-proxy-modes-iptables-or-ipvs/">https://www.tigera.io/blog/comparing-kube-proxy-modes-iptables-or-ipvs/</a></li><li><a href="https://cilium.io/">https://cilium.io/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e4c22a111884" width="1" height="1" alt=""><hr><p><a href="https://life.lmwn.com/why-should-you-be-aware-of-kube-proxy-if-you-are-concerned-about-latency-e4c22a111884">ถ้าห่วง Latency ทำไมถึงไม่ควรมองข้าม kube-proxy?</a> was originally published in <a href="https://life.lmwn.com/">Life@LINE MAN Wongnai</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[วิธีรับเหรียญ Devnetwork และเก็บลง Ledger Nano S]]></title>
            <link>https://mrnonz.medium.com/%E0%B8%A7%E0%B8%B4%E0%B8%98%E0%B8%B5%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B9%80%E0%B8%AB%E0%B8%A3%E0%B8%B5%E0%B8%A2%E0%B8%8D-devnetwork-%E0%B9%81%E0%B8%A5%E0%B8%B0%E0%B9%80%E0%B8%81%E0%B9%87%E0%B8%9A%E0%B8%A5%E0%B8%87-ledger-nano-s-e0e14eaf814e?source=rss-dc8ffb85ffb------2</link>
            <guid isPermaLink="false">https://medium.com/p/e0e14eaf814e</guid>
            <category><![CDATA[devcamp]]></category>
            <category><![CDATA[dev]]></category>
            <category><![CDATA[devnetwork]]></category>
            <category><![CDATA[cryptocurrency]]></category>
            <dc:creator><![CDATA[Nontawat Numor]]></dc:creator>
            <pubDate>Wed, 04 Apr 2018 07:14:13 GMT</pubDate>
            <atom:updated>2018-04-05T07:54:17.538Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*e7kmiUZv_cXiEte4tKkO9A.png" /></figure><p>หลังจากเมื่อวาน (3 เมษายน 2561) ทางทีมงาน <a href="https://dev.wi.th/ico/">Devnetwork</a> (<a href="https://dev.wi.th/ico/">https://dev.wi.th/ico/</a>) ได้ประกาศแจกเหรียญ DEV ให้กับนักลงทุนทุกคนไปแล้ว</p><p><a href="https://dev.wi.th/ico/">The First Decentralize Professional Network and Tech Ecosystem Platform</a></p><p>วันนี้ผมขอมารีวิววิธีรับตัวเหรียญ และย้ายเหรียญไปเก็บลง Hardware wallet ของเราเองอย่าง <a href="https://www.ledgerwallet.com/products/ledger-nano-s">Ledger Nano S</a> กันครับ</p><h3>เริ่มกันเลย !</h3><ol><li><strong>ตรวจสอบอีเมล :</strong> ทางทีมงานได้ส่งอีเมลหานักลงทุนทุกคนแล้วสำหรับการรับเหรียญ หากหาอีเมลไม่เจอ ลองค้นหาจากคำว่า “<strong>dev@apppi.co</strong>” ได้เลยครับ</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*trcgdH9H4GbJ28tVgTuiAg.png" /><figcaption>อีเมลแจกเหรียญสำหรับนักลงทุน</figcaption></figure><p>ในอีเมลจะประกอบไปด้วย 2 ข้อมูลหลักๆ คือ จำนวนเหรียญ DEV ที่ได้รับ และ Code สำหรับรับเหรียญครับ</p><p>2. <strong>Login Wallet : </strong>เข้าเว็บ <a href="https://wallet.dev.wi.th/">https://wallet.dev.wi.th/</a> และ Login ได้เลยครับ (หากใครลืม Password หรือยังไม่มี Account สมัครใหม่ได้เลยครับ)</p><p>3. <strong>สร้าง Stellar Wallet :</strong> มีหลายคนยังสับสน และงงๆ อยู่ว่าแล้ว ERC-20 หล่ะ? ใช้กับ MyEtherwallet ได้ไหม? สรุปสั้นๆ คือ<strong> “ตอนนี้เหรียญ DEV เป็น Token บน Stellar ต้องใช้กระเป๋าของ Stellar เท่านั้นครับ ใช้กับ ETH ไม่ได้”</strong></p><p>จากนั้นเราจะพบหน้าจอสำหรับสร้าง Wallet ของ Stellar หากใครมี Wallet อยู่แล้วก็สามารถใส่ Secret Key (Private key) เข้าไปแล้วข้ามขั้นตอนการสร้าง Wallet ได้เลยครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*21MIThGUokjFGTH9zMxUgQ.png" /><figcaption>การสร้าง Wallet บน Stellar สำหรับใช้รับเหรียญ DEV</figcaption></figure><p>กดที่ “<strong>Generate and Download Keypair</strong>” ได้เลยครับ ทางเว็บจะสร้าง Wallet ใหม่ให้ และมีไฟล์ PDF ที่มี Public key กับ Secret key เก็บไว้ในนั้นครับ **<strong><em>คำเตือน</em></strong> <strong>ห้ามทำหายเด็ดขาด และห้ามแจกจ่ายผู้อื่น </strong>ทางทีมงานไม่สามารถกู้ Wallet ใดๆ คืนได้นะครับ เพราะทีมงานไม่เก็บ Secret key ของนักลงทุน เพื่อความปลอดภัย**</p><p>4. <strong>รับเหรียญ DEV :</strong> หลังจากเราสร้าง Wallet เสร็จแล้วจะพบกับหน้าให้เรานำ Code จากข้อ 1 มาใส่เพื่อรับเหรียญ DEV ครับ (ตามปกติแล้วกระเป๋า Stellar ต้องมีเหรียญคงไว้ราวๆ 2.1 XLM แต่ทาง DEV โอนเหรียญมาใส่ไว้ให้เราฟรีอยู่แล้ว ไม่ต้องโอนเข้าไปเอง)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/888/1*jMV9ROG5PqLCmYO9hBfypA.png" /><figcaption>ช่องกรอก Code ที่ได้รับจากอีเมล</figcaption></figure><p>5. <strong>โอนเหรียญไป Ledger Nano S</strong> : หลังจากได้รับเหรียญ DEV เรียบร้อยแล้ว เราสามารถโอนออกไปเก็บไว้ใน Hardware Wallet ของเราได้ทันทีเลยครับ</p><p>5.1) <strong>การทำ Trust ให้เหรียญ DEV</strong></p><ul><li>Ledger Nano S ของเราต้องมี Lumens ค้างไว้ก่อนอย่างน้อย <strong>2.1 XLM</strong> นะครับ</li><li>เชื่อม Ledger Nano S เข้ากับคอมเรา</li><li>เข้าสู่เว็บ <a href="https://stellarterm.com/#ledger">https://stellarterm.com/#ledger</a></li><li>Login ด้วย Ledger ดังภาพ</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nGTQP-FtFVgAuCw01NWzZQ.png" /><figcaption>Login stellarTerm ด้วย Ledger</figcaption></figure><ul><li>เข้าหน้าเว็บ Trade ของเหรียญ DEV <a href="https://stellarterm.com/#exchange/DEV-GB354ZDARVTGN3N54RJRBEAH6N3AJCPP5PXRNNIXHONKGIF54XKIITAY/XLM-native">https://stellarterm.com/#exchange/DEV-GB354ZDARVTGN3N54RJRBEAH6N3AJCPP5PXRNNIXHONKGIF54XKIITAY/XLM-native</a></li><li>กด <strong>Accept DEV</strong> ปุ่มสีเขียวเพื่อทำการ Trust เหรียญ DEV ครับ</li></ul><p>5.2) <strong>โอนเหรียญ DEV จาก Wallet ของ Devnetwork มายัง Ledger Nano S</strong></p><ul><li>เข้าสู่เว็บ <a href="https://stellarterm.com/#account">https://stellarterm.com/#account</a></li><li>Login ด้วย Secret key ที่ได้จากข้อ 3 ของเรา</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*AiNSqukTsXg99PRUa8MqHw.png" /><figcaption>Login stellarTerm ด้วย Secret key</figcaption></figure><ul><li>เข้าสู่เว็บ <a href="https://stellarterm.com/#account/send">https://stellarterm.com/#account/send</a></li><li>กรอก Destination เป็น Wallet Address ของ Ledger Nano S ที่เป็น Stellar ได้เลย</li><li>Asset เลือกเหรียญ DEV</li><li>Amount คือ จำนวนเหรียญที่ต้องการย้าย (หากจะไม่ใช้ Wallet นี้แล้ว โอนออกไปหมดเลยก็ได้)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Y9D3uSoiAcIW9V0kK7MafQ.png" /><figcaption>ข้อมูลการโอนเหรียญ DEV บนเว็บ StellarTerm</figcaption></figure><ul><li>กด <strong>“Submit transaction” </strong>ได้เลยครับ จากนั้นรอรับเหรียญเราที่ปลายทางได้เลย</li></ul><p>หากใครมีคำถามอะไร สามารถ Join Telegram ไปถามได้เลยที่ <a href="https://t.me/devnetwork_official">https://t.me/devnetwork_official</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e0e14eaf814e" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>