<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Nutthaporn Onsiri on Medium]]></title>
        <description><![CDATA[Stories by Nutthaporn Onsiri on Medium]]></description>
        <link>https://medium.com/@porporpor?source=rss-8b8749c1a86------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*6ogzauXwoEg_pOLiHf609A.jpeg</url>
            <title>Stories by Nutthaporn Onsiri on Medium</title>
            <link>https://medium.com/@porporpor?source=rss-8b8749c1a86------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 20:11:45 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@porporpor/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Performance Test ยังไงให้ make sense]]></title>
            <link>https://life.lmwn.com/performance-test-%E0%B8%A2%E0%B8%B1%E0%B8%87%E0%B9%84%E0%B8%87%E0%B9%83%E0%B8%AB%E0%B9%89-make-sense-a23ac498e848?source=rss-8b8749c1a86------2</link>
            <guid isPermaLink="false">https://medium.com/p/a23ac498e848</guid>
            <category><![CDATA[qa]]></category>
            <category><![CDATA[engineering2022]]></category>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[performance-testing]]></category>
            <category><![CDATA[quality-assurance]]></category>
            <dc:creator><![CDATA[Nutthaporn Onsiri]]></dc:creator>
            <pubDate>Thu, 15 Dec 2022 03:50:24 GMT</pubDate>
            <atom:updated>2022-12-15T03:50:24.999Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wAku3X9wNRQW30WIFGb1Kw.png" /></figure><p>จาก<a href="https://life.wongnai.com/performance-is-a-feature-e10411ac118a">บทความที่แล้ว</a> เราพูดถึงการมอง Performance ของซอฟต์​แวร์เป็นส่วนหนึ่งของ requirement ซึ่งน่าจะทำให้เกิดมุมมองความสำคัญในเชิงของ Requirement analysis กับ Implementation Design ที่อยู่บนแนวคิดที่รองรับ “Performance is a Feature” แล้ว</p><p>ดังนั้นบทความนี้จึงเป็นภาคต่อ เป็นการเข้าสู่การวางแผนและวิธีการที่เราจะเริ่มลงมือทำ Performance Test กัน ☺</p><h3><strong>เราจะเริ่มวางแผนเกี่ยวกับ Performance Test เมื่อไหร่ ?</strong></h3><p>คำตอบคือหลังจาก Requirement Analysis ก็วางแผนได้เลย เนื่องจากทีมได้มีภาพรับรู้ร่วมกันแล้วว่าซอฟต์แวร์มีผลกระทบต่อการใช้งานยังไงบ้าง จากการตีโจทย์ตามหัวข้อ Traffic / Data Size / Latency / Load ซึ่งได้พูดถึงในบทความที่แล้ว</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/0*pRhRsktWB6tURpTb" /><figcaption>คิดก่อน วางแผนก่อน ไม่สิ้นเปลืองพลังงานในภายหลัง 👍</figcaption></figure><h3><strong>เราทำ Performance Test ไปทำไม ?</strong></h3><p>ตอบตามหลักการคือ Performance Test เป็นส่วนหนึ่งของ Software Quality Assurance (แต่ไม่ได้หมายความว่า QA ต้องเป็นคนทำเท่านั้นนะ) แต่ mindset ที่ผู้เขียนอยากให้ทีมมีร่วมกัน คือ ถ้าเรากังวลเรื่องอะไร ให้วางแผน (Test Plan) จัดการกับปัญหาเรื่องนั้นตั้งแต่เนิ่นๆ รวมทั้งวางแผนจำลองสถานการณ์ (Test Scenarios) ทดสอบ (Test Execution) แล้ววัดผล (Measure) เพื่อให้แน่ใจว่าปัญหาจะไม่เกิดขึ้นหรือเราได้คิดแผนรองรับไว้แล้ว</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/591/1*0vdidPWZIQLHcpJ8SIjL7g.png" /><figcaption>Nightmare before Production</figcaption></figure><p><strong>ยกตัวอย่างความกังวลและสิ่งที่เราควรทำ</strong></p><p><em>concern 1 : เซอร์วิสเราเร็วพอจะใช้งานจริงได้มั้ยนะ ?</em></p><p>ไปทำ load test ดูว่าได้ response time เท่าไหร่ ซึ่งต้องตั้งเงื่อนไข (criteria) ด้วยว่า ช้าเกินไปคือเท่าไหร่ เราควรจะตอบสนองให้ได้ภายในเวลาเท่าไหร่</p><p><em>concern 2: Datasize ใหญ่ๆจะมีปัญหามั้ยนะ ?</em></p><p>ไปทำ <a href="https://en.wikipedia.org/wiki/Volume_testing">Volume Testing</a> ลองดูว่า data ที่เราใช้จริง หรือ Extreme case เรารองรับได้มั้ย</p><p><em>concern 3: Transaction จะหายมั้ยนะ แล้วถ้าหายขึ้นมาล่ะ ?</em></p><p>ต้องตีโจทย์ก่อนว่าอะไรที่จะทำให้ Transaction หายได้บ้าง เช่น เกิด Panic Runtime Error อยู่ๆ เซิฟเวอร์ก็รีสตาร์ทตัวเอง ซึ่ง Transaction นั้น ยังไม่ถูกเขียนลงฐานข้อมูลเลย แต่ตัดเงินลูกค้าไปแล้วทำยังไงดี การทำ Load/Stress/Longevity Test อาจช่วยได้ แต่ว่าเราควรวางแผนรองรับอื่นๆด้วย เช่น เรามี server log ที่มีข้อมูลเพียงพอสำหรับการแก้ปัญหารึเปล่า ซึ่งนี่ถือเป็นฟีเจอร์ของซอฟต์แวร์ที่ควรมี เช่นเดียวกัน</p><h4>“If you have any worries or concerns then demystify it …”</h4><h3><strong>จำเป็นต้องทำ Performance Test ในทุกๆโปรเจคหรือไม่ ?</strong></h3><p>ขึ้นอยู่กับปัจจัยหลายๆอย่าง และทีมที่จะตกลงร่วมกันหลังจากคุยกันแล้ว หรือเราจะพิจารณาจาก use cases / stakeholders ก็ได้ โดยการ</p><ul><li>วิเคราะห์ what/who/when/why/how</li><li>4 pillars of performance concerns: Traffic/Data size/ Latency/ Load (อธิบายอยู่ใน<a href="https://life.wongnai.com/performance-is-a-feature-e10411ac118a">บทความที่แล้ว</a>)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/478/1*t_kb_dy2hOsC6doeC3rhKw.png" /></figure><h4><strong>ตัวอย่าง Feature: Admin UI — สร้าง promotions</strong></h4><p><strong>การวิเคราะห์ what/who/when/why/how</strong></p><ul><li>what: ฟีเจอร์นี้คืออะไร ? ⇒ สร้าง promotion เข้าสู่ระบบ</li><li>who: ใครใช้ฟีเจอร์นี้ ? ⇒ Admin ของบริษัท ที่มีอยู่ประมาณ 5 คน</li><li>when: ใช้ตอนไหน ? ⇒ ช่วงเวลางาน 9.00–18.00 โดยประมาณ</li><li>why: ใช้ทำไม ? ⇒ สร้าง promotions</li><li>how: ใช้ยังไง ? ⇒ อัพโหลด CSV ขนาดประมาณ &lt; 5MB ผ่าน Admin UI → ทำการสร้าง promotions เข้าสู่ database</li></ul><p><strong>ตัวอย่างการแยกแยะ 4 pillars of performance concerns: Traffic/Data size/ Latency/ Load</strong></p><ul><li>Traffic ? ⇒ น้อยมาก มี Admin ใช้อยู่ 5 คน ✔️</li><li>Datasize ? ⇒ CSV เราทำการเช็คที่ UI อยู่แล้วว่าไม่เกิน 5MB ✔️</li><li>Latency ? ⇒ มีทำ loading icon ไว้แล้ว มี background process ไม่มีปัญหาเมื่อ session หลุด ✔️</li><li>Load ? ⇒ มีความกังวลว่าระหว่างที่ Admin ทำการใส่ promotion เข้าระบบเป็นจำนวนมาก จะมีผลทำให้ promotion service ที่ user ใช้งานอยู่ ช้าหรือไม่</li></ul><p><strong>ตัวอย่าง action plan</strong></p><p>ทีมสรุปแล้วว่าเราจะมีเซอร์วิส promotion สำหรับงาน admin โดยเฉพาะ ซึ่งจะแยกกับ promotion service ที่มี traffic ของ user เข้าใช้งาน ดังนั้นเราจะมั่นใจได้ว่า จะไม่กระทบ user แน่นอน ส่วน Database มี write operation primary เป็นหลัก แต่ traffic จาก user เป็น read operation ที่ secondary ดังนั้นผลกระทบมีไม่มาก</p><p><strong>สรุป</strong></p><p>จะสังเกตได้ว่าถ้ามีแผนรองรับเนื่องจากเรา discuss กันแล้ว หรือว่าเราสามารถจำกัด impact ได้ การทำ Performance Test ก็อาจจะไม่จำเป็น</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*S5p65av_jILnDGBE" /><figcaption>ถ้า Task ด่วน มี concerns แต่ไม่มีเวลาทำ Performance Test เวลาขึ้น Production ก็จะ …</figcaption></figure><h3><strong>ถ้าตัดสินใจว่าต้องทำ Performance Test แล้ว ต้องเริ่มต้นยังไง ?</strong></h3><p>เริ่มต้นด้วยการตั้งจุดประสงค์ของการทำ Performance Test ครั้งนี้ก่อน</p><h3>Define Performance Test Objectives</h3><p>ยกตัวอย่างเช่น เราต้องการขึ้น service ใหม่ ซึ่งเราก็ยังไม่รู้ว่าเราจะต้อง allocate resource ให้ service นี้เท่าไหร่ดี แล้วก็อยากรู้ว่า ด้วย resource จำนวนนั้น ทำให้ service เรารองรับ load ได้ด้วยจำนวนแค่ไหน</p><p>ดังนั้น Performance Test Objectives ของเราก็คือ</p><ul><li>หาปริมาณ resource (CPU/Memory) ที่เหมาะสมที่สุด สำหรับ 1 หน่วย service</li><li>หาว่า 1 หน่วย service รองรับ load ได้เท่าไหร่ (number of requests per sec)</li><li>พิสูจน์ว่า เราสามารถขยายจำนวน service เพิ่มและสามารถรองรับจำนวน load ที่มากขึ้นได้หรือไม่ (horizontal scaling)</li></ul><h3>Define Performance Test Scenarios</h3><p>สำหรับการทำ Performance Test หรือการวัดผล มีสิ่งหลักๆที่เราต้องโฟกัสอยู่ 4 หลักการ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/740/1*tCxtA2AvhtQjqnOHktFM-A.png" /></figure><ol><li><strong>Simple</strong></li></ol><ul><li>สคริปต์ที่จะใช้เทสต้อง clean and simple ที่สุด โฟกัสเฉพาะ API ที่เราจะวัดผล เพื่อลดความคลาดเคลื่อน</li><li>ในบางครั้งเราจำเป็นต้องมีส่วนของการเตรียมข้อมูลก็ให้ตัดตอนให้สั้นที่สุด เช่น เราอยากวัด Performance ของ การสั่งออเดอร์ ถึงแม้ก่อนหน้าสั่งนั้นต้องมีเลือกของ ใส่ตะกร้าอะไรก็แล้วแต่ ถ้าทำได้ให้ตัดให้หมด ให้สคริปต์ที่ใช้รันยิง API แต่การสั่งออเดอร์อย่างเดียว</li></ul><p><strong>2. Measurable</strong></p><ul><li>ต้องวัดผลได้ แน่นอนชัดเจน</li><li>นั่นหมายถึงเราควรต้องมี metric และ monitoring ที่ดี รวมทั้งส่วนที่วัดผลต้องวัดได้ตรงจุดด้วย เช่น เราทำ Performance Improvement ของการสั่งออเดอร์ ดังนั้น monitoring ของเราต้องบอกได้ว่า จังหวะยิง API เส้น /create_order เรามี latency ที่เท่าไหร่ หรือถ้าเรา improve เรื่อง DB query ให้เร็วขึ้น เราก็ต้องสามารถเช็คได้ว่า query performance ก่อนแหละหลังต่างกันแค่ไหน</li></ul><p><strong>3. Repeatable</strong></p><ul><li>ต้องทำซ้ำได้ ซึ่งการทำ Performance Test แน่นอนต้องทำซ้ำๆไปเรื่อยๆ เพราะต้องมีการ Tuning และ retest เพื่อให้มั่นใจว่าผลลัพธ์เชื่อถือได้</li><li>การทำซ้ำได้ ช่วยให้เราทำ software benchmark ได้เช่นกัน คือ ซอฟต์แวร์ version A เราเคยวัดผลได้เท่านี้ พอเป็น version B ที่ทำมาใหม่ ถ้าสคริปต์และ data control เราทำไว้ดี เราสามารถเปรียบเทียบผลก่อนหลังได้เลย</li><li>data control เป็นเรื่องสำคัญ เราควรกำหนด request/response ให้มีขนาดคงที่หรือใกล้เคียงกันเสมอ เพราะ response ที่มีขนาดไม่เท่ากัน เช่น request ที่ 1 response size 1KB ส่วน request ครั้งที่ 2 response size 18KB มีผลทำให้ค่าสถิติที่ออกมามีความคลาดเคลื่อน</li></ul><p><strong>4. Make sense</strong></p><ul><li>scenario ที่เราเลือกมาทำนั้น make sense รึเปล่า เราเลือกทำ Normal case scenario / Ideal scenario หรือ Extreme scenario</li><li>Data Matters มีส่วนสำคัญอย่างมาก: ยกตัวอย่างเช่น เราจะทำการวัด Performance ของหน้า Main ของ app ที่มี banners และ รูปภาพเป็นจำนวนมาก ดังนั้น ทุกครั้งที่ทำการวัด request response เราควรเซ็ทจำนวนดาต้าไว้ให้ใกล้เคียงการใช้งานจริงด้วย (Normal case) หรืออาจจะเซ็ทให้เป็น maximum ตามที่ Admin เซ็ทได้ไปเลย (Extreme case)</li><li>ในบางครั้งมีการใช้ cache เป็น solution ของ Feature นั้นๆ ซึ่งเราควรมีการสร้าง scenario ให้เหมาะสม เช่น เราอาจจะแบ่งเทสเป็น 2 ครั้ง ครั้งแรก hit cache 100% ดังนั้น latency ควรจะต่ำมากๆ ส่วนครั้งที่ 2 ให้ hit cache 0% แล้วลองเปรียบเทียบผล</li></ul><h4>Performance Test Scenarios — Test Exit Criteria</h4><p>ควรตั้งให้ clear วัดผลได้ ตัวอย่างเช่น</p><p>Response Time</p><ul><li>P50 &lt; 500 msec</li><li>P95 &lt; 800 msec</li><li>P99&lt; 1 sec</li></ul><p>Response Error Rate</p><ul><li>0% — All responses return code HTTP Status OK 200</li></ul><p>Resource Utilization</p><ul><li>CPU &lt; 80%</li><li>Memory &lt; 80%</li></ul><h4>Performance Test Scenarios — Test Environment</h4><p>Test Environment เป็นเรื่องสำคัญมากสำหรับ Performance Test เนื่องจากเราต้องการจำลองสถานการณ์เดียวกันนี้ให้เหมือน Production มากที่สุด เพื่อวัดผล ดังนั้น</p><ul><li>Resource ควรเทียบเท่า Production จริง</li><li>1 หน่วยของ Resource ที่ใช้ทดสอบควรระบุได้ชัดเจน เช่น CPU 1 core 2.4GHz / Memory 1024MB</li><li>Dependency เช่น DB, Cache ควรมี Performance เทียบเท่า Production จริง (Data ควรใกล้เคียงความเป็นจริง, DB ควรทำ index ให้เรียบร้อย)</li><li>Network — สำหรับ Performance Test ที่เราต้องการวัด response time ในมุมของผู้ใช้งานจริง Network กับ Bandwitdth ก็มีผลเป็นอย่างมาก เช่น ต้องการจำลอง Internet 3G, 5G ด้วย bandwidth ต่างๆกัน รวมถึง request ของผู้ใช้จาก region ต่างๆก็มีผล</li><li>Client request location— ซึ่งก็คือ client tool ที่เราใช้ยิง request ควร locate อยู่ที่ไหนขึ้นอยู่กับ scenario ที่เราต้องการวัดผล เช่น ถ้าอยากวัดผลให้เหมือนผู้ใช้จริง ควรยิง request จาก External network แต่ถ้าโจทย์ของเราคือการวัด latency ในระดับซอฟต์แวร์ซึ่งเรามี metric ชัดเจนอยู่แล้ว เราก็อาจจะใช้ tool ยิงจาก Internal network เดียวกันได้เลย</li></ul><h3>Performance Test Execution</h3><p>เมื่อเตรียมทุกอย่างเรียบร้อยแล้ว ว่า</p><ul><li>เราทำการทดสอบเพื่ออะไร (Peformance Test Objectives)</li><li>เราการทำการทดสอบยังไง (Performance Test Scenarios)</li><li>เรามีตัวแปรควบคุมสำหรับการทดสอบคืออะไร (Control factors — Resources,Environment, Dependencies etc.)</li><li>เรามีเงื่อนไขในการพิจารณาว่าผ่านไม่ผ่านยังไง (Exit Criteria)</li></ul><p>เมื่อมีครบทุกอย่างแล้ว ก็ดำเนินการ เข้าสู่การทดสอบได้เลย</p><h4>Performance Test Execution — Load Generator</h4><p>ในการทดสอบ Performance Test แบบที่เราเขียนสคริปต์เพื่อสร้างรีเควสจำนวนมาก เราเรียก tool ที่มาทำหน้าที่ส่วนนี้ว่า Load Generator</p><p>Load Test tool ที่ LMWN ใช้อยู่เป็นหลักคือ <a href="https://k6.io/">K6</a> ซึ่งตอบโจทย์ในเรื่องของ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/320/0*2A-qgG1pX11ZgmKn.png" /></figure><ul><li>distribution load testing ที่ต้องการยิง request จำนวนมาก</li><li>การสร้าง pipeline CI</li><li>การเขียนสคริปต์ที่ค่อนข้างง่าย (Javascript/Typescript)</li><li>มี document ที่ดี</li><li>มีตัวเลือก <a href="https://k6.io/docs/get-started/results-output/">result output</a> ที่หลากหลาย สามารถนำไปใช้ต่อได้ง่าย เช่น result output ไปยัง influxDB แล้วแสดงผลผ่านทาง Grafana</li></ul><p>Tools อื่นๆที่นิยมใช้ เช่น JMeter, Locust, nGrinder etc. ซึ่งมีบทความที่เขียนเปรียบเทียบความเหมาะสมและแนะนำการใช้งานอยู่เป็นจำนวนมาก</p><h4>Performance Test Execution — Run Test</h4><p>ส่วนของการรันเทส แน่นอนให้เตรียมใจไว้เลยว่า ต้องทำซ้ำหลายๆรอบแน่นอน เพื่อทำการปรับ (Tuning) ให้เสถียรที่สุด ซึ่งเนื้อหาในส่วนนี้คงจะไม่ครอบคลุมถึงวิธีการรันเทส แต่จะมีข้อแนะนำบางอย่าง เช่น</p><ul><li>ทำทุกอย่างให้เป็น automated มากที่สุด</li><li>หากปริมาณ data ใน database เป็นส่วนสำคัญ ให้เตรียมวิธี backup/dump database ให้ง่ายและสะดวก</li><li>ส่วน service อื่น ที่เกี่ยวข้อง แต่เราไม่ได้ต้องการทดสอบ ถ้าเป็น mock ได้ ให้ทำเป็น mock response ให้หมด</li></ul><h4>Performance Test Execution — Test Result Analysis</h4><p>ผลการทดสอบที่จะนำไปใช้งานต่อได้ คือผลลัพธ์ที่เสถียร ซึ่งเราต้องใช้เวลาในการตรวจสอบผลลัพธ์และจัดการกับ Control Factors ให้ได้มากที่สุด</p><p>ยกตัวอย่างเช่น</p><p>ทดสอบครั้งแรก ยิง load generator 50 req/sec ปรากฏผลลัพธ์ไม่เสถียร</p><ul><li>อาจจะ มี resource บางอย่างไม่เพียงพอ ซึ่งอาจจะเป็นตัว service ที่เรากำลังทดสอบอยู่</li><li>อาจจะเป็น Database — เราควรมี metric ให้การดู Performance ของ Database ด้วย บางที CPU ของ Database อาจจะขึ้นเยอะมาก จนทำให้ผลลัพธ์ไม่เสถียร</li><li>อาจจะเป็นที่ Load Generator ที่ไม่สามารถยิงจำนวน request ได้เสถียร ซึ่งเราสามารถเช็คจากกราฟ</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*u2_xdOeTQ9jYU4ue" /><figcaption>ตัวอย่าง Dashboard ของ K6</figcaption></figure><p>เราจำเป็นต้องตรวจสอบ Test Environment ของเราทั้งหมด ให้มั่นใจว่า เป็นผลมาจาก service และ resource allocation เราไม่เพียงพอกับการรับ 50 req/s จริง หากตรวจสอบเสร็จเรียบร้อยแล้ว พบว่าไม่น่ามาจากปัจจัยอื่น ให้ทำการลดจำนวน request แล้วลองทดสอบซ้ำอีกที</p><p>สมมติว่าการทดสอบครั้งที่ 2 ด้วย จำนวน request 40 req/s ได้ผลตามตัวอย่างที่สองด้านล่าง แสดงว่า service และ resource allocation ณ ตอนนี้เพียงพอสำหรับการรองรับ 40 req/s แน่นอน ดังนั้นอาจจะพิจารณาลองทดสอบ ครั้งที่ 3 ด้วยการปรับค่าเป็น 45 req/s เพื่อหาค่า maximum ที่ระบบรองรับได้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/929/1*OCThzhXJ10wN_0r0liyGQg.png" /><figcaption>ผลลัพธ์ที่เสถียรคือผลลัพธ์ที่น่าเชื่อถือนำไปใช้คำนวณต่อได้ (Reliable result)</figcaption></figure><h3>Scalability</h3><p>ที่ LMWN เราใช้ <a href="https://kubernetes.io/">Kubenetes</a> ดังนั้นมุมมอง service ของเราจะมี 1 หน่วย unit เป็น Pod ซึ่งต่อ 1 Pod เราจะ allocate fixed resource ให้ เช่น CPU 1 core / Memory 256 MB ต่อ 1 Pod เป็นต้น ซึ่งปริมาณ resource ขึ้นอยู่กับ service นั้นๆว่าใช้ปริมาณ resource ของอะไรเป็นหลัก บาง service ใช้การคำนวณมากๆ ต้อง allocate CPU ให้มากกว่าสัดส่วนของ Memory ที่อาจจะใช้ไม่มาก ซึ่งการที่ได้มาซึ่งตัวเลข resource allocation นี้ ก็เป็นผลลัพธ์มาจาก Performance Test นั่นเอง (Finding optimum resource allocation) ซึ่งสิ่งที่เราโฟกัสเป็นหลักคือ ทดสอบเพื่อให้มั่นใจว่าเราสามารถ scale จำนวน pod ให้รองรับ traffic/load ที่มากขึ้นได้</p><p>Scaling มี 2 แบบ</p><ul><li><strong>Vertical scaling</strong> คือ การเพิ่มปริมาณ resource ต่อ 1 pod เนื่องจากมีความต้องการการใช้งานเพิ่มขึ้น เช่น เราเคยมี service ที่ขึ้น Production ไปแล้ว แต่ด้วย build ใหม่ เรามีการใช้ library ใหม่ ที่ต้องการ Memory เพิ่มขึ้น เราอาจจะต้องทำการ Scale up resource เพื่อให้รองรับ request ได้โดยไม่ hit limit ของ Memory</li><li><strong>Horizontal scaling</strong> คือ การเพิ่มจำนวน pod เพื่อรองรับ load ที่มากขึ้น เช่น เราได้ทำ Performance กับ service ของเราแล้วว่า 1 pod รองรับได้ 50 req/s ดังนั้น เมื่อเราเพิ่ม pod จาก 1 เป็น 2 เราควรจะรองรับจำนวน request ได้เป็น 2 เท่า คือ 100 req/s (linear scaling)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/887/1*qDVIO-ET3MAiu9fBzF2_HA.png" /></figure><h3>สรุป</h3><p>Mindset ที่อยากให้ทีมมีร่วมกันคือ เราทำ Performance Test เพื่อหาคำตอบสำหรับข้อกังวลต่างๆที่มีของระบบ รวมถึงทำการเก็บค่า (benchmark) เพื่อใช้เปรียบเทียบ หรือนำไปใช้คำนวณในการขยายระบบเพื่อรองรับ traffic/load ที่มีมากขึ้นได้</p><p>Performance Test ที่ดีคือ</p><ul><li>มีผลลัพธ์ที่เชื่อถือได้</li><li>ตอบโจทย์และสร้างความมั่นใจได้</li><li>ตัวเลขผลลัพธ์เอาไปคำนวณเพื่อการวางแผนการจัดการ resource ได้</li><li>สามารถทดสอบซ้ำได้เรื่อยๆโดยยังสามารถเปรียบเทียบผลลัพธ์ก่อนหลังได้</li></ul><p>ใครสนใจอยากมีประสบการณ์สร้างซอฟต์แวร์ที่มีประสิทธิภาพและมีผู้ใช้เป็นจำนวนมาก เรียนเชิญทางนี้ <a href="https://bit.ly/3L23td4">join us!</a>☺</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a23ac498e848" width="1" height="1" alt=""><hr><p><a href="https://life.lmwn.com/performance-test-%E0%B8%A2%E0%B8%B1%E0%B8%87%E0%B9%84%E0%B8%87%E0%B9%83%E0%B8%AB%E0%B9%89-make-sense-a23ac498e848">Performance Test ยังไงให้ make sense</a> was originally published in <a href="https://life.lmwn.com/">Life@LINE MAN Wongnai</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Performance is a Feature]]></title>
            <link>https://life.lmwn.com/performance-is-a-feature-e10411ac118a?source=rss-8b8749c1a86------2</link>
            <guid isPermaLink="false">https://medium.com/p/e10411ac118a</guid>
            <category><![CDATA[qa]]></category>
            <category><![CDATA[performance-test-design]]></category>
            <category><![CDATA[performance-test]]></category>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[engineering2022]]></category>
            <dc:creator><![CDATA[Nutthaporn Onsiri]]></dc:creator>
            <pubDate>Fri, 04 Feb 2022 08:41:09 GMT</pubDate>
            <atom:updated>2022-02-08T06:29:42.351Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bP_bcniA752uc2jRc6UgoQ.png" /></figure><p><a href="https://en.wikipedia.org/wiki/Software_performance_testing">Performance Test</a> คือการเทสต์ประเภทหนึ่งในบรรดา<a href="https://en.wikipedia.org/wiki/Non-functional_testing"> Non-functional Testing</a> ซึ่งมีส่วนสำคัญอย่างยิ่ง โดยเฉพาะกับระบบที่ต้องการความเสถียรอย่างมาก</p><p>หน้าที่ของ Performance Test เป็นการทดสอบว่าซอฟต์แวร์ที่เราโฮสต์อยู่ใน environment ที่ เซ็ตอัพขึ้นมานั้นทำงานได้ดีแค่ไหน? เสถียรหรือไม่? ช้าหรือเปล่า?</p><p>บทความนี้เขียนมาเพื่อแชร์ประสบการณ์การทำ Performance Test ที่ดี ในประเด็นเรื่องสิ่งที่ทีมเทสต์ควรทำตั้งแต่เริ่มต้นคุย Requirement เพื่อให้การวัดและผลลัพธ์ของ Performance Test ที่อยู่ในเฟสท้ายๆ ราบรื่นดังที่หวัง</p><blockquote>ผู้เขียนเป็น Staff Engineer ฝั่ง QA ตอนนี้งานหลักๆ คือการทำ Performance Test ของ บริการต่างๆ ใน LINE MAN Wongnai</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*1ucOfqrrOs5LlrrK.jpg" /></figure><h3><strong><em>ทำไมถึงต้องพูดเรื่อง Performance concerns as a requirement ก่อน</em></strong></h3><p>ปรกติแล้ว กว่าจะถึงช่วงของการทำ Performance Test นั้น ซอฟต์แวร์ที่เราต้องการเทสต์ต้องพัฒนามาจนเสร็จแล้ว บางทีอาจถึงขั้นรับรองว่าฟีเจอร์ครบถ้วน (sign-off functionality test) มาแล้วด้วยซ้ำ</p><p>ประเด็นสำคัญว่า Performance Test จะผ่านหรือไม่ ขึ้นกับว่าตอนพัฒนาซอฟต์แวร์ เราทำแบบคำนึงถึงปัญหาประสิทธิภาพและวิธีป้องกัน (performance concerns + prevention) แล้วหรือยัง ถ้าเตรียมเรื่องนี้ไว้แล้ว ก็มั่นใจในระดับว่าผลการเทสต์น่าจะราบรื่นประมาณหนึ่ง</p><p>แต่ถ้ารีบพัฒนาให้เสร็จโดยไม่ได้มี performance concerns ก่อน แล้วกะมาวัดใจตอนด่าน Performance Test เลยว่าจะผ่านมั้ย อาจมีแนวโน้มว่าผลอาจไม่ได้สวยงามดังที่หวัง</p><p><strong>ข่าวร้ายคืออะไร…</strong></p><ul><li>ข่าวร้ายคือถ้า Performance Test ไม่ผ่าน อาจต้องเอาซอฟต์แวร์ทั้งตัวกลับมาออกแบบโซลูชันใหม่ แล้วเริ่มต้นใหม่ทั้งหมด (เสียแรงและเวลาที่ทำมาก่อนหน้าไปแบบสูญเปล่า =___= )</li><li>แต่ทำใหม่ก็อาจยังดี เพราะมีข่าวร้ายที่แย่กว่านั้น คือรีบเอาฟีเจอร์ขึ้นระบบจริง (production) โดยลัดขั้นตอนทำ Performance Test ไป จนไปเกิดปัญหาบน production ขณะรันงานจริงๆ จนสุดท้ายต้อง rollback หรือปิดฟีเจอร์นี้ไป นอกจากต้องเสียแรงเพื่อทำใหม่แล้ว ยังมีความเสียหายเรื่องเงินด้วย</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*vuO-MDPvgYIcAFY0egVjMw.png" /></figure><p><strong>ทำยังไงไม่ให้เกิดข่าวร้าย?</strong></p><p>คำตอบอยู่ที่จุดเริ่มต้น ตอนวิเคราะห์ความต้องการใช้งาน (requirement analysis) และตอนเริ่มออกแบบระบบ (implementation design) เราต้องมองเรื่อง Performance เป็น ส่วนหนึ่งของ requirements ด้วย</p><p><strong>เริ่มยังไง?</strong></p><p>จากที่ผู้เขียนได้ทำงานด้าน Performance Test มา คิดว่ามีหลักที่ต้องพิจารณาอยู่ 4 ข้อ ตามรูป</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/864/1*wSy2sEyGY0in5EH3P6OwWQ.png" /></figure><p><strong>ทีมควรคุยกันว่า..</strong></p><ul><li>ฟีเจอร์นี้ มี <strong><em>Traffic</em></strong> หนักแค่ไหน?</li><li>Request/Response-Input/Output —<em> </em><strong><em>Data Size</em></strong> ใหญ่แค่ไหน?</li><li><strong><em>Latency</em></strong> — Response time ควรจะเร็วแค่ไหน?</li><li><strong><em>Load</em></strong> — ไปอยู่ที่ไหนบ้าง?</li></ul><p>มาดูตัวอย่างกันดีกว่าเพื่อให้เห็นภาพชัดเจนมากขึ้น ☺</p><p><strong>ตัวอย่างที่ 1 — </strong>ทำหน้าแอดมิน เพื่อใช้อัพโหลดไฟล์ CSV แล้วประมวลผลเพื่อสร้างคูปองส่วนลด</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/769/1*-x5mK2yrKho-0MRApPI6vQ.png" /><figcaption>รูป Design คร่าวๆ ของระบบตัวอย่างที่ใช้สร้างคูปอง</figcaption></figure><p>เราลองมาประเมินความต้องการด้านประสิทธิภาพ (ทำ performance concerns discussion) กันดีกว่า</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/826/1*E_20dmiZbV3KjT8gZqAnTQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/815/1*ES8bUc0CT_0UD45ISm392g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VHPnApzAaklqhEEGWVlLIw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/843/1*6bn8jC3hhzTc60gFlTGWmA.png" /></figure><p>คราวนี้เรามาเปรียบเทียบกันในเคสที่เราไม่ได้มี performance concerns เลย กับที่เรามี performance concerns เป็นส่วนหนึ่งของ requirement</p><p><strong>Define Exit Criteria</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XktErnwyJhm5v827rjZ5Kw.png" /><figcaption>สังเกตตัวหนังสือสีน้ำเงิน คือ criteria ที่เพิ่มเข้ามา หลังคุย performance concerns discussion แล้ว</figcaption></figure><p>สมมติว่าผ่านการเทสต์ได้ตาม exit criteria และนำขึ้น production ไปแล้ว…</p><p><strong>Real-world scenarios — ผู้ใช้งานกลุ่มแอดมินนำไปใช้งานจริง…</strong></p><p>แอดมินต้องการอัพโหลดไฟล์ CSV ขนาดใหญ่ที่มี 80K แถว (ขนาดไฟล์ 48MB) เพื่อสร้างคูปองบนเครื่อง production โดยมีแอดมินที่รับผิดชอบงานเรื่องคูปองอยู่ทั้งหมด 3 คน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VmcrAR5CwLpHl9rybCl2iw.png" /><figcaption>Feedback จาก Admin users และ Incident ที่เกิดขึ้นหลังจาก Released to Production</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/670/1*Lz-icpbJ0AnmMnYf1YitaA.png" /></figure><p>สังเกตได้ว่าปัญหาทั้งหมดที่เกิดขึ้น สุดท้ายคือต้องกลับไปแก้ใหม่ตั้งแต่ตอนออกแบบเลย และต้องพัฒนาใหม่ทั้งหมด เนื่องจากระบบใช้งานในสถานการณ์จริง (real-world scenario) ไม่ได้ ☹</p><p><strong>สิ่งที่เรียนรู้จากตัวอย่างนี้…</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oJLPbO7Iwz8gC_Qf_MVASA.png" /></figure><p><strong>ตัวอย่างที่ 2 — </strong>ทำหน้า Home ของแอพใหม่ ซึ่งเป็นหน้าเริ่มต้น (landing page) มีเซคชั่นคอนเทนต์ต่างๆ ในหน้าเดียว</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/838/1*wGRQp8AQarC-8pDFqq7jZA.png" /><figcaption>ดีไซน์คร่าวๆ ที่ทีมลองร่างกันมาก่อน performance concerns discussion</figcaption></figure><p>มาลองทำ performance concerns discussion กัน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/826/1*r8n8QLkJGmuxbumt7yHd6g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7028fzUCzwT_TY0aQyAxag.png" /></figure><p><strong><em>Worst-case scenarios แบบขึ้นระบบโดยไม่ได้ทำ performance concerns discussion กันมาก่อน</em></strong></p><ul><li>ผู้ใช้แจ้งมาเป็นจำนวนมาก ว่าแอพหน้าแรกโหลดช้ามาก ประสบการณ์ใช้งานไม่ดีเลย กว่าปุ่มจะขึ้นให้ไปหน้าสั่งออเดอร์รอนานมากกก</li><li>ผู้ใช้แจ้งว่า เปิดแอพนี้ทีไร เน็ตหมดเร็วทุกที</li><li>อุปกรณ์มือถือบางเครื่องเปิดหน้าแรกมาก็เจอแอพแครชไปเลย</li><li>ช่วง peak time ที่คนใช้เยอะๆ เจอปัญหาว่าระบบ content service ล่ม จนผู้ใช้ไม่สามารถเข้ามาสั่งออเดอร์ได้</li><li>ช่วง peak time เจอปัญหาฐานข้อมูลมีโหลดหนักมากก จนทำให้บริการอื่นที่ใช้ ฐานข้อมูลตัวเดียวกัน มีปัญหาไปด้วย</li></ul><p>แต่ถ้าทีมมี performance concerns discussion ก่อน จะได้โซลูชันประมาณนี้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/652/1*Z39JITkltpg9_6L8ZpVfzg.png" /><figcaption>sample solution จากตัวอย่างนี้</figcaption></figure><p>จากตัวอย่างนี้ โซลูชันที่ทีมเลือกมี 3 อย่างคือ lazy loading, client-side caching, server-side caching ซึ่งใช้ป้องกันปัญหาได้ครอบคลุมทั้งหมด</p><ol><li><strong>ทำไมถึงต้อง lazy loading ?</strong></li></ol><ul><li>Lazy loading คืออะไร <a href="https://www.imperva.com/learn/performance/lazy-loading">บทความ</a> นี้อธิบายได้ดี — แต่ถ้าให้อธิบายง่ายๆ คือการโหลดเฉพาะบางอย่างของหน้าเพจก่อน เท่าที่ผู้ใช้มองเห็นแหละโหลดเพิ่มเมื่อผู้ใช้เลื่อนหน้าจอลงมา</li><li>ปุ่มนำทาง (navigation) ไปหน้าอื่นๆ ส่วนมากอยู่ที่ด้านบนจากเพจ ถ้าผู้ใช้เห็นปุ่มนี้เร็ว ก็สามารถ navigate ไปหน้าอื่นได้อย่างรวดเร็ว</li><li>สมมติว่าหัวข้อคอนเทนต์ถัดมาจากแถบนำทางแถวบนสุดคือ โฆษณาโปรโมชั่นเด็ด การยิ่งโหลดโปรโมชั่นเร็วจะสามารถดักสายตาของผู้ใช้ได้ทัน ก่อนที่ผู้ใช้จะ ย้ายไปหน้าอื่น (หากโหลดโปรโมชั่นช้า → แสดงผลช้า → เสียโอกาสทาง ธุรกิจไปแทน)</li><li>ลดขนาดไฟล์ที่ส่ง (response size) — เพราะเราจะส่ง request ไป GET เฉพาะเซคชั่นที่ผู้ใช้มองเห็นอยู่เท่านั้น ทำให้ระยะเวลาตอบสนอง (response time) ดีขึ้น ในทางตรงกันข้ามถ้า response size ใหญ่อาจทำให้มือถือบางเครื่องที่มีแรมน้อยๆ แครชไปเลย</li><li>ลดโหลดที่ฝั่งเซิร์ฟเวอร์ได้ด้วย — คือถ้าผู้ใช้ไม่เลื่อนลงมาเพิ่ม request ก็ไม่ต้องยิงมา GET เนื้อหาส่วนนั้น</li></ul><p><strong>2. ทำไม ถึงต้อง Client-Side Caching?</strong></p><ul><li>หากผู้ใช้สลับไปมาระหว่างหน้าอื่นและหน้า Home จะทำให้มีประสบการณ์ที่ดีขึ้น เพราะฝั่งไคลเอนต์จะอ่านเนื้อหาจากแคชในเครื่องแทน ไม่ต้องยิง request มาที่ เซิร์ฟเวอร์อีก จนกว่าจะหมด <a href="https://en.wikipedia.org/wiki/Time_to_live">TTL</a> ของแคช</li><li>เป็นการลดโหลดในฝั่งเซิร์ฟเวอร์ด้วย</li></ul><p><strong>3. ทำไมถึงต้อง Server-Side Caching?</strong></p><ul><li>ข้อมูลที่มีการเรียกซ้ำๆ บ่อยๆ การเข้าถึงฐานข้อมูลทุกรอบ เป็นเรื่องที่น่ากังวล</li><li>การทำแคชจะช่วยลดโหลดที่เกิดกับฐานข้อมูลได้มาก และไม่ไปกระทบบริการตัวอื่นที่แชร์ฐานข้อมูลก้อนเดียวกัน</li></ul><p>ในความเป็นจริง เราสามารถเลือกใช้โซลูชันได้หลากหลาย ขึ้นกับฟีเจอร์นั้นๆด้วย</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/1*BlffEjZu1HJ7Jl57NnOrxQ.png" /><figcaption>Design ที่มี lazy loading + server-side cache + client-side cache แล้ว</figcaption></figure><p>บทเรียนจากตัวอย่างนี้…</p><p>การหาโซลูชันด้าน performance ไม่ได้หมายถึงโซลูชันที่ฝั่งเซิร์ฟเวอร์อย่างเดียว ตัวอย่างนี้อยากให้เห็นว่าโซลูชันจากฝั่งไคลเอนต์ก็ช่วยแก้ปัญหา performance ได้</p><h3>สรุป</h3><p><strong><em>เราควรทำ performance concerns discussion ตั้งแต่ตอน requirement analysis เพราะ…</em></strong></p><ul><li>ทุกคนในทีมเห็นรูปแบบการใช้งานจริงของผู้ใช้</li><li>ทีมพัฒนามีความตระหนักถึงปัญหาร่วมกัน</li><li>ทีมพัฒนาจะออกแบบระบบโดยที่ต้องเผื่อเรื่อง performance ด้วย</li><li>performance concerns ต่างๆมีแผน incident prevention ลดโอกาสการเกิด production incidents</li><li>ทีมออกฟีเจอร์ได้อย่างมั่นใจมากขึ้น ลดโอกาสการเกิด rollback/rework/retest</li><li>Exit criteria ชัดเจนมากขึ้น</li><li>QA ออกแบบการเทสต์โดยอิงจากเคสการใช้งานจริง และสามารถเอาไปกำหนด performance test scenario ได้ต่อ</li><li>ตอนรีวิวโค้ด — โปรแกรมเมอร์จะมีเป้าในการรีวิวส่วนของ performance เพิ่มมาด้วย</li></ul><p>บทความหน้าเป็นเรื่องการออกแบบ performance test scenario ที่ดีว่าควรเป็นอย่างไร</p><p>ใครสนใจอยากมีประสบการณ์สร้างซอฟต์แวร์ที่มีประสิทธิภาพและมีผู้ใช้เป็นจำนวนมาก เรียนเชิญทางนี้ <a href="https://bit.ly/3L23td4">join us!</a>☺</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e10411ac118a" width="1" height="1" alt=""><hr><p><a href="https://life.lmwn.com/performance-is-a-feature-e10411ac118a">Performance is a Feature</a> was originally published in <a href="https://life.lmwn.com/">Life@LINE MAN Wongnai</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>