<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Boom Tanawat on Medium]]></title>
        <description><![CDATA[Stories by Boom Tanawat on Medium]]></description>
        <link>https://medium.com/@FlyingSalmon?source=rss-2bec54142d8f------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*NRHnlwzYPJkrZ3184PzOig.jpeg</url>
            <title>Stories by Boom Tanawat on Medium</title>
            <link>https://medium.com/@FlyingSalmon?source=rss-2bec54142d8f------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 05:54:28 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@FlyingSalmon/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[SLI, SLO, SLA คืออะไร — รู้ไว้ใช้คุยกับคนอื่น]]></title>
            <link>https://medium.com/@FlyingSalmon/sli-slo-sla-%E0%B8%84%E0%B8%B7%E0%B8%AD%E0%B8%AD%E0%B8%B0%E0%B9%84%E0%B8%A3-%E0%B8%A3%E0%B8%B9%E0%B9%89%E0%B9%84%E0%B8%A7%E0%B9%89%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B8%84%E0%B8%B8%E0%B8%A2%E0%B8%81%E0%B8%B1%E0%B8%9A%E0%B8%84%E0%B8%99%E0%B8%AD%E0%B8%B7%E0%B9%88%E0%B8%99-52a5756d4ab2?source=rss-2bec54142d8f------2</link>
            <guid isPermaLink="false">https://medium.com/p/52a5756d4ab2</guid>
            <category><![CDATA[site-reliability-engineer]]></category>
            <dc:creator><![CDATA[Boom Tanawat]]></dc:creator>
            <pubDate>Sun, 08 Nov 2020 07:04:02 GMT</pubDate>
            <atom:updated>2020-11-08T08:44:03.345Z</atom:updated>
            <content:encoded><![CDATA[<h3>SLI, SLO, SLA คืออะไร — รู้ไว้ ใช้คุยกับ users</h3><p>ผมเคยคิดว่า SLI, SLO, SLA อะไรพวกนี้เป็นเรื่องของ System engineer กับ Site reliability engineer แต่จริงๆแล้วไม่ว่าจะเป็นใคร สิ่งที่ทุกคนต้องเจอเหมือนกันคือความคาดหวังของลูกค้าครับ</p><p>SLI, SLO, SLA สามตัวนี้จะช่วยแปลง requirements ออกมาเป็นตัวเลขที่สามารถประเมินผลได้ ทำให้เรามีเป้าหมายที่ชัดเจนและสามารถนำไป action ต่อได้โดยไม่ใช่แค่ “ดีขึ้นอีก ดีกว่านี้ ดีสุดๆ”</p><p>ในบทความนี้ผมจะอธิบายว่า SLI, SLO, SLA คืออะไรและจะยกตัวอย่างประกอบด้วยกรณีของ predictive maintenance project ครับ และสามารถติดตามอัพเดทบทความต่อไปได้ที่เพจ <a href="https://www.facebook.com/HardWaysToGetThingsDone/">ห๊ะ! ต้องใช้ท่ายากขนาดนี้เลย ?</a></p><h3>SLI — Service Level Indicators</h3><p>SLI คือสิ่งที่เราจะวัดและมอนิเตอร์เพื่อดูพฤติกรรมของระบบ ซึ่ง SLI ที่ดีควรจะเป็น metric ที่แปลงเป็นตัวเลข 0–100% ได้ เพื่อความชัดเจนในการประเมินผลและง่ายต่อการนำไปใช้สร้าง SLO</p><p>ตัวอย่าง : ลูกค้ามีเครื่องจักรอยู่ตัวนึงและต้องการระบบที่คำนวณ health score ของเครื่องจักรออกมาทุกๆชั่วโมงเพื่อดูว่าพฤติกรรมของเครื่องจักรผิดไปจากปกติหรือไม่</p><p>SLI คือจำนวนของ health score รายชั่วโมง<br>100% คือทุกๆ 1 ชั่วโมง ระบบสามารถคำนวณ health score ออกมาได้ 1 ตัว <br>90% คือผ่านไป 100 ชั่วโมงแล้ว ระบบคำนวณ health score รายชั่วโมงแค่ 90 ตัว</p><h3>SLO — Service Level Objectives</h3><p>SLO คือเป้าหมายของ SLI ในระบบ ที่เราต้องการ</p><p>ตัวอย่าง : ต้องการ SLI health score รายชั่วโมงที่ 99.95% แปลว่าเมื่อเวลาผ่านไป 10,000 ชั่วโมง จะต้องมี health score รายชั่วโมงออกมา 9,995 ตัว ขาดไปได้แค่ 5 ตัวเท่านั้น ซึ่งสาเหตุอาจเกิดมาจาก downtime หรือการ planned maintenance ของระบบ</p><p>SLO เป็นตัวเลขที่สำคัญมากเพราะมันจะบอกเราว่าควรเอาเวลาไปซ่อมระบบเก่าให้ดีขึ้นหรือควรเอาเวลาไปพัฒนา feature ใหม่ๆ ถ้าระบบสามารถทำได้ตามเป้าหมายของ SLO แล้วก็ไม่ต้องเสียเวลาไปปรับจูนหรือเพิ่ม resource ให้ระบบ</p><h3>SLA — Service Level Agreements</h3><p>SLA คือข้อตกลงของ SLO ระหว่างเรากับลูกค้ารวมถึงสิ่งที่เราจะต้องรับผิดชอบหากระบบไม่สามารถทำตามข้อตกลงนั้นได้ โดยปกติแล้วเราสามารถกำหนด internal SLO สำหรับในทีมของเราเอง แล้วกำหนด SLA กับลูกค้าให้หลวมกว่า internal SLO นิดหน่อยได้</p><p>ตัวอย่าง : SLO ภายในทีมอยู่ที่ 99.95% ส่วน SLA ที่ตกลงกันแล้วลูกค้ายอมรับได้อยู่ที่ 99.90% ซึ่งหากเดือนไหนทำตาม SLA ไม่ได้ จะต้องคืนเงินค่า service รายเดือนให้กับลูกค้าครึ่งนึง</p><p>การกำหนด SLI, SLO, SLA มีข้อควรระวังคือต้องดูดีๆว่าส่วนไหนเป็นส่วนที่เรารับผิดชอบจริงๆ เช่นตามตัวอย่างที่ผมยกมา SLI คือจำนวนของ health score รายชั่วโมง แต่ถ้า health score รายชั่วโมงนั้นไม่สามารถคำนวณได้ เนื่องจาก sensor ที่เครื่องจักรเสียทำให้ไม่มีข้อมูลเข้าไปใน database แบบนี้ก็ไม่ควรจะเอาไปคำนวณใน SLO ครับ</p><p>ถ้าจะยกตัวอย่าง SLI ในส่วนของการทำ machine learning model ก็อาจจะเป็นความเร็วในการ predict ค่าของโมเดลครับ เช่น model นี้ควรจะ predict ค่าออกมาได้ภายใน 2 นาที และมี SLO อยู่ที่ 99% แปลว่า predict ค่า 100 ครั้ง จะใช้เวลาเกิน 2 นาทีได้แค่ 1 ครั้ง</p><p>การกำหนด SLI, SLO, SLA ได้ดี จะทำให้เรามี metric ที่ชัดเจนในการประเมินระบบของเราครับ ถ้าไม่มีตัวเลขพวกนี้เราจะไม่รู้เลยว่าระบบของเราดีหรือเปล่า หรือควรจะแก้ไขตรงไหน รวมถึงการกำหนดเป้าหมายอื่นๆในทาง business ก็จะยากด้วยครับ</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=52a5756d4ab2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Pure function — ปราบพยศตัวแปรใน Jupyter Notebook]]></title>
            <link>https://medium.com/@FlyingSalmon/pure-function-%E0%B8%9B%E0%B8%A3%E0%B8%B2%E0%B8%9A%E0%B8%9E%E0%B8%A2%E0%B8%A8%E0%B8%95%E0%B8%B1%E0%B8%A7%E0%B9%81%E0%B8%9B%E0%B8%A3%E0%B9%83%E0%B8%99-jupyter-notebook-d618f4c78f41?source=rss-2bec54142d8f------2</link>
            <guid isPermaLink="false">https://medium.com/p/d618f4c78f41</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[pure-function]]></category>
            <category><![CDATA[programming]]></category>
            <dc:creator><![CDATA[Boom Tanawat]]></dc:creator>
            <pubDate>Sun, 04 Oct 2020 06:32:31 GMT</pubDate>
            <atom:updated>2020-10-05T02:58:30.988Z</atom:updated>
            <content:encoded><![CDATA[<h3>Pure function — ปราบพยศตัวแปรใน Jupyter Notebook</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UBG_I_EsKpgcsIMEhI6Gjg.png" /></figure><p>ช่วงนี้ผมใช้ jupyter notebook บ่อยมากเวลาอยากลองไอเดียใหม่ๆ การที่ notebook สามารถเลือกรันโค้ดแต่ละช่วงได้ ทำให้ผมเขียนโค้ดได้ไวขึ้น พวก data transform ที่ใช้เวลานานๆก็รันแค่ครั้งเดียวแล้วเรียกผลลัพธ์มาใช้เมื่อไหร่ก็ได้ ยิ่งถ้าใช้ notebook กับ library pandas นี่เรียกได้ว่าชีวิตสะดวกสบายเลย</p><p>แต่ผมเจอปัญหาบ่อยเวลาที่โค้ดใน notebook มันยาวมากๆ มีหลาย cell หลาย data transform โค้ดแต่ละช่วงก็โดนรันข้ามไปข้ามมาไม่ได้เรียงลำดับ ตัวแปรบางตัวก็เปลี่ยนไปแบบไม่ได้ตั้งใจ ทำให้ต้องรัน notebook ใหม่ทั้งหมดตั้งแต่ต้น ถ้าไฟล์ข้อมูลใหญ่หน่อยหรือบาง transform ใช้เวลานานก็กดทิ้งไว้แล้วผมก็ไปชงกาแฟรอเลย</p><p>ไม่แน่ใจว่ามีคนเจอปัญหาคล้ายๆผมมั้ยเวลาใช้ jupyter notebook (หรือเป็นเพราะผมเขียนโค้ดไม่สะอาดเอง) แต่พอดีผมเคยอ่านเจอเรื่อง pure function เลยคิดว่ามันน่าจะใช้แก้ปัญหานี้ได้</p><h4>Pure Function — Butter to my Bread</h4><p>หลักการของ pure function คือ “ผลลัพธ์ที่ได้จะขึ้นอยู่กับ input ที่ใส่เข้าไปเท่านั้น และการทำงานของมันจะต้องไม่เปลี่ยนค่าตัวแปรอื่นที่อยู่นอกฟังก์ชัน”</p><pre>my_number = 5</pre><pre><strong>def</strong> plus_one(number):<br>    <strong>return</strong> number+1</pre><pre><strong>def</strong> plus_one_impure(number):<br>    my_number = my_number+1<br>    <strong>return</strong> my_number</pre><p>จากโค้ดด้านบน plus_one เป็น pure function เพราะการใช้งานไม่ทำให้ตัวแปรนอกฟังก์ชันเปลี่ยนไป ทำแค่คำนวณแล้วให้ผลลัพธ์ออกมา</p><p>plus_one_impure ไม่เป็น pure_function เพราะคำนวณผลลัพธ์แล้วเอากลับไปเก็บในตัวแปรนอกฟังก์ชัน ทำให้ my_number จาก 5 กลายเป็น 6</p><h4>Pure Function กับ Pandas Dataframe</h4><p>การทำ data transform ด้วย pandas ต้องคอยระวังดีๆครับ เพราะมีหลาย method ที่ทำแล้วเอาผลลัพธ์ไปแทนที่ dataframe ต้นฉบับเลย ทำให้บางที data ในตัวแปรเดิมของเราเปลี่ยนไปแบบไม่รู้ตัว</p><p>วิธีง่ายๆที่ผมชอบใช้คือสร้างตัวแปรในฟังก์ชันมา copy ตัวแปร input แล้วจะทำ transform อะไรก็ไปทำกับตัวแปรในฟังก์ชัน โดยที่ไม่ต้องยุ่งกับ input ครับ</p><pre>data = pandas.DataFrame(...)</pre><pre><strong>def</strong> transform_1(dataframe):<br>    temp = dataframe.copy()<br>    operation_on_temp<br>    another_operation<br>    <strong>return</strong> output</pre><pre>data_transformed = transform_1(data)</pre><p>พอทุกขั้นตอนการทำ data transform ของเราถูกเขียนด้วย pure function เราก็มั่นใจได้ว่าตัวแปรที่เราไม่ต้องการให้เปลี่ยนจะไม่ถูกเปลี่ยน ทำให้เรา debug หรือเขียน test ได้ง่ายขึ้นครับ</p><p>สามารถติดตามอัพเดทบทความต่อไปได้ที่เพจ <a href="https://www.facebook.com/HardWaysToGetThingsDone/">ห๊ะ! ต้องใช้ท่ายากขนาดนี้เลย ?</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d618f4c78f41" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Reproducibility, reproducibility, reproducibility — สิ่งที่ Data pipeline ต้องการจริงๆคือ…]]></title>
            <link>https://medium.com/@FlyingSalmon/reproducibility-reproducibility-reproducibility-%E0%B8%AA%E0%B8%B4%E0%B9%88%E0%B8%87%E0%B8%97%E0%B8%B5%E0%B9%88-data-pipeline-%E0%B8%95%E0%B9%89%E0%B8%AD%E0%B8%87%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B8%88%E0%B8%A3%E0%B8%B4%E0%B8%87%E0%B9%86%E0%B8%84%E0%B8%B7%E0%B8%AD-b923ae324778?source=rss-2bec54142d8f------2</link>
            <guid isPermaLink="false">https://medium.com/p/b923ae324778</guid>
            <category><![CDATA[data-engineering]]></category>
            <dc:creator><![CDATA[Boom Tanawat]]></dc:creator>
            <pubDate>Wed, 23 Sep 2020 13:40:56 GMT</pubDate>
            <atom:updated>2020-09-23T14:11:42.774Z</atom:updated>
            <content:encoded><![CDATA[<h3>Reproducibility, reproducibility, reproducibility — สิ่งที่ Data pipeline ต้องการจริงๆคือ reproducibility หรือเปล่า ?­</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*b6vmzWxSIjklYKXUE-1xJQ.jpeg" /></figure><p>สามารถติดตามอัพเดทบทความต่อไปได้ที่เพจ <a href="https://www.facebook.com/HardWaysToGetThingsDone/">ห๊ะ! ต้องใช้ท่ายากขนาดนี้เลย ?</a></p><p>พอดีในทีมของผมมีคนที่เก่ง machine learning มากๆ การทำโปรเจคช่วงนี้ผมเลยไม่ค่อยได้ทำ model มากนัก แต่จะใช้เวลาส่วนใหญ่ไปกับการทำ data pipeline</p><p>สิ่งที่ทำให้ผมเศร้าที่สุดในตอนเช้าคือการเปิดโค้ดของเมื่อวานขึ้นมา รันฟังก์ชันเดิมกับข้อมูลชุดเดิมแต่ได้ผลลัพธ์ไม่เหมือนเดิม ซึ่งปัญหานี้เกิดขึ้นไม่บ่อยเท่าไหร่ แต่ก็ทำให้ผมเสียความมั่นใจในการเป็น Data scientist พอสมควร</p><p>ในทางวิทยาศาสตร์ ถ้าเราจะเชื่อมั่นในผลลัพธ์ของเราได้ กระบวนการที่ใช้จะต้องมี “reproducibility” หรือ “ความสามารถในการทำซ้ำ”— ถ้าผมใช้กระบวนการเดิมกับข้อมูลชุดเดิม ผลลัพธ์จะต้องเหมือนเดิม ไม่มีทางเป็นอื่น</p><p>“แปลว่า Data pipeline ที่ดีจะต้องมี Reproducibility ถูกมั้ย ?”</p><p>ถูกครับ…แต่ reproducibility เป็นแค่ส่วนหนึ่งเท่านั้น คุณสมบัติที่ pipeline ควรจะมีจริงๆคือ idempotence ครับ</p><p>­</p><h4>Idempotence — ภาษาไทยเรียกว่า นิจพล (ห๊ะ?)</h4><p>ในหัวข้อนี้ผมขออธิบาย idempotence ด้วยสมการคณิตศาสตร์นะครับ ส่วนการใช้งานในด้าน data ผมจะยกตัวอย่างในหัวข้อถัดไปครับ</p><p>function ไหนที่มีคุณสมบัติ idempotence ถึงใช้หลายๆครั้งก็จะมีค่าเท่ากับใช้แค่ครั้งเดียว ยกตัวอย่างเช่น f(x) = x+0 ไม่ว่าจะใช้ f(x) กี่ครั้ง แต่ผลลัพธ์มีค่าเท่ากับการใช้ f(x) ครั้งเดียว</p><p>f(f(1)) = 1 ให้ผลลัพธ์เหมือน f(x) = 1</p><p>ถ้าจะให้อธิบายความแตกต่างของ idempotence กับ reproducibility ผมก็ขอยกตัวอย่างอีก function นึงละกันครับ นั่นคือ g(x) = x+1</p><p>g(x) มีคุณสมบัติ reproducibility เพราะถ้า x เป็นค่าเดิม ยังไงผลลัพธ์ของ g(x) ก็เหมือนเดิม แต่ g(x) ไม่มี idempotence เพราะการใช้ g(x) หลายๆครั้งมีค่าไม่เท่ากับการใช้ g(x) ครั้งเดียว</p><p>g(g(1)) = 3 ซึ่งให้ผลลัพธ์ไม่เหมือน g(1) = 2</p><p>­</p><h4>แล้ว Idempotence มีประโยชน์ยังไงกับการทำ Data pipeline ?</h4><p>pipeline แรกที่ผมได้ลองเขียนคือการโหลดไฟล์ csv ขึ้นไปไว้ใน database บน cloud ครับ เป็นโปรแกรมเล็กๆ ใช้ Python เขียนไม่กี่บรรทัดก็เสร็จ ทุกอย่างดูง่ายดายมาก รันแล้วได้ผลลัพธ์ไปโผล่บน cloud อย่างสวยงาม ชีวิตมีความสุขครับ</p><p>จนผมมารู้ทีหลังว่าไฟล์ csv นั้นมีข้อมูลไม่ครบ ต้องไปขอไฟล์ใหม่ที่มีข้อมูลเพิ่มมา</p><p>ถ้าผมรัน pipeline อีกรอบ database บน cloud ผมจะมีข้อมูลที่เพิ่มมาใหม่พร้อมกับข้อมูลเก่าไปโผล่ซ้ำ(duplication) ต้องมา deduplicate ทีหลัง ปัญหานี้เกิดขึ้นเพราะผมสนใจแค่ reproducibility ของโปรแกรม แต่ไม่ได้คิดถึง idempotence ครับ</p><p>“รันหลายๆครั้งต้องได้ผลลัพธ์เท่ากับรันครั้งเดียว”</p><p>ผมเลยแก้ pipeline ด้วยการเปลี่ยนจาก append table เป็น overwrite table แทนครับ ทำให้ข้อมูลเก่าที่มีอยู่ใน table อยู่แล้วโดนเขียนทับโดยข้อมูลใหม่ทั้งหมด เท่านี้ก็ไม่มีข้อมูลซ้ำกันแล้วครับ</p><p>­</p><h4>สรุป</h4><p>ผมว่าการเข้าใจความแตกต่างระหว่าง reproducibility กับ idempotence นั้นสำคัญมาก ถ้าดูเผินๆอาจจะมีนิยามใกล้เคียงกัน แต่ถ้าเข้าใจผิดก็ทำให้เกิดปัญหาได้ครับ หลังจากนี้ทุกครั้งที่ผมทำ data pipeline คงต้องคอยถามตัวเองว่า</p><p>“ถ้ารันซ้ำกันหลายๆครั้งจะเกิดอะไรขึ้น ?”</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b923ae324778" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[From business to production — ขั้นตอนในการทำ data project มีอะไรบ้าง ?]]></title>
            <link>https://medium.com/@FlyingSalmon/from-business-to-production-%E0%B8%82%E0%B8%B1%E0%B9%89%E0%B8%99%E0%B8%95%E0%B8%AD%E0%B8%99%E0%B9%83%E0%B8%99%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B8%97%E0%B8%B3-data-project-%E0%B8%A1%E0%B8%B5%E0%B8%AD%E0%B8%B0%E0%B9%84%E0%B8%A3%E0%B8%9A%E0%B9%89%E0%B8%B2%E0%B8%87-4ac31fc7be67?source=rss-2bec54142d8f------2</link>
            <guid isPermaLink="false">https://medium.com/p/4ac31fc7be67</guid>
            <category><![CDATA[predictive-maintenance]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Boom Tanawat]]></dc:creator>
            <pubDate>Sun, 30 Aug 2020 13:17:25 GMT</pubDate>
            <atom:updated>2020-09-08T13:04:39.000Z</atom:updated>
            <content:encoded><![CDATA[<h3>From business to production — ขั้นตอนในการทำ data project มีอะไรบ้าง ?</h3><p>บทความนี้จะเล่าถึงการทำ data project ตั้งแต่ต้นจนจบว่ามีขั้นตอนยังไงบ้าง เพื่อให้เห็นภาพว่างานทางด้าน data มีอะไรอีกนอกจาก machine learning กับ statistical models</p><p>ในแต่ละขั้นผมจะยกตัวอย่างเคสในการทำ Predictive Maintenance Project (PDM project) ประกอบไปด้วย ซึ่งเป็นโปรเจคที่ทำเพื่อมอนิเตอร์ว่าเครื่องจักรที่กำลังใช้งานมีพฤติกรรมผิดปกติมั้ย โดยดูจากข้อมูล sensors (เช่น อุณหภูมิ การสั่นสะเทือน ความเร็วมอเตอร์)</p><p>สามารถติดตามอัพเดทบทความต่อไปได้ที่เพจ <a href="https://www.facebook.com/HardWaysToGetThingsDone/">ห๊ะ! ต้องใช้ท่ายากขนาดนี้เลย ?</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rJJELlT56Lm6wZG8MojDMQ.png" /><figcaption>From business to production methodology of a data project (based on CRISP-DM)</figcaption></figure><h4><strong>ขั้นที่ 1 Business Understanding — ต้องเริ่มจากเป้าหมาย</strong></h4><p>ผมว่าขั้นตอนนี้สำคัญที่สุดแล้ว เพราะเป็นขั้นตอนแรกของการทำให้ไอเดียกลายเป็นโปรเจคที่จับต้องได้ เริ่มจากการคุยกับลูกค้าเพื่อทำความเข้าใจเป้าหมายกับข้อจำกัดของโปรเจค ว่าสุดท้ายแล้ว data project ชิ้นนี้ทำไปเพื่ออะไร แล้วมีอะไรบ้างที่ต้องทำหรืออะไรเป็นข้อจำกัดที่ทำไม่ได้</p><p>สิ่งที่ผมทำคือการพูดคุย การประชุมออนไลน์ อ่านเอกสาร ศึกษาความรู้ในธุรกิจนั้น และการถามคำถามยาวหลายหน้ากระดาษ จนกว่าจะเข้าใจอย่างถ่องแท้ว่าลูกค้าต้องการอะไร และอะไรคือจุดสำคัญที่จะทำให้โปรเจคนี้สำเร็จ จนสามารถวางบิลจ่ายเงินจบโปรเจคกันได้</p><p>สำหรับ PDM project ผมต้องรู้ว่าเครื่องจักรทำงานยังไง มีพฤติกรรมอะไรบ้าง<br>เครื่องจักรนี้สำคัญแค่ไหน และต้องการระบบ PDM แบบไหน เช่น ให้บอกจำนวนวันในอนาคตที่เครื่องมีโอกาสจะพัง(failure probability) หรือแค่แจ้งเตือนเมื่อมีความผิดปกติเกิดขึ้น(anomalies detection)</p><blockquote>A: “ถ้าระบบมี sensitivity สูง เครื่องจักรผิดปกตินิดเดียวมันก็จะเตือนแล้วครับ”<br>B: “จะเช็คเครื่องจักรแต่ละทีต้องเรียกทีมข้างนอกมาครับ ค่าใช้จ่ายแพงอยู่”<br>A: “งั้นผมจะระวังไม่ให้ sensitivity สูงเกินจนมันเตือนเคสเล็กๆบ่อยเกินไปนะครับ”</blockquote><h4><strong>ขั้นที่ 2 Data Understanding — ทำความเข้าใจกันก่อน</strong></h4><p>ขั้นตอนนี้คือการที่ผมเอาข้อมูลทั้งหมดมาดูเพื่อประเมินว่าจะทำอะไรกับข้อมูลได้บ้าง ซึ่งขั้นนี้จะเป็นตัวตัดสินว่าผลลัพธ์ของ data project จะน่าเชื่อถือรึเปล่า เพราะคุณภาพของผลลัพธ์ขึ้นอยู่กับคุณภาพของข้อมูล</p><p>ถ้าข้อมูลส่วนไหนที่ขาดไปหรือไม่ชัดเจน ผมต้องคุยกับวิศวกรที่ดูแลเครื่องจักรนั้น (domain expert) เพื่อทำความเข้าใจถึงสาเหตุที่ข้อมูลไม่สมบูรณ์ พร้อมกับยืนยันว่าข้อมูลไหนมีคุณภาพเหมาะกับการเอาไปสร้างโมเดล machine learning หรือส่วนไหนควรตัดทิ้ง</p><p>พอจบขั้นตอนนี้ผมจะพอรู้คร่าวๆแล้วว่าต้องใช้เทคนิคในการทำโมเดลแบบไหน และผลลัพธ์ที่คาดหวังไว้จะออกมาประมาณไหน</p><blockquote>A: “ทำไมความเร็วเครื่องจักรช่วงเดือน 11 ถึงตกลงไปเยอะจังครับ”<br>B: “อ๋อ ตอนนั้นปิดเครื่องเพื่อทำ maintenance ปลายปีครับ”<br>A: “โอเคครับ งั้นผมตัดข้อมูลตรงนี้ออก ไม่ได้ใช้ทำโมเดลนะครับ”</blockquote><h4><strong>ขั้นที่ 3 Data Preparation — นี่มันงานหลักของสาย data ชัดๆ</strong></h4><p>การทำ Data understanding ต้องทำความสะอาดข้อมูลเบื้องต้นอยู่แล้วเช่นการจัดการกับข้อมูลที่หายไปเพื่อจะได้แสดงเป็นกราฟสวยๆได้ แต่ในขั้นตอน Data preparation นี้จะเป็นการเตรียมข้อมูลเพื่อนำเข้าโมเดล machine learning</p><p>แต่ละโมเดลต้องการรูปแบบของข้อมูลที่ไม่เหมือนกัน ทำให้บางทีต้องแปลงหน่วยข้อมูลหรือทำ feature engineering เพื่อเปลี่ยนข้อมูลดิบให้เป็นรูปแบบที่เหมาะกับการทำโมเดล (หัวข้อนี้ละเอียดมาก ขอยกไว้เขียนในบทความต่อๆไปครับ)</p><p>ในเคสของ PDM project ผมต้องปรึกษากับ domain expert เพื่อเลือกว่า sensor ไหนควรจะเอามาทำโมเดลเพื่อตอบโจทย์ความต้องการของโปรเจค เช่นเครื่องจักรนี้เคยเสียเพราะอุณหภูมิเปลี่ยนเร็วเกินไป ทำให้ต้องเอา temperature sensor มาเป็นส่วนหนึ่งในการทำโมเดล</p><p>พอเลือก sensor กับวิธีที่ใช้ทำ feature engineering ได้แล้ว ก็จะสามารถวางแผนทำ data pipeline ได้ ซึ่งอธิบายสั้นๆก็คือท่อที่ข้อมูลดิบต้องไหลผ่านแล้วปลายทางออกมาเป็นข้อมูลที่พร้อมจะเอาไปเข้าโมเดล</p><p>keyword เพื่อศึกษาเพิ่มเติม: ETL, ELT, data pipeline, data engineering</p><h4><strong>ขั้นที่ 4 Modeling — ได้เวลาทำในสิ่งที่เรารัก(?)</strong></h4><p>การทำโมเดลนี่เป็นขั้นตอนที่มาคู่กับ data scientist เลย แต่ส่วนตัวผมรู้สึกว่าเป็นขั้นที่ใช้เวลาน้อยที่สุดแล้ว เพราะแค่เอาข้อมูลจากขั้นตอนที่แล้วมาเข้าโมเดล สิ่งที่ต้องทำคือเลือกโมเดลที่จะใช้ (เช่น จะใช้โมเดล regression หรือ classification) จากนั้นก็แบ่งข้อมูลออกเป็นสองชุด</p><p>ชุดแรกเอาเข้าโมเดลเพื่อ training</p><p>ชุดที่สองรอไว้สำหรับการ testing</p><p>ถ้าขั้นตอนการทำโมเดลติดขัด ส่วนมากจะเกิดจากข้อมูลไม่พร้อม ผมก็ต้องวนกลับไปทำขั้นตอนที่ 3 ใหม่</p><blockquote>A: “ทำไมผล regression มันแปลกๆ”<br>B: “หน่วยของ motor speed ผิดรึเปล่า”<br>A: “ไม่น่าผิดนะ ขอไปเช็ค pipeline แปป”</blockquote><h4><strong>ขั้นที่ 5 Evaluation — จะเสียใจหรือฉลองชัย ก็ขึ้นอยู่กับขั้นนี้</strong></h4><p>Evaluation เป็นขั้นตอนการทดสอบผลลัพธ์ของโมเดล ด้วยการเอาโมเดลไปรันกับข้อมูลย้อนหลัง (Backtesting) ซึ่งก็คือข้อมูลชุดที่เก็บไว้สำหรับการ testing ในขั้นตอนที่แล้ว</p><p>ในเคสของ PDM project ก็จะดูว่าโมเดลสามารถตรวจเจอพฤติกรรมที่ผิดปกติของเครื่องจักรเจอมั้ยเมื่อเทียบกับ maintenance log ของวิศวกร เช่นถ้าเครื่องจักรเคยใบพัดเสียตอนเดือน 8 แล้วโมเดลของเราจับสัญญานผิดปกติได้ก่อนหน้าเดือน 8 มั้ย</p><p>ซึ่งผลลัพธ์ของการ backtesting จะถูกนำเสนอให้ลูกค้าพร้อมกับ metric อื่นๆเช่น accuracy, precision, recall, F1 score ซึ่งเราก็ต้องมาพูดคุยกันว่า ความแม่นยำที่ได้นี้เกิดจากอะไรและสามารถทำให้ดีขึ้นได้อีกมั้ย และ trade-off ของระบบคืออะไร (เช่น precision-recall trade-off ถ้าค่านึงสูง อีกค่านึงจะต่ำลง)</p><p>ถ้าผลลัพธ์ไม่เป็นที่น่าพอใจก็สามารถย้อนกลับไปทำข้อ 3–4–5 ใหม่ได้ โดยอ้างอิงกับกรอบเวลาของ project ที่เหลืออยู่</p><h4><strong>ขั้นที่ 6 Deployment — ออกสู่สายตาประชาชน</strong></h4><p>ถ้าผลลัพธ์ของโมเดลเป็นที่พอใจแล้วก็ถึงขั้นตอนการ deployment หรือการเอาโมเดลนั้นไปใช้งานจริง ซึ่งโมเดลนี้จะเป็นแค่ส่วนหนึ่งของระบบเท่านั้น ยกตัวอย่างคร่าวๆเช่น PDM project จะต้องมี data integration ที่ดึงข้อมูลจากฐานข้อมูลของโรงงาน มาผ่าน preprocessing pipeline เพื่อเตรียมความพร้อมของข้อมูลก่อนจะเข้าไปผ่าน model แล้วจึงออกมาเป็นผลลัพธ์แสดงบน dashboard</p><p>ซึ่ง architecture ของระบบ PDM project ผมจะมาอธิบายอย่างละเอียดในบทความต่อๆไปครับ</p><h4><strong>สรุป</strong></h4><p>ขั้นตอนทั้ง 6 นี้ผมว่าค่อนข้างชัดเจน มีเหตุผล และตรงไปตรงมา สามารถนำไปปรับใช้กับการทำ data project ได้หลากหลายครับ และขั้นตอนเหล่านี้ไม่ได้มีอะไรตายตัว แต่ละโปรเจคหรือแต่ละบริษัทก็ใช้แตกต่างกันไปขึ้นอยู่กับลักษณะของงานกับความถนัดของทีม ซึ่งขั้นตอนที่ผมใช้อยู่ทุกวันนี้อ้างอิงมาจากระบบ <a href="https://en.wikipedia.org/wiki/Cross-industry_standard_process_for_data_mining">CRISP-DM</a> ซึ่งเป็นท่ามาตรฐานที่ใช้กันในวงการ data ถ้าใครอยากอ่านรายละเอียดเพิ่มก็เข้าไปที่ลิ้งค์ด้านล่างได้เลยครับ</p><p>[1] <a href="https://www.datascience-pm.com/crisp-dm-2/">CRISP-DM: A Practical Guide</a></p><p>[2] <a href="https://www.sv-europe.com/crisp-dm-methodology/">What is the CRISP-DM methodology ?</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4ac31fc7be67" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[อยากจะ git push แล้วโค้ดใน server อัพเดทโดยอัตโนมัติเลย ทำยังไงดี ?]]></title>
            <link>https://medium.com/@FlyingSalmon/%E0%B8%AD%E0%B8%A2%E0%B8%B2%E0%B8%81%E0%B8%88%E0%B8%B0-git-push-%E0%B9%81%E0%B8%A5%E0%B9%89%E0%B8%A7%E0%B9%82%E0%B8%84%E0%B9%89%E0%B8%94%E0%B9%83%E0%B8%99-server-%E0%B8%AD%E0%B8%B1%E0%B8%9E%E0%B9%80%E0%B8%94%E0%B8%97%E0%B9%82%E0%B8%94%E0%B8%A2%E0%B8%AD%E0%B8%B1%E0%B8%95%E0%B9%82%E0%B8%99%E0%B8%A1%E0%B8%B1%E0%B8%95%E0%B8%B4%E0%B9%80%E0%B8%A5%E0%B8%A2-%E0%B8%97%E0%B8%B3%E0%B8%A2%E0%B8%B1%E0%B8%87%E0%B9%84%E0%B8%87%E0%B8%94%E0%B8%B5-2311c2f1d74c?source=rss-2bec54142d8f------2</link>
            <guid isPermaLink="false">https://medium.com/p/2311c2f1d74c</guid>
            <category><![CDATA[github]]></category>
            <category><![CDATA[technology]]></category>
            <category><![CDATA[devops]]></category>
            <dc:creator><![CDATA[Boom Tanawat]]></dc:creator>
            <pubDate>Sun, 23 Aug 2020 13:31:00 GMT</pubDate>
            <atom:updated>2020-08-24T11:07:29.195Z</atom:updated>
            <content:encoded><![CDATA[<h3>อยากจะ git push แล้วโค้ดใน server อัพเดทโดยอัตโนมัติเลย ทำยังไงดี ?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sp77lVDyKQ_DAdSdJ0sFWQ.jpeg" /></figure><p>สามารถติดตามอัพเดทโพสต์ได้ที่เพจ <a href="https://www.facebook.com/HardWaysToGetThingsDone/">ห๊ะ! ต้องใช้ท่ายากขนาดนี้เลย ?</a></p><p>โพสนี้จะเล่าถึงวิธีการที่ผมทำ automate git pull โดยใช้ Github Webhook แบบคร่าวๆไม่ได้ลงรายละเอียดการทำ บอกก่อนเลยครับว่าไม่ใช่วิธีเหมาะสมหรือเป็นวิธีที่ดีที่สุดแน่นอน</p><p>— — — — —</p><p><strong>Background</strong></p><p>ผมมีไฟล์ python อยู่ในเครื่อง vm บน cloud แล้วอยากจะอัพเดทไฟล์นี้ทุกครั้งที่ push code ขึ้นไปบน Github</p><p>— — — — —</p><p><strong>ขั้นที่ 1 : ทำให้เครื่อง server สามารถ pull code จาก git ได้</strong></p><p>วิธีแรกที่ผมใช้ (และไม่แนะนำ) คือ install git ลงเครื่องแล้วฝัง username password github ของตัวเองลงไปเลย เท่านี้ server ก็สามารถ pull code จาก private repository ได้แล้ว</p><p>แต่การฝัง username password ของตัวเองลงในเครื่อง server ก็ดูไม่ค่อยเท่เท่าไหร่ เลยต้องหาวิธี authenticate โดยใช้ ssh key แทน ซึ่งนั่งก็คือ Github deploy keys</p><p>วิธีการใช้ Github deploy keys คือ</p><p>1. สร้าง rsa public/private keys ขึ้นมา (คำสั่ง ssh-keygen) แล้ว copy public key<br>2. ไปที่ Github repository — Setting — Deploy keys — Add deploy keys<br>3. paste public key ที่ copy ไว้ในขึ้นตอนที่ 1 แล้วกด Add keys</p><p>ที่นี้เครื่อง server ของเราก็สามารถใช้คำสั่ง git กับ repository นี้ได้แล้ว</p><p>— — — — —</p><p><strong>ขั้นที่ 2 : สร้าง webservice</strong></p><p>หลังจากที่ server เราสามารถ git pull จาก repository ได้แล้ว เราก็ต้องมี trigger เพื่อให้ server รู้ว่าเมื่อไหร่ที่เรา push ก็ค่อย pull ลงมา</p><p>สามารถทำได้โดยใช้ Github webhook ซึ่ง webhook นี้จะส่ง post request ไปที่ url ปลายทางเมื่อมี event push เกิดขึ้น</p><p>ต่อมาเราก็สร้าง url ของ webservice ขึ้นมาในเครื่อง server เมื่อ url นี้ได้รับ post request จาก webhook ก็ให้ไป trigger คำสั่ง git pull</p><p>ทีนี้เราก็สามารถ git push แล้วโค้ดใน server อัพเดทโดยอัตโนมัติได้ เย้…</p><p>— — — — —</p><p>พอทำเสร็จแล้วก็ได้แต่ถามตัวเองว่า</p><h4>ต้องใช้ท่ายากขนาดนี้เลย ?</h4><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2311c2f1d74c" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>