<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Data Anonymous on Medium]]></title>
        <description><![CDATA[Stories by Data Anonymous on Medium]]></description>
        <link>https://medium.com/@payam12250000?source=rss-c205abd2c0bd------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*DGWOwS2aE5OoKJd2svNRRg.jpeg</url>
            <title>Stories by Data Anonymous on Medium</title>
            <link>https://medium.com/@payam12250000?source=rss-c205abd2c0bd------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 04:23:58 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@payam12250000/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Does Feature Scaling Really Make Model Computation Faster?]]></title>
            <link>https://medium.com/@payam12250000/does-feature-scaling-really-make-model-computation-faster-e164bb529eff?source=rss-c205abd2c0bd------2</link>
            <guid isPermaLink="false">https://medium.com/p/e164bb529eff</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[datarockie]]></category>
            <category><![CDATA[feature-scaling]]></category>
            <dc:creator><![CDATA[Data Anonymous]]></dc:creator>
            <pubDate>Mon, 10 Feb 2020 06:58:03 GMT</pubDate>
            <atom:updated>2020-02-10T09:39:32.559Z</atom:updated>
            <content:encoded><![CDATA[<h3>Does Feature Scaling Really Make Model Computation Faster ?</h3><p><em>TLDR: No, that’s not the reason we do Feature Scaling</em></p><p>ทางเพจ <a href="https://datarockie.com/kasidis-satangmongkol/">DataRockie</a> ได้เขียนบทความ <a href="https://datarockie.com/2019/11/07/comparison-normalization-standardization/">รีวิวเทคนิค Normalization และ Standardization</a> ไว้เมื่อ วันที่ 7 พฤศจิกายน 2019 ว่าด้วยเรื่อง Feature Scaling ตัวบทความถือว่าเขียนได้รวบรัดและทำความเข้าใจง่ายตาม style การเขียนของเพจ แต่สิ่งที่เรารู้สึกว่ามีสิ่งหนึ่งที่ทาง <a href="https://datarockie.com/kasidis-satangmongkol/">DataRockie</a> ได้ให้ข้อมูลผิดพลาดตามภาพด้านล่างนี้</p><figure><img alt="เหตุผลหนึ่งของการทำ Feature Scaling ที่ไม่ถูกต้องนัก" src="https://cdn-images-1.medium.com/max/872/1*AJ4SN1-bgv2HArzn4YRIsQ.png" /><figcaption>เหตุผลหนึ่งของการทำ Feature Scaling ที่ไม่ถูกต้องนัก</figcaption></figure><p>ถ้าคุณอ่านแล้วคิดตามสักนิด จะรู้สึกถึงความผิดปกติ เราจะมาไล่เรียงให้คุณดูเป็นข้อๆ ดังนี้</p><h4>1. การยกตัวอย่างที่ไม่เป็นธรรม</h4><p>ยกตัวอย่างโดยใช้การคำนวณของมนุษย์ยังไม่พอ ผลลัพท์ของการคำนวณ ฝั่ง x (ค่าจากข้อมูลดิบ)ใช้การคำนวณค่าจริงๆ แต่ฝั่ง norm_x (ค่าที่ผ่านการ Normalize แล้ว) ใช้การคำนวณโดยประมาณ แค่นี้ก็ไม่ยุติธรรมแล้วสำหรับการเปรียบเทียบ</p><h4>2. การอนุมาณว่าคอมพิวเตอร์คิดเลขเหมือนมนุษย์</h4><p>การที่ยกตัวอย่างตัวเลขออกมาแล้วให้มนุษย์ลองคำนวณค่า(ที่เห็นได้ชัดว่าไม่ยุติธรรม) แล้วอนุมาณว่าเครื่องคอมพิวเตอร์ก็ควรจะคำนวณได้ช้า-เร็วเหมือนๆ กับที่มนุษย์คำนวณได้ ข้อนี้แสดงให้เห็นว่าทาง <a href="https://datarockie.com/kasidis-satangmongkol/">DataRockie</a> มองว่าคอมพิวเตอร์ก็คำนวณค่าต่างๆ ใน CPU เหมือนกับที่มนุษย์ใช้สมองคำนวณ ซึ่งถ้าอยู่ในวงการ Data อยู่แล้ว ไม่ควรจะมีความคิดแบบนี้ ดังเช่น การเรียนรู้และจดจำเป็นเรื่องปกติของมนุษย์ แต่เป็นปัญหาที่ยากในเชิง Computer Science จึงเกิดเป็นสาขาวิชา Machine Learning</p><h4>3. การคำนวณเลขทศนิยมนั้นง่ายกว่าการคำนวณเลขจำนวนเต็ม</h4><p>การบอกว่า การ rescale ข้อมูล(ที่เป็นเลขจำนวนเต็ม (Integer)) ไปเป็นเลขทศนิยม (Floating-point Number) จะช่วยให้การทำ computation ง่ายขึ้นนั้น ค่อนข้างไม่สมเหตุสมผล</p><p>ถ้าคุณพอจะมีความรู้ทางด้านสถาปัตยกรรมของคอมพิวเตอร์บ้าง คุณจะรู้ว่า การเก็บข้อมูลในหน่วยความจำของ Integer นั้นง่ายกว่า Floating-point</p><ul><li>Integer ใช้การเก็บเลขเป็นเลขฐาน 2 ที่มีค่าเท่ากับเลขฐาน 10 เลย (ใช้ <a href="https://en.wikipedia.org/wiki/Two%27s_complement">2’s complement</a> สำหรับแก้ปัญหาเลข +0 และ -0)</li><li>Floating-point ใช้การเก็บแบบยกกำลัง =&gt; mantissa * 2^exponent <br>(<a href="http://www.cs.yale.edu/homes/aspnes/pinewiki/C(2f)FloatingPoint.html">ref 1</a>, <a href="https://lauri.xn--vsandi-pxa.com/hdl/arithmetic/floating-point-representation.html">ref 2</a>)</li></ul><p>แถมการคำนวณเลข Integer นั้นเร็วกว่าการคำนวณ Floating-point ในทุกๆ กรณี <br>ดังการ<a href="http://nicolas.limare.net/pro/notes/2014/12/12_arit_speed/">ทดสอบ</a>นี้ ซึ่งเป็นการทดสอบเกี่ยวกับความเร็วในการประมวลผลของตัวแปรแบบตัวเลขแบบต่างๆ ในหลายๆ รูปแบบทั้งการคำนวณและสถาปัตยกรรมของ CPU ที่ทำการคำนวณ</p><blockquote>Floating-point operations are always slower than integer ops at same data size.</blockquote><p>จริงๆ แล้วถ้าคุณจะนำข้อมูลไปใช้กับ Model ที่ต้องคำนวณระยะทาง (Distance) เช่น ใช้ Euclidean Distance กับ k-NN classifier ที่มีการถอดรากที่ 2 นั้น ยังไงคุณก็หนีการต้องทำให้ตัวเลขเป็นเลขทศนิยมไม่ได้อยู่ดี ดังนั้นการพูดเกี่ยวกับเรื่อง Integer vs Floating point นั้นไร้สาระตั้งแต่แรกอยู่แล้ว หรือในกรณีการใช้ Model ที่ไม่ได้สนใจเรื่อง Distance แบบ Decision Tree เราก็ไม่ได้สนใจเรื่องนี้เช่นกัน (มีคำอธิบายด้านล่างว่าเมื่อไรถึงควรทำ Feature Scaling)</p><h4>4. คอมพิวเตอร์ใช้ ram น้อยลงในการเก็บและประมวลผล (เมื่อแปลงเป็นเลขทศนิยม)</h4><p>โดยปกติของภาษาโปรแกรม ตัวแปรแบบ Integer มักจะมีขนาด 32-bit และมีตัวแปรแบบ Long Integer ที่มีขนาด 64-bit (เป็นความเข้าใจโดยทั่วไป แต่ควรตรวจสอบการ implement จริงของภาษาและระบบนั้นๆ)</p><p>ส่วนตัวแปรแบบ Floating-point นั้นตามมาตรฐาน <a href="https://en.wikipedia.org/wiki/IEEE_754">IEEE-754</a> มักจะมีอยู่ 2 ขนาดที่นิยม คือ Single precision ที่ 32-bit และ Double precision ที่ 64-bit</p><p>ดังนั้นการที่จะบอกว่าแปลงเลขจำนวนเต็มเป็นเลขทศนิยม (87 =&gt; 0.7027) ทำให้ประหยัด Ram มากขึ้นนั้น <strong>make no sense at all, friend</strong> (สงสัยคิดว่า 87 มีค่ามากกว่า 0.7027 เลยใช้พื้นที่ใน Ram มากกว่า)</p><p>ส่วนการเขียนโปรแกรมในยุคนี้ที่ขนาดของ Ram ไม่ใช่ปัญหามากนั้น เพื่อความแม่นยำของการคำนวณ เราจึงมักจะใช้ตัวแปรแบบ Double precision (64-bit) สำหรับการคำนวณเลขทศนิยม ส่วนการคำนวณจำนวนเต็มนั้น ถ้าเรามั่นใจว่าค่าไม่เกิน Limit ก็สามารถใช้ Integer 32-bit ได้ แต่ถ้าเกินก็จะขยับไปใช้ Long Integer 64-bit แทน (แต่ถ้าต้องการความแม่นยำระดับผิดไม่ได้อย่างระบบการเงิน ควรจะใช้ decimal-based number อย่าง <a href="https://docs.python.org/3.8/library/decimal.html">Decimal ของ Python</a>)</p><p>*** Note ไว้หน่อยว่าในภาษาเขียนโปรแกรมบางภาษา เช่น Python นั้น ตัวแปรชนิด <a href="https://rushter.com/blog/python-integer-implementation/">Integer ไม่ได้จำกัดขนาดที่ 32-bit หรือ 64-bit อีกต่อไปแล้ว</a> ส่วนทางด้านตัวแปรเลขทศนิยมของ Python นั้นมีเพียงแค่ Double-precision (64-bit) เท่านั้นที่เป็น built-in type โดยใช้ชื่อว่ารวม <a href="https://docs.python.org/3/tutorial/floatingpoint.html">float</a></p><blockquote><a href="https://rushter.com/blog/python-integer-implementation/">but Python has built-in support for Arbitrary-precision integers</a></blockquote><blockquote><a href="https://docs.python.org/3/tutorial/floatingpoint.html">and almost all platforms map Python floats to IEEE-754 “double precision”</a></blockquote><h3>แล้วมันมีประโยชน์อะไร ?</h3><p>ก่อนอื่นขอบอกว่า ทั้งการทำ Normalization และ Standardization นั้น ถูกจัดกลุ่มอยู่ในการทำ Feature Scaling ซึ่งหมายถึงการทำให้ Feature ต่างๆ ใน Dataset อยู่ใน Scale เดียวกัน ซึ่งนอกจาก 2 วิธีขั้นต้นแล้วยังมีวิธีอีกมากมาย สามารถลองอ่านทำความเข้าใจได้จาก<a href="https://towardsdatascience.com/normalization-vs-standardization-quantitative-analysis-a91e8a79cebf">บทความต้นทาง</a>ที่ทาง <a href="https://datarockie.com/kasidis-satangmongkol/">DataRockie</a> อ้างอิง รวมถึง<a href="https://medium.com/greyatom/why-how-and-when-to-scale-your-features-4b30ab09db5e">บทความที่ต้นทางอ้างอิงถึง</a></p><p>เราจะบอกโดยย่อ ว่า การทำ Feature Scaling นั้นมีประโยชน์ในการป้องกัน Feature Bias เนื่องจากการมี Scale ไม่เท่ากัน โดยสำหรับ Model ที่ใช้ความห่างของตัวเลขในการคำนวณค่าใน Model และใช้การเปรียบเทียบค่ามากกว่า 1 Feature ในครั้งเดียว ยกตัวอย่างเช่น</p><ul><li>Decision Tree ใช้การแบ่งข้อมูลเป็น 2 ชุดในแต่ละ node แต่การแบ่งแต่ละครั้งใช้เพียง Feature เดียว จึงไม่จำเป็นต้องทำ feature scaling</li><li>k-NN นั้นใช้การคำนวณระยะทาง ถ้าเอาแบบที่นิยมก็ใช้ Euclidean Distance ที่การคำนวณระยะทางระหว่างข้อมูล 2 จุด ต้องใช้ความห่างของทุก Feature มาคำนวณระยะทาง จึงควรทำ feature scaling สำหรับการใช้งาน k-NN<br>รวมถึงบาง Model ที่คาดหวังว่า feature ทุกตัวที่จะนำมาเรียนรู้นั้นต้องผ่านการ Scaling มาแล้วก็ด้วย</li></ul><p>เราขอยกประโยคเด็ดจาก<a href="https://medium.com/greyatom/why-how-and-when-to-scale-your-features-4b30ab09db5e">ต้นทาง</a>มาไว้ที่นี่เลยว่าควรจะใช้เมื่อใด</p><blockquote><a href="https://medium.com/greyatom/why-how-and-when-to-scale-your-features-4b30ab09db5e#405e">Rule of thumb I follow here is any algorithm that computes distance or assumes normality, <strong>scale your features!!!</strong></a></blockquote><p>อ่านไปแล้วอาจจะไม่เข้าใจ ลองอ่านส่วนหนึ่งของบทความ <a href="https://datarockie.com/kasidis-satangmongkol/">DataRockie</a> ได้ ว่าได้อธิบายไว้อย่างง่าย (ซึ่งก็ถือว่าถูกต้อง) ดังนี้</p><figure><img alt="อีกเหตุผลของการทำ Feature Scaling โดย DataRockie" src="https://cdn-images-1.medium.com/max/799/1*ReKlwgRIwQdkoGfjvgx3Og.png" /><figcaption>อีกเหตุผลของการทำ Feature Scaling โดย DataRockie</figcaption></figure><h3>Feature Scaling มีหลายแบบ ใช้อะไรดี ?</h3><p>ถ้าอิงตาม <a href="https://datarockie.com/kasidis-satangmongkol/">DataRockie</a> ว่า จะใช้ Normalization หรือ Standardization ก็ได้ไม่ต่างกัน แต่ทางเราไม่ค่อยเห็นด้วยนัก</p><figure><img alt="คำแนะนำจาก DataRockie" src="https://cdn-images-1.medium.com/max/797/1*GEeUDQrfH6Bi3pEIOm0gbA.png" /><figcaption>คำแนะนำจาก DataRockie</figcaption></figure><p>ถ้าได้อ่านจากต้นทางแล้วจะพบว่า ได้มีการทดลองไว้โดยเทียบการทำ Feature Scaling แต่ละแบบกับ Classifier Model ต่างๆ นั้น (รวมถึงการทำ PCA ผสมด้วย) ว่า Feature Scaling ใดดีที่สุด ผลสรุปคือไม่มี Scaling ใดดีไปกว่ากันแบบเบ็ดเสร็จเด็ดขาด ขึ้นอยู่กับข้อมูลและ Classifier Model ที่เราใช้ แล้วออกมาเป็นคำแนะนำตามนี้</p><blockquote><a href="https://towardsdatascience.com/normalization-vs-standardization-quantitative-analysis-a91e8a79cebf#7a3f">So, you should consider the scaling method as an important hyperparameter of your model</a></blockquote><p>นั่นคือให้มองว่าการเลือก Feature Scaling Algorithm นั้นเป็นส่วนหนึ่งของการทำ Parameter Tuning ของ Model เราไปด้วยเลยนั่นเองโดยให้มีตัวเลือกให้มากพอและเหมาะสมกับเวลาที่มี ส่วนในกรณีที่เร่งรีบ เราแนะนำให้ลดตัวเลือกลง โดยควรจะให้มีตัวเลือกขั้นต่ำที่ 2 ตัวคือ Normalization และ Standardization แล้วจึงเลือกตัวที่ประสิทธิภาพในการทำนายดีที่สุดก็ได้</p><h3>ส่งท้าย</h3><p>การทำ Feature Scaling นั้นไม่ได้มีเหตุผลทางด้านความเร็วในการประมวลผล<br>อย่างที่ <a href="https://datarockie.com/kasidis-satangmongkol/">DataRockie</a> ได้เขียนไว้แต่อย่างใด แต่เหตุผลหลักที่เราทำ Feature Scaling ก็เพื่อหลีกเลี่ยงปัญหา Feature Bias เท่านั้น</p><p>สำหรับใครก็ตามที่สามารถอ่านภาษาอังกฤษได้ เราแนะนำให้ไปอ่านต้นทางของต้นทางที่ทาง <a href="https://datarockie.com/kasidis-satangmongkol/">DataRockie</a> ได้อ้างอิงไว้ในบทความ(<a href="https://medium.com/greyatom/why-how-and-when-to-scale-your-features-4b30ab09db5e">บทความ 1</a>, <a href="https://towardsdatascience.com/normalization-vs-standardization-quantitative-analysis-a91e8a79cebf">บทความ 2</a>) จะได้ความรู้ดีๆ อีกมากมายสำหรับการทำ Feature Scaling</p><p>หรือใครอยากเข้าใจโลกของ Machine Leaning แบบละเอียดในแบบฉบับของ<br>นักสิถิติหละก็ ทางเราแนะนำให้อ่านหนังสือ <a href="https://web.stanford.edu/~hastie/Papers/ESLII.pdf">The Elements of Statistical Learning</a> อ่านจบแล้วบรรลุแน่นอน</p><h3>อ้างอิง</h3><ul><li><a href="https://medium.com/greyatom/why-how-and-when-to-scale-your-features-4b30ab09db5e">Why, How and When to Scale your Features</a></li><li><a href="https://towardsdatascience.com/normalization-vs-standardization-quantitative-analysis-a91e8a79cebf">Normalization vs Standardization — Quantitative analysis</a></li></ul><p><a href="https://web.stanford.edu/~hastie/Papers/ESLII.pdf">The Elements of Statistical Learning[PDF]</a></p><ul><li><a href="https://en.wikipedia.org/wiki/Two&#39;s_complement">Two&#39;s complement</a></li><li><a href="https://en.wikipedia.org/wiki/IEEE_754">IEEE 754 - Wikipedia</a></li><li><a href="https://rushter.com/blog/python-integer-implementation/">Python internals: Arbitrary-precision integer implementation</a></li><li><a href="https://docs.python.org/3/tutorial/floatingpoint.html">15. Floating-Point Arithmetic: Issues and Limitations</a></li><li><a href="https://docs.python.org/3.8/library/decimal.html">decimal - Decimal fixed point and floating point arithmetic - Python 3.8.1 documentation</a></li><li><a href="https://datarockie.com/2019/11/07/comparison-normalization-standardization/">รีวิวเทคนิค Normalization และ Standardization | DataRockie</a></li></ul><figure><img alt="ภาพ screen capture เต็มๆ ของบทความเมื่อวันที่ 9 กุมภาพันธ์ 2020" src="https://cdn-images-1.medium.com/max/1024/1*CYZ_V3NjFdo_vcFpu66UHQ.png" /><figcaption>ภาพ screen capture เต็มๆ ของบทความเมื่อวันที่ 9 กุมภาพันธ์ 2020</figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e164bb529eff" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[(Not So) Practical SQL…]]></title>
            <link>https://medium.com/@payam12250000/not-so-practical-sql-a2daf04942af?source=rss-c205abd2c0bd------2</link>
            <guid isPermaLink="false">https://medium.com/p/a2daf04942af</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[datarockie]]></category>
            <category><![CDATA[sql]]></category>
            <category><![CDATA[thailand]]></category>
            <dc:creator><![CDATA[Data Anonymous]]></dc:creator>
            <pubDate>Wed, 29 Jan 2020 09:40:30 GMT</pubDate>
            <atom:updated>2020-02-05T04:44:34.109Z</atom:updated>
            <content:encoded><![CDATA[<h3>(Not So) Practical SQL: ทำไมเราจึงควรให้ความสำคัญกับรูปโฆษณาก่อนตัดสินใจซื้อหนังสือจากกูรูบนอินเตอร์เน็ต</h3><h4><a href="https://datarockie.com/kasidis-satangmongkol/">DataRockie</a> ได้เปิดขายหนังสือ <a href="https://www.facebook.com/datarockie/photos/a.995943647085879/3151519084861647">Practical SQL</a> ในราคา 490 บาท เขากล่าวว่า “ถ้าอยากเขียนได้อย่างรูปในโพสต์นี้ ซื้อหนังสือแล้วเข้ากลุ่ม Practical SQL” เราได้วิเคราะห์ query ในรูปนั้น เพื่อให้คุณตัดสินใจว่าอยาก “เขียนแบบในรูป” จริงๆหรือเปล่า</h4><p>Update: <a href="https://www.facebook.com/datarockie/photos/a.995943647085879/3166346603378895/?type=3&amp;theater&amp;hc_location=ufi">คำตอบจาก DataRockie</a></p><p>เราคิดว่าเขาตอบได้ไม่ตรงประเด็นนัก<br>1. เขากล่าวว่า “Query ที่ Data Anonymous เสนอ ก็ไม่ใช่คำตอบที่ดีที่สุดสำหรับโจทย์นี้ของเรา อยากถาม Data Anonymous กลับว่า “แล้วถ้ามี Manager 10000 คน ยังจะเขียน Query แบบนี้อีกไหม?” เขียน where fullname IN ( … ) ก็ไม่ไหวเหมือนกัน `SQL is not the only means to an end.”<br><em>&gt; เราอยากทำเป็นไม่สนใจ pseudo-philosophical quote ของเขา แน่นอนว่า optimized query ที่เราเสนอนั้นใช้ได้สำหรับจำนวน manager กี่คนก็ได้ตามที่เราได้เขียนในบทความแต่เขาอาจจะอ่านได้ไม่ละเอียด ถ้าคุณอยากได้เฉพาะบางคนคุณก็ไม่มีทางเลือกนอกจากใส่ชื่อพวกเขาเข้าไปอยู่แล้ว แต่คุณจะทำบน SQL ทำไม</em></p><p>2. เขากล่าวว่า “บทความของ Data Anonymous พูดเรื่องการ optimized query และบอกว่าเพจเราเขียน query ไม่ดี บลาๆ แต่ของตัวเองสร้าง temp tables แบบพร่ำเพรื่อหลายครั้งจนโค้ดยาว 40+ lines อ่านแล้วก็ตลกเหมือนกัน แฮร่”<br><em>&gt; ค่อนข้างตลกที่เขาใส่ใจจำนวนบรรทัดของ query มากกว่าความจริงที่ว่า query ของเขาใช้ operation เยอะกว่าเกิน 10 เท่า(!!) ที่ตลกยิ่งกว่าคือหากจำนวน manager เพิ่มเป็น 10000 อย่างที่เขาพูด query ของเขาจะยาวขึ้นประมาณ 30000 บรรทัด (!!!)</em></p><p>3. เขากล่าวว่าเราจงใจ discredit ตัวเขา<br><em>&gt; เราต้องการให้ผู้อ่านและผู้ซื้อเข้าใจหนังสือของเขาอย่างตรงไปตรงมา ทุกอย่างที่เราเขียนเราวิเคราะห์ query ที่ขอย้ำอีกครั้งว่านักศึกษาปริญญาตรีที่ลงพื้นฐาน SQL ทุกคนก็**รู้ว่าผิดและไม่มีใครทำ** หากเขาคิดว่าผิดก็ควรแก้ไข สิ่งที่เขาทำคือการสร้างบทความที่ใช้ sum case when อย่างที่เราทำ **ทันที** หลังจากที่เราไปคอมเม้นท์ในโพสตั้งต้น เราไม่แน่ใจว่าเจตนาเขาคืออะไร แต่เราขอให้ผู้อ่านเป็นผู้ตัดสิน</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*InMOrdar5kX6HhIa" /><figcaption>Image from <a href="https://www.facebook.com/datarockie/photos/a.995943647085879/3147369231943299/">DataRockie</a></figcaption></figure><p>เราพบว่า query ในรูปโฆษณานั้นมีปัญหาทั้งในแง่ของงาน data analysis และงาน production เช่น การ hard code ตัวแปร, ใช้ alias ที่คลุมเครือ, และการแสกนตารางซ้ำๆอย่างไม่มีประโยชน์ เป็นต้น ในบทความนี้เราจะอธิบายถึงปัญหาเหล่านี้ รวมถึงวิธีแก้ที่ทำได้โดยใช้ sqlite</p><h4>การเตรียมตัว</h4><p>ก่อนอื่นเราเลือกที่จะใช้ R และ sqldf (ไลบรารี่ที่ทำให้เขียน sqlite กับ R dataframe ได้) เพื่อทำการทดสอบ ทั้งนี้มีเหตุผลสองข้อ</p><ol><li>เพื่อให้ผู้อ่านสามารถรันโค้ดตรวจสอบได้อย่างสะดวกสะบายด้วย R บน local environment ของตัวเอง</li><li><a href="https://datarockie.com/kasidis-satangmongkol/">DataRockie</a> อ้างในคอมเม้นท์หนึ่งว่าเขาต้องเขียน​ query แบบนี้เพราะ “พอดีเราสอนด้วย sqlite ไม่ได้ support pivot เลยเขียนแบบนี้แทน” และ hard code ไปเพื่อ “เปลี่ยนเป็น wide format”</li></ol><p>เราเลือกใช้ sqlite เพื่อทำให้เห็นว่าเราสามารถเขียน query ที่อ่านง่าย ยืดหยุ่น มีประสิทธิภาพได้ภายในเฟรมเวิร์คนี้โดยไม่ต้อง hard code แบบข้างต้น</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/680/1*b5hVGz0TK-sf4yXDsSNbkw.png" /><figcaption>Image from <a href="https://www.facebook.com/datarockie/photos/a.995943647085879/3147369231943299/">DataRockie</a></figcaption></figure><p>เราเริ่มต้นด้วยการสร้าง dataframe ใน R เปรียบเสมือนตารางใน SQL ระหว่างการจำลองมีปัญหาเล็กน้อยที่คอลั่ม invoiceyear (เราเปลี่ยนแปลงคอลั่มนี้จาก invoicedataใน query เดิมเพราะการแปลงวันที่ไม่ใช่ประเด็น) และ total ที่เป็นสองคอลั่มที่ดันไม่ถูกใส่ alias (ชื่อเรียกเล่นของตาราง เช่นแทนที่จะเรียก invoices เราเรียกมันว่า inv, in, หรือ A แบบที่ <a href="https://datarockie.com/kasidis-satangmongkol/">DataRockie</a> ทำก็ได้) เราจึงได้แต่เดาว่าสองคอลั่มนี้น่าจะมาจากตาราง invoices</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5rCl3yXQ4nHaipof7Pcfag.png" /><figcaption><a href="https://github.com/payam12250000/not-so-practial-sql">https://github.com/payam12250000/not-so-practial-sql</a></figcaption></figure><h4>ปัญหาด้านการวิเคราะห์ข้อมูล</h4><p>อันที่จริง query นี้มีปัญหาสำคัญหลายข้อแม้เราจะมองมันเป็นแค่ adhoc query สำหรับการวิเคราะห์ข้อมูลตามสั่งก็ตาม ก่อนอื่นเรามาดูใน with-clause ว่ามีอะไรผิดปกติบ้าง</p><pre>select<br>        E.firstname || &#39; &#39; || E.lastname fullname,<br>        invoiceyear year,<br>        SUM(total) jazz_revenue --where does total come from?<br>    <br>    --what is a, b, c, d, ...<br>    from invoices A join invoice_name B ON A.invoicesid = B.invoicesid<br>    JOIN tracks C ON B.trackid = C.trackid<br>    JOIN customers D ON A.customerid = D.customerid<br>    JOIN employees E ON E.employeesid = D.supportrepid<br>    JOIN genres F ON C.genreid = F.genreid<br>        AND F.name = &#39;Jazz&#39;<br>        <br>    --every time i will need to look up and see what is 1 and 2<br>    GROUP BY 1, 2</pre><p>อย่างแรกเลย A, B, C, D, E, F คืออะไร มันอาจจะโอเคถ้าคุณเขียน query เพื่ออ่านคนเดียว แต่ในสถานการณ์ปัจจุบัน data analyst ต้องทำงานเป็นทีม (คนส่วนใหญ่ที่มีสกิล data analysis ไม่ได้อยู่ในทีม data ด้วยซ้ำ เช่น พนักงาน marketing ในบริษัทชั้นนำ) หากคุณไม่เชื่อว่าการทำแบบนี้มันอ่านไม่รู้เรื่องจริง เราขอให้คุณลองสร้างตารางพวกนี้ขึ้นมาใหม่ใน R หรือ Python</p><p>อย่างที่สองที่หลายคนอาจมองข้ามไปคือการใช้ alias อย่างไม่สม่ำเสมอ E.firstname , E.lastname มี alias E แต่พอเรียก total และ invoiceyear กลับไม่มี คุณอาจจะคิดว่าเขาอาจจะรู้ก็ได้ว่าคอลั่ม total และ invoiceyear มีอยู่แค่ในตารางเดียวจาก A-F เลยทำแบบนี้ แต่ในโลกแห่งความเป็นจริงที่บริษัทมี 10 หรือ 100 ตารางจะมีใครจำได้ทั้งหมด ทั้งตัวคุณเองที่อาจจะต้องกลับมาอ่านในหลายเดือนข้างหน้า ทั้งคนที่ต้องอ่าน query ของคุณด้วย</p><p>สองข้อแรกอาจจะพอโต้แย้งว่าเป็นความสะเพร่าหรือการขาดประสบการณ์การทำงานกับผู้อื่นได้ แต่พอเรามาดูตัว query หลักก็เห็นสิ่งที่ไม่ควรทำอย่างปฏิเสธไม่ได้ — การ hard code ตัวแปร<strong>ทีละตัว</strong>ลงไปใน query</p><pre>SELECT <br>    &#39;Jane Peacock&#39; manager_name,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Jane Peacock&#39; AND year = &#39;2009&#39;) Y2009,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Jane Peacock&#39; AND year = &#39;2010&#39;) Y2010,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Jane Peacock&#39; AND year = &#39;2011&#39;) Y2011,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Jane Peacock&#39; AND year = &#39;2012&#39;) Y2012,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Jane Peacock&#39; AND year = &#39;2013&#39;) Y2013,<br>    (SELECT SUM(jazz_revenue) FROM tmp WHERE fullname = &#39;Jane Peacock&#39;) total_jazz_sales<br>UNION<br>SELECT <br>    &#39;Margaret Park&#39; manager_name,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Margaret Park&#39; AND year = &#39;2009&#39;) Y2009,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Margaret Park&#39; AND year = &#39;2010&#39;) Y2010,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Margaret Park&#39; AND year = &#39;2011&#39;) Y2011,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Margaret Park&#39; AND year = &#39;2012&#39;) Y2012,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Margaret Park&#39; AND year = &#39;2013&#39;) Y2013,<br>    (SELECT SUM(jazz_revenue) FROM tmp WHERE fullname = &#39;Margaret Park&#39;) total_jazz_sales<br>UNION<br>SELECT <br>    &#39;Steve Johnson&#39; manager_name,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Steve Johnson&#39; AND year = &#39;2009&#39;) Y2009,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Steve Johnson&#39; AND year = &#39;2010&#39;) Y2010,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Steve Johnson&#39; AND year = &#39;2011&#39;) Y2011,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Steve Johnson&#39; AND year = &#39;2012&#39;) Y2012,<br>    (SELECT jazz_revenue FROM tmp WHERE fullname = &#39;Steve Johnson&#39; AND year = &#39;2013&#39;) Y2013,<br>    (SELECT SUM(jazz_revenue) FROM tmp WHERE fullname = &#39;Steve Johnson&#39;) total_jazz_sales<br>) ORDER BY total_jazz_sales DESC;</pre><p>การทำแบบนี้คิดในแง่ดีที่สุดก็เสียเวลา คิดในแง่ร้ายที่สุดก็สูญสิ้นผลประโยชน์ทั้งหมดทั้งปวง อย่างที่มีคนได้คอมเม้นท์ไว้ว่า “แล้วถ้ามี manager 100 คนล่ะ?” เราจะนั่ง copy and paste ตัว query ร้อยครั้งแล้วนั่งไล่เปลี่ยนทีละส่วนหรือ</p><blockquote>ใน<a href="https://en.wikipedia.org/wiki/SQL">ประวัติศาสตร์ 46 ปีของ SQL</a> จะไม่มีมนุษย์คนใดในโลกเลยหรือที่คิดวิธีเปลี่ยน long format เป็น wide format ได้ดีกว่า hard code 100 ครั้ง? โอ พระเจ้า</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NxhKh4XPV_LU1hEK0Rp5Tw.png" /><figcaption>ผลจาก​ “practical” query</figcaption></figure><h4>ปัญหาด้าน Performance</h4><p>Performance เป็นหนึ่งในเรื่องที่สำคัญที่สุดที่คุณต้องคิดในฐานะคนทำข้อมูล แน่นอนว่าหากคุณไม่ใช่ data engineer คงไม่มีใครบังคับให้คุณเขียน query ให้อย่างมีประสิทธิภาพจนถึงขีดสุด แต่อย่าลืมว่าในหลายๆบริษัทชั้นนำ(และทั่วไป) data analyst ก็ถูกระบบจับจ้องในการเขียน query ด้วย หากคุณเขียน query ห่วยๆที่แสกนข้อมูลทีละ 100GB ทั้งๆที่แสกนแค่ 10MB ก็พอแล้ว ระบบก็จะหมายหัวและให้ทรัพยากรคุณน้อยลงในครั้งถัดๆไปส่งผลให้งานช้าลงไปด้วย ยิ่งถ้าคุณเป็นบริษัทสตาร์ทอัพ คงไม่มีใครดีใจนักหากเห็นบิล BigQuery สิ้นเดือนบานเบอะเพราะ data analyst พยามเปลี่ยน long format เป็น wide format</p><p>SQL หลายแบบสามารถคำนวณค่าใช้จ่ายหรือจำนวน operation ของ query มาให้คุณได้ น่าเสียดายที่คำสั่ง explain query plan ของ sqlite ทำได้แค่บอกว่ามี operation ใดจะถูกทำบ้าง แต่ก็พอให้เราได้เห็นภาพคร่าวๆว่า “practical” query นั้นมีปัญหาด้าน Performance อย่างไร</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lX_YGi0TTZHKSx3nWdrODA.png" /><figcaption>จำนวน operation หลักๆที่ถูกใช้โดย practical query (DataRockie) และ optimized query (เรา)</figcaption></figure><p>หากคุณเคยเรียนวิชาพื้นฐาน SQL ในมหาวิทยาลัยหรือแม้แต่ตามคอร์สออนไลน์ต่างๆก็ตามคุณอาจจะสังเกตเห็นว่าการทำ hard code แบบ <a href="https://datarockie.com/kasidis-satangmongkol/">DataRockie</a> นั้นนอกจากจะลำบากคนเขียนต้องมานั่ง copy and paste แล้วยังลำบากเครื่องเซิร์ฟเวอร์ที่ต้องมา execute where-clause ซ้ำๆกันหลายครั้ง (คงไม่เป็นไรหากตารางคุณไม่ใหญ่มาก แต่ลองคิดถึงบริษัทที่มี invoice เป็นล้านๆ invoice) ทำให้จำนวน operation โดยรวมของ “practical” query <strong>สูงถึง 190 operations คิดเป็นเกิน 10 เท่าของ optimized query</strong></p><h4>Optimized Query ที่ทำงานได้แม้คุณจะมี Manager หนึ่ง, สาม, ร้อย หรือล้านคน</h4><p>ก่อนอื่นเรามาทำความสะอาด​ with-clause กันก่อนเพื่อให้อ่านง่ายและป้องกันการดึงคอลั่มผิด แทนที่จะเป็น A, B, C,… ที่ไม่รู้แปลว่าอะไรก็เป็นชื่อย่อเช่น inv,trk, cust, ge, emp แทน อย่าลืมใส่ alias ให้กับทุกคอลั่มด้วย</p><pre>WITH joined_inv AS (<br>    SELECT<br>        emp.firstname || &#39; &#39; || emp.lastname AS fullname,<br>        inv.invoiceyear AS year,<br>        inv.total<br>    FROM invoices AS inv <br>    JOIN invoice_name AS inv_name <br>        ON inv.invoicesid = inv_name.invoicesid<br>    JOIN tracks AS trk <br>        ON inv_name.trackid = trk.trackid<br>    JOIN customers AS cust <br>        ON inv.customerid = cust.customerid<br>    JOIN employees AS emp <br>        ON emp.employeesid = cust.supportrepid<br>    JOIN genres AS ge <br>        ON trk.genreid = ge.genreid<br>        AND ge.name = &#39;Jazz&#39;</pre><p>ต่อไปคือ optimization ที่สำคัญที่สุดของ query นี้ — เปลี่ยนจากการ hard code ไปใช้ sum-case-when (มีสอนทุกคอร์ส​พื้นฐาน SQL) เพื่อเปลี่ยนจาก long format เป็น wide format เราเริ่มด้วยการสร้างตารางชั่วคราวมาอีกอัน</p><pre>sum_revenue AS (<br>    SELECT <br>        fullname, <br>        year, <br>        sum(total) AS jazz_revenue<br>    FROM joined_inv<br>    GROUP BY fullname, year<br>),</pre><pre>pivot_by_name as (<br>    SELECT <br>        fullname AS manager_name,<br>        SUM(CASE WHEN year = &#39;2009&#39; THEN jazz_revenue END) AS Y2009,<br>        SUM(CASE WHEN year = &#39;2010&#39; THEN jazz_revenue END) AS Y2010,<br>        SUM(CASE WHEN year = &#39;2011&#39; THEN jazz_revenue END) AS Y2011,<br>        SUM(CASE WHEN year = &#39;2012&#39; THEN jazz_revenue END) AS Y2012,<br>        SUM(CASE WHEN year = &#39;2013&#39; THEN jazz_revenue END) AS Y2013,<br>        SUM(jazz_revenue) AS total_jazz_sales<br>    FROM sum_revenue<br>    WHERE fullname IN (&#39;Jane Peacock&#39;, &#39;Margaret Park&#39;, &#39;Steve Johnson&#39;)<br>    GROUP BY fullname)<br><br>SELECT <br>    manager_name,<br>    Y2009,<br>    Y2010,<br>    Y2011,<br>    Y2012,<br>    Y2013,<br>    total_jazz_sales<br>FROM pivot_by_name<br>ORDER BY total_jazz_sales DESC;</pre><p>เพียงแค่นี้ก็ได้ผลเท่ากันเป๊ะด้วย query ที่สั้นกว่า มีประสิทธิภาพกว่า และอ่านง่ายกว่า</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NxhKh4XPV_LU1hEK0Rp5Tw.png" /><figcaption>ผลจาก​ optimized query</figcaption></figure><p>นอกจากนั้นถ้าจำนวน manager ของคุณเพิ่มจาก 3 เป็น 100 หรือเท่าไหร่ก็ตาม query นี้ก็ยังใช้การได้อยู่อีกด้วยโดยไม่ต้องนั่ง copy and paste 100 ครั้ง (one copy-and-paste man หรอ) เพียงแค่เอา where-clause ชื่อ manager ออก (หรือใส่แค่คนที่สนใจ) เท่านั้นเอง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*g1pIfwq-vDUvnPoS4kVD8w.png" /><figcaption>ผลหากมี manager 100 คนด้วย optimized query</figcaption></figure><h4>ส่งท้าย</h4><p>SQL เป็นทักษะพื้นฐานของคนทำข้อมูล แน่นอนว่าหากคุณเป็น data engineer คุณก็คงต้องเขียน SQL เพื่อประทังชีวิตโดยแท้จริง แต่ data scientist และ data analyst เองก็จำเป็นต้องเขียน query ที่ยืดหยุ่น อ่านง่าย และมีประสิทธิภาพเพื่อทำงานร่วมกับผู้อื่น (และกลับมาอ่าน query ตัวเอง) แม้แต่ backend developer ก็ต้องรู้จักเขียน query ที่ไม่ทำให้ระบบที่รับผิดชอบช้าหรือล่ม เพราะฉะนั้น เราคิดว่ามันไม่ใช่ข้ออ้างที่จะเขียน query ห่วยๆแล้วอ้างว่าคุณไม่ได้เป็น data engineer</p><p>เราต้องการให้ผู้ที่ได้อ่านบทความนี้ โดยเฉพาะคนที่เสพย์สื่อออนไลน์เกี่ยวกับการทำ data ต่างๆได้ลองพิจารณาว่า content เหล่านั้นมีคุณภาพมากน้อยแค่ไหน เราอยากให้คุณ <strong>“เลือก”</strong> ใช้เงินและเวลาอันมีค่าของคุณไปเพื่อเพิ่มขีดความสามารถในการเขียน SQL อย่างแท้จริง</p><p>โค้ดทุกอย่างอยู่ใน <a href="https://github.com/payam12250000/not-so-practial-sql">GitHub ของเรา</a> ทุกคนสามารถเข้าไปตรวจสอบความถูกต้องได้</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a2daf04942af" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>