<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Nuipin Decimo on Medium]]></title>
        <description><![CDATA[Stories by Nuipin Decimo on Medium]]></description>
        <link>https://medium.com/@decimo?source=rss-da4066332ed3------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*wnrvtnnybdTQzrSs.</url>
            <title>Stories by Nuipin Decimo on Medium</title>
            <link>https://medium.com/@decimo?source=rss-da4066332ed3------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 15:28:14 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@decimo/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[ทำ Sentiment Analysis ด้วย Google Natural Language API]]></title>
            <link>https://decimo.medium.com/%E0%B8%97%E0%B8%B3-sentiment-analysis-%E0%B8%94%E0%B9%89%E0%B8%A7%E0%B8%A2-google-natural-language-api-fb474264e072?source=rss-da4066332ed3------2</link>
            <guid isPermaLink="false">https://medium.com/p/fb474264e072</guid>
            <category><![CDATA[sentiment-analysis]]></category>
            <category><![CDATA[google-natural-language]]></category>
            <category><![CDATA[butterbeer]]></category>
            <dc:creator><![CDATA[Nuipin Decimo]]></dc:creator>
            <pubDate>Sun, 23 Jun 2024 14:30:49 GMT</pubDate>
            <atom:updated>2024-06-30T06:09:35.496Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1S9iY6n2S-iG72n_fohPpw.jpeg" /><figcaption>Photo by Butterbear on Xiaohongshu</figcaption></figure><p>จากบทความที่แล้ว <a href="https://medium.com/@decimo.me/%E0%B8%84%E0%B8%A7%E0%B8%B1%E0%B8%99%E0%B8%A7%E0%B9%88%E0%B8%B2%E0%B8%87%E0%B8%81%E0%B8%B1%E0%B8%9A-sentiment-analysis-a79b46ef9e77">ลองเล่น Sentiment Analysis</a> แต่นั้นเป็นกรณีที่เรามีชุดข้อมูลที่มีลาเบลแล้ว แต่ในทางกลับกันหากเรามีแค่ข้อมูลที่ต้องการนำมาวิเคราะห์อย่างเดียวล่ะ เราจะทำ sentiment analysis ได้อย่างไร?</p><p>ซึ่งในปัจจุบันมีเครื่องมือหลายตัวที่ช่วยเราทำ sentiment analysis โดยที่เราอาจจะไม่จำเป็นต้องมีชุดข้อมูลสำหรับเทรนโมเดล โดยเครื่องมือเหล่านั้นได้เตรียมโมเดลให้เราสามารถใช้งานได้เลย ในวันนี้เหมือนจะว่าง เราเลยมาลองทำ sentiment analysis ด้วย <a href="https://cloud.google.com/natural-language/docs/basics">Google Cloud Natural Language API</a></p><p>ก่อนไปรู้จักกับ Google Cloud Natural Language API เรามารู้จักความหมายของคำศัพท์กันก่อน คำแรก <em>Natural language </em>ที่หมายถึงภาษาที่มนุษย์ใช้สื่อสารกัน ส่วนอีกคำ <em>Natural language processing (NLP)</em> หมายถึงสาขาหนึ่งของวิทยาการคอมพิวเตอร์โดยมีเป้าหมายทำให้คอมพิวเตอร์สามารถเข้าใจและประมวลผลได้ใกล้เคียงกับมนุษย์</p><p>Google Cloud Natural Language API เป็นบริการบน GCP ที่ให้บริการเกี่ยวกับงานทางด้าน NLP อาทิ</p><ul><li>Entity Recognition ระบุตัวตนของคำ/กลุ่มคำในข้อความว่าเป็นสิ่งใด เช่น ผู้คน สถานที่ และสิ่งของ</li><li>Sentiment Analysis วิเคราะห์ความรู้สึกของข้อความ เช่น เป็นบวก ลบ หรือเป็นกลาง</li><li>Information Extraction แยกข้อมูลในข้อความว่าเป็นข้อมูลแบบใดบ้าง เช่น วันที่ เวลา และราคา</li><li>Question Answering การถามตอบจากบทความที่ใช้อ้างอิง</li></ul><h3>มาเริ่มกันเลยดีกว่า :)</h3><h4><strong>สิ่งที่ต้องเตรียม</strong></h4><ul><li><a href="https://colab.research.google.com/">Google Colab</a></li><li><a href="https://console.cloud.google.com/cloud-resource-manager">Google Cloud Platform Project</a></li></ul><h4><strong>Setup Google Cloud</strong></h4><ul><li>เข้าใช้งาน <a href="https://console.cloud.google.com/">Google Cloud Platform Console</a></li><li>ไปยังหน้า <a href="https://console.cloud.google.com/cloud-resource-manager">Manage Resources</a> เพื่อสร้างโปรเจคใหม่ โดยกดที่ <strong>CREATE PROJECT</strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NQClmlATfLBrCBUVFqeuXg.png" /><figcaption>ปุ่มสำหรับสร้างโปรเจค</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9hqUsNRuAzJkw1AEZz1pLw.png" /><figcaption>กรอกข้อมูลสำหรับสร้างโปรเจค</figcaption></figure><p>จากในภาพ เราได้สร้างโปรเจคชื่อ <em>butterbear-nlp</em> ซึ่งจะได้ project ID เป็น butterbear-nlp</p><p>*** ตัว project ID เวลาสร้างในแต่ละคนจะได้ไม่เหมือนกันนะครับ อย่างลืมตรวจสอบก่อนนะครับ (กรอบสีแดงภาพด้านบน) เพราะเดี๋ยวจะต้องนำไปใช้ตอนเขียนโค้ดด้วย</p><ul><li>เปิดใช้งาน <em>Google Cloud Natural Language API</em> โดยไปที่เมนู <strong>APIs &amp; Services</strong> จากนั้นกด <strong>Enabled APIs &amp; Services</strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_tf9e9a6eZnhz7tdu_SR0w.png" /><figcaption>ปุ่มสำหรับเปิดใช้งาน Google API</figcaption></figure><ul><li>ในช่องค้นหาป้อน <em>Google Cloud Natural Language API </em>คลิกเลือกผลลัพธ์ตามรูปด้านล่าง</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YevhQh2-1g5xc1UagGUQLw.png" /><figcaption>ผลการค้นหาด้วย Google Cloud Natural Language API</figcaption></figure><ul><li>คลิก <strong>ENABLE</strong> เพื่อเปิดใช้งาน Google Cloud Natural Language API จากนั้นรอเปิดใช้งานสักครู่</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XhvGNDqSI8JDhmCvPjgkNQ.png" /><figcaption>เปิดใช้งาน Google Cloud Natural Language API</figcaption></figure><ul><li>เมื่อ API ถูกเปิดใช้งานแล้ว ต่อไปเราจะไปสร้าง API key เพื่อใช้สำหรับเรียกใช้งาน Natural Language API ไปที่เมนู <strong>APIs &amp; Services</strong> → <strong>Credentials</strong> เข้ามาแล้วกด <strong>Create credentials </strong>จะแสดง dropdown เลือก <strong>Service account</strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vlW5Yb3q1E1-c-B-JkWm_w.png" /><figcaption>ปุ่มสำหรับสร้างใบรับรอง</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Px8CxPkE-zgGUsid4AE8QA.png" /><figcaption>เลือกการสร้างใบรับรองแบบ Service account</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*u2dhxLABn0glv1eLHOwFZA.png" /><figcaption>ตั้งชื่อ Service account</figcaption></figure><ul><li>ตั้งชื่อ Service account จากนั้นกด DONE</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WpkZ_sYo8-mmxxa_HXjPdw.png" /><figcaption>รายการ Service account</figcaption></figure><ul><li>กดเลือก Service account ที่สร้าง กดแท็บ <strong>KEYS</strong> และกดปุ่ม <strong>ADD KEY </strong>เลือก<strong> Create new key</strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Eid6XuUSYbz3M8PKUJkD_w.png" /><figcaption>add key button</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PsFqjPpvw5dmZxU3YFCk-g.png" /><figcaption>create new key</figcaption></figure><ul><li>จากนั้นเลือกประเภท Private Key เป็นแบบ <strong>JSON</strong> และกด <strong>CREATE</strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WIp7B55DFwJF-DptqJPDPg.png" /><figcaption>เลือก key type</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IPydv9wAbG_0a1XgZJSpCA.png" /><figcaption>รายการ key</figcaption></figure><h4>การเตรียมข้อมูล</h4><p>เนื่องจากช่วงที่เขียนบทความนี้กำลังมีกระแสของ “butterbear” เกิดขึ้น เลยขอหยิบ keyworks butterbear มาเป็นเคสตัวอย่าง</p><p><strong>Butterbear</strong> ขนมปังของน้องหมี ที่อยู่ภายใต้เครือร้านอาหารชื่อดังอย่าง Coffee Beans by Dao ตัวแบรนด์เน้นขายขนมหลากหลายชนิด เช่น โดนัท เค้ก บราวนี่ คุกกี้ และขนมปัง นอกจากขนมแล้วทางแบรนด์ยังขายความน่ารักของมาสคอตน้องหมีสุดน่ารักอย่าง “น้องเนย” ด้วยคาแรกเตอร์ที่แสนสดใส เต้นได้ และเทคแคร์เก่ง จึงทำให้เป็นที่รักของแฟนคลับ จนเกิดเป็นกระแสขึ้น</p><p>ล่าสุดน้องเนยยังมีเพลงเป็นของตัวเอง “น่ารักมั้ยไม่รู้ (Narak Mhai Mai Roo)” ปัจจุบัน butterbear ยังมีการขายสินค้า merchandise สุดน่ารักของมาสคอตน้องเนยด้วย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/0*xVfWygFyA2XQgiQL" /><figcaption>butterbear merchandise goods ภาพ <a href="https://thestandard.co//">thestandard.co</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AGm1DPeuce1QdO_SrQi5oQ.png" /><figcaption>ภาพจาก <a href="https://www.mangozero.com/">mangozero</a></figcaption></figure><p>ก่อนไปลองทำ sentiment analysis เรามาดูข้อมูลบน Google trends กันว่ามีคนสนใจเกี่ยวกับ butterbear กันขนาดไหน และเค้ามีการค้นหาด้วย keywords อะไรบ้าง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/966/1*p_9h7z3XyUhPJ9PqfIz3Aw.png" /><figcaption>แผนภาพกราฟแสดงความสัมพันธ์ของ keywords</figcaption></figure><p>จากภาพเห็นได้ว่าถ้าพูดถึง “butterbear” แล้ว คนจะนึกถึง น้องเนย, น้อง หมี เนย, น่า รัก มั้ย ไม่รู้, หมี เนย, emsphere นอกจากนั้นคนก็ยังสงสัยอีกว่า butterbear คืออะไร ใครเป็นเจ้าของ และมีสาขาที่ไหนบ้าง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7bV08d8oowpeFAhCgH2pVg.png" /><figcaption>ภาพแสดงความนิยมในช่วงเวลา</figcaption></figure><p>จากนั้นเราลองเอา keywords ที่ได้ไปลองใส่ในเว็บ Google trends เพื่อดูความนิยมของคำเหล่านั้นในช่วงเวลาต่างๆ ในช่วง 7 วันที่ผ่านมา</p><p>บทความนี้เราใช้ keyword “butterbear” เพื่อดึง tweet จาก x.com (twitter) เนื่องจากในปัจจุบันการดึงข้อมูล tweet ด้วย keyword จำเป็นสมัครใช้แพคเกจจ่ายเงิน basic และ pro เท่านั้น เพราะฉะนั้นผมเลยใช้เทคนิค web scraping เพื่อดึงข้อมูล tweet ด้วย keyword ได้ตัวอย่างข้อมูลมาประมาณ 964 tweets</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0gONdxen-Y2weVppwdU9Aw.png" /><figcaption>ตัวอย่างชุดข้อมูล tweets</figcaption></figure><p>ทำ data cleaning เบื้องต้น</p><ul><li>จัดการกับ emoji ที่อยู่ในข้อความ tweet</li><li>จัดการข้อความที่เรียงผิดหรือใช้ผิดอักษร เช่น “แ” พิมพ์ “เ เ” (สระแอพิมพ์ด้วยสระเอ 2 ตัว) หรือ ต้้้้น เป็นต้น</li><li>ลบคำฟุ่มเฟือยภาษาไทย</li><li>ลบการอ้างอิงถึงผู้ใช้บน x.com</li><li>ลบแฮชแท็ก</li><li>ลบลิงก์</li><li>ลบเครื่องหมายคำพูด (punctuation)</li><li>ลบสัญญาลักษ์พิเศษต่างๆ</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0048a21d2f42c5a03d1559d2cf492ef4/href">https://medium.com/media/0048a21d2f42c5a03d1559d2cf492ef4/href</a></iframe><p>การทำ data cleaning นั้นจะใช้ library ดังนี้</p><ul><li>re สำหรับทำ regular expression</li><li>emoji สำหรับจัดการ emoji</li><li>pythainlp เป็นเครื่องมือช่วยจัดการงานทางด้าน nlp ในภาษาไทย</li></ul><p>หลังจากทำ data cleaning แล้ว จะพบว่าบางแถวที่ข้อความเป็น emoji เพียงอย่างเดียวจะไม่มี text อะไรเลย ดังนั้นเราจึงทำการลบแถวพวกนั้นออกไปจากชุดข้อมูลของเราด้วยโค้ดในบรรทัดที่ 33 หลังจากทำ cleaning ไปแล้ว เราจะเหลือข้อมูลอยู่ 955 tweets</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FHSxvYt3CEAf8aRpwSZJzQ.png" /><figcaption>ตัวอย่างหลังทำ data cleaning</figcaption></figure><p>เมื่อเตรียมข้อมูลพร้อมแล้ว ต่อไปจะทำ prediction sentiment score จาก Google natural language API ด้วย library</p><ul><li>google-cloud-language สำหรับเรียกใช้งาน Google API ในส่วนงานเกี่ยวกับภาษา</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/03a2d6291d3e2d6dcdb7be67d23197a8/href">https://medium.com/media/03a2d6291d3e2d6dcdb7be67d23197a8/href</a></iframe><p>เมื่อ prediction เรียบร้อยแล้วก็จะได้ผลลัพธ์ดังภาพด้านล่าง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/1*WeqzJBZjO1Zs65sA_UUkWw.png" /><figcaption>ตัวอย่างผลลัพธ์ prediction</figcaption></figure><p>จะเห็นว่าตอนนี้เราได้ค่า score ของข้อความมาแล้ว เพื่อให้ง่ายต่อการนำเสนอหรือสื่อสาร เราจำเป็นต้องตีความค่า score นั้นออกมาเป็นคลาส/คำที่สื่อสารแล้วคนทั่วไปเข้าใจได้ง่าย ตัว score นั้นจะบอกถึงความรู้สึกที่ข้อความสื่อออกมาว่าเป็นเชิงบวกหรือเชิงลบ ค่าอยู่ระหว่าง -1.0 (very negative) ถึง 1.0 (very positive) โดยเราอาจจะกำหนดช่วงของค่า score ว่าถ้าหาก score มีค่ามากกว่า 0.25 เป็นคลาส positive หากน้อยกว่า -0.25 เป็นคลาส negative นอกเหนือจากนั้นจะเป็นคลาส neutral</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/24bff843598342784f41f74943349327/href">https://medium.com/media/24bff843598342784f41f74943349327/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pOybdbUuhI57aZlHYizXag.png" /><figcaption>ตัวอย่างผลลัพธ์ของคลาส</figcaption></figure><p>มาดูกันว่าเราได้ผลลัพธ์อะไรกันมาบ้าง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/817/1*TFwDaxh0olESi5a4A4tnhw.png" /><figcaption>overall sentiment</figcaption></figure><p>จากข้อมูลทั้งหมดเราเจอว่าข้อความ tweet แทบจะเป็นข้อความเชิง positive ซะเป็นส่วนใหญ่ในการพูดถึง butterbear ดังนั้นเราจึงเกิดข้อสงสัยว่าอีก 5% ที่เป็น negative นั้นข้อความ tweet นั้นเป็นลักษณะอย่างไร</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/992/1*RtvAkiWc2Q7XO5LMaaJ60Q.png" /><figcaption>ตัวอย่างข้อมูลที่เป็น negative</figcaption></figure><p>จะเห็นว่าข้อความ tweets นั้นมีลักษณะที่เป็น negative แต่ความจริงนั้นผู้ที่ tweet ข้อความเหล่านั้น สื่อสารเป็นแนวหยอกล้อ หรือใช้ข้อความที่เป็นเชิง negative เพื่อสื่อถึงความน่ารัก ขี้เล่น ของสิ่งที่เค้าพูดถึง (ความดิ้นได้ของภาษา)</p><p>เรามาดูว่าข้อมูล tweets ทั้งหมดที่เรามี ในข้อความเหล่านั้นมีคำใดที่เกิดขึ้นบ่อย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wHu8KKknNeDIheiDo8N73Q.png" /><figcaption>คำที่นิยมใช้บ่อย</figcaption></figure><p>คำที่เกิดขึ้นบ่อยเช่น น้อง, เนย, รัก, น่า, ยัย ตามลำดับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7fFfeDk1nnfWBd8P-j4huQ.png" /></figure><p>หากดูเป็น wordcloud แล้วอาจจะไม่เห็นถึงรายละเอียด ดังนั้นมาดูกันว่า 10 คำที่เกิดขึ้นบ่อยที่สุดมีอะไรบ้าง และมีการใช้บ่อยแค่ไหน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1YEGDWdzT2sq3BlMIG5Rlw.png" /></figure><p>เราลองมาดูกันเพิ่ม หากเรารวมคำ 2 คำเราจะเห็นอะไรบ้าง จะเห็นได้ว่าเมื่อเราเอาคำ 2 คำมารวมกันจะสื่อความหมายได้มาขึ้น จากภาพจะเห็นได้ว่าคำที่เกิดขึ้นจะเป็นการอวยพรในวันเกิดหรือครบรอบของ Butterbear</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*z-mpt7r7cHs5s5oRt4bZ3Q.png" /></figure><p>เรามาดูกันต่อว่า hashtag อะไรที่เกิดขึ้นบ่อย แน่ๆ อยู่แล้ว อันดับหนึ่งคงเป็น #butterbear และรองมาก็เป็น #ด้อมน้องเนย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kY4QPqoNbHSNWtaSkUQWxA.png" /></figure><p>จากที่สังเกตดูพบว่าบางข้อความ tweet จะเป็นการใช้ emoji แทนคำพูด และในเกือบทุก tweet จะใช้ emoji ดังนั้นเราจึงมาดูกันหน่อยว่าเค้าใช้ emoji อะไรกันบ้าง จากข้อมูลก็จะพอว่าคนนิยมใช้ emoji 🧸(หมีเท็ดดี้), 🐻 (หมี) เพื่อแสดงถึงน้องเนย 🥺 (หน้าอ้อนวอน) จากข้อมูลที่มีถูกใช้สื่อถึงความดีใจ ตื้นตันใจ ภูมิใจ ซะมากกว่าที่จะเป็น negative</p><h4>คุยกันก่อนจบ</h4><p>บทความนี้เรามาลองเล่น Google Cloud Natural Language API เพื่อทำ sentiment analysis ลองทำแล้วเป็นอย่างไรกันบ้าง ดูแล้วไม่ยากเลยใช่ไหม แต่อย่างหนึ่งที่ผมตั้งข้อสังเกตไว้ เราควรจะตรวจสอบดูผลลัพธ์ที่ได้ก่อนจะนำไปใช้งาน เพราะในบางครั้งหากเราใช้โมเดลสำเร็จ อาจจะไม่ตอบโจทย์กับงานเรา 100% จากการทดลองจะเห็นได้ว่าบางข้อความซึ่งเราอ่านแล้วดูเป็น positive แต่โมเดลกลับ predict ว่าเป็น negative ตัวข้อความ tweet ที่เราเก็บข้อมูลมา ส่วนใหญ่จะพูดถึงมาสคอตน้องเนยมากกว่าเรื่องอื่น</p><p>โค้ดที่ใช้ในบทความนี้สามารถเข้าไปดูได้ที่ <a href="https://colab.research.google.com/drive/12RULVN8booJ4vZ1uFy5YSVIglSVfvRLs?usp=sharing">Google Colab</a></p><p>หากมีข้อเสนอแนะ หรือคำแนะนำ ก็มาแชร์กันได้นะ</p><h4>อ้างอิง</h4><ul><li><a href="https://cloud.google.com/natural-language/docs/analyzing-sentiment">Analyzing Sentiment | Cloud Natural Language API | Google Cloud</a></li><li><a href="https://plotly.com/python/getting-started/">Getting</a></li><li><a href="https://amueller.github.io/word_cloud/">WordCloud for Python documentation - wordcloud 1.8.1 documentation</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fb474264e072" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ลองเขียน Kong plugin ด้วย JavaScript กัน]]></title>
            <link>https://decimo.medium.com/%E0%B8%A5%E0%B8%AD%E0%B8%87%E0%B9%80%E0%B8%82%E0%B8%B5%E0%B8%A2%E0%B8%99-kong-plugin-%E0%B8%94%E0%B9%89%E0%B8%A7%E0%B8%A2-javascript-%E0%B8%81%E0%B8%B1%E0%B8%99-c0ddadbc1db0?source=rss-da4066332ed3------2</link>
            <guid isPermaLink="false">https://medium.com/p/c0ddadbc1db0</guid>
            <category><![CDATA[javascript]]></category>
            <category><![CDATA[kong-gateway]]></category>
            <category><![CDATA[kong-plugin-development]]></category>
            <category><![CDATA[kong]]></category>
            <dc:creator><![CDATA[Nuipin Decimo]]></dc:creator>
            <pubDate>Thu, 07 Mar 2024 01:43:19 GMT</pubDate>
            <atom:updated>2024-03-07T01:43:19.235Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZXoEKZiFQ5TEWy6lkM8W8Q.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@lucabravo?utm_content=creditCopyText&amp;utm_medium=referral&amp;utm_source=unsplash">Luca Bravo</a> on <a href="https://unsplash.com/photos/turned-on-gray-laptop-computer-XJXWbfSo2f0?utm_content=creditCopyText&amp;utm_medium=referral&amp;utm_source=unsplash">Unsplash</a></figcaption></figure><p>จากบทความที่แล้ว “<a href="https://medium.com/@decimo/%E0%B8%A5%E0%B8%AD%E0%B8%87%E0%B9%80%E0%B8%A5%E0%B9%88%E0%B8%99-kong-gateway-%E0%B9%81%E0%B8%A5%E0%B9%89%E0%B8%A7%E0%B8%88%E0%B8%B0%E0%B8%A3%E0%B8%B9%E0%B9%89%E0%B8%A7%E0%B9%88%E0%B8%B2%E0%B8%8A%E0%B8%B5%E0%B8%A7%E0%B8%B4%E0%B8%95%E0%B8%87%E0%B9%88%E0%B8%B2%E0%B8%A2%E0%B8%82%E0%B8%B6%E0%B9%89%E0%B8%99%E0%B9%80%E0%B8%A1%E0%B8%B7%E0%B9%88%E0%B8%AD%E0%B8%A1%E0%B8%B5-kong-3e5c9683c137">ลองเล่น Kong Gateway กัน แล้วจะรู้ว่าชีวิตง่ายขึ้นเมื่อมี Kong</a>” ที่มาเล่าและทดลองเล่น Kong Gateway บน docker เราก็พอรู้คร่าวๆ เกี่ยวกับการตั้งค่าเส้นทางและการใช้ plugin บน Kong กันบ้างแล้ว เห็นได้ว่าการใช้ plugin บน Kong นั้นทำให้การทำงานเราง่ายขึ้นมาก แต่ถ้า<em>ไม่มี </em>plugin <em>ที่เราอยากจะใช้ล่ะ? </em>เราจะสามารถพัฒนา<em> </em>plugin<em> ขึ้นมาใช้งานเองได้หรือไม่? แล้วถ้าพัฒนาได้จะต้องใช้ภาษาอะไร?</em></p><p>หลายคนคงรู้กันแล้วว่า Kong ถูกพัฒนาด้วยภาษา Lua ดังนั้นก็สามารถตั้งสมมติฐานได้เลยว่าการที่จะพัฒนา plugin บน Kong นั้นคงต้องใช้ภาษา Lua อย่างแน่นอน ซึ่งจากเอกสารของ Kong ก็เป็นไปตามนั้นจริงๆ แต่ก็ไม่ต้องตกใจไป ทาง Kong ยังให้ตัวเลือกในการพัฒนา plugin นอกจากภาษา Lua ไว้ด้วย</p><p>ในการพัฒนา plugin ทาง Kong ได้เตรียมชุด SDK (ทาง Kong เรียก PDK) ในภาษาอื่นๆ ที่นิยมใช้ในปัจจุบันอาทิ Go, Python, และ JavaScript</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1d9961fcdc6ba5a6e1bf1dcb2180e16e/href">https://medium.com/media/1d9961fcdc6ba5a6e1bf1dcb2180e16e/href</a></iframe><p>บทความนี้เราเลยมาทดลองสร้าง Kong Gateway Plugin ด้วยภาษา JavaScript กัน</p><h3>เรามาเริ่มกันเลยดีกว่า :)</h3><p>บทความนี้เราจะจำลอง environment การทำงานบน Docker ถ้าหากยังไม่ได้ติดตั้งสามารถดูวิธีติดตั้งได้จาก <a href="https://www.docker.com/get-started">link</a> นี้ ส่วน resource ในบทความนี้สามารถเข้าไปดูได้ที่ <a href="https://github.com/snlangsuan/demo-kong-gateway/tree/main/02-custom-plugin">github repo</a> ได้เลย</p><p>โดยในการทดลองนี้เราจะตั้ง scenario ที่ว่าเรามี authentication API อยู่แล้ว และต้องการสร้าง plugin บน Kong เพื่อช่วยทำ authorization ใน API เส้นอื่น</p><p>เริ่มด้วยด้วยการสร้าง mock service API กันก่อน ทั้ง authenticate API และ mock API ที่ไม่มีการทำ authorization ซึ่งเราจะเขียนเป็น TypeScript ง่ายๆ ในการจำลอง API นี้ขึ้นมา</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1eb7c119cfad99bf75ab33cfca5b18ed/href">https://medium.com/media/1eb7c119cfad99bf75ab33cfca5b18ed/href</a></iframe><p>ใน mock service API ประกอบด้วย API ทั้งหมด 4 เส้นทาง</p><ul><li>/auth/login สำหรับ login เพื่อสร้าง access_token</li><li>/auth/verify สำหรับ verify access_token ว่าสร้างใช้งานได้หรือไม่ หากใช้ได้จะตอบกลับด้วยเวลาที่จะหมดอายุของ token นั้น</li><li>/auth/me สำหรับแสดงข้อมูลผู้ใช้จาก token นั้น</li><li>/mock/info สำหรับเป็น mock API ที่ไม่มีการทำ authorization ใดๆ</li></ul><p>สร้าง Dockerfile สำหรับ build และรันโค้ดด้านบน ด้วย Node.js เวอร์ชัน 20</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ab81f936da5881a7e274d02a53a2a643/href">https://medium.com/media/ab81f936da5881a7e274d02a53a2a643/href</a></iframe><p>อธิบายเพิ่มเติมเกี่ยวกับ Dockerfile ด้านบนสำหรับคนที่ไม่เคยเขียน Dockerfile มาก่อน</p><p>สร้าง Dockerfile เป็น 2 stage</p><ul><li>build stage</li><li>run stage</li></ul><p>ใน line 1–4 เป็น build stage และ line 6–12 เป็น run state</p><ul><li>line 1 กำหนด image ต้นแบบจาก Node.js เวอร์ชัน 20</li><li>line 2 กำหนด directory ที่จะทำงาน</li><li>line 3 คัดลอกไฟล์จากเครื่อง ไปยัง workdir ใน image ที่จะสร้าง</li><li>line 4 ติดตั้ง dependencies และ build Typescript code</li><li>line 6 กำหนด image ต้นแบบจาก Node.js เวอร์ชัน 20</li><li>line 7 กำหนด directory ที่จะทำงาน</li><li>line 8 คัดลอกไฟล์จาก build stage ไป directory ปัจจุบัน</li><li>line 9 คัดลอกไฟล์ package.json ไป directory ปัจจุบัน</li><li>line 10 คัดลอกไฟล์ yarn.lock ไป directory ปัจจุบัน</li><li>line 11 ติดตั้ง dependencies</li><li>line 12 รัน code</li></ul><p>เท่านี้เราก็จบในการเตรียม mock service API แล้ว ในขั้นต่อไปเราจะไปเริ่มเขียน plugin กัน</p><p>ก่อนไปเริ่มเขียน plugin เรามาทำความรู้จักกับโครงสร้างของ Kong plugin กันก่อน ตามเอกสารของทาง Kong อธิบายว่า ในการพัฒนา plugin ในภาษา JavaScript เราจะต้อง export object ออกไปดังนี้</p><ul><li><strong>Plugin</strong> กำหนดคลาสที่เป็น business login ของตัว plugin นี้</li><li><strong>Schema</strong> กำหนด schema การตั้งค่าของ plugin (field ที่ใช้รับค่าการตั้งค่า)</li><li><strong>Version</strong> และ <strong>Priority </strong>กำหนดเลขเวอร์ชันและความสำคัญในการทำงาน</li></ul><p>Kong กำหนดให้ plugin สามารถเข้าถึงเฟสการทำงาน ไว้ดังต่อไปนี้</p><ul><li><strong>certificate</strong> ช่วงการทำงาน SSL handshake สามารถทำงานได้กับโปรโตคอล https, grpcs, wss</li><li><strong>rewrite</strong> ช่วงก่อน router จะถูกดำเนินการ ไม่สามารถกำหนดการทำงานในชั้น service และ consumer สามารถทำงานได้กับทุกโปรโตคอล</li><li><strong>access</strong> ช่วงหลัง router ก่อนส่งพร็อกซีไปยัง upstream service สามารถทำงานได้กับโปรโตคอล http(s), grpc(s), ws(s)</li><li><strong>response</strong> ช่วงหลังรับค่าจาก upstream service ก่อนส่งกลับไปยัง consumer สามารถทำงานได้กับโปรโตคอล http(s), grpc(s)</li><li><strong>preread</strong> จะคล้าย access แต่ทำงานในระดับการเชื่อมต่อแบบ TCP หรือ UTP</li><li><strong>log</strong> ช่วงหลังจากส่งกลับไปยัง consumer</li></ul><p>งั้นก็มาเริ่มสร้าง plugin กันเลยดีกว่า</p><pre>$ mkdir js-plugins/js-custom-auth<br>$ cd js-plugins/js-custom-auth<br>$ yarn init<br>$ yarn add axios</pre><p>ต่อจากนั้นสร้างไฟล์ index.js</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2690565073ac8c3c20c97d8364788757/href">https://medium.com/media/2690565073ac8c3c20c97d8364788757/href</a></iframe><p>มาดูโค้ดกันหน่อย</p><ul><li>line 3 ดึงเลขเวอร์ชันของ plugin จากเลขเวอร์ชันในไฟล์ package.json</li><li>line 4 เรียกใช้ library axios</li><li>line 6 — 37 เป็นส่วนของ business logic ของ plugin เรา จากโค้ดเราจะทำงานใน access เฟส ซึ่งจะเป็นการอ่าน access_token เพื่อไป verify กับ API ที่เราตั้งค่าไว้ ถ้า access_token สามารถใช้งานได้ก็จะไม่ทำอะไรปล่อยให้ผ่านไปยังเฟสต่อไป แต่หากไม่ถูกต้องจะตอบกลับเป็น HTTP 401 กลับไป</li><li>line 39–77 กำหนดคุณสมบัติการทำงานของ custom plugin เรา</li></ul><p>เมื่อโค้ดเรียบร้อยแล้ว เราก็มาสร้าง Dockerfile สำหรับทดสอบ plugin กัน</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ac22e318f822dcfef43a04df7c29e0a8/href">https://medium.com/media/ac22e318f822dcfef43a04df7c29e0a8/href</a></iframe><ul><li>line 1 กำหนด image ต้นแบบจาก kong เวอร์ชัน 3.5.0 (บทความนี้ปรับลดเวอร์ชันจากบทความที่แล้วคือจาก 3.6.0 มาเป็น 3.5.0 เนื่องจากทดลองใช้ในเวอร์ชัน 3.6.0 แล้ว custom plugin ไม่แสดงใน kong manager)</li><li>line 3 เปลี่ยนผู้ใช้เป็น superuser</li><li>line 4 อัพเดทเวอร์ชันตัวจัดการแพคเกจ</li><li>line 5 ติดตั้งแพคเกจ nodejs, npm, python3, make, g++, และ vim</li><li>line 6 ลบแคชของตัวจัดการแพคเกจ</li><li>line 7 ติดตั้ง kong-pdk เวอร์ชัน 0.5.5</li><li>line 9 คัดลอก directory js-plugins/js-custom-auth ไปยัง image ที่จะสร้าง</li><li>line 10 กำหนด directory ที่เราจะทำงาน</li><li>line 11 ติดตั้ง dependencies ในโปรเจค plugin เรา</li></ul><p>จากนั้นมาสร้าง docker-compose.yml สำหรับจำลอง environment ทั้งหมด</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6b804406c63a6779529295e7afd701d6/href">https://medium.com/media/6b804406c63a6779529295e7afd701d6/href</a></iframe><p>docker-compose.yml จะคล้ายๆ กับที่ใช้ในบทความที่แล้ว แต่จะเปลี่ยนจากที่เราเรียกใช้ image ของ Kong ตรงๆ เรามาเรียกใช้ Dockerfile ที่เราสร้างแทน</p><p>Kong ต้องการ environment variable เพิ่มเติมเพื่อให้สามารถเรียกใช้งาน plugin ได้</p><pre>KONG_PLUGINSERVER_NAMES: js<br>KONG_PLUGINSERVER_JS_SOCKET: ${KONG_PREFIX:-/var/run/kong}/js_pluginserver.sock<br>KONG_PLUGINSERVER_JS_START_CMD: /usr/local/bin/kong-js-pluginserver -v -p ${KONG_PREFIX:-/var/run/kong} --plugins-directory /usr/local/kong/js-plugins<br>KONG_PLUGINSERVER_JS_QUERY_CMD: /usr/local/bin/kong-js-pluginserver --plugins-directory /usr/local/kong/js-plugins --dump-all-plugins<br>KONG_PLUGINS: bundled,js-custom-auth</pre><ul><li><strong>KONG_PLUGINSERVER_NAMES</strong> กำหนดชื่อ plugin server หากมีหลายตัวสามารถคั่นด้วย comma (,) ได้</li><li><strong>KONG_PLUGINSERVER_JS_SOCKET</strong> กำหนด path ที่เก็บ socket file (.sock) จะเกิดเมื่อเรารัน kong-js-pluginserver</li><li><strong>KONG_PLUGINSERVER_JS_START_CMD</strong> คำสั่งเริ่มทำงาน kong-js-pluginserver</li><li><strong>KONG_PLUGINSERVER_JS_QUERY_CMD</strong> คำสั่ง dump plugin infomation</li><li><strong>KONG_PLUGINS</strong> กำหนด plugin ที่จะใช้งานจากโค้ดด้านบนจะเห็นว่าเราป้อนค่า bundled,js-custom-auth bundled คือ plugin ที่ bundled มากับ Kong</li></ul><p>จากนั้นรันคำสั่ง docker compose up -d เพื่อเรียกใช้งานไฟล์ docker-compose.yml จากนั้นตรวจสอบว่า container kong-database , mock-api และ kong อยู่ในสถานะ running</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*b2RPMQooCkKUOtMV8_u1ug.png" /><figcaption>docker container activated</figcaption></figure><p>เรียกใช้งาน Kong Manager (admin GUI)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DstAra3fxuLLcswINpSWfA.png" /></figure><p><strong>กำหนด Gateway Services</strong></p><ul><li>auth-service กำหนด upstream url http://mock-api:3000/auth</li><li>mock-service กำหนด upstream url http://mock-api:3000/mock</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WQMcCETr79KGzGVH3I3vIw.png" /><figcaption>สร้าง auth-service</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gBDLxLX-YJ5BjrIvNf1_Kw.png" /><figcaption>สร้าง mock-service</figcaption></figure><p><strong>กำหนด Routes</strong></p><ul><li>/api/auth → http://mock-api:3000/auth</li><li>/api/mock → http://mock-api:3000/mock</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*R0m_3pYrfhey_S_7MsmGUg.png" /><figcaption>กำหนด route ของ auth-route ใน auth-service</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8gXc0CRqSofx-3-67BKJZg.png" /><figcaption>กำหนด route ของ mock-route ใน mock-service</figcaption></figure><p>ทดสอบเรียก API ผ่าน Kong proxy</p><ul><li>http://localhost:8000/api/auth/login</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rfEpvvrXTJDZV-L7CB2CwQ.png" /><figcaption>ทดลองเรียก /api/auth/login</figcaption></figure><ul><li><a href="http://localhost:8000/api/auth/verify">http://localhost:8000/api/auth/verify</a></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*C5uqlUgfiIfO-n3cqsgX_Q.png" /><figcaption>ทดลองเรียก /api/auth/verify</figcaption></figure><ul><li><a href="http://localhost:8000/api/mock/info">http://localhost:8000/api/mock/info</a></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sEnxTAdGT5jHzEojRohqRg.png" /><figcaption>ทดลองเรียก /api/mock/info</figcaption></figure><p>จะเห็นว่าตอนนี้ /api/mock/info ยังไม่มี login ต่อไปเราจะเปิดใช้งาน plugin ที่เราสร้างขึ้นบน gateway service ของ route นี้กัน</p><p>ไปที่ Gateway Services → เลือก mock-service → เลือกแท็บ Plugins → กดเพิ่ม plugin New Plugin</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Vqa5UrejTePzn4l-cAfHPA.png" /><figcaption>ติดตั้ง plugin บน gateway service</figcaption></figure><p>เปิดใช้งาน plugin ที่เราสร้าง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rDXo-UhtgKQf_cm2jRL7tQ.png" /></figure><p>ตั้งค่า plugin โดยกำหนด introspection_endpoint ให้เรียกไปที่ http://mock-api:3000/auth/verify</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IsiiTr3HC6rutWzG96D9rA.png" /><figcaption>ตั้งค่า plugin</figcaption></figure><p>ทดสอบเรียก <a href="http://localhost:8000/api/mock/info">http://localhost:8000/api/mock/info</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LWjIE48RaXWwRrh9w6j4wg.png" /><figcaption>unauthorized for /api/mock/info</figcaption></figure><p>จะเห็นว่าหลังจากที่เปิดใช้งาน plugin js-custom-auth ไป เราจะไม่สามารถเข้าใช้งาน API เส้นนี้ได้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hzDaufB4dB2QsBpcxiZgGA.png" /><figcaption>authorized for /api/mock/info</figcaption></figure><p>เมื่อเพิ่ม Authorization: Bearer &lt;access_token&gt; เข้าไปยัง request header เราจึงจะสามารถใช้งาน API เส้นนี้ได้</p><h4>คุยกันก่อนจบ</h4><p>บทความนี้เรามาสร้าง Kong Plugin ด้วย JavaScript กัน เป็นอย่างไรกันบ้าง นอกจาก JavaScript แล้วใน repository ยังมีตัวอย่าง plugin แบบเดียวกันในภาษา Lua และ Python มาให้ด้วย ส่วนวิธีการเรียกใช้ก็ลองดูใน repository นะครับ มี hint เล็กๆ บอกวิธีการตั้งค่าอยู่นะ หากมีข้อเสนอแนะ หรือคำแนะนำ ก็มาแชร์กันได้นะ</p><h4>อ้างอิง</h4><blockquote><a href="https://docs.konghq.com/gateway/latest/plugin-development/pluginserver/javascript/">https://docs.konghq.com/gateway/latest/plugin-development/pluginserver/javascript/</a></blockquote><blockquote><a href="https://docs.konghq.com/gateway/latest/plugin-development/custom-logic/">https://docs.konghq.com/gateway/latest/plugin-development/custom-logic/</a></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c0ddadbc1db0" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ลองเล่น Kong Gateway กัน แล้วจะรู้ว่าชีวิตง่ายขึ้นเมื่อมี Kong]]></title>
            <link>https://decimo.medium.com/%E0%B8%A5%E0%B8%AD%E0%B8%87%E0%B9%80%E0%B8%A5%E0%B9%88%E0%B8%99-kong-gateway-%E0%B9%81%E0%B8%A5%E0%B9%89%E0%B8%A7%E0%B8%88%E0%B8%B0%E0%B8%A3%E0%B8%B9%E0%B9%89%E0%B8%A7%E0%B9%88%E0%B8%B2%E0%B8%8A%E0%B8%B5%E0%B8%A7%E0%B8%B4%E0%B8%95%E0%B8%87%E0%B9%88%E0%B8%B2%E0%B8%A2%E0%B8%82%E0%B8%B6%E0%B9%89%E0%B8%99%E0%B9%80%E0%B8%A1%E0%B8%B7%E0%B9%88%E0%B8%AD%E0%B8%A1%E0%B8%B5-kong-3e5c9683c137?source=rss-da4066332ed3------2</link>
            <guid isPermaLink="false">https://medium.com/p/3e5c9683c137</guid>
            <category><![CDATA[api-gateway]]></category>
            <category><![CDATA[api]]></category>
            <category><![CDATA[kong-gateway]]></category>
            <category><![CDATA[kong]]></category>
            <category><![CDATA[nginx]]></category>
            <dc:creator><![CDATA[Nuipin Decimo]]></dc:creator>
            <pubDate>Sun, 18 Feb 2024 06:36:34 GMT</pubDate>
            <atom:updated>2025-08-04T12:41:51.959Z</atom:updated>
            <content:encoded><![CDATA[<h3>ลองเล่น Kong Gateway กัน แล้วจะรู้ว่าชีวิตง่ายขึ้น</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IHMG36wOLltaAHJy5kJOeA.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@exdigy?utm_content=creditCopyText&amp;utm_medium=referral&amp;utm_source=unsplash">Dominik Lückmann</a> on <a href="https://unsplash.com/photos/blue-and-red-cargo-ship-on-dock-during-daytime-SInhLTQouEk?utm_content=creditCopyText&amp;utm_medium=referral&amp;utm_source=unsplash">Unsplash</a></figcaption></figure><p>บทความนี้ไม่ได้เป็นการลองของใหม่แต่อย่างใด เนื่องจากมีโอกาสไปเทรนเรื่อง Kong Gateway เลยถือโอกาสนำมาเขียนเป็นบทความนี้ แต่ก่อนที่จะไปทดลองใช้งาน Kong Gateway เรามารู้จักกันก่อนว่า Kong Gateway คืออะไร มีการทำงานอย่างไร</p><h4>What is a Kong Gateway?</h4><p>ก่อนไปรู้ว่า Kong Gateway เป็นไง เรามาทำความรู้จักกับ <strong><em>API Gateway</em></strong> กันก่อน หน้าที่โดยหลักของ API Gateway จะทำหน้าที่เป็น singular interface ที่คอยจัดการกับ request ต่างๆ ก่อนส่งไปใช้ API หรือ service ต่างๆ ที่อยู่ภายใน ไม่ว่าจะเป็น API ในแบบ monolith หรือ microservices โดยหน้าที่หลักๆ แบ่งได้ดังนี้</p><ul><li>กรอง traffic หรือ request ที่เข้ามา</li><li>single entry point เป็น endpoint เดียวที่ผู้ใช้งานจะ request เข้ามา แล้วทำหน้าที่ routing เพื่อส่งต่อไปยัง service ต่างๆ ด้วย context path หรือวิธีอื่นๆ</li><li>จัดการ API ที่จะส่งต่อ (API management)</li><li>จัดการ rate limit และ traffic control management</li><li>จัดการเรื่องความปลอดภัยไม่ว่าจะเป็นการ authentication และการ logging</li></ul><p>ดังนั้น Kong Gateway จึงมาเป็นผู้ช่วยของเราในการจัดการเรื่องต่างๆ อย่างที่กล่าวมาด้านบน</p><p>Kong Gateway เป็น open-source software ทำหน้าที่เป็น API Gateway หรือตัวกลางในการจัดการ API ต่างๆ (ทั้ง on-premise และ on-cloud) ไว้ในที่เดียว เมื่อ Kong ได้รับ request จาก client มันสามารถที่จะปรับเปลี่ยนหรือกำหนดเส้นทาง request หรือ response ตามที่เรากำหนดไว้ได้ และเรายังสามารถเพิ่มหรือลบค่าใน header ของ request หรือ response ได้ด้วย</p><p>ยิ่งไปกว่านั้นเรายังสามารถเพิ่มความสามารถของ Kong Gateway ได้ด้วย plugin เช่น การทำ authentication, การทำ rate limiting, caching, logging, bot detection, CORS, IP restriction, และอื่นๆ ทำให้นักพัฒนาไม่จำเป็นเพิ่มคุณสมบัติเหล่านี้ลงไปใน API หรือ service ดังนั้นจึงทำให้นักพัฒนาสามารถโฟกัสไปที่ business logic ได้มากขึ้น</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pXyzb0Ilpq20Oz3WhXsYDQ.jpeg" /><figcaption>Kong Gateway</figcaption></figure><h4>Why Use Kong Gateway?</h4><p>ปัญหาอย่างหนึ่งในการพัฒนาในแบบ traditional เมื่อเรามีการขยายหรือแก้ไขนั้นเป็นไปได้ยาก อาจจะส่งผลกระทบต่อ service อื่นที่เกี่ยวข้อง หรือการที่ต้องแก้ไขฟังก์ชั่นต่างๆ เช่น การ authentication, การ logging, และการ monitor ซึ่งเป็นงานที่คล้ายกันแต่ต้องแก้ไขในหลายที่จึงไม่ตอบโจทย์ในการทำงานแบบ modernise applications</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vuA5OSwT-kYs9rI7Tu_zLw.png" /><figcaption>Traditional vs Kong</figcaption></figure><p>จากปัญหาที่ได้กล่าวไปด้านบน Kong Gateway จึงมาเป็นผู้ช่วยในการแก้ การใช้งาน Kong Gateway สามารถควบคุมและจัดการได้โดยไม่ต้องมานั่งแก้โค้ดให้เสียเวลา อีกทั้งในบางปัญหาเราสามารถวิเคราะห์ root cause ได้จาก logs บนตัว Kong Gateway ได้เลย</p><h4>Architecture of Kong Gateway</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*36fNypqCwNwndL7Z.png" /></figure><p>Kong Gateway ถูกพัฒนาจาก OpenResty + Nginx ซึ่งหลายๆ คนอาจจะรู้จักเจ้าตัว Nginx กันดีแล้ว แต่หากใครไม่รู้จัก Nginx เป็น reverse proxy และ load balance ตัวหนึ่งที่นิยมใช้กันอย่างแพร่หลาย คิดเป็น 29% ของท็อป 1 ล้านเว็บไซต์ทั่วโลก</p><p>Nginx ถูกสร้างขึ้นในปี 2004 ต่อมาได้เพิ่มความสามารถในการฝั่งโค้ดภาษา <a href="https://th.wikipedia.org/wiki/%E0%B8%A0%E0%B8%B2%E0%B8%A9%E0%B8%B2%E0%B8%A5%E0%B8%B9%E0%B8%AD%E0%B8%B2">Lua</a> ลงไป จึงทำให้เกิดความเป็นไปได้ใหม่ๆ มากมาย เนื่องจากสามารถสร้างแอพพลิเคชันบนการทำงานหลักของ Nginx ได้ หลังจากนั้นมีการสร้างแพลตฟอร์มตัวหนึ่งชื่อ OpenResty มันรวมโมดูลต่างๆ ของ Nginx และ Lua ไลบรารี การทำงานของ Lua ไลบรารีของ OpenResty จะ execution โดยตรงกับ Nginx worker ซึ่ง Kong Gateway จึงเป็นแอพพลิเคชันหนึ่งบน OpenResty</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DNL9E7vrPG2UuvMYZy-TCQ.jpeg" /><figcaption>เปรียบเทียบ Kong community vs Kong enterprise</figcaption></figure><p>ตารางด้านบนเปรียบเทียบคุณสมบัติของ Kong community (open-source) และ Kong enterprise ซึ่งจะเห็นได้ว่า Kong enterprise มีฟีเจอร์ให้ใช้งานได้มากกว่า แต่สิ่งหนึ่งที่ได้เพิ่มมาจาก version ก่อนหน้าคือ Kong community สามารถใช้งาน Kong manager GUI ได้แล้ว (ซึ่งในอดีตจะสามารถใช้ได้เพียง admin API และใช้งาน GUI ผ่านทาง Konga)</p><p>ล่าสุด Kong (3.6.x) ได้ประกาศฟีเจอร์ใหม่ เพื่อรองรับการทำงานของ LLMs (Large Language Model) เพื่อช่วยให้สามารถบริหารจัดการ API AI ได้อย่างมีประสิทธิภาพ</p><h3>เรามาเริ่มกันเลยดีกว่า :)</h3><p>ในบทความนี้เราจะมาลองทำกันบน Docker หากยังไม่ได้ติดตั้งสามารถดูวิธีติดตั้งได้จาก <a href="https://www.docker.com/get-started">link</a> นี้ ส่วน resource ในบทความนี้สามารถเข้าไปดูได้ที่ <a href="https://github.com/snlangsuan/demo-kong-gateway/tree/main/01-basic-kong-gateway">github repo</a> ได้เลย</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/adb40bca583ab89712dab001e49a5f0f/href">https://medium.com/media/adb40bca583ab89712dab001e49a5f0f/href</a></iframe><p>เรามาดูว่าใน docker-compose.yml นั้นทำอะไรบ้าง</p><ol><li>สร้าง docker network ชื่อ kong-net</li></ol><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5a7f78b267be17f0276e609618233bdc/href">https://medium.com/media/5a7f78b267be17f0276e609618233bdc/href</a></iframe><p>2. เริ่มคอนเทนเนอร์ database ในบทความนี้เราเลือกใช้เป็น postgres</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/882557ff15bb8f70ae8f26b54e11250d/href">https://medium.com/media/882557ff15bb8f70ae8f26b54e11250d/href</a></iframe><p>3. สั่ง migrate database</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/797c9872cd010d650aa5da83b67cd0fd/href">https://medium.com/media/797c9872cd010d650aa5da83b67cd0fd/href</a></iframe><p>4. เริ่มคอนเทนเนอร์ Kong Gateway</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ce7f737422ce88888fcde008a0ba0737/href">https://medium.com/media/ce7f737422ce88888fcde008a0ba0737/href</a></iframe><p>ซึ่ง Kong Gateway กำหนด default port ไว้ดังนี้</p><ul><li>8000 สำหรับ http request ส่งต่อไปยัง upstream service ที่เรากำหนด</li><li>8443 สำหรับ https request ส่งต่อไปยัง upstream service ที่เรากำหนด</li><li>8001 สำหรับเรียกใช้งาน Kong Gateway admin API (http)</li><li>8444 สำหรับเรียกใช้งาน Kong Gateway admin API (https)</li><li>8002 สำหรับเรียกใช้งาน Kong Manager (admin GUI)</li></ul><p>จากนั้นรันคำสั่ง docker compose up -d เพื่อเรียกใช้งานไฟล์ docker-compose.yml จากนั้นตรวจสอบว่า container kong-database และ kong อยู่ในสถานะ running</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZRIVYLsXTcWulsUg21B3WQ.png" /><figcaption>docker container activated</figcaption></figure><p>ลองเรียกใช้งาน Kong Manager (admin GUI)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DstAra3fxuLLcswINpSWfA.png" /></figure><h4>สร้าง service routing บน Kong Gateway</h4><ol><li>สร้าง mock API จำนวน 4 รายการ ดังนี้</li></ol><ul><li><a href="http://localhost:7001/">http://localhost:7001</a> (users)</li><li><a href="http://localhost:7002/">http://localhost:7002</a> (products)</li><li><a href="http://localhost:7003/">http://localhost:7003</a> (carts)</li><li><a href="http://localhost:7004/">http://localhost:7004</a> (recipes)</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f55d7630aca417cc3b84a7157870ba68/href">https://medium.com/media/f55d7630aca417cc3b84a7157870ba68/href</a></iframe><p>จากนั้นเราจะจำลองให้เรียกใช้งาน microservices ที่กล่าวมาด้านบนผ่านทาง Kong proxy (port 8000) โดยกำหนด routing ไปยัง service ตามรูปแบบดังนี้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4K2_FmJQWQoHvjIOPyQ5WA.jpeg" /><figcaption>API Gateway Routing</figcaption></figure><p>และอนุญาตให้เรียกใช้งานแค่ method GET และ POST เท่านั้น</p><p>2. เปิด Kong Manager <a href="http://localhost:8002/">http://localhost:8002</a></p><p>3. เปิดเมนู Gateway services → กดปุ่ม New Gateway service เพื่อเพิ่ม service ใหม่ ป้อนฟิลด์ Name และ Upstream URL จากนั้นกด save</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*M9H4VoAdOZ9lG5mmRU3Lbg.png" /><figcaption>new gateway service</figcaption></figure><p>4. เลือก service ที่พึ่งสร้างใหม่ → เลือกแท็บ routes → กดปุ่ม new route เพื่อเพิ่ม route ใหม่ ป้อนฟิลด์ Name , Paths , เลือก method GET และ POST จากนั้นกด save</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KYK4gyJXYn0zpPIN9M83Og.png" /><figcaption>new route</figcaption></figure><p>5. เพิ่ม service end points ทุกเส้นที่เตรียมไว้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tcwjDQD76kWUY1GdsxJ45A.png" /><figcaption>รายการ gateway services</figcaption></figure><p>6. ทดลองเรียก API ผ่าน Kong Gateway ด้วยโปรแกรม Postman</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QM2qu4JgjWEfb7d2FxBjGw.png" /><figcaption>ทดลองเรียก API ผ่าน Kong proxy</figcaption></figure><h4>Authentication Plugins</h4><p>การทำ authentication หรือการยืนยันตัวตนบน Kong Gateway ทำได้อย่างง่ายดายผ่าน Kong Manager เพียงเลือก authentication plugins ในปัจจุบันบน Kong Gateway community (3.6) มีให้เลือกใช้งาน 7 รูปแบบ</p><ul><li>Basic Authentication</li><li>HMAC Authentication</li><li>JWT</li><li>Key Authentication</li><li>LDAP Authentication</li><li>OAuth 2.0 Authentication</li><li>Session</li></ul><p>ในบทความนี้เราจะใช้งาน JWT plugin เพื่อทำ authentication สำหรับ route /api/users</p><ol><li>เลือก route ที่ต้องการใช้งาน plugin → กด enable ที่ JWT plugin</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xOiPaSwkKWMrc2Ut5qyevg.png" /><figcaption>เลือก JWT plugin</figcaption></figure><p>2. ป้อน claims to verify เป็น exp เพื่อระบุรูปแบบของของ JWT จากนั้นกด save</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*79OXXaG0oVxIPXu--TAN3A.png" /><figcaption>ตั้งค่า JWT plugin</figcaption></figure><p>3. ไปที่แท็บ consumer → กด new consumer เพื่อเพิ่ม consumer key ป้อนฟิลด์ username จากนั้นกด save</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6aY9GY6GxCFZrYV740Jviw.png" /><figcaption>สร้าง consumer key</figcaption></figure><p>4. เลือก consumer key ที่พึ่งสร้างใหม่ → เลือกแท็บ credentials → กดปุ่ม new JWT credential เพื่อเพิ่ม credential ใหม่ ป้อนฟิลด์ Key , และ Secret จากนั้นกด save</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2u8QNPQI6YgY-Fd05uCEBA.png" /><figcaption>สร้าง credential</figcaption></figure><p>5. ทดลองเรียก API ด้วยโปรแกรม Postman</p><p><em>เรียก API โดยไม่ใส่ Authorization ไปใน request header</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wc8Sf_rvSjrc3sMPjcyG4g.png" /><figcaption>เรียกโดยไม่ใส่เพิ่ม Authorization ไปใน request header</figcaption></figure><p><em>เรียก API โดยใส่ Authorization ไปใน request header</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PbF0QuCJpZJX5mKxEgRnGQ.png" /><figcaption>เรียกโดยเพิ่ม Authorization ไปใน request header</figcaption></figure><p><em>เรียก API โดยใส่ Authorization ไปใน request header แต่เป็น token ที่หมดอายุแล้ว</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EdGPGxkmClXvtIgHUL0YXw.png" /><figcaption>เรียกโดยเพิ่ม Authorization ไปใน request header แต่เป็น token ที่หมดอายุ</figcaption></figure><h4>Traffic Control Plugins</h4><p>เป็นกลุ่ม plugins ที่ใช้ควบคุมการส่งต่อ request ไปยัง upstream service ด้านหลัง Kong ในปัจจุบันบน Kong Gateway community (3.6) มีให้เลือกใช้งาน 7 รูปแบบ</p><ul><li>ACL</li><li>AI Prompt Guard</li><li>Proxy Caching</li><li>Rate Limiting</li><li>Request Size Limiting</li><li>Request Termination</li><li>Response Rate Limiting</li></ul><p>ในบทความนี้เราจะใช้งาน Rate Limiting plugin เพื่อจำกัดจำนวนครั้งการเข้าถึงของ route /api/products</p><ol><li>เลือก route ที่ต้องการใช้งาน plugin → กด enable ที่ Rate Limiting plugin</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BFti-lJvkvGmOLllxodsUw.png" /><figcaption>เลือก Rate Limiting plugin</figcaption></figure><p>2. ป้อน minte เป็น 10 เพื่อระบุจำนวน request สูงสุดที่จะเรียกมาในนาทีนั้น จากนั้นกด save</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vl2MrqVgX2kw0PoNvW4ebw.png" /><figcaption>ตั้งค่า rate limiting plugin</figcaption></figure><p>3. ทดลองเรียก API ด้วยโปรแกรม Postman</p><p><em>เรียก API ไปไม่เกิน limit ที่ตั้งไว้</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*u7pWojejc1HLRBsw_zXDLQ.png" /><figcaption>เรียก API ไปไม่เกิน limit ที่ตั้งไว้</figcaption></figure><p>เรียก API ไป 11 ครั้ง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ChvRJM_5_PqJmqMlnAm4Kw.png" /><figcaption>เรียก API ไปเกิน limit ที่ตั้งไว้</figcaption></figure><h3>คุยกันก่อนจบ</h3><p>ในบทความนี้เราก็มาลองเล่นตัว Kong Gateway กัน โดยลองกำหนด routing และการใช้งาน plugin (authentication และ traffic control) อาจจะไม่ได้เขียนละเอียด หรือลงรายละเอียดไปมากนัก และในรายละเอียดจริงๆ แล้วยังมีอีกหลายเรื่องที่ยังต้องไปศึกษาเพิ่มเติมเกี่ยวกับ Kong Gateway หากใครมีข้อมูล, ข้อแนะนำ, ข้อเสนอแนะหรือมี plugin อะไรที่น่าสนใจก็มาแชร์กันได้นะ</p><p>ในบทความต่อไปเดี๋ยวเรามาลองเขียน custom plugin บน Kong Gateway กัน ส่วนจะใช้ภาษาอะไรก็ค่อยติดตามกัน</p><p><strong><em>อ้างอิง</em></strong></p><blockquote><a href="https://docs.konghq.com/gateway/latest/">https://docs.konghq.com/gateway/latest/</a></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3e5c9683c137" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ลองสร้าง NFT บน Polygon ในแบบโปรแกรมเมอร์กัน]]></title>
            <link>https://decimo.medium.com/%E0%B8%A5%E0%B8%AD%E0%B8%87%E0%B8%AA%E0%B8%A3%E0%B9%89%E0%B8%B2%E0%B8%87-nft-%E0%B8%9A%E0%B8%99-polygon-%E0%B9%83%E0%B8%99%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B9%82%E0%B8%9B%E0%B8%A3%E0%B9%81%E0%B8%81%E0%B8%A3%E0%B8%A1%E0%B9%80%E0%B8%A1%E0%B8%AD%E0%B8%A3%E0%B9%8C%E0%B8%81%E0%B8%B1%E0%B8%99-eea4c03b6523?source=rss-da4066332ed3------2</link>
            <guid isPermaLink="false">https://medium.com/p/eea4c03b6523</guid>
            <category><![CDATA[opensea]]></category>
            <category><![CDATA[nft]]></category>
            <category><![CDATA[polygon]]></category>
            <category><![CDATA[truffle]]></category>
            <category><![CDATA[metamask]]></category>
            <dc:creator><![CDATA[Nuipin Decimo]]></dc:creator>
            <pubDate>Fri, 06 May 2022 02:03:05 GMT</pubDate>
            <atom:updated>2022-05-09T12:16:39.389Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rlrhwkjALD0OV7sO-qPsxg.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@metelevan?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Andrey Metelev</a> on <a href="https://unsplash.com/s/photos/nft-polygon?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><p>บทความนี้ก็อาจจะไม่ใช่เรื่องอะไรใหม่แล้ว แต่เนื่องจากช่วงนี้ก็อยู่กับเรื่อง Blockchain และ NFT ค่อนข้างบ่อย วันนี้ว่างๆ เลยถือโอกาสมานั่งเขียนบทความนี้ โดยหยิบหัวข้อ NFT มาคุยกัน เรามาดูกันว่าถ้าเราจะสร้าง NFT จะต้องทำอย่างไร มีขั้นตอนอย่างไรบ้าง</p><p>เริ่มจากมาทำความรู้จักกับ NFT, มาตรฐานของ NFT และเครือข่าย Polygon จากนั้นในตอนท้ายเรามาทดลองสร้าง NFT กัน</p><h4><strong>Non-Fungible Token</strong></h4><p>Non-Fungible Token หรือ NFT เป็นโทเคนรูปแบบหนึ่งบนเทคโนโลยี Blockchain ใช้เพื่อแสดงความเป็นเจ้าของในสินทรัพย์ชิ้นนั้นๆ ลักษณะเด่นที่ทำให้ NFT ต่างจาก Cryptocurrency คือ <a href="https://zipmex.com/th/learn/what-is-nft/"><strong>NFT แต่ละชิ้นจะแตกต่างกัน ไม่สามารถทำซ้ำ หรือทดแทนกันได้</strong></a><strong> </strong>ดังนั้นเราจึงพบเห็น NFT ถูกใช้กับสินทรัพย์เช่น งานศิลปะ การ์ดเกม การ์ตูน ไอเทมในเกม หรือพวกเอกสารแสดงความเป็นเจ้าของต่างๆ เป็นต้น</p><h4>มาตรฐานสำหรับการพัฒนา NFT</h4><p>เนื่องจากบทความนี้จะพูดพึงการพัฒนา NFT บนเครือข่าย Polygon ดังนั้นเราจะขอพูดถึงแค่เพียงมาตรฐานในตระกูล ERC เท่านั้น</p><p>ERC ย่อมาจาก <strong>Ethereum Request for Comments</strong> โดยเป็นข้อกำหนดหรือเงื่อนไขที่จำเป็นในการสร้างหรือพัฒนาแอพพลิเคชัน บน Ethereum ที่ผู้พัฒนาต้องทำตาม ตัวอย่างเช่น <strong>ERC-20</strong> มาตรฐานนี้เป็นต้นกำเนิดของเหรียญ Cryptocurrentcy หรือโทเคนที่เป็นลักษณะ <strong>Fungible</strong> อาทิ USDT, USDC, SAND (Sand Token)</p><p>แต่เนื่องจากโดยพื้นฐานแล้วสินทรัพย์ไม่ได้มีเพียงลักษณะ Fungible ยังมีลักษณะที่เป็น Non-Fungible ด้วย ซึ่งมีลักษณะที่ต่างกับ Fungible อย่างสิ้นเชิง ดังนั้นจึงต้องมีการสร้างมาตรฐานแยกออกมาโดยเฉพาะ โดยมาตรฐานที่ได้รับความนิยมนำมาใช้บน NFT แพลฟอร์ตต่างๆ ได้แก่ <strong>ERC-721</strong> และ <strong>ERC-1155</strong></p><p>มาตรฐาน <strong>ERC-721</strong> ถูกสร้างมาเพื่อสร้างโทเคนแบบ <strong>Non-Fungible</strong> โดยเฉพาะไม่สามารถระบุจำนวนมีลักษณะเป็นหนึ่งต่อหนึ่งเพื่อเจาะจงทรัพย์สินนั้นๆ</p><p>มาตรฐาน <strong>ERC-1155</strong> เป็นมาตรฐานใหม่ที่ถูกสร้างในปี 2019 มีลักษณะเป็น <strong>Semi-Fungible Token</strong> คือสามารถสร้างได้ทั้ง Fungible และ Non-Fungible จะพูดง่ายคือตัว ID สร้างอ้างถึงสินทรัพย์และระบุจำนวนที่ต้องการได้นิยมใช้ในพวกเกม</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MpIkaNVXGFpgRJ0YTCpqwA.png" /><figcaption>ภาพจากเว็บ <a href="https://bitcoinaddict.org/2021/06/20/the-nft-bible-part-2-standard-for-create-nft/">https://bitcoinaddict.org/2021/06/20/the-nft-bible-part-2-standard-for-create-nft/</a></figcaption></figure><p>ในบทความนี้เราจะใช้มาตรฐาน ERC-721 ในการสร้าง NFT</p><h4>เครือข่าย Polygon</h4><p>Polygon ถูกสร้างขึ้นมาเพื่อเป็น <strong>Slidechain สำหรับสนับสนุน Ethereum</strong> โดยเฉพาะ ถูกสร้างขึ้นเพื่อช่วย<strong>ลดปัญหาการปรับขนาดบน Ethereum </strong>โดยจะเข้ามาช่วยให้ Ethereum ที่ปกติเป็น Blockchain ที่มีแค่ layer เดียว กลายเป็น Blockchain ที่ทำได้ได้ 2 layer ทำให้การ<strong>ประมวลผลธุรกรรมมีความรวดเร็ว</strong>มากขึ้น ในขณะเดียวกันก็ช่วย<strong>ลดค่า gas</strong> ของผู้ใช้ได้มากขึ้นด้วย นอกจากเป็น Slidechain แล้ว Polygon เองก็เป็นเครือข่าย Blockchain เครือข่ายหนึ่งมีการทำงานแบบ <strong>Proof of Stake</strong> มีเหรียญ <strong>MATIC เป็นโทเคน native</strong> และสามารถสร้าง DApp บนเครือข่ายตัวเองได้ เพียงแต่ขั้นตอนในการ clustered และ settled จะเกิดขึ้นบน Ethereum แทน</p><p>ปัจจุบัน Polygon สามารถประมวลผลได้ถึง 65k ธุรกรรมต่อวินาที และสามารถยืนยันบล็อคเพียง 2 วินาทีต่อธุรกรรม</p><h4>เพิ่มเติม</h4><p><strong>Fungible Token</strong> ก็เป็นสินทรัพย์ในลักษณะหนึ่ง ซึ่ง<strong>แต่ละโทเคนสามารถทดแทนกันได้ </strong>ยกตัวอย่างง่ายๆ เช่น เพื่อนยืมเงินเรา 10 บาทโดยเราให้เป็นเหรียญ 10 บาทเก่าๆ หลังจากนั้นเพิ่มนำเงิน 10 บาทมาคืนโดยเป็นเหรียญใหม่ จะเห็นได้ว่าเหรียญทั้ง 2 มีลักษณะต่างกัน แต่มีมูลค่าเท่ากัน จึงทดแทนกันได้ ซึ่งต่างจาก NFT ที่ตัวสินทรัพย์แต่ละชิ้นจะไม่สามารถทดแทนกันได้</p><h3>เรามาเริ่มกันเลยดีกว่า :)</h3><p>สำหรับบทความนี้สิ่งที่เราจำเป็นต้องมี:</p><ul><li>Node.js version 16.13 ขึ้นไป</li><li>Metamask wallet extension บน Chrome browser</li><li>บัญชีของ Alchemy (ใช้สำหรับเชื่อมต่อกับเครือข่าย Polygon) หรือจะใช้บริการของผู้ใช้บริการรายอื่นก็ได้</li></ul><p>ตัว code ทั้งหมดที่ใช้สามารถเข้าไปดูที่ <a href="https://github.com/snlangsuan/medium-stories-nft-polygon"><em>github repo</em>sitory</a> นี่เลย</p><p>เริ่มด้วยมาสร้างโฟลเดอร์โปรเจคกันก่อน</p><pre>$ mkdir sample-polygon-nft &amp; cd sample-polygon-nft<br>$ yarn init -y</pre><p>จากนั้นเรามาเพิ่มโมดูลดังนี้</p><ul><li><a href="https://docs.openzeppelin.com/contracts/4.x/">OpenZeppelin Contracts</a> สำหรับช่วยเขียน Solidity contracts เพื่อให้อยู่ภายใต้มาตรฐาน ERC-721</li><li><a href="https://trufflesuite.com/">Truffle</a> ชุดเครื่องมือสำหรับพัฒนา smart contract ช่วยสำหรับ test และ deploy</li><li><a href="https://www.npmjs.com/package/@truffle/hdwallet-provider">Truffle HD Wallet provider</a> ใช้สำหรับเชื่อมต่อกับกระเป๋าเงิน</li><li><a href="https://www.npmjs.com/package/dotenv">Dotenv</a> ใช้สำหรับโหลด environment variables จากไฟล์ .env</li></ul><pre>$ yarn add @openzeppelin/contracts truffle @truffle/hdwallet-provider dotenv</pre><p>เพิ่มคำสั่งในไฟล์ package.json ภายใต้ properties scripts</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ed35098710ef746a1a7c840a5f8dd175/href">https://medium.com/media/ed35098710ef746a1a7c840a5f8dd175/href</a></iframe><p>โดยคำสั่งที่เราเพิ่มมีดังนี้</p><ul><li>test เรียกรันสคริปที่เขียนสำหรับเทสระบบ ซึ่งไฟล์จะอยู่ภายใต้โฟลเดอร์ test</li><li>truffle:init เป็นคำสั่งที่เริ่มต้นสำหรับเตรียมโครงสร้างโปรเจคสำหรับพัฒนา smart contract หลังจากรันไปแล้วเราจะได้ contracts , migrations , test และไฟล์ truffle-config.js</li><li>truffle:develop เป็นคำสั่งใช้เปิด console ที่เชื่อมต่อกับ local Blockchain (ใช้สำหรับเทสเท่านั้น)</li><li>truffle:console เป็นคำสั่งใช้เปิด console ที่เชื่อมต่อไปยัง Ethereum client ที่เรากำหนดไว้</li></ul><p>หลังจากเพิ่มและบันทึกเรียบร้อยแล้ว รันคำสั่ง yarn truffle:init เพื่อเตรียมโครงสร้างของโปรเจค เมื่อรันไปแล้วเราก็จะได้โฟลเดอร์และไฟล์เพิ่มตามที่ระบุไว้ข้างต้น</p><h4>สร้างแอพบน Alchemy เชื่อมต่อเครือข่าย Polygon (Mumbai)</h4><p>Alchemy ให้บริการ (nodes as a service) สำหรับให้การเชื่อมต่อเครืองข่าย Blockchain อาทิ Ethereum, Polygon, Arbitrum และ Optimism</p><p>หากยังไม่มีบัญชีสามารถสร้างโดยป้อนชื่อ นามสกุล อีเมล และรหัสผ่าน จากนั้นกดยืนยันและยืนยันการสมัครผ่านอีเมล หรือง่ายกว่านั้นคือเข้าใช้งานด้วย Google Account</p><p>จากนั้นเมื่อเข้าใช้งานมาแล้วจากพบกับหน้าให้เลือก Ecosystem ที่จะใช้ให้เลือก <strong>Ethereum</strong> แล้วกด <strong>Get Started</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rz-x0pJ5gyY-QjaAZCYiBQ.png" /></figure><p>ป้อนชื่อทีม, ชื่อแอพ, และเครือข่าย ในทีนี้เราจะเลือกเป็น <strong>Polygon Mumbai </strong>จากนั้นกด <strong>Create App</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x26RnJDqwZXsFTZDg04AaQ.png" /></figure><p>จากเลือกแผนจ่ายเงิน เลือกเป็น <strong>Free forever</strong> จากนั้นกด <strong>Continue</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OEFS_1An3raaH52xORYZ9w.png" /></figure><p>ต่อเป็นระบบจะให้เพิ่มช่องทางชำระเงินในขั้นตอนนี้หากเรายังไม่ต้องการเพิ่ม สามารถกด <strong>skip</strong> ได้ จากนั้นจะพบกับหน้าให้เลือกข้อกำหนดการ scaling ของตัวแอพ ตัวระบบเลือกเป็น <strong>Capped Capacity </strong>เป็นค่าเริ่มต้น เราสามารถกด <strong>Continue</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sYuztqRQIG51k1Jgk_v4kg.png" /></figure><p>จากนั้นเค้าจะถามเราว่าเรารู้จักเค้าจากช่องทางไหน เราก็ตอบเค้าไป แล้วกด <strong>Let’s Go</strong> เลย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iaO7DGIF9w281OLAer03_g.png" /></figure><p>จากรายการที่ชื่อแอพที่เราสร้าง จากนั้นกดที่ <strong>View Key</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Flon6sCwpauDoQ_uYY-OOQ.jpeg" /></figure><p>จากนั้นให้เราคัดลอก API KEY ไว้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HBcoPJL1G9bx2QDyHEoupg.jpeg" /></figure><h4>เพิ่มเครือข่าย Polygon Mumbai บน Metamask wallet</h4><p>หากบน Metamask ยังไม่มีเครือข่าย Polygon Mumbai ให้เพิ่มเครือข่ายก่อน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7rNisTd8DopjI7mmP35bWA.jpeg" /></figure><p>กดเลือกเครือข่ายด้านบนจากนั้นกด <strong>Add Network</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dMvb7uiCNjfsEVg9gmjv1A.png" /></figure><p><strong>Network Name:</strong> Polygon Mumbai</p><p><strong>Chain ID:</strong> 80001</p><p><strong>Currency Symbol:</strong> MATIC</p><p><strong>New RPC URL:</strong> <a href="https://rpc-mumbai.matic.today/">https://rpc-mumbai.matic.today</a> or <a href="https://matic-mumbai.chainstacklabs.com/">https://matic-mumbai.chainstacklabs.com</a> or <a href="https://rpc-mumbai.maticvigil.com/">https://rpc-mumbai.maticvigil.com</a> or <a href="https://matic-testnet-archive-rpc.bwarelabs.com/">https://matic-testnet-archive-rpc.bwarelabs.com</a></p><p><strong>Block Explorer URL:</strong> ttps://mumbai.polygonscan.com/</p><p>เนื่องจากการ deploy smart contract และการ mint NFT เราจำเป็นจะต้องมีค่าดำเนินการ (Gas) ดังนั้นเราจึงจำเป็นต้องมี MATIC โทเคนกันก่อน เราสามารถร้องขอ MATIC โทเคนได้ฟรีจากเว็บ <a href="https://mumbaifaucet.com/">https://mumbaifaucet.com/</a> สามารถขอได้ 1 MATIC ในทุกๆ 24 ชั่วโมง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ok_Y2vu9jqUDj_YFMOGv7A.jpeg" /></figure><p>เมื่อเราได้ MATIC โทเคนแล้ว เราจะนำ account ดังกล่าวไปใช้ เพื่อ deploy smart contract โดยใช้ private key โดยกดที่<strong>จุด 3 จุดหลัง account</strong> จากนั้นเลือก <strong>account details</strong> แล้วกด <strong>export private key </strong>จากนั้นป้อนรหัสผ่าน หลังกดยืนยันก็จะได้ private key มาทำการคัดลอก (ห้ามเปิดเผย private key กับใครเป็นอันขาด)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*b5toV32THbpDXZOMUrfVtA.jpeg" /></figure><p>สร้างไฟล์ .env เพื่อเก็บค่าตัวแปร</p><pre>METAMASK_PRIVATEKEY=&lt;YOUR_METAMASK_PRIVATEKEY&gt;<br>DEV_API_KEY=&lt;YOUR_ALCHEMY_API_KEY&gt;</pre><h4>ตั้งค่าเกี่ยวกับเครือข่ายและการ compilers</h4><p>เราจะตั้งค่าต่างๆ ในไฟล์ truffle-config.js โดยในบทความนี้จะมีการตั้งค่าดังนี้</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/71a34488e4ca0f362f33d7a519a19134/href">https://medium.com/media/71a34488e4ca0f362f33d7a519a19134/href</a></iframe><h4>สร้าง Smart Contract สำหรับ NFT</h4><p>สร้างไฟล์ PankungCollection.sol ภายใต้โฟลเดอร์ contracts และเพิ่ม code</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3e4795264c6532a4376ce66a8dc23180/href">https://medium.com/media/3e4795264c6532a4376ce66a8dc23180/href</a></iframe><p>[line 2] กำหนดเวอร์ชัน Solidity compiler ในไฟล์นี้กำหนดเป็นเวอร์ชันที่ ≥ 0.4.22 และ &lt; 0.9.0</p><p>[line4–6] นำเข้า Open Zeppelin ไลบรารี <em>ERC721URIStorage</em>, <em>Counters</em> และ <em>Ownable</em></p><ul><li>ERC721URIStorage เป็นไลบรารีที่เก็บฟังก์ชันช่วยจัดการการจัดเก็บ metadata ที่ทำงานได้ยืดหยุดกว่าการใช้ ERC-721 ในชุดมาตรฐาน</li><li>Counters เป็นไลบรารีที่ช่วยสร้างตัวนับในตัว contract</li><li>Ownable เป็นไลบรารีที่เก็บฟังก์ชันการทำงานสำหรับจัดการความเป็นเจ้าของในตัว contract</li></ul><p>[line 8] กำหนดชื่อ contractPankungCollection และสืบทอดไลบรารีทั้ง 3 ตัวที่กล่าวไปก่อนหน้า</p><p>[line 9–10] เรียกใช้งานและเริ่มต้นตัวแปร _tokenIds สำหรับเก็บค่าตัวนับ</p><p>[line 12] กำหนดชื่อและสัญลักษณ์ของ contract ของเราใน ERC721 constructor โดยกำหนดเป็น PankungCollection และ PKC ตามลำดับ</p><p>[line 14–16] สร้างฟังก์ชัน totalSupply เพื่อแสดงจำนวน token ที่ถูกสร้าง</p><p>[line 18] สร้างฟังก์ชัน mintItem เพื่อใช้สำหรับ mint โทเคนโดยรับค่า address และ URI metadata โดยจะเรียกได้เฉพาะเจ้าของ contract เท่านั้น</p><p>[line 19–22] ใช้ฟังก์ชัน _safeMint เพื่อกำหนดความเป็นเจ้าของของ tokenID และ ใช้ฟังก์ชัน _setTokenURI เพื่อเก็บค่า metadata ของ tokenID</p><p>จากนั้นเราสร้างไฟล์ 2_deploy_contracts.js ภายใต้โฟลเดอร์ migrations โดยมี code ดังนี้</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a9f744841f04ea53f7a8f21c265d9f52/href">https://medium.com/media/a9f744841f04ea53f7a8f21c265d9f52/href</a></iframe><h4>เตรียมรูปภาพและ API สำหรับแสดง Metadata</h4><p>เริ่มจากการเตรียมภาพ และกำหนดพื้นที่สำหรับจัดเก็บเช่น Google Storage, AWS S3, pinata, NFT.Storage เป็นต้นโดยบทความนี้เราจะจัดเก็บรูปภาพบน <a href="https://nft.storage/files/">NFT.Storage</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*i9GEwDJEck9E5QJ8YqEdEQ.jpeg" /><figcaption>ใช้สำหรับเป็นตัวอย่างในบทความเท่านั้นนะ 😊</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zkGggIdVsNL60zdDQZIggg.png" /></figure><p>สำหรับ tokenID แต่ละอันจะมีการกำหนดค่า tokenURI ที่จะเป็นไฟล์ JSON ที่เก็บ metadata ของ tokenID นั้นๆ metadata จะประกอบด้วย name, description และ image โดยในบทความนี้เราจะใช้ <a href="https://my-json-server.typicode.com/">My JSON Server</a> เพื่อเก็บ metadata โดยเก็บเป็นไฟล์ JSON บน Github repository ชื่อไฟล์ว่า db.json</p><p>** หลังจากมีการอัพเดท db.json จะใช้เวลาประมาณ 1 นาที เพื่อแคชข้อมูลใหม่</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9b70ce469e1076bac2f3e9bf7f17a023/href">https://medium.com/media/9b70ce469e1076bac2f3e9bf7f17a023/href</a></iframe><p>จากไฟล์เราสามารถเรียกใช้งานง่ายๆ เพียงเรียกไปที่</p><pre><a href="https://my-json-server.typicode.com/">https://my-json-server.typicode.com/</a>&lt;github_username&gt;/&lt;repository_name&gt;/&lt;resources&gt;</pre><p>อย่างในบทความนี้ link ที่ใช้จะเป็น</p><pre><a href="https://my-json-server.typicode.com/snlangsuan/medium-stories-nft-polygon/pankung-collection/1001">https://my-json-server.typicode.com/snlangsuan/medium-stories-nft-polygon/pankung-collection/1001</a></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XSj8zmgCBXyCirjUQm9ZeA.png" /></figure><h4>ทดลอง Deploy contract ไปยัง local Blockchain</h4><p>เราจะใช้คำสั่ง yarn truffle:develop เพื่อเปิด Truffle console ที่เชื่อมต่อกับ development Blockchain</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/012ff0ccb01b0966e437096ea51292fe/href">https://medium.com/media/012ff0ccb01b0966e437096ea51292fe/href</a></iframe><p>หลังจากเปิด Truffle console แล้วพิมพ์คำสั่ง migrate เพื่อ deploy contract ไปยัง development Blockchain</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f6684e9d1182ce5579953be89c2e63fc/href">https://medium.com/media/f6684e9d1182ce5579953be89c2e63fc/href</a></iframe><p>จากนั้นทดลองเรียกใช้ contract ที่ deployed ไป โดยลองอ่านค่า name , symbol และ totalSupply</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/87dac15f5f9d1ad2d331f223ae4b9ee9/href">https://medium.com/media/87dac15f5f9d1ad2d331f223ae4b9ee9/href</a></iframe><p>จากนั้นเราลอง mint โทเคนไปยังบัญชี 0x510ab3906cdb1f502659d71f9598111ecef35f9a โดยบัญชีที่จะ mint จะได้จะต้องเป็นเจ้าของ contract เท่านั้น</p><p>เราจะ mint โทเคนแรก ด้วย tokenID: 0</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/74d0e0bc4b12d9699eb517983ea15c9b/href">https://medium.com/media/74d0e0bc4b12d9699eb517983ea15c9b/href</a></iframe><p>เราลองมาเช็คดูว่าโทเคนที่เรา mint ไปมีเจ้าของและ token URI ถูกต้องหรือไม่</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/376ab189f486e08a6930f2f54503e3e6/href">https://medium.com/media/376ab189f486e08a6930f2f54503e3e6/href</a></iframe><h4>Deploy ไปยัง public testnet</h4><p>ต่อไปเรามาลอง deploy contract ไปยัง <strong>Polygon Mumbai</strong> ที่ Opensea รองรับสำหรับทดสอบกัน โดยใช้คำสั่ง yarn truffle:console —-network polygon_alchemy_testnet</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/94f6764cdf6cd7b25264ef1e67f22d64/href">https://medium.com/media/94f6764cdf6cd7b25264ef1e67f22d64/href</a></iframe><p>เมื่อเรา deployed สำหรับก็จะสามารถส่งธุรกรรมเพื่อ mint โทเคนไปยังผู้ใช้บัญชีอื่นในเครือข่ายได้</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2d84eaf3d64d75066b7f3ba1b162f09c/href">https://medium.com/media/2d84eaf3d64d75066b7f3ba1b162f09c/href</a></iframe><h3>เพิ่มเติม</h3><h4>OpenSea</h4><p>ในการตรวจสอบว่า metadata ของเราสามารถนำไปใช้บนเว็บ OpenSea ได้หรือไม่ สามารถทำได้ด้วยการทำ contract address ไปเปิดผ่าน API ของทาง Opensea โดยมีรูปแบบ</p><pre><a href="https://testnets-api.opensea.io/asset/mumbai/0xde06d773233ab93bdb7ee3e030156c51cf88199e/1/validate">https://testnets-api.opensea.io/asset/mumbai/&lt;contract_address&gt;/&lt;token_id&gt;/validate</a></pre><p>ตัวอย่างเช่น</p><pre><a href="https://testnets-api.opensea.io/asset/mumbai/0xde06d773233ab93bdb7ee3e030156c51cf88199e/0/validate">https://testnets-api.opensea.io/asset/mumbai/0xde06d773233ab93bdb7ee3e030156c51cf88199e/0/validate</a></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*a0NP5ppomi9HGtKd1TqjPA.png" /></figure><p>เราสามารถดึง contract address ได้จาก Truffle console</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5710c1eaa95f729aa4356e40c97bc443/href">https://medium.com/media/5710c1eaa95f729aa4356e40c97bc443/href</a></iframe><p>และนอกจากนี้เราสามารถทดลอง import smart contract เข้าไปยังเว็บเทสของทาง OpenSea ได้ที่ <a href="https://testnets.opensea.io/get-listed/step-two">https://testnets.opensea.io/get-listed/step-two</a> จากนั้นเลือกเครือข่ายและป้อน contract address</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pPMtlcWmiyYvsGy6ukyUqg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*syB7ld1tYV-9_aX4bJb1yA.png" /></figure><h4>Metamask</h4><p>เราสามารถดู NFT ผ่านทาง Metamask mobile ได้ โดยหลังจากลงชื่อเข้าใช้งานเลือกแท็บ <strong>NFTs</strong> จากนั้นกด <strong>import NFTs</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*URPwtmDHYdLWLkUMx1HO9g.png" /></figure><p>ป้อน contract address และ token ID จากนั้นกด import</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5x-7_WuoDL4xus1ZkbZUHA.png" /></figure><p>เราก็จะได้ NFT ที่เราสร้างมาอยู่ในกระเป๋า Metamask เรา</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vMPV63k_N1kh8FQh0K1rpg.png" /></figure><h4>คุยกันก่อนจบ</h4><p>ในบทความนี้เรามาลองสร้าง NFT บน Polygon Mumbai กัน โดยใช้มาตรฐาน ERC-721 ซึ่งในการเขียน smart contract ยังมีอีกหลายเรื่องที่ยังต้องศึกษาเพิ่มเติม หากใครมีอะไรเพิ่มเติมก็สามารถนำมาแชร์กันได้ในคอมเมนต์ด้านล่าง</p><p>ส่วนบทความหน้าเราจะมาทำอะไรกันอีกก็มารอดูกันนะ</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=eea4c03b6523" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ลองสร้าง Private Blockchain ด้วย Go Ethereum]]></title>
            <link>https://decimo.medium.com/%E0%B8%A5%E0%B8%AD%E0%B8%87%E0%B8%AA%E0%B8%A3%E0%B9%89%E0%B8%B2%E0%B8%87-private-blockchain-%E0%B8%94%E0%B9%89%E0%B8%A7%E0%B8%A2-go-ethereum-4620f5fa2fb?source=rss-da4066332ed3------2</link>
            <guid isPermaLink="false">https://medium.com/p/4620f5fa2fb</guid>
            <category><![CDATA[geth]]></category>
            <category><![CDATA[gas-fees]]></category>
            <category><![CDATA[blockchain]]></category>
            <category><![CDATA[go-ethereum]]></category>
            <dc:creator><![CDATA[Nuipin Decimo]]></dc:creator>
            <pubDate>Fri, 03 Sep 2021 01:03:13 GMT</pubDate>
            <atom:updated>2021-09-03T01:43:45.556Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EdQvCNYNcndcG0uS9Ywp9w.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@launchpresso?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Launchpresso</a> on <a href="https://unsplash.com/s/photos/blockchain?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><p>บทความนี้อาจจะไม่ใช่เรื่องใหม่ แต่ว่าพอดีในช่วงนี้อยู่กับเรื่อง Blockchain ค่อนข้างเยอะ วันนี้ว่างๆ เลยถือโอกาสมานั่งเขียนบทความนี้ ในช่วงที่ผ่านมาพอดีได้โจทย์เรื่อง private Blockchain ผมเลยได้มาลองนั่งศึกษาดูว่าถ้าเราจะสร้าง private Blockchain โดยใช้ Go Ethereum ขึ้นมานั้นเราจะต้องทำอย่างไรบ้าง</p><p>ในบทความนี้เรามารู้จักกับ Blockchain และ Ethereum กันก่อน และตอนสุดท้ายเรามาทดลองสร้าง private Blockchain ด้วย Go Ethereum บน Docker กัน</p><h4><strong>Blockchain</strong></h4><p><a href="https://dgti.dga.or.th/wp-content/uploads/2021/02/Blockchain-V2.pdf">Blockchain</a> เป็นเทคโนโลยีการจัดเก็บข้อมูลแบบ Shared Database หรือรู้จักกันในอีกชื่อว่า <strong>Distributed Ledger Technology (DLT)</strong> โดยรูปแบบการบันทึกข้อมูลที่รับประกันความปลอดภัยของข้อมูลที่ถูกบันทึกไปก่อนหน้าว่าจะไม่ถูกเปลี่ยนแปลงหรือแก้ไขได้ ซึ่งผู้ใช้งานทุกคนจะเห็นข้อมูลในแบบเดียวกัน โดยอาศัยหลักการ Cryptography และการทำงานแบบ Distributed Computing<em> </em>เพื่อสร้างกลไกความน่าเชื่อถือ (Yermack, 2017)</p><p>การทำงาน Blockchain อาศัยการจัดเก็บข้อมูลแบบ<em>กระจายศูนย์</em> โดยทุกข้อมูลจะมีการเชื่อมโยงกันทั้งระบบ เมื่อมีการทำธุรกรรมใหม่จะต้องประกาศบอกให้ทุกโหลดในระบบให้รับรู้ ในการบันทึกข้อมูลเข้าบล็อกนั้นจะต้องผ่านการตรวจสอบจากทั้งเครือข่ายเสียก่อน</p><h4>Ethereum</h4><p><a href="https://ethereum.org/en/what-is-ethereum/">Ethereum</a> เป็น Blockchain platform แบบเปิด (Public Blockchain) โดยถูกออกแบบมาเพื่อให้สามารถปรับตัวได้และมีความยืดหยุ่นอีกทั้งยังเป็น open source ความสามารถของ Ethereum เมื่อเปรียบเทียบกับ Bitcoin ถือว่าทัดเทียมกัน แต่สิ่งที่เพิ่มขึ้นมาคือ ฟิเจอร์ที่เรียกว่า Smart Contract ที่อนุญาตให้ผู้ใช้ หรือนักพัฒนาสามารถเขียนโปรแกรมลงไปในข้อมูลของสกุลเงิน Ether ได้ เพื่อให้สามารถทำงานได้อัตโนมัติ เมื่อมีเงื่อนไขไปตามที่กำหนดไว้ในสัญญา ดังนั้นจึงทำให้สามารถสร้างแอพพลิเคชันต่างๆ ขึ้นมาบนเครือข่าย Ethereum อีกชั้นหนึ่งได้ ทำให้เกิดรูปแบบที่หลากหลายในการทำงาน</p><h3><em>เรามาเริ่มกันเลยดีกว่า :)</em></h3><p>ในบทความนี้เราจะมาลองทำกันบน Docker หากยังไม่ได้ติดตั้งสามารถดูวิธีติดตั้งได้จาก <a href="https://www.docker.com/get-started">link</a> นี้ ส่วน code ที่ใช้สามารถเข้าไปดูได้ที่ <a href="https://github.com/snlangsuan/ethereum-playground.git">github repo</a> ของผมได้เลย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*sYB4PM9xFvRDviyySiAjiA.png" /><figcaption>โครงสร้างโฟลเดอร์</figcaption></figure><p><em>** เนื่องจากข้อจำกัดบางประการ จึงไม่สามารถลงซอฟต์แวร์ Go Ethereum ลงในเครื่องได้ ดังนั้นในการทดลองทั้งหมดผมจะจัดทำผ่าน Docker</em></p><p>การทดลองนี้เราจะสร้างเครือข่ายในรูปแบบ PoA หรือ Proof-of-Authority ซึ่งจะประกอบด้วยโหนดดังต่อไปนี้</p><ul><li><strong>1 Node (node-01) </strong>— มีหน้าที่ทำ transaction relay และเป็น bootnode ด้วย (เป็นโหนดที่ค่อยช่วยค้นหาโหนดอื่นในเครือข่ายให้หากันเจอ) โหนดถูกตั้งให้มีการ sync ข้อมูลแบบ full mode (จะเก็บข้อมูลอย่างที่เกิดขึ้น) แต่จะไม่ทำงานเป็น miner แต่เปิดให้เข้าถึงผ่านทาง JSON-RPC</li><li><strong>2 Miner (node-02, node-03)</strong> — หรือเรียกอีกอย่างว่า <strong>sealers </strong>ในเครือข่ายแบบ PoA ทำหน้าตรวจสอบบล็อก และตั้งค่าให้ sync ข้อมูลแบบ full mode เช่นกัน (โดยปกติแล้วโหนดที่เป็น miner จะถูกตั้งค่าการ sync ข้อมูลแบบ full mode) แต่จะไม่อนุญาติให้เข้าถึงได้</li><li><strong>1 Blockchain explorer</strong> — เป็นเว็บแอพพลิเคชันที่ไว้สำหรับตรวจสอบการทำธุรกรรมบนเครือข่ายนี้ (คล้ายกับ <a href="https://etherscan.io/">https://etherscan.io/</a>)</li></ul><h4>สร้างบัญชีผู้ใช้</h4><p>ตัวบัญชีหรือใช้ หรือเรียกอาจจะเรียกอีกอย่างว่ากระเป๋าเงิน (wallet) ซึ่งเป็นคีย์ที่ใช้สำหรับใช้งานกับเครือข่าย Blockchain โดยจะสร้าง 1 บัญชีต่อ 1 โหนด</p><p>คำสั่งสำหรับสร้างบัญชีด้วย geth</p><pre>$ geth --datadir node-01/ account new --password /opt/password.txt</pre><p>จากคำสั่งเราจะมีการระบุพาธไฟล์ที่เก็บข้อมูล password เข้าไปด้วย ซึ่งหากเราไม่ระบุ --password /opt/password.txt มันจะให้เราป้อน password อีกที</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/8ac436018b765d1ad1c6106ab4b9fac7/href">https://medium.com/media/8ac436018b765d1ad1c6106ab4b9fac7/href</a></iframe><p>ตัวอย่างด้านบนจะแสดงให้เห็นถึงการสร้างบัญชีด้วย geth ผ่านทาง Docker command จากด้านบนเราจะ mount disk 2 path คือส่วนที่ใช้เก็บ keystore และ ที่เก็บ password.txt และเรียกใช้ geth command ที่อยู่ยน Docker image ethereum/client-go</p><h4>สร้างไฟล์ Genesis</h4><p>ไฟล์ genesis มีไว้สำหรับเริ่มต้นสร้าง Blockchain โดยบล็อกแรกของเครือข่ายจะถูกเรียกว่า genesis block ซึ่งจะถูกสร้างตามพารามิเตอร์ที่อยู่ในไฟล์ genesis ในการสร้างไฟล์ genesis สามารถสร้างโดยใช้คำสั่ง puppeth</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/656ff95340fc8ad6b889580a2b1a3445/href">https://medium.com/media/656ff95340fc8ad6b889580a2b1a3445/href</a></iframe><p>ข้อมูลเพิ่มเติม: <a href="https://github.com/ethereum/EIPs/issues/225"><em>Clique PoA EIP #225</em></a></p><p>เนื่องจากเครือข่ายแบบ PoA ไม่มีการให้รางวัลแก mining ดังนั้นเราจึงควรเตรียม basecoins (ethers) ให้บัญชีในไฟล์ genesis ให้เพียงพอ มิฉะนั้นเราจะไม่มี basecoins ในเครือข่ายและไม่สามารถจ่ายค่าทำธุรกรรมได้ หากถ้าอยากอ่านเพิ่มเติมเกี่ยวกับตัวแปรต่างๆ ในไฟล์ genesis สามารถดูเพิ่มเติมได้จาก <a href="https://www.asynclabs.co/blog/blockchain-development/params-in-ethereum-genesis-block-explained/">link</a></p><p>จากนั้นเมื่อเราได้ไฟล์ genesis (จากด้านบนเราจะได้ไฟล์ชื่อ devnet.json) เราก็มา สร้าง genesis block กัน</p><blockquote>“ทุกโหนดจะต้องสร้างจาก genesis ไฟล์เดียวกัน”</blockquote><pre>$ geth --datadir node-01/ init devnet.json</pre><p><em>** หากนำ code ใน repo ไปใช้ไม่จำเป็นต้องรันเพื่อสร้าง genesis block เพราะผมได้ใส่ขั้นตอนดังกล่าวไปใน Dockerfile แล้ว โดยรันเป็น shell</em></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/8c4ba64af6579074a13737686e858607/href">https://medium.com/media/8c4ba64af6579074a13737686e858607/href</a></iframe><h4>รันโหนดกัน</h4><p>แต่ก่อนอื่นเรามา gen node key กันก่อน เพื่อใช้กำหนดค่า enode ID ของโหนดนี้</p><pre>$ bootnode --genkey /root/bootnode.key</pre><p>รัน node-01</p><pre>$ geth --datadir node-01/ --nodekey /root/bootnode.key --networkid 1981 --syncmode full --http --http.addr 0.0.0.0 --http.corsdomain * --http.api eth,net,web3,personal</pre><ul><li>-- syncmode full กำหนดให้ sync ข้อมูลแบบ full mode</li><li>--nodekey กำหนด p2p node key</li><li>--networkid ป้อนค่าเดียวกับที่ป้อนไว้ในไฟล์ genesis</li><li>--http.api กำหนดสิทธิ์การเข้าถึงโมดูลในเครือข่าย สามารถดูข้อมูล <a href="https://geth.ethereum.org/docs/rpc/server">JSON-RPC Server</a></li></ul><p>จริงแล้วมันยังมีการตั้งค่าต่างๆ อีกมากมาย หากใครสนใจสามารถเข้าไปอ่าน<a href="https://geth.ethereum.org/docs/interface/command-line-options">เอกสาร</a>ของ geth ได้เพิ่มเติม</p><p>รัน node-n (miner)</p><pre>$ geth --datadir node-02/ --bootnodes enode://8299cdb534231de1d01140b77984ab4b632be814ad68365db495d1a1c6cd30ab272e12dfd5bc52d2116754264730fa2eb0d78f6e54cded0687524f8e44376183@10.5.0.100:30303 --networkid 1981 --syncmode full --mine --miner.gasprice 0 --miner.gaslimit 94000000 --unlock 0xd5209aac30af2a12055f8d2f567bdeac41fe4ec0 --password /opt/password.txt</pre><ul><li>--mine กำหนดให้เริ่ม mining</li><li>--unlock,--password บอกให้ปลดล็อกบัญชีด้วย password ในโหนดนี้</li><li>--miner.gasprice เป็นการกำหนดราคาค่าแก็ส ซึ่งหากในการทำธุรกรรมหากให้ค่าแก็สที่ต่ำเกินไป ก็จะทำให้ธุรกรรมนั้นไม่ถูกนำไปประมวลผล</li><li>--miner.gaslimit เป็นการกำหนดขีดจำกัดราคาค่าแก็ส (ในการทดลองนี้เราจะกำหนดให้เป็นค่าเดียวกับในไฟล์ genesis</li></ul><p>ซึ่งในการทดลองนี้ผมได้ทดลองรันโหนดทั้งหมดผ่าน Docker โดยใช้ Docker compose</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/404d2d7f7b56b84d6308793b02fac9e9/href">https://medium.com/media/404d2d7f7b56b84d6308793b02fac9e9/href</a></iframe><h4>การติดต่อกับโหนด</h4><p><a href="https://geth.ethereum.org/docs/interface/javascript-console"><strong>Geth Javascript Console</strong></a><strong> </strong>สามารถเชื่อมต่อได้ 2 ช่องทาง</p><ul><li>IPC (I<a href="https://en.wikipedia.org/wiki/Inter-process_communication">nter-Process Communication</a>) ใช้งานได้เฉพาะบน server ที่รันโหนดนั้นอยู่ สามารถเข้าถึงสิทธิ์การใช้งานในทุกโมดูลของเครือข่าย</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*aAC2x_GyrZxPoBVF5IH4BQ.png" /><figcaption>หน้าต่างการใช้งาน Geth Javascript Console (IPC)</figcaption></figure><ul><li>RPC (Remote Procedure Call) สามารถเรียกได้งานผ่านทาง HTTP โปรโตคอล ในการเปิดใช้งาน RPC เราจำเป็นจะต้องระมัดระวังในการอนุญาตให้เข้าถึงสิทธิ์การใช้งานโมดูลต่างๆ</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*aAC2x_GyrZxPoBVF5IH4BQ.png" /><figcaption>หน้าต่างการใช้งาน Geth Javascript Console (RPC)</figcaption></figure><p>เรามาทดลองใช้งานกัน</p><ul><li>ดึงค่า network ID</li><li>ดึงค่าบัญชีในโหนดนี้</li><li>ดึงค่าบัญชีที่ผูกกับ basecoin ของโหนดนี้</li><li>ดึงยอดเหรียญคงเหลือของบัญชีลำดับที่ 1</li><li>ดึงยอดเหรียญคงเหลือของบัญชีลำดับที่ 2</li><li>เปิดสิทธิ์ให้บัญชีสำดับที่ 1 สามารถทำธุรกรรมได้</li><li>โอนเหรียญจำนวน 10 เหรียญจากบัญชีลำดับที่ 1 ไปยังบัญชีลำดับที่ 2</li><li>ดึงรายละเอียดการทำธุรกรรม</li><li>เช็คยอดเหรียญคงเหลือของบัญชีลำดับที่ 1 อีกครั้ง</li><li>เช็คยอดเหรียญคงเหลือของบัญชีลำดับที่ 2 อีกครั้ง</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*mKvEZuGWgilrPL5iTdN1dQ.png" /><figcaption>ตัวอย่างการใช้งาน Geth Javascript Console</figcaption></figure><p>ปกติหากใช้งาน Ethereum เราก็จะรู้อยู่แล้วว่าจะต้องมีการเสียค่า gas ตามความยากง่าย หรือ ความเร็วในการทำธุรกรรม ฉะนั้นเมื่อเราทำ private Blockchain เราก็ต้องการที่ใช้ทำให้ค่า gas เป็น 0</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_ewGcGJ2Vx_KN9Ath0fKtQ.png" /><figcaption>ตัวอย่างการทำธุรกรรม (เสียค่า gas)</figcaption></figure><p>จากรูปใน node-01 เราโอนเหรียญจากบัญชีที่ 1 ไปยังบัญชีที่ 2 โดย node-02 เป็นผู้รับทำธุรกรรม สังเกตได้จากยอดเหรียญคงเหลือใน node-02 มีจำนวนเพิ่มขึ้น และการทำธุรกรรมก็ทำได้สำเร็จ (เสียค่า gas 0.000021)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6o8_-rlbQzN5wHH_KMun7g.png" /><figcaption>ตัวอย่างการทำธุรกรรม (ไม่เสียค่า gas)</figcaption></figure><p>จากรูปเราก็ทำเหมือนก่อนหน้า แต่ในการทำธุรกรรมเราได้เพิ่มพารามิเตอร์ gasPrice มีค่าเป็น 0 เข้าไป ในครั้งนี้ node-02 และ node-03 ไม่การจำนวนเหรียญที่เพิ่มขึ้นเลย และสามารถทำธุรกรรมได้สำเร็จด้วย จะเห็นว่าบัญชีที่ 1 ในโหนดที่ 1 จำนวนเหรียญที่ลดแค่ 10 เท่ากับจำนวนเหรียญที่เราโอน</p><p>เย้!! GAS FEE IS FREE</p><p>ปิดด้วยส่วนสุดท้ายเว็บสำหรับตรวจสอบการทำธุรกรรมต่างๆ ภายในเครือข่าย</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NhyqcD1pkpc4Itm8l-F8Fg.png" /></figure><p>สุดท้ายแล้วถ้าใครจะลองเอา repo ผมลองเล่น เมื่อ download หรือ clone repo เสร็จแล้ว สามารถ start container ด้วยคำสั่ง</p><pre>$ docker compose up -d --build</pre><p>หลังจากลองรันแล้วลองตรวจสอบใน node-01 ผ่าน Geth Javascript Console ว่ามีโหนดเข้ามาลงทะเบียนแล้วกี่โหนด หากถูกต้องก็จะแสดงผลตามด้านล่าง</p><pre>&gt; net.peerCount<br>2</pre><p>หากไม่พบโหนด หรือไม่ครบให้ลอง restart container node-02 และ node-03 ดู</p><h3>คุยกันก่อนจบ</h3><p>ในบทความนี้เรามาทดลองสร้าง private Blockchain ด้วย Go Ethereum ซึ่งจริงๆ แล้วยังมีอีกหลายเรื่องที่จะต้องไปศึกษาเพิ่มเติมเกี่ยวกับการ implement เครือข่าย Blockchain หากใครมีข้อมูลอะไรเพิ่มเติมก็มาร่วมกันแชร์ได้นะครับ</p><p>ในบทความต่อไปเรามาลองเขียนและ deploy Smart Contracts บน private Blockchain นี้กัน</p><h4>อ้างอิง</h4><p><a href="https://dgti.dga.or.th/wp-content/uploads/2021/02/Blockchain-V2.pdf">https://dgti.dga.or.th/wp-content/uploads/2021/02/Blockchain-V2.pdf</a></p><p><a href="https://hackernoon.com/setup-your-own-private-proof-of-authority-ethereum-network-with-geth-9a0a3750cda8">https://hackernoon.com/setup-your-own-private-proof-of-authority-ethereum-network-with-geth-9a0a3750cda8</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4620f5fa2fb" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ลองสร้าง Change Data Capture pipeline ด้วย Debezium และ Apache Kafka]]></title>
            <link>https://decimo.medium.com/%E0%B8%A5%E0%B8%AD%E0%B8%87%E0%B8%AA%E0%B8%A3%E0%B9%89%E0%B8%B2%E0%B8%87-change-data-capture-pipeline-%E0%B8%94%E0%B9%89%E0%B8%A7%E0%B8%A2-debezium-%E0%B9%81%E0%B8%A5%E0%B8%B0-apache-kafka-8bf17201a9d6?source=rss-da4066332ed3------2</link>
            <guid isPermaLink="false">https://medium.com/p/8bf17201a9d6</guid>
            <category><![CDATA[mariadb]]></category>
            <category><![CDATA[change-data-capture]]></category>
            <category><![CDATA[kafka]]></category>
            <category><![CDATA[debezium]]></category>
            <dc:creator><![CDATA[Nuipin Decimo]]></dc:creator>
            <pubDate>Tue, 16 Mar 2021 00:17:39 GMT</pubDate>
            <atom:updated>2021-03-17T03:10:13.238Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YOHPzwS2Iq29nJUMquEMcA.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@tofi?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Tobias Fischer</a> on <a href="https://medium.com/s/photos/database?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><p>บทความนี้เกิดจากมีคนมาถามเรื่อง CDC หรือ Change Data Capture ซึ่งเห้ย ผมก็ไม่รู้เหมือนกันว่ามันคืออะไร และมันมีประโยชน์อย่างไร ผมเลยไปนั่งอ่านและศึกษาดู ก็พบว่า CDC ก็ไม่ใช่เรื่องใหม่อะไร มีการใช้งานมาสักพักแล้ว บริษัทใหญ่ๆ หลายแห่งก็ใช้เทคนิคนี้กัน วันนี้ก็เหมือนจะว่างแหละ ผมก็เลยเอาสิ่งที่ไปศึกษาและทดลองทำมาแชร์</p><p>ในบทความนี้เราจะมาทำความรู้จักกับ CDC และในตอนท้ายเราก็จะมาลองทำ CDC pipeline ด้วย Debezium และ Apache Kafka บน Docker กัน</p><h4><em>Change Data Capture (CDC) คืออะไร</em></h4><p>Change Data Capture (CDC) เป็นรูปแบบของการออกแบบซอฟต์แวร์ที่ใช้ในการติดตามข้อมูลได้อย่างมีประสิทธิภาพ โดยที่เราสามารถที่จะแยกแยะและตรวจจับข้อมูลที่ถูกเพิ่มใหม่, อัพเดท หรือถูกลบออกจากตาราง และส่งการเปลี่ยนแปลงนั้นไปยังปลายทาง</p><p>รูปแบบการทำงานของ Change Data Capture อาทิ</p><ul><li><strong>Synchronous change data capture using triggers</strong> — ทั่วไปในฐานข้อมูลที่เป็น relational database จะมีฟีเจอร์ trigger อยู่แล้ว โดยเมื่อมีการดำเนินการด้วยคำสั่ง SQL ในประเภท data manipulation language หรือ DML (Insert, Update และ Delete)</li><li><strong>Asynchronous change data capture using redo logs</strong> — วิธีการทำงานในรูปแบบนี้จะดำเนินการโดยใช้ redo logs (เป็น logs ที่บันทึกกิจกรรมทั้งหมดในฐานข้อมูล) จากชื่อบอกอยู่แล้วว่ามันประมวลผลแบบ asynchronous และไม่รบกวนการทำงาน</li></ul><p>ทำไมเราต้องใช้ Change Data Capture</p><ul><li>สามารถรวมข้อมูลจากหลายๆ แหล่งข้อมูล มาเป็นแหล่งข้อมูลเดียวกันได้</li><li>การทำ business intelligence, การวิเคราะห์ และการทำรายงาน ส่งผลกระทบกับการทำงานน้อยที่สุดใน production environment</li><li>ติดตามการดำเนินธุรกิจของคุณได้แบบ real-time หรือ near real-time</li><li>นิยมนำมาใช้เพื่อทำ ฐานข้อมูลส่วนกลาง, data marts, data warehouses หรือ data lakes</li><li>ทำให้ทำ machine learning, advanced analytics และ AI บน modern architectures เช่น Spark</li><li>ทำให้การตรวจสอบต่างๆ เป็นเรื่องที่ง่ายขึ้น เนื่องจากช่วยสร้างการแจ้งเตือนและแก้ไขปัญหาได้เร็วขึ้น</li></ul><p>ก่อนอื่นเราก็มาวาง pipeline การทำงานกันก่อน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nnwwmBuZEW8LyjnSobHBhQ.jpeg" /><figcaption>ตัวอย่าง Change Data Capture pipeline</figcaption></figure><p>จากภาพเราจะใช้ Debezium มาใช้เพื่อ capture change ที่เกิดขึ้นบน MariaDB (source) จากนั้นทำการส่งต่อไปยัง Apache Kafka และสุดท้ายจะนำข้อมูลที่ได้ไปเก็บไว้ยัง Elasticsearch</p><p>ดังนั้นก่อนที่เราจะลงมือทำกันนั้นเรามาทำความรู้จักกับ Debezium, Apache Kafka, และ Elasticsearch กันก่อน</p><h4>Debezium</h4><p><a href="https://debezium.io/">Debezium</a> เป็น distributed platform ที่ช่วย<em>เปลี่ยนฐานข้อมูลเป็นการทำงานแบบ event stream</em> ผลคือทำให้แอปพลิเคชันตอบสนองการเปลี่ยนแปลงที่เกิดขึ้นบนฐานข้อมูลได้อย่างรวดเร็ว Debezium ทำงานกับ Kafka (หรือ Messaging Queue อื่น) โดยเมื่อตรวจจับพบการเปลี่ยนแปลงจะส่งเหตุการณ์เหล่านั้นไปยัง Kafka และเก็บไว้ใน Kafka logs ดังนั้นหากแอพพลิเคชันหยุดทำงาน ก็ยังสามารถกลับมาทำงานได้ต่อจากเหตุการณ์ที่พลาดไป จึงแน่ใจได้ว่าเหตุการณ์ทั้งหมดได้รับการประมวลผลอย่างครบถ้วยและถูกต้อง</p><h4>Apache Kafka</h4><p><a href="https://kafka.apache.org/">Kafka</a> เป็น open source ซอฟต์แวร์แบบ <em>stream-processing</em> ที่พัฒนาขึ้นโดย <a href="https://en.wikipedia.org/wiki/LinkedIn">LinkedIn</a> และบริจาคให้กับโครงการ <a href="https://en.wikipedia.org/wiki/Apache_Software_Foundation">Apache Software Foundation</a> ตัวซอฟต์แวร์พัฒนาด้วยภาษา Scala และ Java โดยมีจุดมุ่งหมายเพื่อสร้างแพลตฟอร์มที่สามารถรองรับการประมวลผลการทำงานที่สูงและใช้เวลาน้อยสำหรับข้อมูลแบบเรียลไทม์</p><h4>Elasticsearch Service Sink Connector</h4><p><a href="https://docs.confluent.io/kafka-connect-elasticsearch/current/index.html">Kafka Connect Elasticsearch sink connector</a> เป็นตัวช่วยสำหรับสร้างการเชื่อมต่อเพื่อช่วยให้เราสามารถโอนย้ายข้อมูลจาก Kafka ไปยัง Elasticsearch โดยจะใช้ topic ใน Kafka เป็น <a href="https://www.elastic.co/blog/what-is-an-elasticsearch-index">index ใน Elasticsearch</a></p><h4>Elasticsearch</h4><p><a href="https://www.elastic.co/elasticsearch/">Elasticsearch</a> เป็นที่เก็บข้อมูลที่พัฒนาต่อยอดมาจาก Apache Lucene ซึ่งมีจุดเด่นในเรื่องการค้นหา และสรุปข้อมูลขนาดใหญ่ได้อย่างรวดเร็ว</p><h3>เรามาเริ่มกันเลยดีกว่า :)</h3><p>ในบทความนี้เราจะมีทดลองทำกันบน docker หากยังไม่ได้ติดตั้งสามารถดูวิธีติดตั้งได้จาก <a href="https://www.docker.com/get-started">link</a> นี้ ส่วน code ที่ใช้สามารถเข้าไปดูได้ที่ <a href="https://github.com/snlangsuan/demo-cdc-debezium-kafka">github repo</a> ของผมได้เลย</p><p>ก่อนอื่นเรามาสร้าง docker-compose.yml ก่อนเพื่อระบุ service ที่เราจะใช้</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7e6811530f7b7fc193e7d5c2d0cb9685/href">https://medium.com/media/7e6811530f7b7fc193e7d5c2d0cb9685/href</a></iframe><p>จากไฟล์ docker-compose.yml จะเห็นว่าเราเลือกที่จะสร้าง container ดังนี้</p><ul><li>Zookeeper ใช้ image ชื่อ <a href="https://hub.docker.com/r/debezium/zookeeper">debezium/zookeeper</a></li><li>Kafka ใช้ image ชื่อ <a href="https://hub.docker.com/r/debezium/kafka">debezium/kafka</a></li><li>MariaDB ใช้ image ชื่อ <a href="https://hub.docker.com/_/mariadb">mariadb</a></li><li>Elasticsearch ใช้ image ชื่อ <a href="https://www.docker.elastic.co/r/elasticsearch">docker.elastic.co/elasticsearch/elasticsearch</a></li><li>Kibana ใช้ image ชื่อ <a href="https://www.docker.elastic.co/r/kibana">docker.elastic.co/kibana/kibana</a></li><li>Debezium Kafka Connect service ใช้ image ชื่อ <a href="https://hub.docker.com/r/debezium/connect">debezium/connect</a></li></ul><p>จะเห็นว่าในส่วน MariaDB เราได้ mount path ไว้ 2 ตัว</p><ul><li>./docker/database/docker-entrypoint-initdb.d:/docker-entrypoint-initdb.d เป็นไดเรกทอรี่ที่เก็บไฟล์ที่มีคำสั่ง SQL เพื่อสร้างฐานข้อมูลเริ่มต้น และสร้าง user สำหรับ Debezium MySQL connector (อยู่ภายใต้ Debezium Kafka Connect service)</li><li>./docker/database/conf.d/mysql.cnf:/etc/mysql/conf.d/mysql.cnf เป็นไฟล์ตั้งค่าสำหรับเปิดใช้งาน <em>bin_log </em>ซึ่งโดยปกติจะปิดเป็นค่า default</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/633/1*TscuKkfKYr8fumoboGeT4A.jpeg" /><figcaption>configuration เพื่อเปิดใช้งาน bin_log</figcaption></figure><p>อธิบายในไฟล์ docker-compose.yml ประมาณนี้ก่อนนะครับ เดี๋ยวมันจะยาวไป หากมีข้อสงสัยอะไรก็ถามอีกทีครับ</p><p>งั้นเรามาเริ่มการทำงานของ pipeline ที่เราสร้างกันดีกว่า</p><pre>$ docker-compose -f docker-compose.yml up</pre><p>หากต้องการที่จะให้ทำงานเป็นพื้นหลังให้เพิ่ม -d ต่อท้าย</p><p>ลองเช็คดูว่า services ใน docker-compose.yml ถูกรันขึ้นหมดแล้วหรือป่าว</p><pre>$ docker-compose -f docker-compose.yml ps</pre><p>จะได้ผลลัพธ์ประมาณนี้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/841/1*PoNdOFYQAWgiS3e0pjuv1Q.jpeg" /><figcaption>แสดงรายการ containers ที่รันอยู่</figcaption></figure><p>หรือจะดูจาก dashboard ของตัว docker desktop ก็ได้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WgE32Ul9T6ofawcuBjiGBQ.jpeg" /><figcaption>docker desktop dashboard</figcaption></figure><p>หากทุก service ถูกรันขึ้นมาครับแล้ว เราลองมาเช็คข้อมูลในฐานข้อมูลกันก่อน</p><pre>$ docker-compose -f docker-compose.yml exec mariadb \<br>    bash -c &#39;mysql -uroot -p$MYSQL_ROOT_PASSWORD inventory&#39;</pre><p>ในฐานข้อมูลที่เตรียมไว้นั้นชื่อ inventory</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/840/1*WajyDoDTosGPUCaIPiDBzA.jpeg" /></figure><p>จากนั้นลอง query ข้อมูลดู</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/839/1*LZz9P4WCnaV0nrKxLmQGEg.jpeg" /><figcaption>ทดลอง query เพื่อแสดงตารางทั้งหมดในฐานข้อมูล และแสดงข้อมูลในตาราง customers</figcaption></figure><p>ในขึ้นต่อไปเรามาเริ่มต้นการทำงานของ Debezium MySQL connector สำหรับเชื่อมต่อ MariaDB และ Kafka เข้าด้วยกัน ด้วยการเรียกผ่าน API เพื่อลงทะเบียนการตั้งค่า connector</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/84e4f6fa55b42aa2f30401cad255a725/href">https://medium.com/media/84e4f6fa55b42aa2f30401cad255a725/href</a></iframe><pre>$ curl -i -X POST \<br>    -H &#39;Accept: application/json&#39; \<br>    -H &#39;Content-Type: application/json&#39; \<br>    -d <a href="http://twitter.com/register">@register</a>-mysql.json \<br>    <a href="http://localhost:8083/connectors">http://localhost:8083/connectors</a></pre><p>หลังจากนั้นลองตัวสอบดูว่าเราลงทะเบียน connector สำเร็จหรือไม่</p><pre>$ curl -H &#39;Accept:application/json&#39; http://localhost:8083/connectors<br>[&quot;inventory-connector&quot;]</pre><p>หากมี inventory-connector อยู่ในลิสต์ก็ถือว่าสำเร็จ</p><p>หลังจากลงทะเบียน connector สำเร็จ ลอง monitor ดูว่ามีการส่งข้อมูลจากฐานข้อมูล inventory ไปยัง Kafka แล้วหรือยัง</p><blockquote>ในขั้นตอนต่อไปนี้เป็นเพียงการแสดงให้เห็นว่าหากมีการเปลี่ยนแปลงที่ฐานข้อมูล จะมีการส่งข้อความเข้าไปยัง Kafka topic ซึ่งในการใช้งานจริงคุณอาจจะต้องเขียน Kafka Consumer ของคุณเอง</blockquote><p>โดยเราจะลองมาดู topic dbserver1.inventory.customers ด้วยการรัน <strong>Kafka console consumers</strong></p><pre>$ docker-compose -f docker-compose.yml \<br>    run --rm kafka watch-topic \<br>    -a -k &#39;dbserver1.inventory.customers&#39;</pre><p>หลังจากรันคำสั่งด้านบนไปแล้ว จะเห็นว่า Debezium นั่นได้ฟีดข้อมูลในตาราง inventory ไปไว้ยัง topic dbserver1.inventory.customers ใน Kafka</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/30eb9f6b4a8a9658c67abecdc76a838b/href">https://medium.com/media/30eb9f6b4a8a9658c67abecdc76a838b/href</a></iframe><p>จะเห็นว่าข้อมูลชุดนี้จะเป็นข้อมูลในแถวสุดท้ายในตาราง customers ที่เราได้ลอง query ให้ดูไปในรูปก่อนหน้า</p><p>ลองอัพเดทข้อมูลในตาราง customers เพื่อดูว่าเราจะได้รับผลลัพธ์อย่างไร</p><pre>MariaDB [inventory] &gt; UPDATE customers SET last_name = &#39;Bills&#39; WHERE id = 1004;</pre><p>หลังจากสั่ง query ไปแล้ว เราจะเห็นว่ามี message เกิดขึ้นใน topic</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/cc3b762776ed039c1a9a0a84d9a6e408/href">https://medium.com/media/cc3b762776ed039c1a9a0a84d9a6e408/href</a></iframe><p>ตอนนี้ก็มากันได้ครึ่งทางแล้ว จะเห็นว่าเรา integate MariaDB -&gt; Debezium -&gt; Kafka เข้าด้วยกันแล้ว ก็จะเหลือแค่ฟีดข้อมูลที่ได้นั้นไปใช้งาน</p><p>ก่อนอื่นเรามาลองเช็คก่อนว่า Elasticsearch พร้อมทำงานหรือยัง</p><pre>$ curl -X GET http://localhost:9200</pre><p>จะได้ผลลัพธ์ตอบกลับเป็น JSON</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ffd573df377018cdee96ecb2f66ec4bd/href">https://medium.com/media/ffd573df377018cdee96ecb2f66ec4bd/href</a></iframe><blockquote>หาก Elasticsearch ไม่มีผลลัพธ์กลับมาให้ลองเช็คดูว่า container รันอยู่หรือไม่ หากไม่ลองเช็คหน่อยว่า Docker Engine อนุญาตให้ใช้งาน memory มากกว่า 4 GB หรือไม่</blockquote><p>ต่อไปเราจะเชื่อม Elasticsearch กับ Kafka ด้วย <strong>Kafka Connect Elastic Sink Connector </strong>ซึ่งถูกติดตั้งมาใน <strong>Debezium Kafka connect container </strong>สามารถทำได้ง่ายๆ เพียงผ่าน API</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0a33768470c6a3d3688790e77802a194/href">https://medium.com/media/0a33768470c6a3d3688790e77802a194/href</a></iframe><pre>$ curl -i -X POST \<br>    -H &#39;Accept: application/json&#39; \<br>    -H &#39;Content-Type: application/json&#39; \<br>    -d <a href="http://twitter.com/register">@</a>register-elastic-customers.json \<br>    <a href="http://localhost:8083/connectors">http://localhost:8083/connectors</a></pre><p>การตั้งค่าในด้านบนเป็นฟีดข้อมูลจาก topic dbserver1.inventory.customers เพื่อไปบันทึกยัง Elasticsearch เมื่อลงทะเบียนเรียบร้อยแล้ว ลองมาเช็คดูอีกที หากพบ elastic-sink_customers อยู่ในลิสต์ก็ถือว่าสำเร็จ</p><pre>$ curl -H &#39;Accept:application/json&#39; <a href="http://localhost:8083/connectors">http://localhost:8083/connectors</a><br>[&quot;elastic-sink_customers&quot;,&quot;inventory-connector&quot;]</pre><p>เราลองมาดูกันว่า MariaDB และ Elasticsearch นั้นซิงค์กันแล้วหรือไม่</p><pre>$ curl <a href="http://localhost:9200/dbserver1.inventory.customers/_search?pretty">http://localhost:9200/dbserver1.inventory.customers/_search?pretty</a></pre><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0bba008d81268026d374717b98eed0bc/href">https://medium.com/media/0bba008d81268026d374717b98eed0bc/href</a></iframe><p>จากผลลัพธ์ก็จะเห็นว่าข้อมูลทาง MariaDB และ Elasticsearch ซิงค์กันเรียบร้อยแล้ว ต่อไปมาลองดูว่า หากเพิ่มข้อมูลไปยังฐานข้อมูล ข้อมูลยังจะซิงค์กันหรือไม่</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/839/1*SbQy2e35BKpN9_mws7zmIg.jpeg" /><figcaption>เพิ่มข้อมูลใหม่ไปยังตาราง customers</figcaption></figure><p>จากนั้นลองเช็คผลลัพธ์ฝั่ง Elasticsearch อีกครั้ง</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5f4dc2c3e551ab72a45f9ae359e89914/href">https://medium.com/media/5f4dc2c3e551ab72a45f9ae359e89914/href</a></iframe><p>จะเห็นว่ามีข้อมูลใหม่เพิ่มทางฝั่ง Elasticsearch ด้วย งั้นมาลองอัพเดทดูว่าจะได้ผล อย่างไร</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/838/1*1E1HkU3gPDnHKN1_j1sNUg.jpeg" /><figcaption>อัพเดทข้อมูลในตาราง customers</figcaption></figure><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/91177b3bdf572f7a22e4fa5cfb1f8283/href">https://medium.com/media/91177b3bdf572f7a22e4fa5cfb1f8283/href</a></iframe><p>เย้!! ข้อมูลอัพเดทตามด้วย</p><h3>คุยกันก่อนจบ</h3><p>ในบทความนี้เราแสดงให้เห็นถึงการทำ Change Data Capture ด้วย Debezium ระหว่าง MariaDB และ Elasticsearch แต่จริงๆ แล้วตัว Debezium นั้นยังรองรับ connector ได้อีกหลายตัวอาทิ MongoDB, PostgreSQL, PostgreSQL, Oracle เป็นต้น อีกทั้งสามารถออกแบบให้ทั้ง source และ sink แต่ละด้านมีได้มากกว่า 1 ตัว อีกทั้งคุณยังสามารถเขียน Kafka Consumer เพื่อประมวลผลเองได้</p><h4>อ้างอิง</h4><p><a href="https://debezium.io/documentation/reference/tutorial.html">https://debezium.io/documentation/reference/tutorial.html</a></p><p><a href="https://docs.confluent.io/current/connect/kafka-connect-elasticsearch/index.html">https://docs.confluent.io/current/connect/kafka-connect-elasticsearch/index.html</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8bf17201a9d6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[เปรียบเทียบความคล้ายคลึงของภาพด้วย Tensorflow 2.0]]></title>
            <link>https://decimo.medium.com/%E0%B8%84%E0%B9%89%E0%B8%99%E0%B8%AB%E0%B8%B2%E0%B8%A0%E0%B8%B2%E0%B8%9E%E0%B8%94%E0%B9%89%E0%B8%A7%E0%B8%A2%E0%B8%A0%E0%B8%B2%E0%B8%9E%E0%B9%82%E0%B8%94%E0%B8%A2%E0%B9%83%E0%B8%8A%E0%B9%89-tensorflow-2-0-d051fccc1fc2?source=rss-da4066332ed3------2</link>
            <guid isPermaLink="false">https://medium.com/p/d051fccc1fc2</guid>
            <category><![CDATA[similarity-search]]></category>
            <category><![CDATA[visión]]></category>
            <category><![CDATA[tensorflow2]]></category>
            <category><![CDATA[image-processing]]></category>
            <category><![CDATA[tensorflow]]></category>
            <dc:creator><![CDATA[Nuipin Decimo]]></dc:creator>
            <pubDate>Sun, 17 Jan 2021 06:12:52 GMT</pubDate>
            <atom:updated>2021-01-17T08:16:41.875Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CQ4zuKBVu56WHYTMbAUPJQ.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@maartendeckers?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Maarten Deckers</a> on <a href="https://unsplash.com/s/photos/twin?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><p>ปัญหาอย่างหนึ่งที่น่าสนใจคือจะทำให้ไรให้เราสามารถค้นหาภาพหรือภาพที่ใกล้เคียงภาพที่เราต้องการได้ ตัวอย่างเช่น ในเว็บ/แอพ e-commerce ที่สามารถให้ลูกค้าสามารถการค้นหาสินค้าด้วยภาพได้</p><p>นอกจากนี้เรายังประยุกต์เทคนิคดังกล่าวเพื่อตรวจจับความคล้ายคลึงของภาพเพื่อช่วยให้เราสามารถจัดการภาพที่ซ้ำกันในระบบ, สามารถจัดกลุ่มของภาพ, ค้นหาภาพด้วยภาพ และแนะนำภาพที่มีความเกี่ยวข้องได้</p><p>ในบทความนี้เราเลยจะมาลองแก้ปัญหาดังกล่าวด้วยการใช้โมเดลสำเร็จรูป (ถูกเทรนไว้แล้ว) ที่อยู่บน Tensorflow Hub กัน แล้วเราจะทำไงกันบ้าง</p><ul><li>เราจะใช้ไลบรารี่ Tensorflow และโมเดลบน Tensorflow Hub มาใช้เพื่อสร้าง<strong>เวกเตอร์คุณลักษณะสำคัญ (Feature) ของภาพ</strong></li><li>จากนั้นใช้ไลบรารี่ <strong>scipy</strong> เพื่อใช้ฟังชันก์คำนวณระยะห่างระหว่างเวกเตอร์คุณลักษณะสำคัญของภาพ</li></ul><p>แต่ก่อนอื่นเรามารู้จัก Tensorflow และ Tensorflow Hub กันก่อน</p><ul><li>Tensorflow เป็น open source platform สำหรับใช้ในงาน machine learning ที่พัฒนาโดย Google ซึ่งมีทั้งเครื่องมือ, ไลบรารี่ และมี community ที่ค่อนข้างใหญ่จึงทำให้เราสามารถพัฒนาและนำไปใช้ได้ง่าย</li><li>Tensorflow Hub เป็นที่รวบรวมโมเดลที่พร้อมใช้งาน หรือง่ายต่อการทำ transfer learning เนื่องจากโมเดลเหล่านั้นถูกเทรนไว้แล้ว ทำให้เราสามารถนำไปใช้เพื่อแก้ปัญหาต่างๆ อาทิ image classification, image segmentation, text embeddings, text classification เป็นต้น</li></ul><h4>เวกเตอร์คุณลักษณะสำคัญของภาพคืออะไร</h4><p>เวกเตอร์คุณลักษณะสำคัญของภาพคือเป็นลิสต์ของตัวเลขที่จะแสดงเอกลักษณ์ของภาพนั้นๆ ซึ่งเราจะใช้ข้อมูลนี้มาใช้เพื่อคำนวณความคล้ายคลึงกันของภาพ</p><p>โดยทั่วไปแล้ว คุณลักษณะสำคัญของภาพที่เป็น low-level จะเป็นรายละเอียดเล็กๆ ของภาพเช่น เส้น, ขอบ, มุม หรือจุดต่างๆ ส่วนคุณลักษณะสำคัญที่เป็น high-level จะเป็นรายละเอียดที่ถูกสร้างบนคุณลักษณะสำคัญ low-level คุณลักษณะสำคัญในแบบนี้ใช้เพื่อค้นหาวัตถุหรือรูปร่างใหญ่ภายในภาพ</p><p>ในการดึงคุณลักษณะสำคัญทั้ง 2 ประเภทออกมาจากภาพ เราสามารถใช้ <strong>convolutional neural networks </strong>โดยใน convolutional layers ในช่วงแรกๆ จะเป็นการเรียนรู้เพื่อกรองและค้นหาคุณลักษณะสำคัญ low-level และจากนั้นในชั้นท้ายสุดจะเป็นการเรียนรู้เพื่อจำแนกรูปร่างหรือวัตถุ</p><p>ในบทความนี้เราจะใช้โมเดล <a href="https://tfhub.dev/google/imagenet/mobilenet_v2_140_224/feature_vector/4"><strong>mobilenet</strong></a><strong> </strong>ซึ่งอยู่บน <a href="https://www.tensorflow.org/hub">Tensorflow Hub</a> เพื่อดึงคุณลักษณะสำคัญของภาพ โมเดล mobilenet เป็น neural network ที่ถูกสร้างเพื่อให้สามารถทำงานได้บนอุปกรณ์ขนาดเล็ก (มีทรัพยากรค่อนข้างจำกัด) สามารถดูข้อมูลเพิ่มเติมเกี่ยวกับ mobilenetV2 ได้จาก <a href="https://arxiv.org/pdf/1801.04381.pdf">paper</a> นี้</p><p>ในบทความนี้เราจะทดลองทำกันบน Google Colab (สามารถดูโค๊ดเต็มได้จาก <a href="https://colab.research.google.com/drive/1wPnrOyQCWS2puvNA2XTAB5oMCw7UyMfD#scrollTo=YXDZNBNbm2bu">notebook</a> นี้)</p><ul><li><strong>read_image</strong> ใช้สำหรับอ่านภาพและเตรียมข้อมูลภาพให้เหมาะสมกับ input ของโมเดล MobilenetV2</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/921c948b7e8cefd3db626055649dc0ad/href">https://medium.com/media/921c948b7e8cefd3db626055649dc0ad/href</a></iframe><p>โหลดโมเดล MobilenetV2 โดยใช้ Tensorflow Hub</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/c7603f0f7c7807ee596748404dfc43ca/href">https://medium.com/media/c7603f0f7c7807ee596748404dfc43ca/href</a></iframe><p>จากนั้นดึงคุณลักษณะสำคัญโดยใช้โมเดล MobilenetV2 เราจะได้เวกเตอร์ขนาด 1792</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4d329608c0f855374520b2cc57b90f0b/href">https://medium.com/media/4d329608c0f855374520b2cc57b90f0b/href</a></iframe><p>การที่จะบอกว่าวัตถุ 2 ชิ้นเหมือนหรือไม่เหมือนกันนั้น จำเป็นต้องอาศัยตัวชี้วัดบางอย่าง ตัวชี้วัดที่นิยมเช่น <strong>euclidean distance</strong></p><p>euclidean distance เป็นการวัดระยะห่างระหว่างจุด 2 จุดในระนาบหรือปริภูมิ 3 มิติโดยจะวัดความยาวของส่วนที่เชื่อมต่อทั้ง 2 จุด</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*3IwgqKYj2yZxIEHYEPnmew.png" /></figure><p>สูตร: ถ้าจุด (x1, y1) และ (x2, y2) อยู่ในปริภูมิ 2 มิติ เราสามารถคำนวณระยะห่าง euclidean ได้ดังนี้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*_UYbLfNB8tEB_6wUdhhveA.png" /></figure><p>ซึ่งเราสามารถคำนวณโดยใช้ไลบรารี่ Scipy</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a9eec65a0a44241177066885ac33c1ba/href">https://medium.com/media/a9eec65a0a44241177066885ac33c1ba/href</a></iframe><p>ทดลองรันโค้ด</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*bwZwrH9mriqx-BU_jDekIA.gif" /></figure><p>จากภาพด้านบนจะเห็นว่าภาพคล้ายกันระยะห่างก็ยิ่งใกล้กัน และภาพที่ต่างกันระยะห่างก็ยิ่งห่างกัน</p><h3>ข้อสังเกต</h3><ul><li>ภาพที่มีขนาดต่างกัน (W x H) มีผลต่อความถูกต้องของผลลัพธ์</li><li>ถึงวัตถุจะเป็นวัตถุที่เหมือนกัน แต่พื้นหลังที่ต่างกัน มีผลต่อความถูกต้องของผลลัพธ์</li></ul><p><strong>เพิ่มเติม </strong>— เวลาใช้งาน euclidean distance เพื่อการใช้งานร่วมกับ algorithm อื่น เราอาจจะปรับให้ผลลัพธ์อยู่ในช่วง 0–1 เนื่องจากผลลัพธ์ของ algorithm นี้มีช่วงที่ค่อนข้างจะกว้าง</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d051fccc1fc2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[การจำแนกเสียงพูดและเสียงเพลงด้วยโมเดล Siamese Networks]]></title>
            <link>https://decimo.medium.com/%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B8%88%E0%B8%B3%E0%B9%81%E0%B8%99%E0%B8%81%E0%B9%80%E0%B8%AA%E0%B8%B5%E0%B8%A2%E0%B8%87%E0%B8%9E%E0%B8%B9%E0%B8%94%E0%B9%81%E0%B8%A5%E0%B8%B0%E0%B9%80%E0%B8%AA%E0%B8%B5%E0%B8%A2%E0%B8%87%E0%B9%80%E0%B8%9E%E0%B8%A5%E0%B8%87%E0%B8%94%E0%B9%89%E0%B8%A7%E0%B8%A2%E0%B9%82%E0%B8%A1%E0%B9%80%E0%B8%94%E0%B8%A5-siamese-networks-a366b0416fe?source=rss-da4066332ed3------2</link>
            <guid isPermaLink="false">https://medium.com/p/a366b0416fe</guid>
            <category><![CDATA[audio]]></category>
            <category><![CDATA[mfcc]]></category>
            <category><![CDATA[cnn]]></category>
            <category><![CDATA[siamese-networks]]></category>
            <dc:creator><![CDATA[Nuipin Decimo]]></dc:creator>
            <pubDate>Tue, 19 May 2020 11:01:01 GMT</pubDate>
            <atom:updated>2020-05-19T12:55:50.140Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*z-Ei_-xnyXnj4utFayDeLg.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@icons8?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Icons8 Team</a> on <a href="https://unsplash.com/s/photos/sound?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><p>ใน<a href="https://medium.com/@decimo.me/%E0%B8%88%E0%B8%B3%E0%B9%81%E0%B8%99%E0%B8%81%E0%B9%80%E0%B8%AA%E0%B8%B5%E0%B8%A2%E0%B8%87%E0%B8%9E%E0%B8%B9%E0%B8%94%E0%B9%81%E0%B8%A5%E0%B8%B0%E0%B9%80%E0%B8%AA%E0%B8%B5%E0%B8%A2%E0%B8%87%E0%B8%94%E0%B8%99%E0%B8%95%E0%B8%A3%E0%B8%B5%E0%B8%94%E0%B9%89%E0%B8%A7%E0%B8%A2-convolutional-neural-networks-%E0%B9%83%E0%B8%99-keras-%E0%B8%81%E0%B8%B1%E0%B8%99-3d52120987a6">บทความก่อนหน้า</a> เราได้ทดลองใช้ <strong><em>Convolutional Neural Network (CNN) </em></strong>เพื่อจำแนกเสียงพูดและเสียงเพลง ในวันนี้เราจะมาทดลองจำแนกเสียงพูดและเสียงเพลงโดยใช้โมเดล Siamese networks</p><p>ซึ่งโดยปกติส่วนใหญ่เราจะพบเห็นการใช้งานโมเดล Siamese networks ในงานเกี่ยวกับรูปภาพ ดังนั้นในบทความนี้เราจึงจะลองนำเอาโมเดล Siamese networks ไปประยุกต์ใช้ที่เกี่ยวกับเสียงบ้าง (แต่จริงๆ เราก็ใช้วิธีแปลงเสียงให้มีหน้าตาข้อมูลคล้ายกับข้อมูลรูปภาพอยู่ดี อิอิ)</p><p>ก่อนจะไปเขียนโค้ดกันเราไปรู้จักกันก่อนว่าโมเดล Siamese networks เป็นอย่างไร และเราจะนำข้อมูลที่เป็นเสียงมาใช้ต้องทำอย่างไร</p><h3>Siamese Networks คืออะไร?</h3><p>ปัญหาอย่างหนึ่งที่เรามักเจอเมื่อเทรนโมเดล Classification ด้วยเทคนิค Deep learning คือต้องอาศัยข้อมูลตัวอย่างปริมาณมากในแต่ละคลาสมาเทรนข้อมูล เพื่อให้ได้โมเดลที่ทำงานได้ใกล้เคียงกับความสามารถของมนุษย์ ซึ่งในโลกความเป็นจริงนั้นๆ ไม่ใช่ว่าทุกปัญหาจะมีข้อมูลตัวอย่างในปริมาณที่มากพอที่จะทำให้ได้โมเดลที่แก้ปัญหานั้นได้อย่างถูกต้อง (ในบทความนี้เรายังไม่มองถึงการใช้เทคนิค Transfer learning นะครับ) ดังนั้นในช่วงไม่กี่ปีที่ผ่านมาเริ่มมีงานวิจัยที่ทำออกมาแก้ปัญหาดังกล่าว ซึ่งอาศัยข้อมูลตัวอย่างเพียงไม่กี่ตัวอย่างในแต่ละคลาสเพื่อมาทำนายข้อมูลที่ไม่มีป้ายกำกับ โดยใช้เทคนิคการเรียนรู้แบบ <em>Meta learning</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*fyruS3SQdeTW8PFSVSDHBw.png" /><figcaption>ลักษณะการทำงานของการเทคนิค Deep learning ทั่วไป</figcaption></figure><p>Meta learning เป็นเทคนิคการเรียนที่มีความเกี่ยวข้องกับเทคนิค Deep learning ซึ่งโมเดลที่ได้จากเทคนิคนี้เรียกได้ว่าเป็นโมเดลอเนกประสงค์มากๆ เพราะเมื่อเทรนโมเดลไปแล้วครั้งหนึ่ง ก็สามารถที่จะนำโมเดลดังกล่าวไปใช้เพื่อแก้ปัญหาในงานที่มีลักษณะใกล้เคียงกับโมเดลนั้น โดยไม่จำเป็นต้องเทรนอะไรเพิ่มเติมอีก จำเห็นได้ว่ากระบวนการเรียนรู้ของ Meta learning นั้นจะค่อนข้างใกล้เคียงกับมนุษย์มาก เพราะปกติมนุษย์เพียงได้เห็นหรือได้ยินอะไรเพียงแค่ไม่กี่ครั้งก็สามารถจำแนกได้แล้วว่าภาพหรือเสียงนั้นคืออะไร</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/566/1*TvvWwxXo0KItn3pYE2rZyw.png" /><figcaption>หากมีการเพิ่มคลาสใหม่ถ้าเป็นโมเดลทั่วไปก็จำเป็นต้องเทรนโมเดลใหม่</figcaption></figure><p>โมเดลหนึ่งที่นิยมนำมาประยุกต์ใช้คือ Siamese networks ซึ่งคำว่า Siamese ก็มาจาก “แฝดสยาม อิน-จัน” ที่เป็นที่รู้จักของฝรั่ง ถ้าพูดแบบนี้เราก็พอจะรู้แล้วว่าโมเดลนี้จะมีการเทรนโมเดลที่จะใช้การเปรียบเทียบ embeddings 2 ตัวพร้อมกันในการคำนวณหา loss</p><p>โดย Objective ของ loss function ของโมเดลนี้คือพยายามเพิ่มระยะห่างระหว่างกลุ่มหรือลดระยะห่างภายในกลุ่มเดียวกัน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SyaDZu8_7FLDmcATM0whBg.png" /><figcaption>วัตถุประสงค์ในการเทรนโมเดล Saimese network</figcaption></figure><p>ทั่วไปแล้วโมเดล Siamese networks ประกอบด้วย sub-network 2 ตัวที่มีโครงสร้างและคอนฟิกที่เหมือนกันจึงทำให้ต้องการปริมาณข้อมูลตัวอย่างที่น้อยลงและมีแนวโน้มที่จะเกิด overfitting ที่น้อย หน้าที่หลักของ sub-network นั้นมีไว้สำหรับสกัดคุณลักษณะเวกเตอร์ (N✕1)เมื่อได้ผลลัพธ์แล้วก็ได้ตัวชี้วัดบางอย่าง (เช่น Euclidean distance, Cosine similarity, Manhattan เป็นต้น) มาเปรียบเทียบความคลายคลึงของคุณลักษณะเวกเตอร์ทั้งสอง (ยิ่งคล้ายคลึงกันระยะห่างก็ยิ่งใกล้ 0)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lcsJ60Bg9W9YgsiotPvmAg.png" /><figcaption>โครงสร้างพื้นฐานของ Siamese Networks</figcaption></figure><h3>เราจะนำข้อมูลเสียงมาใช้ได้อย่างไร?</h3><p>ในการจำแนกข้อมูลที่เป็นเสียง เราไม่สามารถนำข้อมูลเสียงดิบมาเป็น input ให้กับโมเดลได้โดยตรง ดังนั้นเราจึงต้องนำข้อมูลเสียงเหล่านั้นมาผ่านกระบวนการบางอย่างก่อนนำไปใช้งาน โดยสามารถแบ่งได้เป็น 2 รูปแบบ:</p><ol><li><em>Time domain - </em>แต่ละ sample จะแสดงถึงการเปลี่ยนแปลงของสัญญาณเสียง เทคนิคที่ใช้กันเช่น Central Moments, Zero-Crossing Rate, Root Mean Square Energy, Tempo เป็นต้น</li><li><em>Frequency domain - </em>ในแต่ละ timestamp จะแสดงถึงค่า amplitude สำหรับความถึ่นั้นๆ เทคนิคที่ใช้กันเช่น Mel-Frequency Cepstral Coefficients, Chroma, Spectral Centroid, Spectral Contrast, Spectral Bandwidth เป็นต้น</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/1*7sKM9aECRmuoqTadCYVw9A.jpeg" /><figcaption>ลักษณะการใช้งานข้อมูลเสียง</figcaption></figure><p>ถึงแม้ว่าในหลายเทคนิคจะมีความสามารถในการเรียนรู้จาก Feature ได้ดีก็ตาม แต่เราก็ควรจะเลือกใช้วิธีการสกัดคุณลักษณะสำคัญ (Feature Extraction) ที่เหมาะสมและตอบโจทย์กับงานของเรามากที่สุด ในปัจจุบันสำหรับแอพพลิเคชั่นส่วนใหญ่มักจะเลือกใช้วิธีการสกัดคุณลักษณะแบบ <strong>Frequency domain</strong> เพื่อนำเสนอข้อมูลเสียง</p><h3>เรามาเริ่มกันเลยดีกว่า :)</h3><h4>การเตรียมข้อมูลเสียง</h4><p>ชุดข้อมูลที่ใช้เป็น <a href="https://www.kaggle.com/lnicalo/gtzan-musicspeech-collection"><strong><em>GTZAN</em></strong></a><strong><em> </em></strong>ซึ่งสามารถดาวน์โหลดในเว็บ Kaggle ได้เลย ซึ่งในชุดข้อมูลแบ่งคลาสของข้อมูลออกเป็น 2 คลาสคือ Music และ Speech ในแต่ละคลาสจะมีไฟล์เสียง 64 ไฟล์ แต่ละไฟล์มีความยาวเสียง 30 วินาที</p><p>คุณลักษณะของไฟล์เสียงในชุดข้อมูลนี้</p><ul><li>เป็นฟอร์แมต WAV</li><li>sampling rate 22.05kHz.</li><li>sampling size 16bit</li><li>บันทึกเสียงในรูปแบบ mono</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*DTOAGSrVVxdxw_fiAgjX0A.png" /></figure><p>จากนั้นแบ่งไฟล์เสียงออกเป็นเป็น 3 ชุด (random) คือ</p><ul><li>training 60%</li><li>validation 20%</li><li>testing 20%</li></ul><p>ก่อนที่จะนำไฟล์เสียงไปสกัดคุณลักษณะสำคัญ เราจำเป็นจะต้องมาไฟล์เสียงมาผ่านการประมวลผลสัญญาณเสียงเบื้องต้น โดยการปรับสเกลของสัญญาณและการเน้นสัญญาณขั้นต้น (Pre-emphasis) ด้วยการนำสัญญาณเสียงมาผ่านวงจรกรองอันดับที่ 1 เพื่อให้สัญญาณเสียงชัดเจนขึ้นและลดสัญญาณรบกวนให้น้อยลง</p><p>หลังจากนั้นนำสัญญาณที่ประมวณผลในขั้นตอนก่อนหน้าแล้วมาแบ่งย่อยเป็นช่วงสั้นๆ เพื่อนำมาใช้เป็นตัวอย่างข้อมูลสำหรับเสียงในแต่ละคลาส โดยในแต่ละช่วงหรือแต่ละตัวอย่างข้อมูลจะมีความยาวประมาณ 950 ms (สัญญาณเสียงขนาด 20,480 sampling) และมีการทับซ้อน 50% ของขนาดตัวอย่างข้อมูลหรือเท่ากับสัญญาณเสียงขนาด 10,240 sampling ดังนั้นในแต่ละเพลงจะมีจำนวนตัวอย่างข้อมูล 63 ตัวอย่าง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gvCVZpVGqYXdUSlSnBFNMw.png" /></figure><p>หลังจากแบ่งเสียงเป็นช่วงสั้นๆ แล้ว เราจะนำเสียงแต่ละช่วงมาสกัดคุณลักษณะสำคัญที่จะนำมาใช้เป็นตัวแทนของเสียงนั้นๆ ในการทดลองนี้เราจะใช้การสกัดคุณลักณะสำคัญจากค่าสัมประสิทธ์เซปสตรัมบนสเกลเมล (Mel Frequency Cepstral Coefficient หรือ MFCC) เป็นเทคนิคที่ถูกพัฒนามาจากเทคนิคเซปตรัม ด้วยการปรับสเกลของเปคตรัมให้อยู่บนสเกลที่เหมาะสมสำหรับการได้ยินของมนุษย์ ซึ่งสามารถได้ยินเสียงเป็นเชิงเส้นตั้งแต่ 0–1,000 Hz โดยการดึงเอาสัญญาณเสียงในช่วงความถี่ต่ำให้มีความสำคัญกว่าช่วงความถี่สูง จึงเกิดการพัฒนาสเกลของสเปคตรัมที่สามารถเก็บรายละเอียดของสัญญาณเสียงในช่วงความถี่ต่ำได้มากกว่าที่เรียกว่า สเกลเมล (Mel Scale) โดยมีขั้นตอนการคำนวณเพื่อหาค่าดังภาพด้านล่าง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*plZmrF1IX30AFprb_lGE0g.png" /><figcaption>ขั้นตอนการคำนวณหาค่าสัมประสิทธิ์เซปตรัมบนสเกลเมล</figcaption></figure><p>แต่เนื่องจาก MFCC นั้นไม่ได้แสดงถึงการเปลี่ยนแปลงของค่า cepstral coefficients กับเวลา ดังนั้นเราจึงเพิ่มการหาอนุพันธ์อันดับที่หนึ่ง (Delta MFCC) เข้าไปด้วย ดังนั้นสุดท้ายแล้วเราจะได้ข้อมูลขนาด 60 แถว (ช่วงคลื่น) ✕ 41 คอลัมน์ (เฟรม) ✕ 2 จำนวนชั้นของข้อมูล (Channel)</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/154173a45ffbb87eabf45eb345d3fa12/href">https://medium.com/media/154173a45ffbb87eabf45eb345d3fa12/href</a></iframe><p>จากนั้นเรามาสร้าง sub-network ของโมเดล Siamese Network กัน โดยจริงๆ แล้วโมเดลของ Siamese Network จะเป็น MLP, LSTM, หรือ CNN ก็ได้ ซึ่งในบทความนี้ขอหยิบเอา CNN มาใช้งาน โดยมีโครงสร้างของ Network ประกอบไปด้วยชั้น convolutional ท้ังหมด จำนวน 3 ชั้นการประมวลผล โดยแต่ละ convolutional จะถูกคำนวณค่าบนข้อมูลคุณลักษณะสำคัญของเสียงที่ได้ในแต่ละ filter กับค่าน้ำหนัก โดยผ่าน activation function และในระหว่างชั้น convolutional จะมีชั้น max pooling คั่นอยู่เพื่อใช้ลดรายละเอียดของคุณลักษณะลง โดยการเลือกค่าที่มากที่สุดในแต่ละตัวกรอง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wz9pgikfJKsQQFnAfy8PZQ.png" /><figcaption>โครงสร้าง sub-networks ของ Siamese Network</figcaption></figure><p>ซึ่ง sub-network จะให้ผลลัพธ์เป็นคุณลักษณะเวกเตอร์ขนาด 128✕1 จากนั้นนำผลลัพธ์ทั้ง 2 มาหาความคล้ายคลึงกันด้วยการคำนวณ Manhattan distance หรือ L1 Norm</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/09b4549bebd3052bf901c4073f161f18/href">https://medium.com/media/09b4549bebd3052bf901c4073f161f18/href</a></iframe><p>ในขั้นตอนการเทรนโมเดล ในแต่ละชุดการเทรน (Batches) เราจะใช้ชุดเสียงจำนวน <strong><em>64 คู่เสียง</em></strong> แบ่งเป็นคู่เสียงที่เหมือนกันจำนวน 32 คู่เสียง และเสียงที่ต่างกันจำนวน 32 คู่เสียง โดยฝึกสอนจำนวน 10<strong><em>0 รอบ</em></strong> (Epochs) ซึ่งในแต่ละรอบใช้ชุดเทรน (Number batches per epoch) จำนวน 100 ชุด ในแต่ละชุดเสียงกำหนด label เป็น 1 สำหรับคู่เสียงที่เหมือนกันและเป็น 0 สำหรับคู่เสียงที่ต่างกัน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IpPDjqIMvkKK2UAqNaozFQ.png" /><figcaption>ลักษณะการสร้างชุดข้อมูลเพื่อใช้สำหรับเทรนโมเดล</figcaption></figure><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d78c36fa821eee6819f1c75355d2ba97/href">https://medium.com/media/d78c36fa821eee6819f1c75355d2ba97/href</a></iframe><p>การเทรนโมเดลครั้งนี้เราจะเลือกใช้ optimization algorithms เป็น <strong><em>Adams</em></strong> ด้วยอัตราการเรียนรู้ 0.001 หากค่าความแม่นยำไม่เปลี่ยนแปลงค่าจากก่อนหน้าในทุก 10 รอบ จะมีการปรับอัตราการเรียนรู้ลดลง 10 เท่า และเลือกใช้ loss function เป็น <strong><em>binary crossentropy</em></strong> เนื่องจากโมเดลใช้ทำนายเพียงแค่ใช่หรือไม่</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ee6b631de703120380bdb84f10561f7b/href">https://medium.com/media/ee6b631de703120380bdb84f10561f7b/href</a></iframe><p>หลังจากที่เราเทรนโมเดลไป ส่วนที่เราจะนำมาใช้เพื่อสกัดคุณลักษณะสำคัญเฉพาะของเสียงนั้นคือ sub-network ของ Siamese network</p><p>การกระจายตัวของข้อมูลก่อนเทรนโมเดล</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7mHher8cCOf0AQkc_BPr5Q.png" /><figcaption>ภาพ (a)</figcaption></figure><p>การกระจายตัวของข้อมูลหลังเทรนโมเดล</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gqnt8ZktjFqKKgvaVKgSaw.png" /><figcaption>ภาพ (b)</figcaption></figure><p>จากภาพด้านบน (a) จะเห็นว่าจุดของข้อมูลก่อนผ่านโมเดลจะมีการทับซ้อนกันค่อนข้างสูงจนทำให้การแยกกลุ่มนั้นทำได้ยาก ส่วนภาพ (b) จะเห็นว่าจุดของข้อมูลถูกแยกออกเป็นกลุ่มอย่างชัดเจน จะมีการทับซ้อนกันอยู่เพียงไม่กี่จุด ซึ่งอาจจะเกิดจากข้อมูลในจุดนั้นมีความคล้ายคลึงกับอีกกลุ่มหนึ่งค่อนข้างสูง (ข้อมูลเสียงความยาวที่ค่อนข้างสั้น จึงมีโอกาสที่เสียงจะมีความคล้ายคลึงกันสูง)</p><h3>การประยุกต์ใช้งานโมเดล</h3><p>เราสามารถนำโมเดล sub-network ที่ได้จากการเทรน Siamese network มาสกัดคุณลักษณะสำคัญเฉพาะ จากนั้นเราอาจจะนำข้อมูลคุณลักษณะสำคัญเฉพาะที่ได้ไปประยุกต์ใช้ดังนี้</p><ul><li>นำข้อมูลไปใช้งานด้วย Machine learning algorithms เช่น Logistic Regression, k-Nearest Neighbor, Support Vector Machines (SVM) เป็นต้น ซึ่งเป็นการเพิ่มประสิทธิภาพให้ตัว algorithm เองด้วย</li><li>นำข้อมูลที่ได้ไปเก็บในฐานข้อมูล และใช้ algorithm อย่าง nearest neighbor search เพื่อค้นหาข้อมูลในฐานข้อมูลอีกที</li></ul><h4>References:</h4><p>Andrew Ng course on <a href="https://www.xn--7ca.org/specializations/deep-learning?utm_source=deeplearningai&amp;utm_medium=institutions&amp;utm_campaign=SocialYoutubeDLSC4W4L03">Deep Learning Specialization</a> on Coursera</p><p><a href="https://www.youtube.com/watch?v=6jfw8MuKwpI">C4W4L03 Siamese Network</a> on the <a href="https://www.youtube.com/channel/UCcIXc5mJsHVYTZR1maL5l9w">deeplearning.ai</a> YouTube channel.</p><ul><li><a href="https://gombru.github.io/2019/04/03/ranking_loss/">Understanding Ranking Loss, Contrastive Loss, Margin Loss, Triplet Loss, Hinge Loss and all those confusing names</a></li><li><a href="https://github.com/adambielski/siamese-triplet">adambielski/siamese-triplet</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a366b0416fe" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[จำแนกเสียงพูดและเสียงเพลงด้วย Convolutional Neural Networks ใน Keras กัน]]></title>
            <link>https://decimo.medium.com/%E0%B8%88%E0%B8%B3%E0%B9%81%E0%B8%99%E0%B8%81%E0%B9%80%E0%B8%AA%E0%B8%B5%E0%B8%A2%E0%B8%87%E0%B8%9E%E0%B8%B9%E0%B8%94%E0%B9%81%E0%B8%A5%E0%B8%B0%E0%B9%80%E0%B8%AA%E0%B8%B5%E0%B8%A2%E0%B8%87%E0%B8%94%E0%B8%99%E0%B8%95%E0%B8%A3%E0%B8%B5%E0%B8%94%E0%B9%89%E0%B8%A7%E0%B8%A2-convolutional-neural-networks-%E0%B9%83%E0%B8%99-keras-%E0%B8%81%E0%B8%B1%E0%B8%99-3d52120987a6?source=rss-da4066332ed3------2</link>
            <guid isPermaLink="false">https://medium.com/p/3d52120987a6</guid>
            <category><![CDATA[keras]]></category>
            <category><![CDATA[audio]]></category>
            <category><![CDATA[google-colab]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[convolution-neural-net]]></category>
            <dc:creator><![CDATA[Nuipin Decimo]]></dc:creator>
            <pubDate>Tue, 23 Oct 2018 08:55:10 GMT</pubDate>
            <atom:updated>2018-12-13T15:35:38.217Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*loeMXmFwdA-UzRd4z-uE3Q.png" /></figure><p>โดยปกติเมื่อเราฟังเสียงจากวิทยุหรือโทรทัศน์ สมองก็จะทำการประมวลผลและทำความเข้าใจกับข้อมูลเสียงนั้น และก็ให้ข้อมูลกลับมาว่าเสียงที่ได้ยินเป็นอะไร ​ฉะนั้นเราจึงสามารถจำแนกได้ว่าเสียงนั้นเป็นเสียงพูด หรือเสียงเพลง ซึ่งมองแล้วมันดูเป็นเรื่องง่ายสำหรับมนุษย์ แต่ถ้าเป็นคอมพิวเตอร์ล่ะ จะทำอย่างไรเพื่อให้มันสามารถแยกแยะเสียงพูด หรือเสียงเพลงได้</p><h3><strong><em>ทำอย่างไรให้คอมพิวเตอร์แยกได้ว่าเป็นเสียงอะไร?</em></strong></h3><p>ในปัจจุบันที่งานด้าน <strong><em>AI (Artificial Intelligence)</em></strong> มีความนิยมสูง ศาสตร์หนึ่งที่เป็นตัวขับเคลื่อนงานด้าน AI นั้นคือ <a href="https://medium.com/convolab/machine-learning-basics-2b38700cb10b"><strong><em>Machine Learning</em></strong></a> (การเรียนรู้ของเครื่อง) ซึ่งในครั้งนี้เราจะใช้ Machine Learning แบบ <strong><em>Supervised Learning</em></strong> (การเรียนรู้แบบมีผู้สอน)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*2KEuPsgfHiyENB3sIpN_gg.jpeg" /><figcaption>ภาพจาก <a href="https://ahead.asia/2018/05/17/ai-machinelearning-deeplearning-101/">https://ahead.asia/2018/05/17/ai-machinelearning-deeplearning-101/</a></figcaption></figure><p>ครั้งนี้เหมือนจะว่าง เลยจะมาลองจำแนกเสียงว่ามันเป็นเสียงคนหรือเสียงเพลง โดยเราเลือกที่จะใช้อัลกอริทึม <a href="https://medium.com/@sanparithmarukatat/%E0%B8%AA%E0%B8%99%E0%B8%B8%E0%B8%81%E0%B8%81%E0%B8%B1%E0%B8%9A-neural-network-657fa293c4d1"><strong><em>Convolutional Neural Network (CNN)</em></strong></a> ซึ่งพัฒนามา จากอัลกอริทึม <a href="https://medium.com/@sanparithmarukatat/%E0%B8%AA%E0%B8%99%E0%B8%B8%E0%B8%81%E0%B8%81%E0%B8%B1%E0%B8%9A-neural-network-657fa293c4d1"><strong><em>Neural Network</em></strong></a> ซึ่งอัลกอริทิมนี้จำลองมาจากโครงข่ายประสาทของมนุษย์ มีจุดเด่นที่มันสามารถปรับค่าของตัวมันเอง ให้เข้ากับข้อมูลที่เรียนรู้ได้ สิ่งที่ CNN ต่างจาก Neural Network คือ ชั้นที่เรียกว่า Convolution ที่ใช้เพื่อค้นหาลักษณะเด่นของข้อมูล</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*rpSTigOo71dOSprbYRWqOA.png" /><figcaption>ตัวอย่างโครงสร้างของ Convolutional Neural Network</figcaption></figure><h3><strong>มาเริ่มกันเลยดีกว่า :)</strong></h3><p>รอบนี้เราจะทำงานกันบน <a href="https://colab.research.google.com/"><strong><em>Google Colab</em></strong></a><strong><em> </em></strong>กัน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*SdwBvieVVc_NFDKvNtuhzw.png" /><figcaption>ภาพจาก <a href="https://www.codexa.net/how-to-use-google-colaboratory/">https://www.codexa.net/how-to-use-google-colaboratory</a></figcaption></figure><h3>เตรียมข้อมูล</h3><p>ชุดข้อมูลที่ใช้เป็น <a href="https://www.kaggle.com/lnicalo/gtzan-musicspeech-collection"><strong><em>GTZAN</em></strong></a><strong><em> </em></strong>ซึ่งสามารถดาวน์โหลดในเว็บ Kaggle ได้เลย ซึ่งในชุดข้อมูลแบ่งคลาสของข้อมูลออกเป็น 2 คลาสคือ Music และ Speech ในแต่ละคลาสจะมีไฟล์เสียง 64 ไฟล์ แต่ละไฟล์มีความยาวเสียง 30 วินาที</p><p>คุณลักษณะของไฟล์เสียงในชุดข้อมูลนี้</p><ul><li>เป็นฟอร์แมต WAV</li><li>sampling rate 22.05kHz.</li><li>sampling size 16bit</li><li>บันทึกเสียงในรูปแบบ mono</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*uLj9hB0t1p6X6YQQbvuZmg.png" /></figure><p>จากนั้นแบ่งไฟล์เสียงออกเป็นเป็น 2 ชุด (random) คือ</p><ul><li>training 70%</li><li>testing 30%</li></ul><p>และเซฟเป็นไฟล์ .csv เพื่อจัดเก็บว่าแต่ละไฟล์เสียงมีคลาสเป็นอะไรและอยู่ใน training set หรือ testing set</p><pre>import numpy as np<br>import pandas as pd</pre><pre>gtzan_dataset = pd.read_csv(&#39;gtzan_dataset.csv&#39;)<br>gtzan_dataset.shape</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*6WHACqxfIO1ShQ1fhZsdXQ.png" /></figure><pre>gtzan_dataset.head()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*mDowi1_ggFagdEG9wf3Bnw.png" /></figure><p>สร้างฟังก์ชันสำหรับอ่านข้อมูลจากไฟล์เสียง จาก csv ไฟล์จากขั้นตอนที่ผ่านมา</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d66ffdbb810137f07d9e99e687e2461a/href">https://medium.com/media/d66ffdbb810137f07d9e99e687e2461a/href</a></iframe><p>เรียกใช้งานฟังก์ชันเพื่ออ่านข้อมูลไฟล์เสียง</p><pre>gtzan_meta, gtzan_audio = load_gtzan()</pre><p>ส่วนใหญ่การสร้างโมเดล CNN จะใช้รูปภาพ แต่ครั้งนี้เราจะใช้เป็นคลิปเสียงแทน ดังนั้นจึงต้องมีขั้นตอนใน <a href="http://karol.piczak.com/papers/Piczak2015-ESC-ConvNet.pdf"><strong><em>การสกัด features</em></strong></a> จากคลิปเสียงเหล่านั้นก่อน</p><p>โดยการสร้างฟังก์ชันที่ใช้ในการคำนวณ <a href="https://librosa.github.io/librosa/generated/librosa.core.amplitude_to_db.html">log scaled</a> <a href="https://librosa.github.io/librosa/generated/librosa.feature.melspectrogram.html">mel-spectrograms</a> และ <a href="https://librosa.github.io/librosa/generated/librosa.feature.delta.html">deltas</a> ที่สอดคล้องกันในคลิปเสียง ในการ fixed size input เราจะแบ่งคลิปเสียงแต่ละคลิปออกเป็น segment ขนาด 60 x 41 (60 rows/bands × 41 columns/frames) ซึ่งแต่ละ segment จะมี 2 channel</p><p>ในขั้นตอนถัดไปเราจะสร้างฟังก์ชันสำหรับคำนวณ log scaled mel-spectrograms ในแต่ละ segment ของคลิปเสียง ซึ่งแต่ละ segment จะมี 41 frames หรือ ~950 ms โดยจะมี overlap เป็น 0.5 ของ segment</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a3d7a00b6be8c9a633f4849a9c7ec263/href">https://medium.com/media/a3d7a00b6be8c9a633f4849a9c7ec263/href</a></iframe><p>เรียกใช้ฟังก์ชัน extract_features เพื่อเริ่มสกัด features</p><pre>gtzan_features = extract_features(gtzan_meta, gtzan_audio)</pre><p>สร้างข้อมูล train + test โดยเราจะกำหนดข้อมูลนำเข้าเป็น 60x41 จำนวน 2 channels</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7e97ebd3b20a8794d9e152ecc7301179/href">https://medium.com/media/7e97ebd3b20a8794d9e152ecc7301179/href</a></iframe><p>เราลองมาดู 10 rows แรกว่าข้อมูลมีหน้าตาอย่างไร</p><pre>gtzan_features.head(10)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*80y5egW2yhBO8tzNPOzHPQ.png" /></figure><h3>สร้าง CNN โมเดล</h3><p>หลังจากที่เราเตรียมข้อมูลเรียบร้อยแล้ว ขั้นตอนต่อไปคือการนำข้อมูลไปเทรนโมเดล</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*Sam3A8_cWZIVlWkNeaZCNw.png" /></figure><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f4b2cf6f428b55f3a21db3f36eb424fc/href">https://medium.com/media/f4b2cf6f428b55f3a21db3f36eb424fc/href</a></iframe><p>หลังจาก compile โมเดลแล้ว เราก็มาฟิตโมเดลกันเลย</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f822aed926172a8ba9154a31dc5cc536/href">https://medium.com/media/f822aed926172a8ba9154a31dc5cc536/href</a></iframe><p>จากโค๊ดเราสั่งเทรนโมเดลทั้งหมด 100 รอบ โดยให้มีขนาดของ batch size เป็น 512 ตัวอย่าง (มันคือการสะสมค่าเกรเดียนต์บนตัวอย่าง 512 ตัวก่อนจะปรับ 1 ครั้ง)</p><p>ผลการเทรนโมเดล</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*xYaBhUuCXftuQUrIyp91cw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*qPHKO_p3-o0bqJSHjv9FDA.png" /></figure><p>ออกมาดูดีเลยทีเดียว</p><h3>ลองเอาโมเดลไปใช้กัน</h3><p>เราจะเอาโมเดลไปทดลองกับคลิปวิดีโอบน Youtube กัน</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2Ff8euUepDo5w%3Ffeature%3Doembed%26start%3D0%26end%3D60&amp;url=http%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3Df8euUepDo5w&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2Ff8euUepDo5w%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/814ca0f529347bcfcfa4afecc44bdbb4/href">https://medium.com/media/814ca0f529347bcfcfa4afecc44bdbb4/href</a></iframe><p>โดยเราจะจำแนกว่าเสียงในช่วงวินาทีที่ 0 - 60 ของคลิปวิดีโอกัน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FUCNSEeUNXfCQF0CzxKIag.png" /></figure><p>ออกมาดูดีเลยทีเดียว โดยส่วนใหญ่โมเดลได้ออกมาได้อย่างถูกต้อง งั้นเดี๋ยวเรามาลองกับคลิปวิดีโอที่เป็นเสียงคนไทยบ้างว่าเป็นอย่างไร</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FIc-UxgMBIzc%3Ffeature%3Doembed%26start%3D0%26end%3D60&amp;url=http%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DIc-UxgMBIzc&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FIc-UxgMBIzc%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/87c090f7ebede5cc523c71c980a32ea0/href">https://medium.com/media/87c090f7ebede5cc523c71c980a32ea0/href</a></iframe><p>เช่นเดียวกันเราจะจำแนกเสียงในวินาทีที่ 0 - 60 ของคลิปวิดีโอ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bt0Lnki1Bp2MuzGU7yPDkQ.png" /></figure><p>ซึ่งพบว่าในช่วงที่เป็นเสียงพูดและมีเพลงเป็นแบล็คกราวน์ โมเดลเราตอบแทบไม่ถูกเลย เหตุผลอย่างหนึ่งเพราะชุดข้อมูลที่เราเทรนให้กับโมเดลนั้นยังมีไม่มากพอ และไม่ครอบคลุม</p><h3>Next step</h3><ul><li>เพิ่มจำนวนข้อมูลที่ใช้ในการเทรนโมเดล</li><li>ลองเปลี่ยนวิธีการ extract features ของข้อมูลเสียง</li><li>ลองทำงานกับโมเดล LSTM</li><li>ลองเพิ่มคลาสอื่นๆ ที่เกี่ยวข้องเข้าไป</li></ul><h3><strong>References:</strong></h3><ul><li><a href="https://towardsdatascience.com/urban-sound-classification-part-1-99137c6335f9">Urban Sound Classification — Part 1: sound wave, digital audio signal</a></li><li><a href="https://github.com/aidiary/urban-sound-classification-keras/blob/master/notebooks/170927-urban-sound.ipynb">aidiary/urban-sound-classification-keras</a></li><li><a href="http://aqibsaeed.github.io/2016-09-03-urban-sound-classification-part-1/">Urban Sound Classification, Part 1</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3d52120987a6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ติดตั้ง Jupyter Notebook with Pyspark on Google Cloud Platform]]></title>
            <link>https://decimo.medium.com/%E0%B8%95%E0%B8%B4%E0%B8%94%E0%B8%95%E0%B8%B1%E0%B9%89%E0%B8%87-jupyter-notebook-with-pyspark-on-google-cloud-platform-11d89cd7d65c?source=rss-da4066332ed3------2</link>
            <guid isPermaLink="false">https://medium.com/p/11d89cd7d65c</guid>
            <category><![CDATA[jupyter]]></category>
            <category><![CDATA[pyspark]]></category>
            <category><![CDATA[jupyter-notebook]]></category>
            <category><![CDATA[apache-spark]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <dc:creator><![CDATA[Nuipin Decimo]]></dc:creator>
            <pubDate>Sun, 01 Jul 2018 18:11:14 GMT</pubDate>
            <atom:updated>2018-07-02T16:48:05.937Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Me74uNmCzHErhGTGPJKAwg.jpeg" /></figure><p><strong>Apache Spark</strong> เป็นซอฟต์แวร์ที่ได้รับความนิยมมากในการประมวลผลข้อมูลขนาดใหญ่ (Big Data) เพราะด้วยตัว spark เป็น open source (ซอฟต์แวร์ฟรี) และมี Built-in โมดูล ที่ใช้สำหรับทำ Streaming, SQL, Machine Learning (MLlib) และ Graph processing ในการทำงานของ spark สามารถทำงานได้ 3 โหมดหลักๆ คือ <strong>Local</strong>, <strong>Standalone </strong>และ <strong>YARN</strong></p><p>ใครที่อยากลองรัน <strong>Spark</strong> แต่คอมพิวเตอร์ตัวเองไม่สามารถรันได้ ดังนั้นเราเลยจะมาลองใช้งานบน <strong>Google Cloud Platform </strong>กัน เพราะทาง Google Cloud ให้ใช้งานได้ฟรีถึง <strong>$300 credit</strong> (ใช้งานได้ <strong>1 ปี</strong>) อย่ารอช้ามาเริ่มกันเลยดีกว่า</p><h4>Step 1: สร้าง Account และรับ $300 credit กัน</h4><p>สำหรับคนที่ไม่มี Google Account ก็ไปสร้างก่อนนะครับ แต่ถ้าใครมีแล้วก็สามารถไปรับ <strong>$300 credit</strong> ได้ที่<a href="https://cloud.google.com/free/">ลิงก์นี้</a> จากนั้นการกรอกรายละเอียดส่วนตัวและรายละเอียดการชำระเงิน แค่นี้ก็พร้อมใช้งานแล้ว</p><h4>Step 2: สร้างโปรเจค</h4><p>หากยังไม่มีโปรเจคก็ต้องมาสร้างกันก่อนนะ เลือกที่ปุ่มหมายเลข 1 ตามภาพจะปรากฏกล่องโต้ตอบดังรูป จากนั้นกด “<strong>New Project</strong>” (หมายเลข 2)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BO8PZcFfvyzzKBBLQ-EGHw.png" /></figure><h4>Step 3: สร้าง VM instances</h4><p>คลิกที่ไอคอนเส้นสามเส้นที่มุมบนซ้าย เลือกหัวข้อ “<strong>Compute Engine</strong>” จากนั้นเลือกเมนูย่อย “<strong>VM instances</strong>”</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2yBbTPPyhh5rCrzYeSIN0A.png" /></figure><p>เมื่อเข้ามายังหน้าของ VM instances จากนั้นกด “<strong>Create new instance</strong>” (หากเข้ามาใช้งานครั้งแรกจะเจอกับกล่องโต้ตอบสามารถกดที่ปุ่ม “<strong>create</strong>” ได้เลย) จากนั้นตั้งชื่ออินสแตนซ์, เลือกโซนที่ตั้งของอินสแตนซ์ (แต่ละโซนจะมีราคาที่ไม่เท่ากันนะ) และเลือกประเภทของอินสแตนซ์ (ครั้งนี้จะเลือกเป็น <strong>2 vCPUs</strong> และแรม <strong>7.5 GB</strong>)</p><p>ต่อไปเลือกระบบปฏิบัติการที่จะใช้ให้เลือกเป็น “<strong>Ubuntu 16.04 LTS</strong>” และปรับขนาดของดิสก์จาก 10 GB เป็น <strong>30 G</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LkhAFaF3mO-8mLJvq6n5Dw.png" /></figure><p>เมื่อตั้งค่าอะไรเรียบร้อยแล้วกด “<strong>Create</strong>” ระหว่างรอให้อินสแตนซ์พร้อมใช้งาน เราก็ไปทำขั้นตอนถัดไปกันก่อน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*v_BfJT-ST-SEPzswFohdpg.png" /></figure><h4>Step 4: ทำให้ external IP address เป็น static</h4><p>โดยปกติจะมีการตั้งค่า external IP address เป็น dynamic (จะเปลี่ยนทุกครั้งที่มีการรีบูตอินสแตนซ์) แต่เราจะทำยังไงให้เป็น static (external IP address จะไม่เปลี่ยน)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*80QtyKbqS4STGX9KloVhZg.png" /></figure><p>เปลี่ยนชนิดจาก <strong>Ephemeral</strong> เป็น <strong>Static</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jE6auKuslIbDtBFc5J4Rbg.png" /></figure><h4>Step 5: ปรับเปลี่ยนการตั้งค่า Firewall</h4><p>จากนั้นเลือก “<strong>Firewall rules</strong>” เพื่อปรับเปลี่ยนกฏ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JyjhpqQvh1kOR4VM8XeOIA.png" /></figure><p>เมื่อเข้ามาแล้วคลิก “<strong>Create Firewall Rule</strong>” ตั้งชื่อกฏที่เราจะสร้างและเพิ่มรายละเอียดตามรูปด้านล่าง จากนั้นคลิก “<strong>Create</strong>”</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*u9i1g3U4UCzygoit0WKLBw.png" /></figure><h4>Step 6: เริ่มทำงานกับ VM instance</h4><p>กลับไปยังหน้า VM instances ดูให้แน่ใจว่าอินสแตนซ์ของเรามีไอคอนสีเขียว แบบในรูปด้านล่างหรือยัง ถ้ามีแล้วก็คลิกปุ่ม “<strong>SSH</strong>” เพื่อทำงานกับอินสแตนซ์ได้เลย จะปรากฏ command window ที่เราสามารถที่จะสั่งงานอินสแตนซ์ได้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7grztYqn9rIlbWsKRLq9fw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Y--4NSAN94v47FbeIr63Hw.png" /></figure><h4>Step 7: ติดตั้ง Java</h4><p>ไปที่ command window จากนั้นพิมพ์คำสั่งดังนี้ (ในครั้งนี้เราเลือกใช้ java 8)</p><pre>$ sudo add-apt-repository ppa:webupd8team/java<br>$ sudo apt-get update<br>$ sudo apt-get install -y oracle-java8-installer</pre><p>หลังจากที่เราสั่งรันคำสั่งไปแล้ว มันจะเด้งขึ้นมาให้เรา accept license terms เราก็ตอบ <strong>yes</strong> ไป</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bT1d57XizvkKdx3YSPX_gQ.png" /></figure><h4>Step 8: ติดตั้ง Apache Spark</h4><p>สามารถเลือกเวอร์ชั่นปัจจุบันของ Apache Spark จาก<a href="https://spark.apache.org/downloads.html">ลิงก์นี้</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/853/1*h4J70xhj44qztjDu5KprKQ.png" /></figure><p>ดาวน์โหลด Apache Spark</p><pre>$ cd /tmp<br>$ wget <a href="http://www-eu.apache.org/dist/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz">http://www-eu.apache.org/dist/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz</a></pre><p>unzip และย้าย spark</p><pre>$ tar xzvf spark-2.3.1-bin-hadoop2.7.tgz<br>$ sudo mv spark-2.3.1-bin-hadoop2.7 /usr/lib/spark</pre><p>ตั้งค่า spark</p><pre>$ cd /usr/lib/spark/conf/<br>$ cp spark-env.sh.template spark-env.sh<br>$ vi spark-env.sh</pre><p>จากนั้นเราจะเข้ามาสู่หน้าต่างเพื่อแก้ไขไฟล์ ให้เรากด <strong>i</strong> ที่คีย์บอร์ด (สังเกตคำว่า <strong>insert จะแสดง</strong>ที่มุมล่างซ้ายของหน้าต่างหรือไม่ ถ้าขึ้นแสดงว่าสามารถแก้ไขได้) จากนั้นเพิ่ม config ดังต่อไปนี้</p><pre>JAVA_HOME=/usr/lib/jvm/java-8-oracle<br>SPARK_WORKER_MEMORY=4g</pre><p>จากนั้นกด <strong>esc</strong> (สังเกตว่า <strong>insert จะหายไป</strong>จากมุมหน้าต่างล่างซ้าย) จากนั้นพิมพ์ <strong>:wq </strong>(หมายความว่าให้เซฟหรือเขียนไฟล์จากนั้นให้ออกจากหน้าต่างนี้)</p><h4>Step 9: ติดตั้ง Jupyter Notebook</h4><p>สามารถเลือกเวอร์ชั่นปัจจุบันของ Anaconda จาก<a href="https://www.anaconda.com/download/#linux">ลิงก์นี้</a></p><pre>$ cd /tmp<br>$ wget <a href="https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh">https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh</a><br>$ bash Anaconda3-5.2.0-Linux-x86_64.sh</pre><p>ทำตามคำแนะนำของตัวติดตั้ง จากนั้นเมื่อติดตั้งเสร็จสิ้นจะมีคำถามให้เราตอบ <strong>yes</strong> ส่วนในคำถามถัดไปให้ตอบ <strong>no</strong></p><pre>Do you wish the installer to prepend the <br>Anaconda3 install location to PATH <br>in your /home/<strong><em>&lt;username&gt;</em></strong>/.bashrc ? <br>[yes|no][no] &gt;&gt;&gt; yes</pre><h4>Step 10: ตั้งค่า Pyspark</h4><p>สร้าง workspace directory</p><pre>$ mkdir -p /home/<strong><em>&lt;username&gt;</em></strong>/notebook</pre><p>เราจะแก้ไขไฟล์ .bashrc</p><pre>$ vi ~/.bashrc</pre><p>จากนั้นเพิ่ม config ดังต่อไปนี้</p><pre>export JAVA_HOME=/usr/lib/jvm/java-8-oracle<br>export SPARK_HOME=/usr/lib/spark<br>export PATH=$PATH:$JAVA_HOME/bin<br>export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin</pre><pre>export PYSPARK_DRIVER_PYTHON=/home/<strong><em>&lt;username&gt;</em></strong>/anaconda3/bin/jupyter<br>export PYSPARK_DRIVER_PYTHON_OPTS=&quot;notebook --NotebookApp.open_browser=False --NotebookApp.ip=&#39;*&#39; --NotebookApp.port=8880 --NotebookApp.notebook_dir=&#39;/home/<strong><em>&lt;username&gt;</em></strong>/notebook/&#39;&quot;<br>export PYSPARK_PYTHON=/home/<strong><em>&lt;username&gt;</em></strong>/anaconda3/bin/python</pre><p>เซฟและออกมาจากหน้าต่างแก้ไข เพื่อให้ config ใช้งานได้ทันทีให้เรารันคำสั่ง</p><pre>$ source ~/.bashrc</pre><h4>Step 11: Launching Jupyter Notebook</h4><p>ในที่สุดเราก็มาถึงขึ้นตอนสุดท้ายในการติดตั้งแล้ว</p><pre>$ pyspark</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Lu8YzdKh-6PDYmbtHHtjCw.png" /></figure><p>จากนั้นให้พิมพ์ URL ดังต่อไปนี้ใน browser</p><pre>http://&lt;External Static IP Address&gt;:8880</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5ez3ZqpNXI7pVkXxfI2IvQ.png" /></figure><p>ให้เราคัดลอก token จาก command window มาใส่ในหน้า browser เพื่อตั้งรหัสผ่าน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KtT-2ZEkYeX96VMDos9oMg.png" /></figure><p>ต่อไปเราก็มาลองสร้าง notebook กัน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*G5w4nPKZAf05jRNYAGV9ew.png" /></figure><h4>แถม! (เพิ่มเติม)</h4><p>สำหรับคนที่อยากรัน <strong>Scala</strong> บน Jupyter</p><p>อัพเดท Jupyter Notebook</p><pre>$ conda update jupyter</pre><p>ติดตั้ง sbt</p><pre>$ echo &quot;deb https://dl.bintray.com/sbt/debian /&quot; | sudo tee -a /etc/apt/sources.list.d/sbt.list<br>$ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 642AC823<br>$ sudo apt-get update<br>$ sudo apt-get install sbt</pre><p>ติดตั้ง toree จาก github</p><pre>$ git clone https://github.com/apache/incubator-toree<br>$ cd incubator-toree/<br>$ make dist</pre><p>จากนั้น</p><pre>$ make release</pre><p>ถ้าพบ error แบบนี้ผ่านไปได้เลย ไม่ต้องสนใจ</p><pre>/bin/sh: 1: docker: not found<br>Makefile:212: recipe for target &#39;dist/toree-pip/toree-0.2.0.dev1.tar.gz&#39; failed<br>make: *** [dist/toree-pip/toree-0.2.0.dev1.tar.gz] Error 127</pre><p>built package</p><pre>$ cd dist/toree-pip/<br>$ python setup.py install</pre><p>ติดตั้ง kernel Apache toree ใน Jupyter</p><pre>$ jupyter toree install --kernel_name=&#39;Apache Toree&#39; --spark_home=/usr/lib/spark --user</pre><p>หากพบปัญหา <strong>permission denied</strong></p><pre>$ sudo chmod 777 /usr/local/share/jupyter</pre><p>จากนั้นให้รันติดตั้ง kernel อีกครั้ง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BB10vSRkiAbwFnCWsZ9s8A.png" /></figure><p>หลังจากใช้งานแล้ว เราสามารถที่จะสั่ง <strong>stop</strong> อินสแตนซ์ได้ เพื่อที่ครั้งต่อไปเราจะมาใช้งานอีก จะได้ไม่ต้องลงใหม่อีกครั้งและประหยัด credit ใช้งานด้วยเนื่องจากไม่ต้องรันอินสแตนซ์ทิ้งไว้</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=11d89cd7d65c" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>