<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by indyspace on Medium]]></title>
        <description><![CDATA[Stories by indyspace on Medium]]></description>
        <link>https://medium.com/@indysuwan?source=rss-6fe09011e590------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*_uaVSLazoCFs_C2CS-1V6w.png</url>
            <title>Stories by indyspace on Medium</title>
            <link>https://medium.com/@indysuwan?source=rss-6fe09011e590------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 04:33:42 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@indysuwan/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Content-based Image Retieval ค้นหารูปภาพโดยใช้รูปภาพแบบง่ายๆโดยใช้ Python]]></title>
            <link>https://indysuwan.medium.com/content-based-image-retieval-%E0%B8%84%E0%B9%89%E0%B8%99%E0%B8%AB%E0%B8%B2%E0%B8%A3%E0%B8%B9%E0%B8%9B%E0%B8%A0%E0%B8%B2%E0%B8%9E%E0%B9%82%E0%B8%94%E0%B8%A2%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B8%A3%E0%B8%B9%E0%B8%9B%E0%B8%A0%E0%B8%B2%E0%B8%9E%E0%B9%81%E0%B8%9A%E0%B8%9A%E0%B8%87%E0%B9%88%E0%B8%B2%E0%B8%A2%E0%B9%86%E0%B9%82%E0%B8%94%E0%B8%A2%E0%B9%83%E0%B8%8A%E0%B9%89-python-e01c715f0f00?source=rss-6fe09011e590------2</link>
            <guid isPermaLink="false">https://medium.com/p/e01c715f0f00</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[keras]]></category>
            <dc:creator><![CDATA[indyspace]]></dc:creator>
            <pubDate>Mon, 22 Feb 2021 16:50:45 GMT</pubDate>
            <atom:updated>2021-06-19T00:53:36.406Z</atom:updated>
            <content:encoded><![CDATA[<h3><strong>Content-based Image R</strong>etrieval <strong>ค้นหารูปภาพโดยใช้รูปภาพแบบง่ายๆโดยใช้ Python</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*6xpr2eRuMpPYRvJ-.jpg" /></figure><p>หลายคนน่าจะคุ้นเคยกับ Seach engine อย่าง Google ที่เราสามารถค้นหาเว็บไซต์ รูปภาพหรือข้อมูลจาก keyword ที่เราต้องการ การค้นหาแบบนี้เป็นการค้นหาแบบ text-based คือใช้ข้อมูลที่เป็น text ในการค้นหา แต่การค้นหาดังกล่าวยังมีข้อจำกัด เช่น หากเราต้องการค้นหารูปภาพที่มีลักษณะเฉพาะ เราต้องเขียนบรรยายลักษณะของรูปภาพดังกล่าว ำทให้ผลลัพธ์ที่ได้มีความหลากหลาย เพื่อแก้ไขปัญหาดังกล่าว ในเมื่อเราต้องการค้นหารูปภาพ ทำไมเราไม่ค้นหาโดยใช้รูปภาพเลยล่ะ วิธีการดังกล่าวเรียกว่า <strong>Content-based image retieval</strong></p><h3><strong>CONTENT-BASED IMAGE RETRIEVAL</strong></h3><p>ย้อนกลับไปในช่วงปี 1970s สมัยนั้นใช้วิธีค้นหาแบบ text-based เพื่อค้นหารูปภาพจากฐานข้อมูล เป็นการค้นหาจากคำอธิบายของรูปภาพที่ถูก label โดย text descriptor ข้อเสียของวิธีดังกล่าวคือต้องใช้มนุษย์ในการเขียน description ของรูปภาพ ซึ่งมนุษย์มีสกิลทางภาษาและวิธีการเขียน การบรรยาย รวมถึงตีความรูปภาพไม่เหมือนกัน ทำให้การเขียน description มีความหลากหลายและไม่แม่นยำ ต่อมาในช่วงต้นของ 1980s จึงมีการนำเสนอวิธีที่เรียกว่า Content-based image retrieval ซึ่งเป็นการค้นหารูปภาพจากในฐานข้อมูล (Image database)โดยใช้ลักษณะต่างๆของรูปภาพที่เราต้องการ (Image query)เช่น เส้น สี ขอบหรือ texture</p><p>ขั้นตอนทำ CBIR เริ่มจากการสร้างฐานข้อมูลรูปภาพของเราก่อน แล้วนำรูปภาพมา Feature Extraction แล้วเก็บ feature ของแต่ละรูปภาพไว้ เมื่อเราต้องการ query รูปภาพ เราก็นำรูปภาพนั้นมาทำ Feature extraction ก่อน จากนั้นก็นำ feature ที่ได้มาคำนวณ similarity เทียบกับ feature ในฐานข้อมูล หากรูปภาพไหนมีค่า similarity ต่ำก็แปลว่ารูปภาพทั้งสองมีความคล้ายคลีงกันนั้นเอง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/649/0*QDhTs9TpfneXv5LQ" /></figure><p>หากพอเข้าใจการทำงานคร่าวๆแล้ว มาดูในส่วนของ Coding และตัวอย่างการทำงานกันครับ</p><h3><strong>APPLICATION</strong></h3><p>Dataset ที่ผมใช้คือ <a href="https://www.kaggle.com/paramaggarwal/fashion-product-images-dataset">Fashion Product Images Dataset | Kaggle</a> เป็นชุดข้อมูลที่ประกอบด้วยรูปภาพของเครื่องแต่งกายเช่น เสื้อ กางเกง รองเท้าและอื่นๆ จำนวนเกือบ 80,000 รูปภาพ เราจะใช้ชุดข้อมูลนี้เป็นฐานข้อมูลสำหรับค้นหารูปภาพของเรา</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*potF8_EaNAjNoqgEkUcT6A.png" /></figure><blockquote>สามารถดูโค้ดได้จาก <a href="https://colab.research.google.com/drive/1fA5lF31zRaAQB7m07M-jBMjx3vN79ORz?usp=sharing">https://colab.research.google.com/drive/1fA5lF31zRaAQB7m07M-jBMjx3vN79ORz?usp=sharing</a></blockquote><p>ขั้นตอนแรกคือการทำ Feature extraction กับรูปภาพทุกรูปในฐานข้อมูลของเรา ซึ่งผมจะใช้ pre-trained โมเดลของ VGG16 ที่เทรนบน Imagenet dataset ครับ เริ่มจากอ่านไฟล์รูปภาพจาก file path จากนั้นก็ resize รูปภาพให้เหลือขนาด 224 x 224 x 3 แล้วนำไปเข้าโมเดล VGG16 และนำผลลัพธ์ที่ได้มา normalize ครับ จากนั้นให้เก็บ feature เหล่านั้นเป็น .npy ไฟล์</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/0*jvarI8p7AdJqyK4r.png" /></figure><p>หลังจากนั้น เมื่อเราต้องการจะค้นหารูปภาพ ให้เรานำ Image query ผ่านฟังก์ชั่น Feature extraction เหมือนกับขั้นตอนก่อนหน้า แล้วนำ feature ที่ได้นั้น ไปคำนวณหา similarity เทียบกับ feature ในฐานข้อมูลของเรา ซึ่งวิธีการคำนวณ similarity เราจะใช้ Euclidian distance นั่นเอง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/665/0*_vX-nxOT2yNlsqcK.png" /></figure><p>หลังจากที่คำนวณ similarity แล้ว ก็เรียงลำดับค่า similarity จากน้อยไปมาก ยิ่งมีค่าน้อยก็แสดงว่ารูปภาพมีความคล้ายกัน</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/afe33b340003d48ae588d793aad93724/href">https://medium.com/media/afe33b340003d48ae588d793aad93724/href</a></iframe><p>มาลองดูตัวอย่างกันครับ ลอง Query รูปเสื้อจากอินเทอร์เน็ตดูครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1008/0*Cs-nhQZmnkNH_kFU" /><figcaption><a href="https://image.uniqlo.com/UQ/ST3/AsianCommon/imagesgoods/431086/item/goods_63_431086.jpg?width=1008&amp;impolicy=quality_75">goods_63_431086.jpg (1008×1008) (uniqlo.com)</a></figcaption></figure><p>นี่คือผลลัพธ์ที่ได้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/329/1*lbjmM9zGDf7VFdXP2DOyAA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/329/1*l6pmVCcQzqBpOXciLkLa_w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/329/1*1R6wTWWsQ0pyMz-KdBSc0A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/321/1*lsvb1iCyHXhgY393ftWEyw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/329/1*PW_GRWEn1ksd6MRmcaYF5g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/328/1*YWt9v9TDpv9Vfu05LyNmQA.png" /></figure><p>จะเห็นว่ารูปภาพที่มี Similarity ต่ำที่สุดอยู่ที่ประมาณ 0.696 เป็นรูปเสื้อ shirt สีฟ้าอ่อนซึ่งมีลักษณะคล้ายรูปที่ใช้ Query เลย ส่วนรูปที่มี Similarity สูงขึ้นก็ยังเป็นเสื้อสีขาวอยู่ แต่เป็นเสื้อยืด/กีฬาสีขาว</p><p>CBIR นำไปใช้งานได้หลากหลายมากครับ ที่เด่นๆเลยคงหนีไม่พ้น Image search เหมือนของ Google แต่เรานำมาประยุกต์ทำ Product search ก็ได้ ไว้ค้นหารูปภาพสินค้า เสื้อผ้าและอื่นๆ จากรูปภาพของ User หรือทำ Landmark Detection สำหรับระบุสถานที่จากรูปภาพก็ได้ นอกจากนี้ยังมี research paper นำเสนอวิธีการใหม่ๆก็เรื่อยๆ ใครที่สนใจก็ลองนำไปประยุกต์ใช้หรือศึกษาเพิ่มเติมได้ครับ</p><p><strong>Reference</strong></p><ul><li><a href="https://github.com/matsui528/sis">matsui528/sis: Simple image search engine (github.com)</a></li><li><a href="https://towardsdatascience.com/build-an-image-search-engine-using-python-ad181e76441b">Build An Image Search Engine Using Python | Towards Data Science</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e01c715f0f00" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[สร้าง API จากโมเดล Image Classification พร้อม Deploy ขึ้น Heroku]]></title>
            <link>https://indysuwan.medium.com/%E0%B8%AA%E0%B8%A3%E0%B9%89%E0%B8%B2%E0%B8%87-api-%E0%B8%88%E0%B8%B2%E0%B8%81%E0%B9%82%E0%B8%A1%E0%B9%80%E0%B8%94%E0%B8%A5-image-classification-%E0%B8%9E%E0%B8%A3%E0%B9%89%E0%B8%AD%E0%B8%A1-deploy-%E0%B8%82%E0%B8%B6%E0%B9%89%E0%B8%99-heroku-e505bfdd26c8?source=rss-6fe09011e590------2</link>
            <guid isPermaLink="false">https://medium.com/p/e505bfdd26c8</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[api]]></category>
            <category><![CDATA[computer-vision]]></category>
            <category><![CDATA[image-classification]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[indyspace]]></dc:creator>
            <pubDate>Tue, 16 Feb 2021 04:26:55 GMT</pubDate>
            <atom:updated>2021-06-19T00:54:20.390Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*hHQJfQRnHtzvZm4q" /><figcaption>Photo by <a href="https://unsplash.com/@altumcode?utm_source=medium&amp;utm_medium=referral">AltumCode</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>สวัสดีครับ มือใหม่หลายคนที่กำลังศึกษาด้าน Data Science คงคุ้นเคยกับการสร้างโมเดล Machine leaning กันแล้ว ทีนี้ถ้าเราอยากจะนำโมเดลของเราไปให้คนอื่นใช้งานหรือนำไปเชื่อมต่อกับระบบต่างๆ เราจะทำยังไงดีล่ะ ? วันนี้ผมจะมาเขียนเกี่ยวกับการเขียน API (Application Programming Interface) แล้วนำไป deploy บน Heroku เพื่อให้ user หรือ service อื่นๆ นำ API ของเราไปใช้งานกัน โดย API ที่ผมนำมาเป็นตัวอย่าง จะเป็น Image Classifier แยกรูปภาพหมา แมวและนกครับ</p><h3><strong>SET UP ENVIRONMENT</strong></h3><p>IDE ที่ผมใช้จะเป็น Visual Studio Code เนื่องจากเราสามารถเขียนโค้ดและรันคำสั่งต่างๆจากหน้า terminal ได้เลย เพื่อนๆคนไหนสะดวก IDE ตัวอื่นก็ใช้ได้เลยครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*giulddepJ0J8Ksr4WkUgwQ.png" /></figure><p>ขั้นตอนแรกให้สร้างโฟลเดอร์สำหรับเก็บโค้ดและไฟล์ที่เกี่ยวกับข้อง ผมให้ชื่อโฟลเดอร์ว่า img-classifier จากนั้นให้เราลง environment สำหรับโปรเจคของเราตัว environment เปรียบเสมือนกลุ่มของไลบรารี่ที่เราต้องการใช้ในโปรเจคนี้ เพื่อไม่ให้ไลบรารี่ในโปรเจคนี้ไปขัดกับโปรเจคอื่นๆครับ สามารถศึกษาการสร้าง environment ได้จาก <a href="https://thitiphongyodchote.medium.com/%E0%B8%A7%E0%B8%B4%E0%B8%98%E0%B8%B5-install-anaconda-%E0%B8%AA%E0%B8%B3%E0%B8%AB%E0%B8%A3%E0%B8%B1%E0%B8%9A-windows-d36df99a4869">วิธี install anaconda สำหรับ windows | by Thitiphong Yodchote</a> ครับ จากตัวอย่าง ผมสร้าง environment ชื่อ img-classifier พร้อมติดตั้ง Python version 3.7 โดยรันคำสั่งด้านล่างลงใน terminal</p><pre>conda create -n img-classifier python=3.6.12</pre><p>จากนั้นให้ activate environment ของเราโดยใช้คำสั่ง</p><pre>conda activate img-classifier</pre><p>หลังจากที่เรา activate environment แล้วให้เราลง library ที่เราต้องการใช้ครับ ได้แก่</p><ul><li>Flask และ gunicorn สำหรับทำ web application และ API</li><li>scikit-learn สำหรับเรียกใช้โมเดล classification</li><li>joblib สำหรับ save และ load โมเดล classification ที่เทรนมา</li><li>botnoi สำหรับ Extract feature ด้วย MoblieNet</li><li>oauth2client, tensorflow-cpu, keras เพิ่มเติมสำหรับ library botnoi</li></ul><p>ภายในโฟลเดอร์ img-classifier ให้สร้างไฟล์ app.py ซึ่งจะเป็นไฟล์หลักในการรัน API image classifier ของเรา ในส่วนถัดไปจะเป็น coding แล้วครับ</p><blockquote>สามารถดู source code ได้ที่</blockquote><blockquote><a href="https://github.com/indy041039/cat-dog-bird-classifier">indy041039/cat-dog-bird-classifier (github.com)</a></blockquote><h3>BASIC FLASK</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/343/1*Hbwl2xtX10kc2SXk1Ndytw.png" /></figure><p>ก่อนจะลองสร้าง API image classifier เรามาลองสร้าง App แบบง่ายๆโดยใช้ Flask กันก่อนครับ ในขั้นแรกเราจะ import และสร้าง app Flask ขึ้นมา และกำหนด route ของ url ไว้ที่ ‘/’ ถ้าเราเข้ามาใน route นี้ให้ return คำว่า ‘Hello World !’ ออกมาครับ</p><p>ถ้าเขียนเสร็จแล้ว ให้พิมพ์คำสั่ง python app.py ลงใน terminal เพื่อรัน App ครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/810/1*3pEoZyXLAjnydd0O8qE88g.png" /></figure><p>ผลลัพธ์ที่ได้จะเป็นข้อความ ‘Hello World ! ตามที่เราเขียนในโค้ด จะเห็นว่า App จะรันอยู่ localhost ของเราตามลิ้ง http://<a href="http://127.0.0.1:5000/">127.0.0.1:5000</a> ครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2jlp9rkAfPE0rtuMmL0zYg.png" /></figure><p>แค่นี้เราก้ได้ App แบบง่ายๆโดยใช้ Flask กันแล้วนะครับ ขอจบบทความแต่เพียงเท่านี้ครับ (หยอกๆ 555)</p><h3>CLASSIFY CATS, DOGS AND BIRDS</h3><p>ในขั้นตอนต่อไป เราจะสร้าง App จาก Machine learning pipeline ก่อนอื่นขออธิบายหลักการทำงานคร่าวๆของ Image classifier ที่ผมได้ทำไว้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rAbCk0T4rksShBcPQjWC0A.gif" /></figure><p>โมเดลที่ผมใช้ในตัวอย่างเป็น Image classifier แยกรูปภาพหมา แมวและนก โดยผมใช้ไลบรารี่ของ Botnoi ในการ Scrape รูปภาพมาจาก Google เป็นรูปหมา แมวและนก อย่างละ 50 รูป เพื่อนำไปใช้ในการเทรนโมเดล แล้วนำมา Extract features โดยใช้ MobileNet ซึ่งโมเดลที่ผ่านการเทรนมาแล้ว (pre-trained model) จากนั้นนำ features ที่ได้มาเทรนโมเดล LinearSVC เพื่อแยกรูปภาพหมา แมวและนก ครับ</p><p>สำหรับเพื่อนๆคนไหนที่อยากทำ classifier แบบอื่นก็สามารถทำได้ครับ แค่เพียงเปลี่ยน dataset ที่เราเทรนโมเดลเท่านั้น</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/fb0d89622b0ef010f7ca0bb9bbb4cdd6/href">https://medium.com/media/fb0d89622b0ef010f7ca0bb9bbb4cdd6/href</a></iframe><p>ในไฟล์ app.py เราจะเพิ่ม route ขึ้นมาใหม่ให้ชื่อว่า prediction ครับ จากนั้นเราจะรับค่า parameter ชื่อว่า img_url เพื่อเก็บค่า url ของรูปภาพที่เราต้องการจะทำนาย โดยใช้คำสั่ง request และแปลงรูปภาพที่อ่านมาเป็น numpy array จากนั้นเราจะ resize รูปภาพของเราให้เหลือขนาด 224 x 224 x 3 ต่อมาเราจะ extract features โดยใช้ MobileNet จากนั้นเราจึงนำ features ที่ได้มาเข้าโมเดล LinearSVC ที่เราเทรนไว้ เรา สามารถ load โมเดลที่เราเทรนมาได้โดยใช้ไลบรารี่ joblib ซึ่งผม save เป็นไฟล์ชือว่า model เป็นไฟล์สกุล pkl ครับ เมื่อเขียนโค้ดเสร็จแล้วก็ลองรันกันเลย</p><p>เมื่อรันโค้ดแล้ว ให้เข้าไปที่ route <a href="http://127.0.0.1:5000/">127.0.0.1:5000</a>/prediction (หรือ route อื่นๆตามที่เรากำหนด) ถ้าพิมพ์ไปเพียงเท่านี้ จะสังเกตว่ามันยังไม่ขึ้นเป็น output เนื่องเรายังไม่ได้ใส่ parameter ลงไปนั่นเอง ให้เราใส่ค่า parameter ลงไป ตาม format นี้ครับ</p><blockquote><a href="http://127.0.0.1:5000/prediction?img_url=https://static.bangkokpost.com/media/content/dcx/2020/08/17/3722547.jpg"><strong><em>127.0.0.1:5000/prediction?p_image_url=</em></strong></a><strong><em>&lt; url รูปภาพที่เราต้องการ&gt;</em></strong></blockquote><p>ในกรณีที่เรารับค่าหลาย paramter ให้เราคั่นแต่ละ paramter ด้วย <strong>&amp;</strong> ครับ</p><p>ผมจะลองใส่รูปภาพเป็นรูปน้องแงวส้มดูนะครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/750/0*Zpm767yyC0iHptKI" /></figure><p>ผลลัพธ์ที่ได้ก็คือ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*72od4ISSai-7fVc-gi7vyw.png" /></figure><p>โมเดลของเราทำนายถูกต้องนะครับ เพื่อนๆสามารถลองเป็นรูปภาพอื่นๆได้นะ</p><h3><strong>DEPLOY ON HEROKU</strong></h3><p>ขั้นตอนต่อไปคือการ deploy ขึ้น web server ผ่าน Heroku ครับ เนื่องจากที่ผ่านมาเรารันกันบน localhost หรือก็คือเครื่องคอมพิวเตอร์ของเรานั่นเอง คนอื่นที่เข้าลิ้งจากเครื่องอื่นๆ จะไม่สามารถเข้าได้ ซึ่งผมจะ deploy API ของเราขึ้น heroku เพื่อให้ user จากข้างนอกสามารถใช้งานได้</p><p><strong>Heroku</strong> เป็นบริการ Platform as a Service (PaaS) สำหรับ developer ใช้สำหรับ deploy แอปพลิเคชั่น เพื่อทดสอบการใช้งานหรือนำไปใช้งานจริงก็ได้ รองรับทั้งภาษา Python, Node.js, Java, Go และอื่นๆ มีทั้งส่วนที่ให้บริการฟรีและเสียค่าใช้จ่าย</p><p>ข้อจำกัดของมันคือในส่วน free tier สามารถใช้ได้ 550 ชั่วโมงต่อเดือน จำกัด memory ที่ 512 MB และรันได้เพียง CPU เท่านั้น ซึ่งทำให้เราไม่สามารถใช้โมเดลที่มีขนาดใหญ่และมีความซับซ้อนได้ได้ เนื่องจาก memory ไม่เพียงพอและใช้เวลาในการประมวลผลนาน แต่โมเดลที่เราทำไว้ ไม่ได้มีขนาดใหญ่มากจึงสามารถใช้ได้ครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QjLfUwrefe5kNPZn32B1tg.png" /></figure><p>ข้อแตกต่างระหว่างการรันบน local กับ Heroku คือ บน Heroku เราจะต้องเตรียมไฟล์เพิ่มขึ้นอีก 3 ไฟล์เพื่อเป็นการระบุ library, webserver และ Python version ที่เราต้องการจะใช้ครับ 3 ไฟล์นั้นได้แก่</p><ul><li>requirements.txt เป็น file ที่รวบรวมชื่อ Library ต่าง ๆ ที่ต้องใช้ เราสามารถเตรียมไฟล์ requirements.txt ได้ง่ายๆ โดยพิมพ์คำสั่ง pip freeze &gt; requirements.txt ลงใน termial ครับอีกวิธีนึงคือใช้ไลบรารี่ที่ชื่อว่า pipreqs เพื่อสร้างไฟล์ requirements.txt ขึ้นมาโดยอ้างอิงจากไลบรารี่ที่เรา import เข้ามายังไฟล์ .py</li><li>Procfile เป็น file ที่ระบุ webserver ที่เราใช้และไฟล์ app ที่เราต้องจะรัน</li><li>runtime.txt เป็น file ที่ระบุ Python version อะไรที่จะใช้ ซึ่งผมจะใช้ Python version 3.7.9 ครับ</li></ul><p>หลังจากที่เราเตรียมไฟล์เรียบร้อยแล้ว เรามา deploy API กันครับ เราต้องสมัคร heroku และสร้าง app ของเราก่อน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*41dI5WyXSJAEXrMyPyTMNQ.png" /></figure><p>เมื่อสมัครและสร้าง app เรียบร้อยแล้ว จะเข้ามาอยู่หน้า dashboard</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8xL_UZp0jLSUuCx5GZekQg.png" /></figure><p>จากแถบด้านบน ให้เราคลิกที่ Deploy เพื่อดูวิธีการ Deploy ขึ้น Heroku กันครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*M-1vtGn1PdhF_4ca4ITuCw.png" /></figure><p>ก่อนอื่นเลย ให้เรา install ตัว Heroku CLI และ Git ครับ ทั้งสองเป็นโปรแกรมที่จำเป็นในการ deploy API ครับ</p><ul><li>install Heroku CLI &gt;&gt; <a href="https://devcenter.heroku.com/articles/heroku-cli">The Heroku CLI | Heroku Dev Center</a></li><li>install &gt;&gt; <a href="https://git-scm.com/">Git (git-scm.com)</a></li></ul><p>หลังจากที่เรา install เสร็จเรียบร้อยแล้ว ให้เรา push โค้ดของเราขึ้น git ของ heroku เลยครับ สำหรับใครที่เคยใช้ github น่าจะคุ้นเคยกันคำสั่งด้านล่างเป็นอย่างดี แต่สำหรับใครที่ไม่เคย ก็ให้พิมพ์คำสั่งด้านล่างลงใน terminal ได้เลยครับ</p><ul><li>git init</li><li>heroku git:remote -a img-cls</li><li>git add .</li><li>git commit -m “first commit”</li><li>git push heroku master</li></ul><p>เมื่อ deploy ขึ้น heroku เรียบร้อยแล้ว มาลองทดสอบการใช้งาน API ของเรากัน !</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*5or3H-P94CskwECcfCmY3g.jpeg" /><figcaption><a href="https://kb.rspca.org.au/wp-content/uploads/2018/11/golder-retriever-puppy.jpeg">https://kb.rspca.org.au/wp-content/uploads/2018/11/golder-retriever-puppy.jpeg</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3Cnk35_G35oZpT2alH-WtQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/933/0*n8Kj8W8NKQqvvC_K.jpg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MLIUX7af6FYQaRl86zA5bg.png" /></figure><p>ลองแกล้งๆใส่รูปเสือดูครับ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*6qHZ0gtr2dGFHKtxQlmuEw.jpeg" /><figcaption><a href="https://static.bangkokpost.com/media/content/20200219/c1_1860789_200219162635.jpg">c1_1860789_200219162635.jpg (800×528) (bangkokpost.com)</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PsiV24qP24VjKRFP2cvzuA.png" /></figure><p>ได้ผลลัพธ์ออกมาเป็นหมา เหมือนตรงไหนน 555</p><p>จากที่ทดสอบจากหลายๆภาพ คิดว่าโมเดลยังทำนายไม่แม่นยำเท่าไร เป็นเพราะข้อมูลที่ใช้ train โมเดลมีน้อย ถ้าเพิ่มข้อมูลอีก น่าจะได้ความแม่นยำที่เพิ่มขึ้นครับ</p><h3><strong>APPLICATION</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/460/1*7t-TGthcNj6xm2xzcqSedw.png" /></figure><p>ตัวอย่างการใช้งาน ผมลองเอา API ไปต่อกับ Chatbot ดูครับ โดยให้ user ส่งรูปภาพเป็น url ไป แล้วให้ Chatbot บอกว่าเป็นรูปอะไร อาจจะใช้เวลาตอบนานนิดนึงเนื่องจาก API รันบน CPU ครับ</p><p>สำหรับการ Deploy API ขึ้นบน Heroku ก็จบลงแล้ว ไม่ยากเลยครับ หลังจากเขียน API ได้แล้ว เราก็สามารถนำ API ไปเชื่อมต่อกับ Service อื่นๆ หรือนำไปให้ user ใช้งานได้แล้วครับ :)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e505bfdd26c8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[รู้จัก Machine Learning Pipeline ในฟีเจอร์ Explore | LINE Dev Day 2020]]></title>
            <link>https://indysuwan.medium.com/%E0%B8%A3%E0%B8%B9%E0%B9%89%E0%B8%88%E0%B8%B1%E0%B8%81-machine-learning-pipeline-%E0%B9%83%E0%B8%99%E0%B8%9F%E0%B8%B5%E0%B9%80%E0%B8%88%E0%B8%AD%E0%B8%A3%E0%B9%8C-explore-line-dev-day-2020-f24670286551?source=rss-6fe09011e590------2</link>
            <guid isPermaLink="false">https://medium.com/p/f24670286551</guid>
            <category><![CDATA[line]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[indyspace]]></dc:creator>
            <pubDate>Fri, 11 Dec 2020 05:13:52 GMT</pubDate>
            <atom:updated>2021-02-08T06:29:04.343Z</atom:updated>
            <content:encoded><![CDATA[<h3>มารู้จักกับ Machine Learning Pipeline ในฟีเจอร์ Explore | LINE Dev Day 2020</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fCgbIoRhGsogG1P2L7gTxg.jpeg" /></figure><p>เมื่อวันที่ 25–27 พฤศจิกายนที่ผ่านมา ทาง Line ได้จัดงาน Line Developer Day 2020 ขึ้น ซึ่งเป็นงาน Online Conference ที่นำ Technology และ Use case ต่างๆของ Line มานำเสนอโดยแบ่งเป็นหัวข้อใหญ่ๆได้ 6 หัวข้อได้แก่ AI/Data, Server Side Line Platform, Security, Infrastructure, Mix Track และ Casual Track ในแต่ละหัวข้อจะแบ่งเป็นหลายๆ sessions พูดโดยทีมงานของ Line ที่เป็นผู้เชี่ยวชาญในด้านนั้นๆ บอกเลยว่าแต่ละ sessions น่าสนใจมากครับ บอกหัวข้อแค่อ่านชื่อก็ว้าวแล้ว</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/951/1*EpIEYsRkQUFNhNwJKePXjw.jpeg" /></figure><p>หัวข้อที่ผมสนใจและตรงกับสายงานของผมมากที่สุดก็คือ AI/Data ซึ่งมีหัวข้อที่น่าสนใจมากมาย ตั้งแต่หัวข้อหนักๆเกี่ยวกับ Deep Learning สำหรับสายฮาร์ดคอร์ ที่พูดถึงโมเดลใหม่ๆในงานด้าน Image และ Speech หรือหัวข้อที่เบาลงมาหน่อย ก็จะพูดถึง Tools ที่ใช้ภายในองกรณ์ โดยหัวข้อที่ผมนำมาสรุปในบทความนี้คือ Machine Learning Pipeline ของฟีเจอร์ตัวนึงใน Line ที่ชื่อว่า Explore ครับ ถือว่าเป็นเรื่องที่ผู้ที่ต้องการทำงานในสาย Data ควรรู้ครับ</p><p>ก่อนอื่นขอพูดถึงฟีเจอร์ Explore ก่อนครับ ถ้าเรากดเข้าไปใน Line คลิกตรงแถบ Timeline จะเห็นว่าในหน้า Timeline จะมีแถบ Explore ขึ้นมา เนื้อหาที่ขึ้นในหน้า Explore นี้ เกิดจาก Recommendation System ของ Line แนะนำมาให้ โดยอ้างอิงจากความชอบของ user ครับ ซึ่งข้อมูลความชอบของ user ก็ได้จากการเก็บข้อมูล action ของ user ที่มีต่อ post ต่างๆใน Line หรือจาก application อื่นๆในเครือของ Line ครับ</p><figure><img alt="https://liff.line.me/1454988218-NjbXbq18/v2/article/v9nVKK?utm_source=copyshare" src="https://cdn-images-1.medium.com/max/644/1*4_6MRaYt_LimUDaYa4IXFA.jpeg" /></figure><p>สามารถชม session ดังกล่าวแบบเต็มๆได้ที่ <a href="https://www.youtube.com/watch?v=bSxW2gWkKLA">Explore in Timeline : from a ML pipeline perspective</a></p><h3>WHAT IS MACHINE LEARNING PIPELINE ?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fR5v6QB9DvPmLUyNiSN1Uw.jpeg" /></figure><p><strong>Machine Learning Pipeline</strong> เป็นกระบวนการจัดการข้อมูลตั้งแต่การเก็บและรวบรวมข้อมูล จนถึงการสร้างโมเดลทำนายและนำโมเดลขึ้น production แบ่งหัวข้อหลักๆได้เป็น 6 ขั้นตอนได้แก่</p><ol><li><strong>Collect data</strong></li><li><strong>Data analysis</strong></li><li><strong>Feature engineering</strong></li><li><strong>Train ML model</strong></li><li><strong>Model serving</strong></li><li><strong>Production</strong></li></ol><blockquote><strong><em>DATA DRIVEN NOT DATA PIPELINE.</em></strong></blockquote><p>จุดประสงค์ของ ML Pipeline ไม่ใช่แค่การแปรสภาพของข้อมูลจาก raw data เป็น feature แล้วสร้างโมเดลทำนายเท่านั้น แต่ต้องเข้าใจ domain knowledge ของข้อมูลนั้นๆและต้องคำนึงถึงการสร้าง service เพื่อรองรับการใช้งานของ user และการเก็บข้อมูลลงใน database ให้เป็นระเบียบด้วย</p><p>นอกจากนี้ยังต้องคำนึงถึงปัจจัยอื่นๆเช่น ข้อมูลมีขนาดใหญ่ อาจส่งผลให้ใช้เวลาในการ preprocess หรือสร้างโมเดลมาก หรือความซับซ้อนของโมเดลที่ใช้ก็มีผลเช่นกัน ยิ่งโมเดลมีความซับซ้อนมาก แม้จะมีความแม่นยำมาก แต่ก็มีขนาดใหญ่และใช้เวลาประมวลผลนาน อาจส่งผลต่อประสบการณ์การใช้งานของ user ได้</p><h3>MACHINE LEARNING BASED SERVICE VS. CONVENTIONAL BASED SERVICE</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*f84vTe4B59nkocO-sSN5Og.jpeg" /></figure><p>ข้อแตกต่างระหว่าง service ทั้งสองคือ conventional based service จะใช้การเขียนโปรแกรมที่เป็น logic ในการคำนวณหาผลลัพธ์ ถ้า logic ที่เขียนไว้ถูกต้องก็จะได้ผลลัพธ์ตามที่ต้องการ แต่ machine learning based service จำเป็นต้องสร้างโมเดลขึ้นมาก่อน แล้วจึงนำโมเดลมาทำนายผลลัพธ์</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8zcUC3HdaEw6LPR5kzL3LQ.jpeg" /></figure><p>อย่างไรก็ตามในการสร้าง machine learning service ขึ้นมา ต้องอาศัยทั้ง machine learning part และ classical programming part เข้าด้วยกัน จึงจะสร้าง service ที่สมบูรณ์ขึ้นมาได้</p><h3><strong>INFRASTRUCTURE OF EXPLORE</strong></h3><p>Infrastructure ของฟีเจอร์ Explore สามารถสรุปได้ออกมาดังรูปด้านล่าง</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*l5IFBEfMc6X4XsSlWCHscQ.jpeg" /></figure><h3>STEPS OF PIPELINE</h3><h4><strong>1. COLLECT DATA</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NIkBmD4ofd0PaZ1peD0KGg.jpeg" /></figure><p>ในขั้นตอนแรก เรารวบรวมข้อมูลที่ใช้ในการสร้างโมเดล ในส่วนที่ต้องประสานงานกับทาง Domain Expert เพื่อกำหนดว่าจะต้องเก็บข้อมูลประเภทไหน ในส่วนของฟีเจอร์ Explorer จะเก็บข้อมูลการ click และ view ของ User ลงใน Data Cluster และเก็บข้อมูลที่เป็นรูปภาพและวิดีโอลงใน Object Storage</p><p><strong>ตำแหน่งงานที่เกี่ยวข้อง</strong>: App Developer, Data Engineer, Domain Expert</p><h4><strong>2. DATA ANALYSIS</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YkXK2y4ymDKhocDwbnkNPg.jpeg" /></figure><p>ขั้นตอนถัดมาคือการทำ data analysis คือการนำข้อมูลวิเคราะห์และตรวจสอบความถูกต้องของข้อมูล ทำ Explanatory Data Analysis (EDA) และ Visualize ข้อมูล โดยกระบวนการทั้งหมดจะทำผ่าน Jupyter Notebook ซึ่งสามารถดึงข้อมูลจาก Data Cluster, MySQL/Redis มาใช้ได้เลย</p><p><strong>ตำแหน่งงานที่เกี่ยวข้อง</strong>: Data Engineer, ML Developer</p><h4><strong>3. FEATURE ENGINEERING</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MNovdv3dEZuxUimNYzHY2A.jpeg" /></figure><p>ขั้นตอนนี้คือการนำ raw data มาสกัด feature และสร้าง feature ใหม่ๆ กระบวนการดังกล่าวจะถูก process ผ่าน Jupyter Notebook และใช้เวลาเป็นชั่วโมงหรือเป็นวัน จากนั้นข้อมูลที่ได้มาจะถูกเก็บใน Hive หรือ HDFS</p><p><strong>ตำแหน่งงานที่เกี่ยวข้อง</strong>: Data Engineer, ML Developer</p><h4><strong>4. TRAIN ML MODEL</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OI0C-BfO2DGEJfwvzPubGw.jpeg" /></figure><p>หลังจากเตรียมข้อมูลแล้ว ก็ถึงขั้นตอนการสร้างโมเดล ผ่าน platform ที่มีชื่อว่า Jutopia ซึ่งเป็นแพลตฟอร์มที่พัฒนาขึ้นโดยทีมงานของ Line (สามารถชม session เกี่ยวกับ Jutopia ได้ที่ <a href="https://linedevday.linecorp.com/2020/en/sessions/9652">Jutopia — closing the distance between AI participants | LINE DEVELOPER DAY 2020</a>)</p><p><strong>ตำแหน่งงานที่เกี่ยวข้อง</strong>: Data Engineer, ML Developer</p><h4><strong>5. MODEL SERVING</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LVjhvZAzeTAqFTbH6v_e4Q.jpeg" /></figure><p>ขั้นตอนต่อมาคือการนำโมเดลที่ผ่านการ train แล้วมาเก็บเป็น container แล้วนำไป deploy เพื่อนำไปสร้าง prediction กับข้อมูลใหม่ๆ (unseen data) ซึ่งสามารถดึงมาผ่านทาง MySQL/Redis</p><p><strong>ตำแหน่งงานที่เกี่ยวข้อง</strong>: Front Engineer, Backend Engineer, Data Engineer, ML Developer</p><h4><strong>6. PRODUCTION</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jWR4vRwHMt9zCGvWEfVbSA.jpeg" /></figure><p>ขั้นตอนสุดท้ายเป็นขั้นตอนที่โมเดลถูกนำไปใช้งานจริงโดย user ผ่านทาง API นอกจากนี้ยังมีการ Filtering เพื่อกรอง content ที่มีเนื้อหาไม่เหมาะสมออกไป</p><p><strong>ตำแหน่งงานที่เกี่ยวข้อง</strong>: Front Engineer, Backend Engineer, Domain Expert</p><h3><strong>AUTOMATION / SCHEDULING</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TYzCsQUOROxNPDdfoZ8mFA.jpeg" /></figure><p>เนื่องจาก Machine Learning Pipeline ประกอบด้วยหลายขั้นตอนซึ่งมี dependencies ที่แตกต่างกันและต้องทำงานตามลำดับ เครื่องมือที่ใช้ควบคุมกระบวนการนี้คือ Airflow ซึ่งเป็นเครื่องมือที่ช่วยจัดการ Task ต่างๆโดยอัตโนมัติ (Automation) และทำตามเวลาที่เรากำหนดไว้ (Scheduling)</p><p>ในส่วนของฟีเจอร์ Explore Airflow ถูกใช้ตั้งแต่การทำ data verification, modeling จนถึงการ deployment เลยทีเดียว</p><h3><strong>CASE STUDY: FOLLOW EMBEDDING</strong></h3><p>หลังจากพูดถึง ML Pipeline ตั้งแต่ขั้นตอนการเก็บข้อมูลมาจนถึงการนำโมเดลขึ้น Production ก็มาดู Case Study กันบ้างครับ ในส่วนของฟีเจอร์ Explore เป็นการใช้ Recommendation System เพื่อแนะนำ content ในหน้า timeline ของ user</p><p>โมเดลที่ใช้ในขั้นตอนนี้ จะคำนวณ embedding ของ user หรือ post จากนั้นระบบจะ ค้นหา post หรือ user ที่มี similarity สูงและจะแนะนำ content เหล่านั้นให้ user</p><p>แต่เนื่องจากข้อมูล post และ user ที่มีอยู่ในระบบมีจำนวนมาก จึงไม่สามารถคำนวณ similarity ทั้งหมดได้ ทางระบบจึงใช้วิธีการ random search เพื่อสุ่มเฉพาะบาง post เพื่อนำมาคำนวณ similarity</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QVJ0V2vRq64XcBaBTwAZRA.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4vyTgt6XOF2KG3En_pfCrg.jpeg" /></figure><p>เนื้อหาในส่วนของ Machine Learning Pipeline ของฟีเจอร์ Explore ก็มีประมาณเท่านี้ครับ หากใครสนใจฟัง session แบบเต็มๆ สามารถชมได้ที่ <a href="https://www.youtube.com/watch?v=bSxW2gWkKLA">Explore in Timeline : from a ML pipeline perspective</a> ครับ :)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f24670286551" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>