<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Suradej Duangpummet on Medium]]></title>
        <description><![CDATA[Stories by Suradej Duangpummet on Medium]]></description>
        <link>https://medium.com/@suradejduangpummet?source=rss-daca0bdb922a------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*syfGESS-CVzQSx8C.</url>
            <title>Stories by Suradej Duangpummet on Medium</title>
            <link>https://medium.com/@suradejduangpummet?source=rss-daca0bdb922a------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 05:28:16 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@suradejduangpummet/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Origin]]></title>
            <link>https://medium.com/@suradejduangpummet/origin-7f9c9b0a62b?source=rss-daca0bdb922a------2</link>
            <guid isPermaLink="false">https://medium.com/p/7f9c9b0a62b</guid>
            <category><![CDATA[science]]></category>
            <dc:creator><![CDATA[Suradej Duangpummet]]></dc:creator>
            <pubDate>Wed, 19 Sep 2018 07:16:56 GMT</pubDate>
            <atom:updated>2018-09-19T07:16:56.868Z</atom:updated>
            <content:encoded><![CDATA[<p>Origin, writing by Dan Brown, is the second fiction book that I had read this year. I spend almost two weeks to finish because it contained more than 400 pages, and I am a slow reader especially English novel. I am familiar with academic manuscript, which mostly use limited vocabulary. So my first feeling is when I will finish this new Dan Brown’s novel.</p><p>Sometime I am excited and anger to know what are hidden of the story, while it make me feel boring with elaborating to some invention stuffs, architecture, and art.</p><p>This book try to introduce many newest invention at this time, for example, quantum computer, autonomous vehicle, sharing taxi, and AI. The AI is illustrated as a personal assistant platform that can learn and think by itself.</p><p>The smart AI software so-called “Winston” is the key player in this book along with the old Harvard Professor “Robert Langdon. And the traditional story of the author regarding religion, believe, art and symbol puzzles.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7f9c9b0a62b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[การประมาณค่าความชัดถ้อยชัดคำด้วย Deep Neural Network]]></title>
            <link>https://medium.com/@suradejduangpummet/%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B8%9B%E0%B8%A3%E0%B8%B0%E0%B8%A1%E0%B8%B2%E0%B8%93%E0%B8%84%E0%B9%88%E0%B8%B2%E0%B8%94%E0%B8%B1%E0%B8%8A%E0%B8%99%E0%B8%B5%E0%B8%84%E0%B8%A7%E0%B8%B2%E0%B8%A1%E0%B8%8A%E0%B8%B1%E0%B8%94%E0%B8%96%E0%B9%89%E0%B8%AD%E0%B8%A2%E0%B8%8A%E0%B8%B1%E0%B8%94%E0%B8%84%E0%B8%B3%E0%B8%94%E0%B9%89%E0%B8%A7%E0%B8%A2-deep-neural-network-c938f8506c5?source=rss-daca0bdb922a------2</link>
            <guid isPermaLink="false">https://medium.com/p/c938f8506c5</guid>
            <dc:creator><![CDATA[Suradej Duangpummet]]></dc:creator>
            <pubDate>Fri, 11 May 2018 05:39:20 GMT</pubDate>
            <atom:updated>2018-05-16T07:10:18.763Z</atom:updated>
            <content:encoded><![CDATA[<h3>บทนำ</h3><p><strong>การประมาณค่าความชัดถ้อยชัดคำด้วย</strong></p><p><strong>บทนำ</strong></p><p>การประเมิณความเข้าใจคำพูดในบริเวณที่มีเสียงรบกวนอีกทั้งเสียงก้องสะท้อนจากมิติและวัสดุของห้องนั้น ยังคงเป็นสิ่งท้าทายในงานการสื่อสารทางเสียง</p><p>ดัชนีชี้วัดความชัดถ้อยชัดคำ (speech intelligibility) สามารถใช้เพื่อประเมินโอกาสหรือความสามารถที่ผู้รับฟังจะเข้าใจข้อความที่ผู้พูดพูดออกมา ซึ่งเสียงพูดต้องอาศัยช่องทางหรือตัวกลางในการพาคลื่นเสียงไปถึงหูผู้ฟัง ทั้งมนุษย์หรือเครื่องจักรกล ซึ่งเป็นปัญหาที่พบได้บ่อยครั้งในชีวิตประจำวัน เช่น การนั่งฟังบรรยาย การรับฟังประกาศในอาคารผู้โดยสาร หรือ การพูดคุยประเด็นต่างๆ ในพื้นที่โรงงาน เป็นต้น ในส่วนการทำงานภายในของเครื่องจักรกล อย่างระบบจดจำเสียงพูด (automatic speech recognition, ASR) หรืออุปกรณ์ช่วยฟัง (hearing aided devices) เป็นต้น ในบางสถานการณ์ ความเข้าใจที่คลาดเคลื่อนไป (misunderstanding) จากปัจจัยของห้องฟังข้างต้นที่ไปลดทอน (distort) ปนเปื้นน (smear) หรือปิดบัง (masking) เสียงคำพูดแจ้งข้อความสำคัญๆ อาจนำมาซึ่งอุบัติเหตและความสูญเสียได้ (catastrophic) [ref]</p><p>ช่องการสื่อสารในงานนี้หมายถึงภายในพื้นที่ปิดใด ๆ เช่น ห้องเรียน โบร์ถ อาคารผู้โดยสาร เป็นต้น ดังนั้นปัจจัยภายในห้องจึงมีผลกระทบโดยตรงต่อความบิดเบือนของสัญญาณเสียง ลดทอนประสิทธิภาพตามปัจจัยแวดล้อมนั้น ๆ ได้แก่ ค่าความก้องกังวานของห้อง สัญญาณรบกวนอื่น ๆ</p><p>โดยระเบียบวิธีดั่งเดิมที่ใช้มนุษย์เป็นผู้ตรวจประเมิณโดยตรง ผู้พูดที่อ่านจากชุดคำมาตรฐาน ให้ผู้ฟังทำแบบทดสอบจากการฟังชุดคำนั้นๆ ว่าเข้าใจว่าเป็นคำว่าอะไร เรียกว่า articulation index (AI) ซึ่งเป็นการสิ้นเปลื้องมาก ใช้เวลานาน และต้องทำภายในเงื่อนไขมากมาย ตลอดถึงอาจมีความไม่แน่นอนจากความสามารถและประสบการณ์ของผู้ฟังแต่ละคนด้วย แม้ในกรณีของผู้มีประสาทการรับฟังปกติ</p><p>( T. Houtgast, H. J. M. Steeneken, 1975, 1980) ได้นำเสนอตัวชี้วัดที่มีพื้นฐานทางวิทยาศาสตร์ขึ้น (objective) โดยเรียกว่า speech transmission index หรือ STI โดยอาศัยหลักการของหาความสัมพันธ์การการลดทอนสัญญาณ เมื่อผ่านตัวกลาง หรือ modulation transfer function, MTF []</p><p>ปัจจุบัน STI จัดเป็นดัชนีวัดทางการได้ยินที่คลาสิกตัวหนึ่ง และบรรจุเข้าเป็นมาตฐานสากล ISO IEC 6011 [] สามารถอธิบายดัชชี้ได้เทียบเคียงการใช้มนุษย์ มีดีกรีความสามารถรับฟัง ในสเกลเดียวกับวิธีการใช้มนุษย์ให้คะแนน (AI ) ระหว่าง 0 หมายถึงไม่ผู้ฟังไม่รู้เสียงและความหมายใด ๆ เลย จนถึงถึงระดับดีกรี 1 หมายถึงไม่มีปัญหาในการรับฟัง ใช้บ่งชี้คุณภาพของช่องทางการสื่อสารนั้นๆ ได้ (Transmission Channel) การดำเนินการวัดต้องอาศัยสร้างสัญญาณในรูปแบบที่กำหนด ด้วยส่งสัญญาณรุปคลื่นไซน์ที่ความถี่ต่างๆ และทำการวัดภายใต้เงื่อนไข ไม่มีสัญญาณรบกวน</p><p>ในงานวิจัยนี้จะเป็นการนำเสนอระเบียบวิธีประมาณค่า STI นี้ โดยใช้เพียงจากเสียงพูดในสิ่งแวดล้อมปกติ ที่อาจมีระดับสัญญาณรบกวนในระดับต่างๆ โดยไม่ต้องหาฟังก์ชั่นถ่ายโอนของห้องนั้นๆ หรือ room impulse response เทียบกับการวัดตามระเบียบวิธีมาตรฐานข้างต้น ซึ่งเราเรียกวิธีการนี้ว่า Blind estimation</p><p>(F.F. Li, P. Kendrick, and T.J. Cox, 2003, 2007, 2008) นำเสนอการประมาณ STI ด้วยโครงข่ายประสาทเทียม Artificial Neural Networks โดยรับสัญญาณเสียงที่ผสมค่าของห้องและสัญญาณรบกวนเข้าผ่านตัวกรอง 14 ย่านความถี่ (1/3 octave filter bank) เข้าฟังก์ชั่นหาสัญญาณกรอบรูปคลื่น Modulation Envelope ด้วย Hilbert Transform จากนั้นแปลงเข้าสู่โดเมนความถี่ด้วย Short-Time Fourier Transform เป็นคุณลักษณะเฉพาะ หรือ Features ป้อนให้เน็ตเวิกเรียนรู้ นอกจากการหาคุณลักษณะด้วย modulation spectrum นี้ยังมีการทดสอบใช้ Principle Component Analyssis (PCA) ร่วมด้วย เพื่อเป้าหมายเดียวกัน คือการสร้างฟังก์ชั่นไปยังเอาท์พุตเป็นค่าดัชนีการรับรู้เสียง STI</p><p>(P. Kendrick, 2009) Maximum Likelihood หาค่าพารามิเตอร์ของห้อง ได้แก่ ค่า RT และอื่นๆ</p><p>(J.F Santos and T. H. Falk, 2016) ใช้โครงสร้างเน็ตเวิกที่เรียกว่า Long-Short Term Memory หรือ LSTM นำเสนอโดย ( <a href="https://en.wikipedia.org/wiki/Sepp_Hochreiter">S. Hochreiter</a> and <a href="https://en.wikipedia.org/wiki/J%C3%BCrgen_Schmidhuber">J. Schmidhuber</a>, 1997) ซึ่งเป็นเน็ตเวิกที่พัฒนาต่อมาจาก Recurrent Neural Network ดั่งเดิม โดยมีความสามารถเก็บข้อมูลในรูปแบบของ Time Series ที่ให้ความสำคัญของข้อมูลในอดีตทั้งช่วงเวลาได้ทั้งย้อนหลังสั้นหรือยาวได้ ซึ่ง RNN ทำไม่ได้ จากปัญหา Gradient Vanishing ของโครงสร้าง Neural network ก่อนสมัยของ Deep Learning นั่นเอง โดยรับข้อมูลเข้าจาก Modulation Spectrum ที่ถอดจากสัญญาณเสียง เพื่อสร้างโมเมลประมาณค่า T30</p><p>สำหรับคุณลักษณะเด่นจากสัญญาณเสียง นอกจาก Modulation Spectrum (อาจย่อเป็น MS) ซึ่งเป็นที่ยิมใช้ในการอ้างถึงคุณภาพของสัญญาณเมื่อผ่านตัวกลาง ยังมีการนำเสนอ Feature อื่นๆ อีกได้แก่ (J. Chen et al., 2014) ได้นำเสนอใช้ความสัมพันธ์ของหลากหลายความละเอียดกับลักษณะการรับฟังของช่องหูมนุษย ์หรือ Cohere เรียกว่า Multi-Resolution Cochleagram (MRCG)</p><p>(Dongfu Li, 2016) ได้นำ Multi-Resolution Cochleagram (MRCG) เป็นอินพุตให้กับ Deep Neural Network เพื่อหาค่า Speech Intelligibility ด้วยตัวชี้วัดที่ต่างออกไปจากข้างต้น คือ HIT-FA metric (G. Kim et al, 2009)</p><p>(A. Belhomme et at, 2016) ใช้ Support Vector Machine หาค่าพารามิเตอร์ของห้อง ได้แก่ ค่า RT C50 และ D50 แบบไม่ทราบค่าผลตอบสนองของห้อง และสัญญาณต้นทาง (Blind) เช่นกัน</p><p>(P. Seetharaman et al, 2018) นำเสนอการประมาณค่า STI ด้วย Convolutional Neural Network (CNN) โดยมี CNN layer ทำหน้าที่สกัดคุณลักษณะเด่นจากสัญญาณเสียงโดยตรง เพื่อส่งต่อให้ CNN ชั้นต่อๆ ไปทำการปรับค่า regression และมี Sigmoid activation function ในชั้นสุดท้ายก่อนให้ค่าระหว่าง 0–1 ค่า (RMSE 0.03)</p><p>(ปล ไม่ได้ทำ Cross-validation)</p><p>โดยพยายามเทียบกับงานของ (Unoki, 2013) ที่ได้นำเสนอการหาค่าพารามิเตอร์ทางเสียงของห้องโดยไม่ทราบผลตอบสนองทางความถี่ของห้องนั้นๆ และใช้เพียงเสียงพูดที่บันทึกได้จากไมโครโฟนที่จุดสังเกตเพียงตัวเดียวโดยอาศัยหลักการและคุณสมบัติ modulation transfer function หรือ MTF ที่สามารถอธิบายความสำพันธ์ของกรอบรูปคลื่นต้นทางและปลายได้ ซึ่งจะถูกลดทอนตามค่า Reverberation Time และค่า ส.ป.ส. ของห้องนั้นๆ ซึ่งด้วยหลักการของ MTF นี้สามารถนำกำหนดกรอบเงื่อนไขเพื่อให้ย้อนกลับหาสัญญาณกรอบอินพุต ดังนี้</p><p>ข้อที่หนึ่ง ณ จุดที่ไม่มีสัญญาณ หรือ 0 dB และมีความถี่เป็นศูนย์ จะไม่มีการลดทอนใดๆ ดังนี้จุดนี้ดัชนี modulation เท่ากับสูงสุดที่หนึ่ง</p><p>ข้อที่สอง the original modulation spectrum at the dominant modulation frequency was the same as that at 0 Hz7</p><p>ข้อที่สาม สเปคตรัมของสัญญาณกรอบปลายทางจะลดลงเมื่อค่าความก้องกังวานสูงขึ้น</p><p>โดยอ้างถึงคุณสมบัติข้างต้นนี้ เมื่อนำสัมพันธ์กับสมมุติฐานว่าค่าการตอบสนองของห้องใดๆ จะสอดคล้องตามโมเดลผลตอบสนองตามแบบจำลองของ Schroeder</p><p>จากนั้นทำการค้นหาค่า Reverberation Time และค่า ส.ป.ส. ที่ทำให้โมเดลข้างต้นเป็นจริง ภายใต้ 3 เงื่อนไขของ MTF</p><p>สุดท้ายจึงสามารถนำความสัมพันธ์ MTF นี้ใช้ในการคำนวณค่า STI ดังระเบียบวิธีปกติต่อไป (RMSE 0.046)</p><p>(M. Unoki, 2017) ยังได้นำเสนอการประมาณ STI จากเสียงพูดในห้องที่มีสัญญาณรบกวน และมีคนอยู่ในพื้นที่ด้วย และเปลี่ยนการแบบจำลองฟังก์ชั่นการถ่ายโอนของห้องจากเดิมซึ่งโมเดลด้วย แบบจำลองของ Schroeder เป็นโมเดลแบบทั่วไปของ (RMSE 0.07)</p><p>(ดีกว่าโมเดลเดิมยังไง ? ของเดิม ติดปัญหาอะไร? )</p><p>Speech intelligibility assessment in real life that consists of reverberation and background noise is one of the critical and challenge in speech research field.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c938f8506c5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[สรุปงานที่เคยมีคนทำมาก่อน เพื่อประมาณค่าดัชนีความเข้าใจจากเสียงพูด]]></title>
            <link>https://medium.com/@suradejduangpummet/%E0%B8%AA%E0%B8%A3%E0%B8%B8%E0%B8%9B%E0%B8%87%E0%B8%B2%E0%B8%99%E0%B8%97%E0%B8%B5%E0%B9%88%E0%B9%80%E0%B8%84%E0%B8%A2%E0%B8%A1%E0%B8%B5%E0%B8%84%E0%B8%99%E0%B8%97%E0%B8%B3%E0%B8%A1%E0%B8%B2%E0%B8%81%E0%B9%88%E0%B8%AD%E0%B8%99-%E0%B9%80%E0%B8%9E%E0%B8%B7%E0%B9%88%E0%B8%AD%E0%B8%9B%E0%B8%A3%E0%B8%B0%E0%B8%A1%E0%B8%B2%E0%B8%93%E0%B8%84%E0%B9%88%E0%B8%B2%E0%B8%94%E0%B8%B1%E0%B8%8A%E0%B8%99%E0%B8%B5%E0%B8%84%E0%B8%A7%E0%B8%B2%E0%B8%A1%E0%B9%80%E0%B8%82%E0%B9%89%E0%B8%B2%E0%B9%83%E0%B8%88%E0%B8%88%E0%B8%B2%E0%B8%81%E0%B9%80%E0%B8%AA%E0%B8%B5%E0%B8%A2%E0%B8%87%E0%B8%9E%E0%B8%B9%E0%B8%94-e71b23b4855c?source=rss-daca0bdb922a------2</link>
            <guid isPermaLink="false">https://medium.com/p/e71b23b4855c</guid>
            <dc:creator><![CDATA[Suradej Duangpummet]]></dc:creator>
            <pubDate>Sun, 06 May 2018 08:38:19 GMT</pubDate>
            <atom:updated>2018-05-06T08:38:19.628Z</atom:updated>
            <content:encoded><![CDATA[<p>(F.F. Li and T.J. Cox, 2007) นำเสนอการประมาณสัญญาณต้นฉบับก่อนถูกผสมกับตัวกลางจนมาถึงผู้ฟัง ด้วยเทคนิคการหาองค์ประกอบหลัก (principle component analysis, PCA) จากสแปคตรัมของสัญญาณกรอบ หรือ Envelope spectrum [1] ซึ่งตัวสัญญาญกรอบที่ครอบสัญญาณเสียงคำพูดนี้นั้นสามารถทำได้หลายวิธี ทั้งนี้ปกติจากใช้การแปลงฮิวเบริค์ แต่ในงานนี้เลือกใช้เทคนิค Welch’s Periodogram[2] ที่มีช่วงคร่อมกันครึ่งหนึ่ง (50% overlapping Hanning window[3]) ทั้งนี้เพื่อเป็นการลดปริมาณคุณลักษณะเฉพาะ (feature) ของสัญญาณเสียงนั้นๆ และเมื่อได้ค่าที่คำนวณได้จึงสามารถอาศัยการหาดัชนี้ความสามารถในการเข้าใจเสียงพูด หรือ Speech Transmission Index ตามตามหลักการอัตราส่วนของสัญญาณต้นทางและปลายทาง หรือ modulation transfer function (MTF)[4] ดั้งเดิม (Hougast and Steeneken, 1985)</p><p>ย้อนกลับไปยังจุดการใช้ PCA เพื่อใช้หา Feature ของสัญญาณกรอบ เป็นการพิจารณาขนาดของวาเลี้ยน (variance) ของแต่ละมิติ ของข้อมูลที่มีทั้งหมด แต่ก็จะทำให้ปริมารณความสัมพันธ์ทางเวลาหายไป อีกทั้งในแกนเวลาที่ตำแหน่งเดียวกัน สัญญาณเสียงที่ถูกนำเข้ามา มีความแตกต่างกัน หมายถึงประโยคที่พูด สำเนียง การเว้นช่องไฟ ของผู้พูดย่อมแตกต่างกัน เราจึงคิดว่าไม่เหมาะกับงานนี้ อีกทั้งการคำนวณ PCA แม้จะกับข้อมูลที่ผ่านการประมวลผลมาบางแล้วก็ตาม (จากสัญญาณเสียงดิบ กลายเป็นสัญญาณกรอบที่ bandwidth ต่ำกว่า จุดตัดความถี่ในงานที่ใช้ที่ 15Hz ด้วยอัตราสุ่มเหลือ 40 S/s) แต่ก็ต้องนำไปคำนวณร่วมกับข้อมูลที่มีอยู่ก่อน ซึ่งในต้นทุนการคำนวณสูง</p><p>การเตรียมการทดลอง งานนี้ใช้เสียงพูดเพียง 3 เสียง กับ 50 acoustic channels เราเข้าใจว่านี้คือ room impulse response ซึ่งมีค่า reverberation time ระหว่าง 0.1–5 วินาที แต่ทั้งนี้เป็นการสร้างขึ้นมาไม่ใช่ค่าจริง ซึ่งก็มีประเด็นเรื่องความแตกต่างของ Artificial room impulse response</p><p>โครงสร้างของเน็ตเวิกที่ใช้ในงานนี้ คือ มี 60 โหนดของชั้นขาเข้า (input layer) - 50 โหนด ของชั้นภายในลำดับที่ 1 (hidden 1) - 35 โหนดสำหรับชั้นภายในที่ 2 (hidden 2) - และ 1 โหนดของชั้นสุดท้าย (output layer) ตามลำดับ</p><p>หรืออาจสามารถเขียนในรูป 60–50–35–1</p><p>ค่าความละเอียดในการวัด STI ตามมาตรฐานอยู่ที่ 0.02 []</p><p>ผลลัพท์ ความผิดพลาด +/- 0.06–0.08 STI ??</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e71b23b4855c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[มาสร้าง Big Data กัน]]></title>
            <link>https://medium.com/@suradejduangpummet/%E0%B8%A1%E0%B8%B2%E0%B8%AA%E0%B8%A3%E0%B9%89%E0%B8%B2%E0%B8%87-big-data-%E0%B8%81%E0%B8%B1%E0%B8%99-cbf0627077e8?source=rss-daca0bdb922a------2</link>
            <guid isPermaLink="false">https://medium.com/p/cbf0627077e8</guid>
            <dc:creator><![CDATA[Suradej Duangpummet]]></dc:creator>
            <pubDate>Thu, 03 May 2018 07:55:52 GMT</pubDate>
            <atom:updated>2018-05-03T07:55:52.948Z</atom:updated>
            <content:encoded><![CDATA[<p>Speech dataset</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/560/1*8NfM86UjqDrZwmxHRHbukg.png" /><figcaption>ตัวอย่างสัญญาณเสียงพูด บันทึกในห้องอัด</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/560/1*IXcCv6xhLre051otS2WvNA.png" /><figcaption>สัญญาณผลตอบสนอง ที่บันทึกจากห้องตัวอย่าง</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/560/1*7pPOIO2zuig-oaHUpVsMrA.png" /><figcaption>สัญญาณเมื่อเสียงนั้นพูดในห้องตัวอย่าง</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/560/1*DMGGFQ1_4CJUJMOqfQmaHw.png" /><figcaption>สัญญาณเสียงถ้าห้องนั้นๆ มีสัญญาณรบกวน</figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cbf0627077e8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[เล่นกับเครื่อง High performance computing]]></title>
            <link>https://medium.com/@suradejduangpummet/%E0%B9%80%E0%B8%A5%E0%B9%88%E0%B8%99%E0%B8%81%E0%B8%B1%E0%B8%9A%E0%B9%80%E0%B8%84%E0%B8%A3%E0%B8%B7%E0%B9%88%E0%B8%AD%E0%B8%87-high-performance-computing-f9aa9f904b17?source=rss-daca0bdb922a------2</link>
            <guid isPermaLink="false">https://medium.com/p/f9aa9f904b17</guid>
            <dc:creator><![CDATA[Suradej Duangpummet]]></dc:creator>
            <pubDate>Tue, 01 May 2018 22:09:32 GMT</pubDate>
            <atom:updated>2018-05-04T12:24:40.641Z</atom:updated>
            <content:encoded><![CDATA[<p>SIIT,TU มีเครื่องในนักศึกษา โท-เอก ในใช้งานด้าน AI</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*wRMRyB32IGtdxWvW.jpg" /><figcaption>CPU 32 Cores , RAM 512 Gbyte, Nvidia Tesla P100 Server</figcaption></figure><p>เชื่อมต่อผ่านโปโตคอล ssh</p><p>พอร์ตมาตรฐาน IP xx.xx.xx.xx Password : admin จัดการให้และเรามาเปลี่ยนได้ภายหลัง</p><p>สะดวกทำงานในผ่านโปรแกรม Putty</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/563/1*nsCyWm9TySEZxVNui6avvw.png" /></figure><p>ทำงานแบบ Screen คือสามารถส่งคำสั่งไปรันทิ้งไว้ แล้วปิด session การเชื่อมต่อได้</p><p>ทำได้โดยคำสั่ง <strong>“screen”</strong> ระบบจะสร้างตัวแปรสิ่งแวดล้อมที่เราทำงานเก็บไว้</p><p>กด<strong> Ctrl+A </strong>และตามด้วย<strong> Ctrl+D</strong></p><p>คำสั่งดูว่ามีตัวแปรสิ่งแวดล้อมที่ถูกสร้างไว้แล้วบ้าง</p><pre>screen -ls</pre><p>สร้างหน้าต่างบันทึกค่า “Screen”</p><pre>screen</pre><p>การคืนค่า</p><pre>screen -r environment-Name*</pre><p>หรือ</p><pre>screen -RR -D</pre><p>การลบสิ่งแวดล้อมทิ้ง</p><pre>screen -S 23536 -X quit</pre><p>ดูการทำงานของทรัพยากร (load utilization)</p><pre>htop</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QJh4_tYawgB5C9dz9Bq1Cg.png" /></figure><pre>nvidia-smi</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/743/1*PkejSQfxfuaf_loVcnTLGg.png" /></figure><p>และเมื่อ GPU ถูกไลบาลีเรียกให้ทำงาน จะปรากฎ คำลักษณะดังภาพ</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oe0ffhzHQ4CqdfUSXLhzcA.png" /></figure><p>ทดสอบโค้ดสำหรับการสั่งทำงานแบบขนานด้วย GPU</p><pre>import tensorflow as tf<br>device_name = tf.test.gpu_device_name()<br>if device_name != &#39;/device:GPU:0&#39;:<br>  raise SystemError(&#39;GPU device not found&#39;)<br>print(&#39;Found GPU at: {}&#39;.format(device_name))</pre><pre>import tensorflow as tf<br>import timeit</pre><pre># See <a href="https://www.tensorflow.org/tutorials/using_gpu#allowing_gpu_memory_growth">https://www.tensorflow.org/tutorials/using_gpu#allowing_gpu_memory_growth</a><br>config = tf.ConfigProto()<br>config.gpu_options.allow_growth = True</pre><pre>with tf.device(&#39;/cpu:0&#39;):<br>  random_image_cpu = tf.random_normal((100, 100, 100, 3))<br>  net_cpu = tf.layers.conv2d(random_image_cpu, 32, 7)<br>  net_cpu = tf.reduce_sum(net_cpu)</pre><pre>with tf.device(&#39;/gpu:0&#39;):<br>  random_image_gpu = tf.random_normal((100, 100, 100, 3))<br>  net_gpu = tf.layers.conv2d(random_image_gpu, 32, 7)<br>  net_gpu = tf.reduce_sum(net_gpu)</pre><pre>sess = tf.Session(config=config)</pre><pre># Test execution once to detect errors early.<br>try:<br>  sess.run(tf.global_variables_initializer())<br>except tf.errors.InvalidArgumentError:<br>  print(<br>     &#39;\n\nThis error most likely means that this notebook is not &#39;<br>     &#39;configured to use a GPU.  Change this in Notebook Settings via the &#39;<br>      &#39;command palette (cmd/ctrl-shift-P) or the Edit menu.\n\n&#39;)<br>  raise</pre><pre>def cpu():<br>  sess.run(net_cpu)<br>  <br>def gpu():<br>  sess.run(net_gpu)<br>  <br># Runs the op several times.<br>print(&#39;Time (s) to convolve 32x7x7x3 filter over random 100x100x100x3 images &#39;<br>      &#39;(batch x height x width x channel). Sum of ten runs.&#39;)<br>print(&#39;CPU (s):&#39;)<br>cpu_time = timeit.timeit(&#39;cpu()&#39;, number=10, setup=&quot;from __main__ import cpu&quot;)<br>print(cpu_time)<br>print(&#39;GPU (s):&#39;)<br>gpu_time = timeit.timeit(&#39;gpu()&#39;, number=10, setup=&quot;from __main__ import gpu&quot;)<br>print(gpu_time)<br>print(&#39;GPU speedup over CPU: {}x&#39;.format(int(cpu_time/gpu_time)))</pre><pre>sess.close()</pre><pre>Time (s) to convolve 32x7x7x3 filter over random 100x100x100x3 </pre><pre>---------------------- Output-----------------------------<br>images (batch x height x width x channel). Sum of ten runs.<br>CPU (s):<br>9.90464901924<br>GPU (s):<br>0.855201005936<br>GPU speedup over CPU: 11x</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f9aa9f904b17" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[การวิเคราะองค์ประกอบหลัก เพื่อใช้สอนนิวรอนเน็ตเวิก (PCA features extraction)]]></title>
            <link>https://medium.com/@suradejduangpummet/%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B8%A7%E0%B8%B4%E0%B9%80%E0%B8%84%E0%B8%A3%E0%B8%B2%E0%B8%B0%E0%B8%AD%E0%B8%87%E0%B8%84%E0%B9%8C%E0%B8%9B%E0%B8%A3%E0%B8%B0%E0%B8%81%E0%B8%AD%E0%B8%9A%E0%B8%AB%E0%B8%A5%E0%B8%B1%E0%B8%81-%E0%B9%80%E0%B8%9E%E0%B8%B7%E0%B9%88%E0%B8%AD%E0%B9%83%E0%B8%8A%E0%B9%89%E0%B8%AA%E0%B8%AD%E0%B8%99%E0%B8%99%E0%B8%B4%E0%B8%A7%E0%B8%A3%E0%B8%AD%E0%B8%99%E0%B9%80%E0%B8%99%E0%B9%87%E0%B8%95%E0%B9%80%E0%B8%A7%E0%B8%B4%E0%B8%81-pca-features-extraction-c757cbf6fe57?source=rss-daca0bdb922a------2</link>
            <guid isPermaLink="false">https://medium.com/p/c757cbf6fe57</guid>
            <dc:creator><![CDATA[Suradej Duangpummet]]></dc:creator>
            <pubDate>Tue, 01 May 2018 14:53:23 GMT</pubDate>
            <atom:updated>2018-05-02T23:19:59.421Z</atom:updated>
            <content:encoded><![CDATA[<h3>การวิเคราะองค์ประกอบหลัก Principal Component Analysis หรือ “PCA”</h3><p>PCA เป็นการโปรเจคชั่นแบบเชิงเส้น (Linear projection) จากมิติของข้อมูล ไปยังสเปซใหม่ที่มีจำนวนมิติน้อยกว่า ผ่านการหาเมทริกซ์สหสัมพันธ์ (Correlation matrix) โดยพิจารณาจากค่าความแปรปรวนของข้อมูล (Variance) ด้วยเครื่องมือที่เรียกว่า ซิงกูล่าเวกเตอร์ดีคอมโพซิสชั่น หรือ (Singular Value Decomposition: SVD) ทำให้สามารถเลือกลดแกนที่สำคัญน้อยออกได้</p><p>ปล. ตัว PCA เองก็ยังมีการพัฒนารายละเอียดและความสามารถภายในอีกหลายแนวทาง อาทิ KPCA (Kernel PCA)เมื่อต้องการการโปรเจคชั่นแบบไม่เป็นเชิงเส้น ,… เป็นต้น และTruncated SVD, IncrementalPCA และยังมีเครื่องมือที่ทำหน้าที่ใกล้เคียงกันกับ PCA อาทิ Discrete Wavelet Transforms (DWT) เป็นต้น</p><p>ซึ่งมิติข้อมูลที่โดนลดออกไปอาจเป็นส่วนของสัญญาณรบกวน จึงเป็นอีกข้อดีหนึ่งนอกจากลดขนาดข้อมูลแล้วยังทำให้ข้อมูลสะอาดมากขึ้นด้วย</p><h3>ผลการทดลองปรับค่าจำนวนองค์ประกอบหลัก และศึกษาผลกระทบต่อสามารถในการประมาณค่าของนิวรอนเน็ตเวิค</h3><p>จะมีการปรับจำนวนองค์ประกอบหลัก จากเริ่มทดสอบระบบ ที่ 255 เป็นไล่ตั้งแต่ 1000 ลงมาถึง 100 ช่วงละ 100 ได้ผลดังนี้</p><p>โครงสร้างของเน็ตเวิก และจำนวนรอบการสอนเหมือนกันตลอดการทดสอบ 5 เลเยอร์ แต่ละเลเยอร์มี 32 โหนด และจำนวนรอบการสอนที่ 200 epoch (ทั้งนี้จากการสังเกตค่า loss ที่เริ่มนิ่งหลังจากรอบการสอนที่ 150 เป็นต้นไป)</p><p>หมายเหตุ มีการเริ่มสุ่มจำนวนพารามิเตอร์ของโมเดลที่ใช้ปรับจำนวน(Trial and Error) สุ่มเลือกจำนวนองค์ประกอบหลักครั้งแรกที่ 255 ตัว อยู่ก่อนด้วย</p><h4>ผลกระทบจากจำนวนองค์ประกอบ ผ่านการศึกษาจากมิติต่างๆ ดังนี้</h4><p>n_PCA = No. of components จำนวนองค์ประกอบหลักที่ใช้</p><p>comPCA = computational time for PCA เวลาในการสร้างโมเดลทั้งหมด</p><p>Training (s/Epochs) เวลาต่อหนึ่งรอบการปรับตัวถ่วงน้ำหนักของนิวรอนเน็ตเวิกค์</p><p>(ภายหลังผู้ทดสอบไม่ได้บันทึก)</p><p>Metrics =Loss Score, RMSE เครื่องมือประเมินประสิทธิภาพโมเดล</p><p>n_params= จำนวนพารามิเตอร์ที่สามารถปรับได้ และถูกเก็บเป็นค่าพารามิเตอร์ของโมเดลนั้นๆ</p><p>ผลการทดลองแสดงดังตาราง ต่อไปนี้</p><p>| n_PCA |Computational Time|Metrics | n_Param |</p><p>10000|</p><p>1000| ~20 min.| loss: 13.5% , RMSE: 0.368| 32xxx.|</p><p>900 | ………s.| loss: …..%, RMSE: 0.374 | x|</p><p>800 | ……… s.| loss: ….%, RMSE: 0.348| 29345.|</p><p>700 | ……… s.| RMSE:0.3354 | |</p><p>600 |……… s.| loss: %, RMSE: 0.3589|22945 |</p><p>500 | ………s.| loss: 11.477%, RMSE:0.338|19745|</p><p>400 | ………s.| loss: 12.746%, RMSE:0.357|16545|</p><p>300 | 1032 s. |loss: 13.286%, RMSE:0.364|13,345|</p><p>255 | xxxx s. |loss: xxxxxx %, RMSE : 0.395 |xxxxx|</p><p>200 | 972 s. |loss: 11.362%, RMSE:0.337|10,145|</p><p>100 | 1651 s. |loss: 15.06%, RMSE:0.388|6,945|</p><p>50 | 1266 s. |loss: 13.19%, RMSE:0.363|5,534|</p><p>10 | s. |loss: 29.8 %, RMSE : 0.545 |,|</p><ul><li>******************************************</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/885/1*s1q5B_I1JxbOa2IUyQ9CuQ.png" /></figure><p>ข้อสังเกต-วิภาคษ์ :</p><ol><li>n_component ≤ a number of dataset นั้นคือ จำนวนองค์ประกอบหลักมีได้ไม่มากกว่าจำนวนตัวอย่างข้อมูลที่มี (ถ้ายังต้องการรักษาคุณสมบัติการโปรเจคด้วยแกนที่ตั้งฉากกัน Orthogonal และ ไลบารีที่เรียกใช้นี้ก็ไม่ทำให้ด้วย) ในการทดลองนี้คือ ชุดข้อมูลเพื่อการทดสอบโมเดลจำนวน 4,800 ไฟล์</li><li>แม้ว่าเมื่อลดมิติลงจะทำให้นิวรอนเน็ตเวิคซับซ้อนน้อยลง การปรับทำได้เร็วขึ้นอย่างมาก ( Training time &gt;40 hours) แต่อย่างไรก็ดี ขั้นตอนการคำนวณหา PCA ก็ยังถือเป็นภาระอยู่พอสมควร และทำงานบนหน่วยประมวลผลกลางเป็นหลัก</li></ol><p>2. ในการทดลองนี้เป็นการหา PCA จากข้อมูลโดยตรง ไม่ผ่านกระบวนการประมวลผลใดๆ จึงยิ่งทำให้การแก้ปัญหามีความซับซ้อนสูง มีคนใช้วิธีนี้ร่วมกับการ หาจากสัญญาณกรอบ (envelope) และลดจำนวนการสุ่มลง (down sampling) เพื่อลดขนาดมิติให้เล็กลงก่อนมาระดับนึงแล้ว</p><p>3. กับข้อมูลชิ้นใหม่เลย ที่ไม่มีอยู่ในตอนแรก จะทำไม่ได้ ? เพราะต้องไปหา Covarance Matrix ร่วมกับเพื่อนๆ ก่อน</p><h4>สรุป</h4><blockquote>จากข้อจำกัดต่างๆ วิธีการนี้ (นำข้อมูลเข้าแบบดิบๆ) ข้างต้น<strong>ไม่เหมาะกับการใช้งานจริง</strong> เพราะต้องคำนวณองค์ประกอบหลักใหม่ร่วมกับข้อมูลที่มีก่อนป้อนเข้าโมเดลที่เตรียมไว้ <strong>ซึ่งมีต้นทุนการคำนวณสูงเกินไป</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CKn7o9TqArfolAYpiqeNnw.png" /><figcaption>รูป แสดงภาระการคำนวณ PCA บนเครื่อง 32 คอร์</figcaption></figure><p>โค้ดภาษาไพธอน ร่วมกับไลบาลี Keras รันบน TensorFlow จาก GoogleInc. ภายใน</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/971/1*rlEg-vN2fH-KE3ogCmQZew.png" /></figure><p><a href="https://github.com/GolfSuradej/PCA-ANN-RT_estimator/blob/master/nPCA-NN_Experiment.py">GolfSuradej/PCA-ANN-RT_estimator</a></p><p>เปรียบเทียบกับการสอนนิวรอน แบบไม่ลดองค์ประกอบก่อน หมายถึงใช้ข้อมูลทั้งไฟล์ดิบๆ ป้อนเข้าตรงๆ แสดงดังรูป</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/944/1*prZ7jwvobeYgI4qAdmvUHA.png" /><figcaption>แม้</figcaption></figure><p>สังเกตเวลาการสอนต่อ 1 รอบ(บนเครื่อง Osaka) ใช้เวลานานเกือบสิบนาที อีกทั้งมีพารามิเตอร์ที่ต้องปรับมากถึง 64 ล้านตัว (มากเกินไป) และผลการ evaluate กับ unseen dataset พบว่า น่าจะเกิดการ over-fitting ค่า MSE ไปมากกว่า 1x.x</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c757cbf6fe57" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[สรุปงานประมาณค่า Reverberation Time]]></title>
            <link>https://medium.com/@suradejduangpummet/%E0%B8%AA%E0%B8%A3%E0%B8%B8%E0%B8%9B%E0%B8%87%E0%B8%B2%E0%B8%99%E0%B8%9B%E0%B8%A3%E0%B8%B0%E0%B8%A1%E0%B8%B2%E0%B8%93%E0%B8%84%E0%B9%88%E0%B8%B2-reverberation-time-42892b83db94?source=rss-daca0bdb922a------2</link>
            <guid isPermaLink="false">https://medium.com/p/42892b83db94</guid>
            <dc:creator><![CDATA[Suradej Duangpummet]]></dc:creator>
            <pubDate>Wed, 25 Apr 2018 11:18:19 GMT</pubDate>
            <atom:updated>2018-04-25T11:18:19.088Z</atom:updated>
            <content:encoded><![CDATA[<p>(T.J. Cox, 2001) ใช้ Neural Network ความแม่นยำ (accuracy) 0.1 วินาที</p><p>(R. Scharrer, 2010) ความแม่นยำ 1% ค่า linear regression 0.99 (มีตารางตัวเลขค่าที่วัดได้ กับหาประมาณของห้องที่ใช้ทดลอง 6 ห้อง)</p><p>(M. Lee, 2016) ทดลองกับสัญญาณที่มีสิ่งรบกวนด้วย 20 dB SNR ความแม่นยำ 0.05 วินาที หรือ มากว่า 80%</p><p>(Heinrich ,rwth-Aachen) +/- 0.2 second</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=42892b83db94" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Support Vector Machines]]></title>
            <link>https://medium.com/@suradejduangpummet/support-vector-machines-dca168b11bba?source=rss-daca0bdb922a------2</link>
            <guid isPermaLink="false">https://medium.com/p/dca168b11bba</guid>
            <dc:creator><![CDATA[Suradej Duangpummet]]></dc:creator>
            <pubDate>Sun, 22 Apr 2018 23:15:13 GMT</pubDate>
            <atom:updated>2018-04-23T00:30:57.137Z</atom:updated>
            <content:encoded><![CDATA[<p>Support Vector Machines หรือ SVM เป็นอีกเครื่องมือที่มีความสามารถสูงและมีประโยชน์มาก ในงาน Data mining และ Machine Learning เกิดหลังยุคของ Perceptron ใน Neural Network ช่วงปี 1997 นำเสนอโดย Vladimir Vapnik จึงมีองค์ประกอบบางส่วนยืมมาใช้ เช่น weight vector, bias หรือ learning rate เป็นต้น</p><p>ทั้งนี้มีหลากหลายแหล่งของความรู้จนเกิดเป็นบันทึกนี้ ทั้งการเข้าฟัง Lecture ใน Class Introduction to AI ของ SIIT สอนโดย ดร.พี่ปืน หรือเรียนผ่าน Coursera สอนโดย Andrew Ng และหนึ่งในนั้นเป็นหนังสือของ Nello Cristianini และ John Shawe-Taylor ตามปกด้านล่างนี้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/329/1*4mspl6G_FLtXppDcvPJQ_A.jpeg" /><figcaption>หน้าปกหนังสือ ของสนพ. Cambridge Press.</figcaption></figure><p>ถ้าไม่นับการเรียก library และ run dataset ตามตัวอย่างต่าง ๆ การทำความเข้าใจการทำงานภายในต้องอาศัยความรู้หลายส่วน ได้แก่ Matrix และ Vector Linear Algebra, Optimization Theory, Statistics ซึ่งจะยิ่งโน้มน้ามในยิ่งเกิดความเชื่อมั่นในการใช้งาน ตลอดจนข้อกำจัดหลายๆ กรณี นำมาซึ่งการปรับแต่งระบบการเรียนรู้ในโค้ดโปรแกรมในอนาคตได้อย่างถูกต้อง</p><p><strong><em>Curse of Dimensionality</em></strong> ข้อมูลที่ใช้ประกอบการอธิบายอะไรสักสิ่งอาจสามารถประกอบด้วยข้อมูลหลายมิติ เช่น จะอธิบายบ้านสักหลัง อาจมีมิติสถานที่ตั้ง ละติจูด ลองติจูด ขนาด สีภายนอก สีภายใน จำนวนห้อง ราคา ,…, n เป็นต้น dataset เราจึงเป็นสมาชิกใน R^n</p><p>การคำนวณทั้งเพื่อ Regression หรือ Classification จึงเกิดความยุ่งยาก หรือเกิดปัญหาคำตอบที่เป็นหนึ่งเดียวไม่ได้ (unique solution) หรือกระทั้งหาคำตอบไม่ได้ (solution does not exists) เรียกปัญหานี้ว่า <em>“</em><strong><em>ill-posed problem”</em></strong></p><p><strong><em>Vector Projection</em></strong> โดยอาศัยแนวคิดการ Mapping จาก Attributed Space ไปสู่ Feature Space ด้วยการโปรเจคชั่นของเวกเตอร์ไปหาอีกเวกเตอร์นึ่งซึ่งอยู่ในอีกโดเมนหรือสเปซ จึงเป็นที่มาของคำว่า Support Vector</p><p>Lost/Cost Function<em>, L </em>เป็นเครื่องมือในการประเมิณความสามารถของเวกเตอร์ W ซึ่งจะถูกปรับในขั้นการเรียนรู้ แต่เพื่อควบคุมไม่ให้ขนาดของเวกเตอร์ w ใหญ่เกินไป (ใหญ่แล้วงัยหว่า?) จึงถูกเพิ่มอยู่ในฟังก์ชั่นนี้ด้วย ดังนี้</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/485/1*ko05mQhur1bspnY0n5lccA.png" /></figure><p>…พักเดี๋ยวค่อยมาเขียนต่อ</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dca168b11bba" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[สรุป เอกสาร ML ของ Andrew Ng]]></title>
            <link>https://medium.com/@suradejduangpummet/%E0%B8%AA%E0%B8%A3%E0%B8%B8%E0%B8%9B-%E0%B9%80%E0%B8%AD%E0%B8%81%E0%B8%AA%E0%B8%B2%E0%B8%A3-ml-%E0%B8%82%E0%B8%AD%E0%B8%87-andrew-ng-d7deef0dd956?source=rss-daca0bdb922a------2</link>
            <guid isPermaLink="false">https://medium.com/p/d7deef0dd956</guid>
            <dc:creator><![CDATA[Suradej Duangpummet]]></dc:creator>
            <pubDate>Sun, 22 Apr 2018 04:48:28 GMT</pubDate>
            <atom:updated>2018-04-23T02:05:29.893Z</atom:updated>
            <content:encoded><![CDATA[<p>Andrew Ng เป็นอีกคนที่ contribute งานในเรื่องปัญญาประดิษฐ์อย่างสำคัญในยุคนี้ เคยสอนที่ Stanford (มีลูกศิษย์ดังๆ มากมาย เช่น Pieter Abbeel, Ian goodfellow เป็นต้น) อดีตหัวหน้าทีม Google Brain และ Baidu AI team เปิดสอน Machine learining ออนไลท์ผ่าน Coursera.com (ซึ่งเค้าก็แนะนำให้กลับไปเรียนอย่างน้อย 3 เรื่องแรก สำหรับผู้ไม่มีพื้นฐานมาก่อน และจะอ่านเอกสารชุดนี้)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/472/1*NGpA4TFrfuG9wC5HlnGMsA.png" /></figure><p>พัฒนาของ Machine Learning มีมานาน แต่มาเฟืองฟูอีกครั้งเมื่อได้สองปัจจัย คือ จำหนวนข้อมูลที่มีมากขึ้น (Big Data) และกำลังในการประมวลผลข้อมูล (GPU/Parallel Processing)</p><p>Deep Leaning ก็คือตัวต่อเนื่องจาก Neural Network ในยุคก่อนๆ</p><p>ดังนั้นการใช้เครื่องมือเหล่านี้จำเป็นต้องรู้ปัจจัยที่กระทบต่อประสิทธิภาพของผลลัพท์ที่จะได้ เพื่อจะได้ปรับปรุง และแก้ไขได้อย่างถูกต้อง</p><p>ข้อมูลน้อยไม่จำเป็นต้องใช้ระบบอะไรที่ซับซ้อนอย่าง Deep Learning เพียง Linear regression หรือ Logistic regression ก็เพียงพอ</p><p>การแบ่งข้อมูลออกเป็นสองส่วน เช่น 70/30 สำหรับ การสอน และการตรวจสอบความถูกต้องแบบอดีตนั้นควร จัดใหม่เป็นสามส่วนคือ ข้อมูลสำหรับสอน ข้อมูลเพื่อให้ปรับแต่งพารามิเตอร์ และข้อมูลการตรวจสอบ</p><p>ข้อมูลที่ใช้ในแต่ละกระบวนการต้องมีการกระจายตัวเท่าๆ กัน ทุกกระบวนการ</p><p>ข้อมูลที่ใช้ต้องคำนึงถึึงความใกล้เคียงกับข้อมูลที่ถูกนำระบบนี้ไปใช้งานจริงด้วย เรียกว่า Generalized</p><p>ข้อมูลต้องมีมากเท่าที่จะหาได้ และมากพอที่จะสามารถบ่งชี้ความแตกต่างระหว่างอัลกอลึทึมที่ใช้ในการสอนระบบได้ (ปกติหลักหมื่นตัวอย่างขึ้นไป)</p><p>รอมาเขียนเพิ่มต่อ….</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d7deef0dd956" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[การประมาณค่าสมบัติของห้องต่อการรับรู้เสียง ด้วยโครงข่ายประสาทเทียม]]></title>
            <link>https://medium.com/@suradejduangpummet/%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B8%9B%E0%B8%A3%E0%B8%B0%E0%B8%A1%E0%B8%B2%E0%B8%93%E0%B8%84%E0%B9%88%E0%B8%B2%E0%B8%AA%E0%B8%A1%E0%B8%9A%E0%B8%B1%E0%B8%95%E0%B8%B4%E0%B8%82%E0%B8%AD%E0%B8%87%E0%B8%AB%E0%B9%89%E0%B8%AD%E0%B8%87%E0%B8%95%E0%B9%88%E0%B8%AD%E0%B8%81%E0%B8%B2%E0%B8%A3%E0%B8%A3%E0%B8%B1%E0%B8%9A%E0%B8%A3%E0%B8%B9%E0%B9%89%E0%B9%80%E0%B8%AA%E0%B8%B5%E0%B8%A2%E0%B8%87-%E0%B8%94%E0%B9%89%E0%B8%A7%E0%B8%A2%E0%B9%82%E0%B8%84%E0%B8%A3%E0%B8%87%E0%B8%82%E0%B9%88%E0%B8%B2%E0%B8%A2%E0%B8%9B%E0%B8%A3%E0%B8%B0%E0%B8%AA%E0%B8%B2%E0%B8%97%E0%B9%80%E0%B8%97%E0%B8%B5%E0%B8%A2%E0%B8%A1-1fbe3af76ddf?source=rss-daca0bdb922a------2</link>
            <guid isPermaLink="false">https://medium.com/p/1fbe3af76ddf</guid>
            <dc:creator><![CDATA[Suradej Duangpummet]]></dc:creator>
            <pubDate>Tue, 20 Feb 2018 02:59:33 GMT</pubDate>
            <atom:updated>2018-03-17T16:09:28.189Z</atom:updated>
            <content:encoded><![CDATA[<p>(Parameters estimation of room acoustic using artificial neural networks)</p><p>วิวัฒนาการของปัญญาประดิษฐ์เติบโตขึ้นเรื่อยๆ เพื่อเป้าหมายในการสร้างระบบที่สามารถเลียนแบบการรับรู้ การคิดของสิ่งมีชีวิตจริงๆ ได้ จากระยะเริ่มแรกช่วงปี 1940 มีการนำเสนอระบบโครงข่ายแบบต่างๆ กัน แต่ยังติดอยู่กับการแก้ปัญหาแบบเชิงเส้นเท่านั้น เช่น แบ่งแยกกลุ่มของสองสิ่งจากกันด้วยการตัดด้วยเส้นตรง (ADALINE network) หรือการประมาณค่าสมการเชิงเส้นของการกระจายตัวของกลุ่มข้อมูลใดๆ (Perceptron) เป็นต้น หรือเรียกปัญหาแบบที่ 1. ว่าการทำ Classification และปัญหาแบบที่ 2. ว่า Function approximation ตามลำดับ จนถึง ช่วงปี 1980 ด้วยอัลกอรึทึมการเรียนรู้ที่มีการส่งผ่านค่าผลของระบบย้อนกลับมาเพื่อปรับค่าน้ำหนัก และไบเเอท ในชั้นก่อนหน้า ที่รู้จักกันดีในชื่อ Back propagation พร้อมกับการเพิ่มชั้นของโครงข่ายมากขึ้น เพื่อแก้ปัญหาที่ไม่เป็นเชิงเส้น (Multilayer Perceptron) และโดยเฉพาะอย่างยิ่งหลังปี คศ 2000 เป็นต้นมา ทั้งแนวคิดการแก้ปัญหาแบบใหม่ๆ ก็ได้พัฒนามากยิ่งขึ้นพร้อมกับความสามารถในการรองรับการคำนวนแบบขนานกับข้อมูลขนาดใหญ่ และโครงข่ายที่ซับซ้อนได้ดีขึ้น (โครงข่ายมีมากกว่า 2 เลเยอร์ขึ้นไป และแต่ละเลเยอร์ก็มีหลายโหนดด้วย) พร้อมกับความโด่งดังของคำว่า “Deep Learning” ทำให้ปัญหาแบบที่ 1 และ 2 สามารถกล่าวได้ว่าใช้ได้กับทุกปัญหาในโลกได้เลย</p><p>พร้อมกับการก้าวกระโดดของการแก้ปัญหาอีก 2 รูปแบบ ปัญหาแบบที่ 3 คือการเรียนรู้จากการลองผิดลองถูกและผลตอบแทน หรือ Reinforcement learning การทำให้คอมพิวเตอร์เล่นหมากล้อมเป็นตัวอย่างที่โด่งดังของปัญหานี้ และปัญหาแบบที่ 4 ระบบที่สร้างสิ่งใหม่จากข้อมูลที่ได้เรียนรู้ไว้, Generation Adversarial Network:GAN หรือ Deep Generation Model เช่นสร้างภาพ แต่งเพลง หรืออาจสร้างยารักษาโรคชนิดใหม่ในอนาคตก็เป็นได้ (อ่านเพิ่มเติมได้จากอ้างอิงด้านล่าง)</p><p>ในงานการหาค่าพารามิเตอร์ใดๆ จากระบบที่กำลังทำงานอยู่ เป็นงานที่ผู้เขียนกำลังให้ความสนใจในการนำความรู้ข้างต้นมาปรับใช้ ซึ่งสืบค้นพบนักวิจัยได้มีการศึกษาทดลองกันอยู่เช่นกัน ได้แก่</p><p>Li.FF และ T.J.Cox (2001) สร้างโครงข่ายประสาทเทียมที่มีอินพุทเป็นเสียงพูดผ่านห้องจำลองที่ผ่านตัวกรองเป็นช่วงแล้ว 14 ค่า (1/3 octave filter bank) และเอาท์พุตเป็นค่าดัชนีการรับรู้เสียงหรือ STI เพื่อสอนระบบและใช้ประมาณค่าจากเสียงพูดใหม่ที่ยังไม่ได้ถูกใช้ในขั้นการสอน มีการจัดโครงข่ายของเลเยอร์ซ่อนภายใน(hidden layer) 2 เลเยอร์ โดยแต่ละเลเยอร์มีโหนดจำนวน 10 และ 8 โหนดตามลำดับ ใช้ sigmoid เป็นฟังก์ชั่นกระตุ้น (Activation function)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/638/1*eRxctSZTVk_hkrHJEXHvtw.png" /><figcaption>โครงข่ายประสาทเทียมแบบ 14–(10–8)–1</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/883/1*kbMS6FTUVxN8POGrbdatTA.png" /></figure><p>Paul Kendrick(2009) ใช้ ANNs ในการหาค่า Reverberation Time หรือค่าความก้อง (หน่วยเป็นวินาที) โครงสร้าง 45–(20–10–5)–1 ในเครื่องหมายวงเล็บหมายถึงโครงสร้างของ hidden layer ที่มีจำนวนโหนดตามลำดับ ใช้ซอฟต์แวร์สร้างห้องจำลองประมาณ 7000 เพื่อสอน และ 400 ห้อง เพื่อทดสอบ ผลความถูกต้องระดับ 94%</p><h3>เข้าเรื่องของผู้เขียนบ้าง</h3><p>ใช้ฐานข้อมูลเสียงพูดในห้องทดสอบ (Anechoic chamber) นิยามให้เป็นเสียงสะอาดไม่มีการรบกวนใด ๆ จาก TIMIT และจาก Aachen University Germany เมื่อทำการ convolute สัญญาณทั้งสองเราจะได้สัญญาณตัวอย่างในการนำมาทดลอง เสมือนอัดเสียงคนพูดในพื้นที่ห้องต่างๆ แบ่งส่วนหนึ่ง 70% เป็น Training Set และที่เหลือ 30% เป็น Test Set</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Bj3m_sfYeQugfgJn-3c_rA.png" /><figcaption>ตัวอย่างการดำเนินการกับสัญญาณเสียงคุยกับอาจารย์วารีครั้งแรก ทำ Envelope Extraction ผิด!</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QJpzrQpvHzrTVgoaapfIrw.png" /><figcaption>หาสัญญาณกรอบ (Envelope) ใหม่ และก่อนการลดอัตราการสุ่ม</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ptA_-rIYmtDsYrHDV06RJw.png" /><figcaption>Envelope(สีแดง) ของสัญญาณเสียง (สีเขียว)</figcaption></figure><h4>ทำ Label</h4><p>ข้อมูลสัญญาณ Room impulse response เป็นค่า T60 (Reverberation Time) ด้วย MATLAB ทำไงละ ตตอนนี้ติิดอยู่เนี้ยครับ …..</p><p>ตั้งใจว่า จะใช้ ReLu เป็น activation function และ Softmax สำหรับ output layer (เรียนมาว่าดีกว่า sigmoid) แต่ตอนนี้ยังไปไม่ถึง 555</p><p>ผู้เขียนอยากจะทดสอบต่อด้วยว่าถ้าแทนที่จะทำการ extract power envelope spectrum เป็น feature ป้อนเข้า neural network เราน่าจะอาศัยความสามารถของ Multilayer percepton หรือ Deep Learning ที่โมเดลเน็ตเวิกแบบอาศัยการอ้างอิงจากค่าที่มีความต่อเนื่อง หรือในที่นี้คือสัญญาณเสียงพูด จึงเกิดเป็นการทดลอง Recurrent Neural Network: RNN เพื่อประมาณค่าพารามิเตอร์ระบบเสียงของห้องนั้นๆ ดังนี้</p><p>ทดลองสร้างโปรแกรมด้วยภาษา Python ร่วมกับไลบารี Tensorflow จาก google ที่มีการเรียกความสามารถการประมวลผลแบบขนานด้วยหน่วยประมวลผลกราฟิก หรือกการ์ดจอนั่นเอง ต้องขอบคุณเอกสารที่ช่วยให้การติดตั้งผ่านไปได้ แต่ก็ไม่ง่ายเลย</p><p><a href="https://www.quantstart.com/articles/installing-tensorflow-on-ubuntu-1604-with-an-nvidia-gpu">Installing TensorFlow on Ubuntu 16.04 with an Nvidia GPU</a></p><p>ผลทดสอบการทำ RNN แบบ LSTM กับข้อมูลเสียงพูด นับเลข แล้วแมพกับตัวเลข 1 ถึง 10 ก็นานอยู่ดี</p><p>ต่อไปจะได้ใช้ข้อมูลของงานเรากันแล้ว รอสักนิด จะมาเติมครับ …:)</p><p>อ้างอิง</p><ol><li>Ian Goodfellow, Yoshua Bengio and Aaron Courville ,Deep Learning<a href="http://www.deeplearningbook.org/">http://www.deeplearningbook.org/</a></li></ol><p>2. Matin T. Hagan, at el., Neural Network design <a href="http://hagan.okstate.edu/NNDesign.pdf">http://hagan.okstate.edu/NNDesign.pdf</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1fbe3af76ddf" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>