<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Nuttawut Sukaew on Medium]]></title>
        <description><![CDATA[Stories by Nuttawut Sukaew on Medium]]></description>
        <link>https://medium.com/@nuttawut_sukaew?source=rss-614d30efe0c2------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/proxy/1*TGH72Nnw24QL3iV9IOm4VA.png</url>
            <title>Stories by Nuttawut Sukaew on Medium</title>
            <link>https://medium.com/@nuttawut_sukaew?source=rss-614d30efe0c2------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 15:19:54 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@nuttawut_sukaew/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[งม Hadoop ในมหาสมุทร]]></title>
            <link>https://medium.com/cscmu-undergrad-seminar/%E0%B8%87%E0%B8%A1-hadoop-%E0%B9%83%E0%B8%99%E0%B8%A1%E0%B8%AB%E0%B8%B2%E0%B8%AA%E0%B8%A1%E0%B8%B8%E0%B8%97%E0%B8%A3-2b6a1eed7e8b?source=rss-614d30efe0c2------2</link>
            <guid isPermaLink="false">https://medium.com/p/2b6a1eed7e8b</guid>
            <dc:creator><![CDATA[Nuttawut Sukaew]]></dc:creator>
            <pubDate>Sat, 11 Apr 2020 15:21:26 GMT</pubDate>
            <atom:updated>2020-04-11T15:21:26.372Z</atom:updated>
            <content:encoded><![CDATA[<p>จากประสบการณ์อันน้อยนิดที่ได้จากการทดลองติดตั้ง และใช้งานเจ้า <a href="https://hadoop.apache.org/">Apache Hadoop</a> เป็นเวลาประมาณ 2 เดือนเต็ม (ไม่เคยมีประสบการณ์ในการทำงานเลย) <br>จึงอยากแนะนำเพื่อน ๆ ได้รู้จักเจ้า Hadoop กันมากขึ้น</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*Sa_4Xs9iixcNloqUkdNDcQ.png" /></figure><h3>Hadoop คืออะไร?</h3><p><a href="https://en.wikipedia.org/wiki/Apache_Hadoop">Apache Hadoop</a> เป็น software framework สำหรับจัดการเก็บชุดข้อมูลขนาดใหญ่ และการประมวลผลแบบกระจาย (distributed processing) บนเครื่องคอมพิวเตอร์ที่เชื่อมต่อกันเป็นกลุ่ม (cluster) สามารถจัดการกับข้อมูลได้หลากหลายรูปแบบ ซึ่งถูกพัฒนาโดย <a href="https://en.wikipedia.org/wiki/Doug_Cutting">Doug Cutting</a> และ <a href="https://en.wikipedia.org/wiki/Mike_Cafarella">Mike Cafarella</a> ที่ได้แนวคิดมาจาก Googe File System paper ที่มีชื่อว่า <a href="https://research.google/pubs/pub62/">Simplified Data Processing on Large Clusters</a> แล้วที่ทำให้ Hadoop ได้รับความนิยมมากนนั้น เพราะว่ามันฟรี !! เป็น open-source software และมี <a href="https://mindmajix.com/hadoop-ecosystem">Hadoop Ecosystem</a> ที่เป็นแหล่งรวมของ software ที่จะใช้งานกับ Big Data มากมาย</p><h3><strong>ทำไมต้องใช้ Hadoop?</strong></h3><p>Hadoop สามารถ run ระบบแบบกระจายด้วยเครื่อง (Node)ในระบบเป็นพัน ๆ เครื่องด้วยขนาดข้อมูลที่มากกว่าระดับ petabytes (10¹⁵ bytes) โดยระบบที่ควบคุมการกระจายไฟล์ในระบบเรียกว่า Hadoop Distributed File System หรือที่รู้จักกัน<br>ในชื่อ HDFS ถึงแม้จำนวนข้อมูลจะมาก Hadoop ก็จะมีความรวดเร็วจากการทำงานแบบกระจายในระบบ</p><p>ยังไม่เพียงเท่านั้น HDFS นอกจากจะควบคุมระบบการกระจายไฟล์แล้ว ยังมีการทำสำเนาข้อมูลไฟล์ที่ถูกเก็บในระบบไปยังหลาย ๆ Node ในระบบเพื่อการันตีว่าหากมี Node ในระบบที่ไม่สามารถใช้งานได้ ตัวไฟล์ก็จะยังคงอยู่ในระบบเหมือนเดิม และยังสามารถขยายจำนวนของเครื่อง Node ในระบบได้อย่างอิสระ เพื่อตอบโจทย์การใช้งานในระบบ Big Data เรียกได้ว่า Hadoop เกิดมาพร้อมกับความสามารถ Falut-tolerance และ Scalability เลยทีเดียว</p><p>Hadoop ยังมีระบบ Ecosystem ที่สามารถใช้งานร่วมกับ software หรือ framework อื่น ๆ ที่สามารถดึงประสิทธิภาพการทำงานของ Hadoop และได้รับความนิยมนำมาใช้ในการทำระบบ Big Data โดย software ส่วนมากในระบบนั้นเป็น open-source ไม่มีค่าใช้จ่ายในการใช้งานเลย</p><h3>ส่วนประกอบ (Modules) ของ Hadoop</h3><p>ประกอบไปด้วย 4 ส่วนหลัก ได้แก่</p><ol><li><a href="https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.1.2/bk_using-apache-hadoop/content/ch_using-apache-hadoop-1.html">Hadoop Common</a> เป็น moduleหลักที่ใช้ทำงาน และสนับสนุน module อื่น ๆ ในระบบ</li><li><a href="https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html">YARN (Yet Another Resource Negotiator)</a> เป็นการทำ job scheduling และบริหารจัดการทรัพยาการของ cluster ในระบบ</li><li><a href="https://hadoop.apache.org/docs/r2.7.6/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Overview">MapReduce</a> เป็น software framework ที่เอาไว้ใช้ในการ programming สำหรับการประมวลผลแบบขนานของระบบ</li><li><a href="https://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Overview">HDFS (Hadoop Distributed File System)</a> เป็น module ที่จัดการเกี่ยวกับการเก็บข้อมูล การเข้าถึงข้อมูลต่าง ๆ ในระบบ</li></ol><h3>Hadoop Ecosystem</h3><p>ตัวอย่าง software บางส่วนที่ผมเคยใช้นะครับร่วมกับ Hadoop</p><ul><li>Hive เป็น Data Warehouse ที่ใช้คำสั่ง และโครงสร้าง เหมือนกับภาษา SQL สำหรับการจัดการกับข้อมูล</li><li>HBase เป็นระบบฐานข้อมูลของ Hadoop มีการเก็บข้อมูลแบบ NoSQL จัดเก็บข้อมูลลงบน HDFS และมีฟังก์ชั่นต่างๆที่อาศัยความสามารถในการประมวลผลจาก MapReduce</li><li>Spark เป็น framework ที่เอาไว้วิเคราะห์แบบ real-time และการประมวลผลต่าง ๆ คล้าย MapReduce แต่ทำงานแบบ in-memory ทำให้มีการประมวลผลเร็วกว่า MapReduce</li><li>Sqoop เป็นเหมือน software loader ของระบบ Big Data ที่สามารถโอนย้ายข้อมูล ระหว่าง relational databases และ Hadoop สามารถ import ข้อมูลจากฐานข้อมูลเข้ามายัง Hadoop หรือจะ export ข้อมูลจาก Hadoop ไปยังฐานข้อมูล</li><li>Pig เป็น platform ภาษาระดับสูงที่ชื่อว่า Pig Latin ที่เอาไว้จัดการข้อมูลที่อยู่ใน HDFS สามารถใช้งานร่วมกับ MapReduce และ Hadoop</li><li>Ambari เป็น software ตัวกลางที่เอาไว้จัดการกับระบบของ Hadoop ซึ่งจะมีหน้า monitoring ของระบบ เพื่อให้ง่ายต่อการใช้งานมากขึ้น</li></ul><h3>เมื่อไหร่ที่ควรใช้ Hadoop</h3><p>ก็เมื่อมีการทำระบบ Big Data จะเรียกแบบนั้นเลยก็ได้ครับ แต่การจะทำระบบ Big Data ให้มีประสิทธิภาพสูงสุดนั้น อย่างแรกต้องตอบให้ได้ว่าระบบที่เราทำจะส่งมอบคุณค่าอะไรให้เราบ้าง เมื่อตอบได้แล้วก็มาทำการดูว่าระบบที่จะทำนั้นตอบโจทย์คุณลักษณะ <a href="https://www.bigdataframework.org/four-vs-of-big-data/">4Vs ของ Big Data</a> ได้ครบไหม มีอะไรบ้าง มาดูกันครับ</p><ul><li>Volume ข้อมูลในระบบมีขนาดเยอะมาก ๆ ระดับที่วันนึงจะมีข้อมูลที่จัดการภายในระบบ ในปริมาณ terabytes หรือ petabytes ถึงแม้จะเยอะมากขนาดนี้ก็ไม่ส่งผลอะไรกับ Hadoop</li><li>Velocity อัตราการเพิ่มขึ้น หรือการเติบโตของปริมาณข้อมูลที่มีแนวโน้มจะมากขึ้น โดย Hadoop ได้ออกแบบมาให้รองรับกับการขยายตัวของข้อมูลนี้ ซึ่งสามารถรองรับการเพิ่มขนาดของระบบได้</li><li>Variety ความหลากหลายของข้อมูลที่อยู่ในระบบ ไม่ว่าจะเป็นรูปแบบข้อมูล โครงสร้างของข้อมูลที่หลากหลาย แน่นอน Hadoop รองรับกับข้อมูลที่หลากหลายที่จะมาอยู่ในระบบ</li><li>Veracity คุณภาพของข้อมูลที่อยู่ในระบบ คุณภาพในที่นี้อาจจะไม่เกี่ยวกับระบบโดย แต่จะเป็นคุณภาพของข้อมูลที่จะนำมาใช้ในการวิเคราะห์ หรือเอามาใช้ต่อ ซึ่งข้อมูลนั้นต้องมีการเลือกก่อน และตรวจสอบให้ดีก่อน</li></ul><p>เมื่อตอบโจทย์เหล่านี้ได้หมดแล้ว แสดงว่าเราพร้อมที่ใช้ Hadoop พร้อมที่จะใช้ Big Data แล้วนั่นเอง</p><h3>ตัวอย่างบริษัทที่มีการใช้งาน Hadoop</h3><ul><li><a href="https://www.computing.co.uk/ctg/news/2408426/marks-spencer-picks-cloudera-to-boost-data-analytics-capabilities">Marks and Spencer</a></li><li><a href="https://www.computerworld.com/article/3427091/royal-mail-puts-big-data--building-blocks-in-place--with-hortonworks-hadoop-platform.html">Royal Mail</a></li><li><a href="https://aws.amazon.com/solutions/case-studies/expedia/">Expedia</a></li><li><a href="https://www.slideshare.net/giganati/real-time-analytics-for-big-data-a-facebook-casestudy">Facebook</a></li><li><a href="https://www.computerworld.com/article/3426595/british-airways--bi-lead---if-you-don-t-adopt-hadoop-at-least-in-part--you-won-t-exist-in-a-few-year.html">British Airways</a></li></ul><p>สุดท้ายนี้ขอบคุณทุกท่านที่สละเวลาอ่านจนจบนะครับ ขอบคุณครับบบ :’)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2b6a1eed7e8b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/cscmu-undergrad-seminar/%E0%B8%87%E0%B8%A1-hadoop-%E0%B9%83%E0%B8%99%E0%B8%A1%E0%B8%AB%E0%B8%B2%E0%B8%AA%E0%B8%A1%E0%B8%B8%E0%B8%97%E0%B8%A3-2b6a1eed7e8b">งม Hadoop ในมหาสมุทร</a> was originally published in <a href="https://medium.com/cscmu-undergrad-seminar">CSCMU Undergrad Seminar</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>