<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Justin Lee on Medium]]></title>
        <description><![CDATA[Stories by Justin Lee on Medium]]></description>
        <link>https://medium.com/@justinlee_78563?source=rss-5a463ab3453b------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*Yd_6fE347dJVqMb8.</url>
            <title>Stories by Justin Lee on Medium</title>
            <link>https://medium.com/@justinlee_78563?source=rss-5a463ab3453b------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 03:12:26 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@justinlee_78563/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[MOPCON — 在南部持續耕耘的火箭隊]]></title>
            <link>https://medium.com/mopcon-%E5%B7%A5%E4%BA%BA%E6%99%BA%E6%85%A7%E8%A8%98%E4%BA%8B%E6%9C%AC/mopcon-%E5%9C%A8%E5%8D%97%E9%83%A8%E6%8C%81%E7%BA%8C%E8%80%95%E8%80%98%E7%9A%84%E7%81%AB%E7%AE%AD%E9%9A%8A-3eea43a48dd6?source=rss-5a463ab3453b------2</link>
            <guid isPermaLink="false">https://medium.com/p/3eea43a48dd6</guid>
            <category><![CDATA[conference]]></category>
            <category><![CDATA[廖洧杰]]></category>
            <category><![CDATA[mopcon]]></category>
            <category><![CDATA[六角學院]]></category>
            <category><![CDATA[organization]]></category>
            <dc:creator><![CDATA[Justin Lee]]></dc:creator>
            <pubDate>Mon, 12 Oct 2020 14:16:42 GMT</pubDate>
            <atom:updated>2020-10-14T13:25:38.879Z</atom:updated>
            <content:encoded><![CDATA[<h3>MOPCON — 在南部持續耕耘的火箭隊</h3><figure><img alt="2020MOPCON-六角學院-火箭隊" src="https://cdn-images-1.medium.com/max/1024/1*hTC9d9zrfHrvJNai6mXJ2Q.jpeg" /><figcaption>Figure from: <a href="https://photos.google.com/share/AF1QipNqoPDId3OnW9Le8tL1Fdo0FtlEeqnsUxNp1sQawQCCVZlhiVXZB3vNICpGKGiPQg/photo/AF1QipOSV1e4h2MjmiNCfT62ra4sZRBUTZ4LL-FRToSY?key=czVyeEhYR3djSFRoMU5kZ1I3eXZ6VFFCUkQ1VDRn">2019-MOPCON</a></figcaption></figure><p>此次 MOPCON 的專訪對象為「火箭隊」的創辦人廖洧杰，身兼多職的洧杰不僅成立了火箭隊，同時也是六角學院的創辦人，就讓 MOPCON 來帶你一起揭開火箭隊的神秘面紗。</p><p>火箭隊開始於 2019 年 7 月，為台灣少數免費培訓工程師的培訓營，與 MOPCON 相同，都座落於高雄。開辦至今已經有第五梯的學員，每個梯次會收八位學員，通常是四位前端工程師及四位後端工程師。</p><p>學員們培訓的時間為半年，且需要與一般上班族或學生相同，平日全天要全程參與火箭隊的培訓計畫。有趣的是火箭隊不是說報名就能進去培訓，還需要經由面試的方式讓 Mentor 來評估跟篩選適合的學員們。Mentor 的部分目前則是有洧杰與他的夥伴 Justin 來分別代理前端及後端。</p><p>目前火箭隊的培訓地點位在高雄軟體園區內，在 MOPCON 訪談小組到達目的地時發現學員們正在熱絡的互相討論技術，詢問過洧杰後才得知目前第四梯的學員已進入到實作專案的階段。在火箭隊的培訓計畫裡對學員來說有個很重要的「實作專案」階段，在該階段學員們會以該梯次的實際人數而定，大部分是以一位前端及一位後端互相搭配，並依造各自討論的主題去實作出一套系統，好讓後續學員在找工作的面試過程中能有個代表作。而後續洧杰及 Justin 也會協助學員們整理面試資料及揣摩面試過程。</p><p>這麼佛心的火箭隊到底是怎麼成立的？及其背後的故事是什麼？就讓 MOPCON 訪談小組娓娓道來。</p><h4>開辦火箭隊的目的與理念為何？</h4><p>「若以商業的角度來說明，每個公司都會有一個主要業務。但除了主要業務外，也會想說有沒有其他的方向可以發展，教出來的學員可能發展一段時間後，未來會成為管理職。而這些管理職們可能就可以創造學員就業或者合作的機會。以其他面向來說，有些人會說我們是為了很崇高的理想，但其實我們沒有那麼大的想法。」</p><blockquote><em>由人去拓展關係，培育好人才，成為一種循環。</em></blockquote><h4>這樣的培訓內容的成本是非常高昂的，要花費很多時間與精力來協助學員，為什麼會願意做這些事？</h4><p>「這個問題是應該是為什麼要這樣做、這其中的效益在哪裡。若以這角度來回答，基本上來說這東西（培訓）看短線是沒有效益的，這跟投資類似。在投資中，其中一個奇蹟是在於複利的效益，一開始只有少少的獲益、但持續下去就會獲得大量的回饋。若以創業者或事業投資者來講，我看事情都會看 10 ~ 20 年後。當你可以看到這麼久以後的未來，就不會在意短線的獲益與否。這樣長期以來，可能就可以最後發展成一個事業群，未來可能可以在接案、媒合、人力培養上創造一個循環。</p><p>雖然在短期看不到一個效益，但重點是在未來的發展性。就像職涯的發展也通常不會看短暫的狀態。若把這些人累積起來，他們會彼此交流互動，自動組織成一個社群，慢慢地可能就會去改變一些東西，其實這也是 MOPCON 或其他單位想做的事情。這沒有辦法說幾年就改變環境，但我們可以現在開始去討論、去實作、累積，那可能 20、30 年之後，會有一些轉機。」</p><h4>為什麼不考慮使用直播方式反而使用線下方式來進行訓練及教學？</h4><p>「直播課程有個問題是你很難了解學生有沒有真的聽懂，有很多的資訊被網路濾掉了，比如說肢體語言、表情。你如果沒辦法教好線下的學生，很難教好線上。若以難度來說各有各的難處，因為線下的教學方式需要處理更多情緒與磨合相關的問題，比如說學員爭吵時要怎麼介入、或不介入。</p><p>回到問題來，最重要的點是我沒有把握教好線上。線下這樣緊密的互動與連結可能是線上做不到的，但目前也有嘗試將線下一些好的培訓方式複製到線上來。於是，我們去年有開了一個比較小型的直播課程，並在今年開始大規模嘗試。另外個考量點是因為本身沒有一個教育背景的話也很難去直接做線上授課，而會想要創辦火箭隊其中一個因素主要是想要讓自己的 mentor 能力更為充足。但也正是因為帶人這部分的經驗比較缺乏，所以會認為線上的學員很難像線下培訓的方式較全面的照顧到。</p><p>以 mentor 的角度來說，例如 mentor 的經驗，或者應該說如何當個教練去帶領學生學到他需要的技能，這包含精力管理、時間管理，去讓他集中在學習中最重要的事。當然線上也可以帶，但線下有更多的線索與互動比較容易看出他的個性與他適合什麼。」</p><h4>因為到了第五梯，從第一梯開始到現在，對於課程的設計有什麼樣的改變嗎？</h4><p>「以第一梯來說是邊學邊做專題，第二也是。第三梯則是有些人學完 Vue 才把重心放至到專題上。但後續發現其實當學完 Vue 時才能較專注在做專題上。目前的做法是偏向先學習好基礎知識後，當有些想法才開始進行到做專題。但這樣的做法會有好處跟壞處，壞處是因為若是直接告訴學員要做什麼，反而會衍生出若是沒有告知學員們該做什麼，那是否他們就沒辦法擁有自我思考的能力了。但好處是因為在有效的訓練時間內，這些則是可以讓他們快速地進入狀況。」</p><h4>為什麼會刻意讓不同梯次的學員重疊受訓呢？</h4><p>「主要的考量在於傳承上，是因為每梯學員在學習的過程上都會有不同的想法，那麼不同世代的學員在互相溝通跟交換想法上或許也會讓新一代的學員有更多的想法，並理解目前的現況。再接續觀看學員是否要再更近一步學習或接觸新的工具或目標。以 mentor 來說，mentor 的要職主要是來幫學員來做行為管理及時間管理，並快速讓學員們能快速進入狀況。我認為『時間管理是一項假議題，換成方向管理會比較適合。』而這句話的意思是指時間管理不過是假設今天都沒排定什麼事情，就將事情塞進去各自空閒的時間內而已，但我們會讓學員有個觀念是就是在做時間規劃時，要讓時間多個 buffer。反而應該就著重在方向管理上才對。」</p><blockquote>Mentor 的要職主要是來幫學員來做行為管理及時間管理，並快速讓學員們能快速進入狀況。</blockquote><figure><img alt="2020MOPCON-六角學院-火箭隊" src="https://cdn-images-1.medium.com/max/1024/1*9xyebyMLkE38J5cA3uVY4w.jpeg" /><figcaption>figure from: <a href="https://unsplash.com/photos/q2GNdFmhxx4">https://unsplash.com/photos/q2GNdFmhxx4</a></figcaption></figure><h4>會怎麼解決學員們的衝突？</h4><p>「主要會做一個中介人的角色，用來協調他們之間的問題。會請學員先調整好自己的情緒，並嘗試從中幫助他們。」</p><h4>若有人想要當火箭隊的 mentor 會怎麼建議？</h4><p>「基本上每個 mentor 很取決於自己的個人特質。沒有什麼固定答案，但以我的狀況來說會覺得自己在這部分會比較有『耐心』。mentor 非常地看個人，也非常地看學員。mentor 並不一定要有通用的『特質』，學員及 mentor 能夠合作順利反而是較為重要。</p><h4>火箭隊是標榜不需要有程式背景的人參加，但這樣訓練成功的比率高不高？</h4><p>「若從動機面來回答這問題，在這幾梯次觀察下來發現動機最差的是那些『我有興趣，我想當工程師』的人。再來是自己有學習些程式相關的東西，且會看歷屆火箭隊學長姐的文章。最好的是自己經濟上有負擔，且有危機感的。動機是非常重要的一件事情，因為有動機就能推動自己前進的動力。 」</p><blockquote>動機是非常重要的一件事情，因為有動機就能推動自己前進的動力。</blockquote><h4>從火箭隊畢業的門檻為何？</h4><p>「由於在火箭隊沒有提早畢業的事情。前端及後端組會因為 mentor 的不同而有所差異。後端則是有發生 mentor 覺得學員可能有些能力還未到位，而直接去找工作的，但最後還是有找到工作。前端來說，並沒有特定的畢業標準，主要是學員做完專題及作品後，覺得自己可以就算是畢業。」</p><h4>從創辦火箭隊開始到現在，有從學員身上獲得什麼嗎？</h4><p>「會遇到更多不一樣的人，能從這些人身上知道要怎去應對這些人。且因為遇到了有不同想法的人，才敢開直播教課。因為每個人的背景不同，若今天用清一色的教育方式來教學，反而聽得懂的人可能只有部分，其他人就聽不懂。這時，因為接觸到很多的學員反而可以知道遇到什麼類型的學員就要用什麼方式去跟他解釋技術。」</p><h4>畢業後的學員有持續追蹤聯繫嗎？</h4><p>「有，大部分都會有聯繫。因為對學員來說，找到工作後都算是一個新的歷程，學員們也會因為遇到些後續職涯的問題而繼續詢問 mentor。後續學員通常都會有個問題就是成為『工程師』就是需要當一輩子的工程師了嗎？基本上工程師只是後續職涯上的一個選項。當然後續也可以當『產品管理師』或是『主管』之類的…。這都取決於學員後續的規劃。」</p><h4>火箭隊未來目標？</h4><p>「五年內目前不會有太大的變化，主要還是會持續著重在訓練工程師上。但後續若要跟政府合作還是需要實績。」</p><figure><img alt="2020MOPCON-六角學院-火箭隊" src="https://cdn-images-1.medium.com/max/640/1*NPR2k1247IG-stmb9iyjpA.png" /></figure><p>在 MOPCON 訪談小組的觀察中，發現到火箭隊的 mentor 與學員間的聯繫算是密集的，因為洧杰知道決大部分學員後續的狀況，以及找到的工作類型大概是什麼。洧杰也自身笑笑的說是因為自己偏「內向」的人，但也會默默的觀察學員們的狀況。他會去注意大多學員的情緒及狀況，並給予適度地提醒及指引方向，猶如鄰家大哥哥般的親切。</p><p>像火箭隊這樣免費提供培訓工程師的地方其實在台灣有越來越多的傾向，有別於其他培訓組織。火箭隊這邊主打 mentor 一對四的制度及有系統的去設計符合每位學員適合的教程，且著重在讓學員們在培訓的過程中養成「自學」能力。如此設身處地的為學員著想的培訓組織並不多。</p><p>而今年 2020 <a href="https://mopcon.org/2020/">MOPCON</a> 洧杰也有參加此次的活動，將於活動第二天上午時段的「<a href="https://mopcon.org/2020/schedule/">主要議程</a>」中分享。</p><ul><li>主題：「<a href="https://mopcon.org/2020/speaker/21">CSS 架構演化史</a>」</li><li>時間：10 月 25 日（日）9:20 ~ 10:00</li><li>講者：洧杰</li></ul><p>另外，洧杰及火箭隊的學長姐們也會在活動第二天的下午時段分享兩個「<a href="https://mopcon.org/2020/schedule_unconf/">交流議程</a>」，分別是：</p><ul><li>主題：「軟體工程師養成計畫通」</li><li>時間：10 月 25 日（日）14:30 ~ 15:00</li><li>講者：洧杰</li><li>主題：「菜鳥工程師經驗談」</li><li>時間：10 月 25 日（日）15:00 ~ 15:30</li><li>講者：火箭隊的學長姐們</li></ul><p>若是對火箭隊或六角學院有興趣或問題，歡迎到場來找洧杰詢問唷！</p><p>有興趣的讀者們，歡迎參與今年 2020 <a href="https://mopcon.org/2020/">MOPCON</a> 的活動。</p><p>訪談人：議程組 — Brook, Justin</p><p>撰稿人：議程組 — Justin</p><h3>2020 MOPCON 售票資訊：</h3><p>▋售票票種：一般會眾票、社群票、VIP/VVIP票、開源貢獻者票</p><p>▋售票官網：<a href="https://lihi1.com/pJnCq?fbclid=IwAR2AS-dle_yfRhc0y3kaHC6v4xQPa3skUlPSvV33jsQgFVMRQBWRAYgkyXY">https://lihi1.com/pJnCq</a></p><p>▋社群票折扣碼請洽：您的信箱、參與的技術社群與MOPCON對接的窗口</p><blockquote><a href="https://pse.is/UN32S">點擊關注 2020 年 MOPCON 最新資訊</a></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3eea43a48dd6" width="1" height="1" alt=""><hr><p><a href="https://medium.com/mopcon-%E5%B7%A5%E4%BA%BA%E6%99%BA%E6%85%A7%E8%A8%98%E4%BA%8B%E6%9C%AC/mopcon-%E5%9C%A8%E5%8D%97%E9%83%A8%E6%8C%81%E7%BA%8C%E8%80%95%E8%80%98%E7%9A%84%E7%81%AB%E7%AE%AD%E9%9A%8A-3eea43a48dd6">MOPCON — 在南部持續耕耘的火箭隊</a> was originally published in <a href="https://medium.com/mopcon-%E5%B7%A5%E4%BA%BA%E6%99%BA%E6%85%A7%E8%A8%98%E4%BA%8B%E6%9C%AC">MOPCON 工人智慧記事本</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[TGO-Networks 心得]]></title>
            <link>https://medium.com/@justinlee_78563/tgo-networks-%E5%BF%83%E5%BE%97-2af03226689?source=rss-5a463ab3453b------2</link>
            <guid isPermaLink="false">https://medium.com/p/2af03226689</guid>
            <category><![CDATA[tgonetworks]]></category>
            <dc:creator><![CDATA[Justin Lee]]></dc:creator>
            <pubDate>Thu, 02 Jul 2020 07:46:38 GMT</pubDate>
            <atom:updated>2020-07-05T07:51:54.701Z</atom:updated>
            <content:encoded><![CDATA[<h3>TGONext — 架構組- 活動心得</h3><h3>前言</h3><p>會參加 <a href="https://next.tgonetworks.org/">TGONext</a> 活動的起因主要是因為身邊能一起討論系統架構背景的人並不多，大多數都是自己翻閱網路上的文件來探尋其知識，又或是參與技術社群活動，並藉由參加活動去詢問相關技術的問題。</p><h3>緣由</h3><p>有趣的是，因為自家公司使用的建置環境是 AWS，而自己又是公司內需要負責後端及建置系統架構環境的工程師。在建置及轉換架構的過程中，都是參考 AWS 官方文件及網路上的技術文章去設計適合公司產品的架構。但因為就可能覺得自己有設計不量或是考量不週的問題，就前去參與 AWS conference，在參加議程之餘，趁機問了不少他們工程師些設計上的問題。</p><p>但後續想想這其實也不是辦法，單靠網路上的資源及參加社群活動又甚至是直接詢問服務提供商，其實很難去學到些較為專業的判斷。例如像是如何在現有情境下選擇適合的架構，又或是怎麼考量其技術工具的優缺…等。這些決策的判斷，若是能有一位自身經歷豐富的人帶領，想必是能省下不少時間且較不用擔心自身學習的方向是沒有打到問題的核心。</p><p>這時就看到 <a href="https://www.facebook.com/tgotaiwan/">TGONetworks</a> 所舉辦的 <a href="https://next.tgonetworks.org/">TGONext</a> 活動，它是以一個導師計畫。藉由導師來去帶領導生們去思索並探討發現問題的本質。而這活動剛好有架構組的組別，且其中一位導師是 Ant。老實說，會想報名的另外個主要原因是因為有看到 Ant 在導師名單中。先前已經好段時間追蹤 Ant 的臉書資訊，大多都是分享些技術相關的文章，自己也有從其分享的文章中受益。且在擔任 MOPCON 志工時，也是負責跟 Ant 做活動上的連繫。在來往過程中，有觀察到 Ant 的思維及邏輯是值得仿效且學習的。</p><p>於是，就報名了該活動。在面試的過程中其實滿緊張的，並沒有表現的非常好。但最後幸運的入選了，且剛好是 Ant 組別下的學生。</p><h4>第一次討論</h4><p>在第一次組聚的時候，我們從「高併發高流量」的角度來開始討論。導師從效能測試工具開始探討其工具優缺及各個工具所適合測試的情境。後續再從 MAU 帶到怎麼求 QPS，並藉由 QPS 量化的數據來評斷當前架構是否符合我們的情境。甚至是若要說服上司或主管在現有系統架構上進行更動，能提出實際量化的數據來協助溝通的話，是會更有說服力的。</p><h4>第二次討論</h4><p>這次的主題圍繞在「架構與資料庫」上，在討論中涵蓋了許多架構需要考量到的技術，而導師不管在談到哪個技術的構面時，都會強調技術的「本質」。當我們使用了一個技術就需要去了解這個技術想要解決的問題為何。若說不清楚或不了解這項技術的主軸為何時，就直接將這項技術納入現有的架構框架下是一件非常不明智的事情。</p><h4>第三次討論</h4><p>此次的討論是延續上次的討論，主軸在「架構的演進」上。而導師也是再次強調技術「本質」的問題。每個技術都有自己其優缺點，架構師在什麼樣的情境下使用什麼樣的技術，其背後的考量或是判斷，都會間接顯示出身為「架構師」的價值。且當我們選用了某個技術來去解決另外個問題時，也需要額外注意到新技術所帶來的副作用。</p><h4>第四次討論</h4><p>最後這次的討論主題是探討「log 追蹤」與「技術債」的議題上。而這兩個之間的關係就當我們藉由 log tracker 找到問題後，依序藉由量化的方式來找出目前系統有什麼類型的問題。與第一次討論一樣，導師也是強調量化數據的重要性。因為我們能從量化的數據中發現問題發生的原因，甚至還能預估即將要發生的問題，例如硬體設備即將快負荷不了目前的流量之類的。</p><h3>小結</h3><p>除了導師 Ant 外，其他的同夥們其實也都有相當程度的實力及經驗，整個活動參與下來會覺得自己應該是最資淺的那位，因其架構相關的資訊量爆表還有些技術或工具的關鍵字都是自己第一次聽到。還有從導師及同夥身上學到看事情的觀點，從切入點到作出一個結論的方式以及各種企業戰略上的考量…等。這些對我來說都還有很多學習並改進的空間。不過，整體參與下來感覺是滿開心的，因為學習到不少知識。</p><p>若要以一句話來歸納整體活動的心得，那我會說：</p><blockquote>技術的「本質」非常重要，當我們能了解它的優缺及最主要想解決什麼樣的問題時，不管我們在什麼情境下都能用最適當的方式來去解決。</blockquote><p>換個角度想，能將各個任職於不同公司且擁有系統架構經驗的人聚在一起討論與「架構」相關的技術及議題，這其實是一件非常難能可貴的機會及經驗。</p><p>感謝 <a href="https://www.facebook.com/tgotaiwan/">TGONetworks</a> 所辦的活動。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2af03226689" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[TGO-Nextwork 架構組 — Log tracker]]></title>
            <link>https://medium.com/@justinlee_78563/tgo-nextwork-%E6%9E%B6%E6%A7%8B%E7%B5%84-log-tracker-d318430db96e?source=rss-5a463ab3453b------2</link>
            <guid isPermaLink="false">https://medium.com/p/d318430db96e</guid>
            <category><![CDATA[backend]]></category>
            <category><![CDATA[tgonetworks]]></category>
            <dc:creator><![CDATA[Justin Lee]]></dc:creator>
            <pubDate>Sun, 28 Jun 2020 13:58:37 GMT</pubDate>
            <atom:updated>2020-07-02T17:07:30.752Z</atom:updated>
            <content:encoded><![CDATA[<h3>TGONext 架構組 — Log tracker</h3><h3>前言</h3><p>這是紀錄是參加由 <a href="https://www.facebook.com/tgotaiwan/">TGONetworks</a> 所辦 <a href="https://next.tgonetworks.org/">TGONext</a> 的活動記錄，而在這活動中筆者選擇了架構組，並在導師 <a href="https://blog.gcos.me/">Ant</a> 的帶領下討論與「架構」有關的議題，下述為每次活動討論的議題及筆記內容。</p><h3>Log tracker</h3><p>這議題當初是筆者提出，因為在「log tracker」實作方面的經驗自認不太足夠，提出來想聽聽看導師及其他組員的想法及做法。</p><p>在討論的初期，我們先將問題分成「單機式服務」及「分佈式服務」的 log tracker。</p><ul><li>單機式服務的追蹤</li></ul><blockquote>註記：會有時間問題</blockquote><ul><li>分布式服務的追蹤</li></ul><p>當服務變成多元的時候，很難在短時間內可以知道是什麼服務，像是 event 的追蹤。導師提到我們可以藉由「OpenTracing」的工具來協助我們去追蹤 log 的問題。</p><p>OpenTracking：</p><ul><li><a href="https://github.com/jaegertracing/jaeger">Jaeger</a> — Uber open source</li><li><a href="https://zipkin.io/">Zipkin</a></li></ul><blockquote>註記：延伸討論還有 <a href="https://www.elastic.co/apm">Application Performance Monitoring (APM)</a>。而這部分偏向效能部分的監控。</blockquote><p>後續製作出來的 dashbord 一定是「集中式管理」，但當中最麻煩的問題是「時間」的問題，因為今天存入進去的是機器自己本身的時間。且通常也會有 network 延遲的問題，這是因為每個服務都會落在各個主機上。</p><p>導師也提到，每個 tracker 服務都會有相對應程式語言的支援，但倘若開發的專案有使用多個程式語言。就會需要再額外商榷使用哪一個 log tracker service。同時也需要額外注意後續 dashboard 是否符合我們觀察者自己的情境或需求。</p><p>到最後，我們通常也不太會去分「單機」或「分佈式」，這是因為這部分的追蹤算是通用的設計問題。但主軸就在還是於 dashboard 上。</p><p>導師也以自身經歷做分享並提到 log 原則會自己寫，但 CPU, memory 及 network 就沒有這部分的資訊。而 log 的設置則在 function 的前跟後都要有，這是因為中間處理時間都會有些延遲問題。又或是中間資料處理前跟處理後資料變動的問題，而這部分可能又牽扯到責任歸屬的問題。</p><blockquote>註記：不管是基礎架構的維護或升級，又或是 service 的一些溝通及處理。則可以用 sidecar 方式去做處理。</blockquote><p>參考文件：</p><ul><li><a href="https://docs.microsoft.com/zh-tw/azure/architecture/patterns/sidecar">Sidecar</a></li><li><a href="https://docs.traefik.io/observability/tracing/overview/">Tracing</a></li></ul><h3>技術債問題</h3><p>後續，我們額外討論了關於「技術債」的問題。導師提到，基本上技術債就是邊實作邊處理。我們可以將技術債分成「已知」及「未知」的部分。</p><h4>已知</h4><p>「已知」的部分比如像是 coding style 的問題，並把已知的一些問題寫成一個 task card。但技術債的產生有可能是為了因應產品的趕上線或其他因素產生。而這時我們會需要跟 PM 或主管進行溝通或協調，因為以他們的角度來說，若是這個技術債並沒有對系統有實質上的效益的話，或許沒有去解決的必要。</p><blockquote>更進一步的發想，那要如何跟說服他們解決這個技術債呢？或改了這個 issue 後，會有什麼好處呢？</blockquote><p>這時或許可以提說後面好維護或什麼的，但這些理由就不太好去說服 PM 或主管們。但若換個方式來解釋。例如若完成這個 issue 會提高 CI 更快，可以節省了多少時間。也就是說如果我們能提出一個「量化」的數字，就能更容易的去說服他們讓我們去修技術債問題。</p><p>但這又延伸出一個問題，若我們每次為了求出「量化」才能處理技術債的話。這部分可能又會是一個不太好的循環。</p><p>所以這部分最核心得問題就在於「溝通」的問題，因為 PM 及主管們的考量與工程師的考量基準是不一樣的。他們考量的是企業的商業價值，而工程師考量的或許會比較偏向專案的健康或效能上。換個角度，工程師也可以用商業價值的方式來說服業務去處理，比如我解決了一個 issue 就能減少客訴的次數…之類的。</p><blockquote>註記：這就跟第一次討論的時候說的，當我們了解 MAU 後續就能藉由計算的方式來提出一個量化的數據。例如 MAU 換取 SLA。</blockquote><h4>未知</h4><p>當遇到未知的技術債問題時，我們首先要先決定出何謂「未知」的技術債，並嘗試將它給具象化出來。但未知的技術債要提前被發現其實是有點難度的，絕大多數都還是碰到了才會知道。那要如何提高發現「未知」技術債的機率？就以先前提到的，如果做好 log tracker 的部分，或許能提高這部分的機率。</p><p>導師也提醒我們，不要將技術債當成一個 issue 去處理。我們可以轉換成正面的事情看待，例如「商業價值」去看待。但這部分就跟 APM 有很大的關係，若能藉由 APM 來將量化的結果做一個呈現，與 PM 及主管之間的對談也能間接降低其溝通成本。工程師需要試著將技術轉為讓別人瞭解的。</p><blockquote>註記：也能從 SLO 的面相來去發想。這與效能有關，又或是客訴率。可以與業務部分共同討論。<br>+ performance<br>+ 交付頻率<br>+ 交付時間<br>+ 失敗率<br>+ 平均恢復時間（當有問題發生的話）</blockquote><h3>結論</h3><p>這次的討論主要環繞在「log」的紀錄與追蹤還有如何處理「技術債」的議題上。整個脈絡會是當我們藉由 log tracker 來發現到問題後，並嘗試藉由量化的方式來發現目前所設計出來的系統是否有哪方面的問題。最後，在藉由量化的數據來與 PM 或主管們進行溝通並嘗試說服他們，假設某個潛在問題不解決的話是否對現在的產品會有間接的影響。</p><p>的確，筆者先前也是遇到了需要跟主管解釋需要進行重構或是解決一些技術債的地方，而主管的想法卻是比較偏向於如果這些問題不影響系統運作的話可以先不去處理。等同於說筆者並沒有提出一個充分的論述來去說服主管去解決技術債。但筆者這部分的心態是非常的…工程師吧？因為知道問題已經在哪邊了，如果沒有去解決就會很想死的那種 XD</p><p>後續在反思之後，反而就沒有這麼的執著當發現問題後，就需要趕快去解決。換個角度講，若說這個問題與公司的企業價值或其他附加價值上，沒有一定的相關。例如像是 coding style 的問題。那或許可以擺在後續當主要功能開發完畢後再回頭解決就行，也就是先以企業價值做為主要考量，並判斷解決問題的先後順序。</p><h3>心得</h3><p>這幾次討論下來的心得若要筆者濃縮成一句話來對應的話就是：</p><blockquote>技術的「本質」非常重要，當我們能了解它的優缺及最主要想解決什麼樣的問題時，不管我們在什麼情境下都能用最適當的方式來去解決。</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d318430db96e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[TGO-Nextwork 架構組 — 架構的演進]]></title>
            <link>https://medium.com/@justinlee_78563/tgo-nextwork-%E6%9E%B6%E6%A7%8B%E7%B5%84-%E6%9E%B6%E6%A7%8B%E7%9A%84%E6%BC%94%E9%80%B2-4d0a6b830738?source=rss-5a463ab3453b------2</link>
            <guid isPermaLink="false">https://medium.com/p/4d0a6b830738</guid>
            <category><![CDATA[tgonetworks]]></category>
            <category><![CDATA[backend]]></category>
            <dc:creator><![CDATA[Justin Lee]]></dc:creator>
            <pubDate>Sun, 28 Jun 2020 13:57:51 GMT</pubDate>
            <atom:updated>2020-07-02T17:09:13.222Z</atom:updated>
            <content:encoded><![CDATA[<h3>TGONext 架構組 — 架構的演進</h3><h3>前言</h3><p>這是紀錄是參加由 <a href="https://www.facebook.com/tgotaiwan/">TGONetworks</a> 所辦 <a href="https://next.tgonetworks.org/">TGONext</a> 的活動記錄，而在這活動中筆者選擇了架構組，並在導師 <a href="https://blog.gcos.me/">Ant</a> 的帶領下討論與「架構」有關的議題，下述為每次活動討論的議題及筆記內容。</p><h3>Migration 的處理</h3><p>在討論的一開始，在導師詢問在上次討論結束後是否有什麼問題時，這時有組員提出了如何在不停止主機的狀況下進行資料庫「Migration」的議題。而這部分若以「版本控制」的角度來想，其實也不違和。假設以程式碼的角度來說有 git 可以幫忙來做版本控制。但以資料庫角度來說或許是使用 migartion 來達成。</p><p>當我們在撰寫程式碼時藉由 git 來切換版本是沒有什麼太多的副作用（如果版本控制有做好的話 XD）。若由 migartion 來切換其版本可能會遭遇到些不可逆的狀況。若有使用 migartion 工具的人應該都會知道 migartion 會提供個 up 及 down 的機制，在這機制中我們會藉由「up」來做開新 table、增加 column 又或是更改 column…等動作。但在「down」的時候就會順勢做相對應的刪除 table、刪除 column…等與 up 階段不同的動作。而這樣的做法通常就會連帶地將資料庫內的資料連帶刪除或改變其狀態。</p><p>這部分導師則提出了兩個方向來解決這樣的問題：</p><p>+ 解決作法一：當資料庫在進行 migration 時，先將原先舊的資料進行修改，而中間若有 I/O 的動作發生，則進行緩存。並在後續 migration 完成後，再將緩存的資料用 rename 的方式存進去。</p><p>+ 解決作法二：在 migration 的 down 階段那邊額外寫一個 snapshot 的東西，當 rollback 回來後，資料也會跟著回來。</p><p>但若換個作法來說，資料庫在 schema 生成後，當遇到需要刪除 schema 時，盡量不要實質上去刪除 schema，反而讓該 schema 繼續留著就不要接續使用就好。但這樣的處理方式，我們也必須去思考會不會造成什麼額外的問題？</p><h4>如果不刪除資料，會有什麼問題？</h4><p>針對這個議題，如果在不刪除資料時可能會發生：</p><ul><li>可能會有殘留的 index 存在，導致在進行 select 時會耗費額外的效能。</li><li>不但生成了技術債也讓殘留的 schema 讓其他開發人員沒辦法更快地看清楚整個資料庫 table 的設計。</li><li>資料庫的空間殘留導致 disk 及 memory 的負荷。</li></ul><p>另外，導師也提到其他在資料庫的架構設計上需要注意的問題點：</p><ul><li>若遇到多個資料庫的處理時，需注意「資料一致性」的問題。</li><li>Table lock 的問題。</li></ul><blockquote>註記：MySQL 較常遇到 lock 的問題。而 Postgre 則較少遇到該問題，因為不會將資料 lock 住。但 MySQL 有在後續版本中修改了這個問題。這部分在討論過程中導師也有額外提到，若想深究則可以去了解每個資料庫服務在改版過程中到底修改了什麼樣的問題。</blockquote><p>再回顧到討論這議題的主要問題，「如何在不停止主機的狀況下進行資料庫 Migration？」</p><p>導師則說可以參考 <a href="https://github.com/github/gh-ost">gh-ost 工具</a>，它算是一個 migartion 的標準處理流程。並依據這套標準隨著實際系統情境的不同而做細部的設計更改。但也特別提到若使用了這套工具需注意的是當已在進行 migration 時，若後悔想要停止其動作，gh-ost 是沒有提供這項功能的。</p><p>最後，又回顧「Migration」的部分。導師這時也提出個問題「說 2 TB 的 table 下使用 migration 的話會有什麼影響？</p><ul><li>會因為資料量太大導致資料在轉移的過程中使得 I/O (disk)飆高，也因為 I/O 的部分影響到 CPU 及 硬碟空間不足的問題，需要特別注意。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QWH7siB8VdjVxzWylRFV5w.png" /><figcaption>Figure from: <a href="https://github.com/github/gh-ost">https://github.com/github/gh-ost</a></figcaption></figure><h3>延伸議題：RDBMS &amp; NoSQL</h3><p>影響資料庫的效能主要會圍繞在 memory cache 上。</p><p>RDBMS 主要是使用 B+ Tree 來實作，其資料分割可以藉由 id 可以來進行分類。</p><p>而 NoSQL 的部分以 Mongo 來說，其主要特色為「延展性高」但因為這個特色就犧牲了不使用 B+ Tree，而是使用 B Tree。也就因為使用了 B Tree 使得 Mongo 就是厲害在資料乘載量的部分比起 RDBMS 來說有著絕大的優勢。</p><p>但也不是因為這樣就可以認為 Mongo 沒有缺點，其缺點就在於說是只提供單點寫入，且在可擴展性(scalability)的部分只有讀取沒有寫入。且 sharding 有個「re-sharding」需要去考量。不過這部分現在 mongo 有支援了。</p><blockquote>註記：關於 sharding 機制。Mongo 有 sharding 的功能支援，而 MySQL 及 Postgre 需要自行手動自己去實作。</blockquote><blockquote>註記：可研究 RDBMS 及 NoSQL 各個的資料庫其內容的使用的 tree。通常分為 B Tree 及 B+ Tree。</blockquote><p>導師觀點：在資料庫的考量上。若說資料庫成型沒有 20 年，則就暫時不會去考慮。尤其是金融業或是較為傳統領域的使用上，就會用較為成熟的資料庫。</p><p>參考文件</p><ul><li><a href="https://docs.mongodb.com/manual/sharding/">Mongo — sharding</a></li><li><a href="https://blog.toright.com/posts/4552/mongodb-sharding-%E5%88%86%E6%95%A3%E5%BC%8F%E5%84%B2%E5%AD%98%E6%9E%B6%E6%A7%8B%E5%BB%BA%E7%BD%AE-%E6%A6%82%E5%BF%B5%E7%AF%87.html">MongoDB Sharding 分散式儲存架構建置 (概念篇)</a></li></ul><h3>架構的演進</h3><p>延續上一次（第二次）的討論，導師在這次討論中又額外提到：若是單一主機已經乘載不住流量，這時該怎麼去做？</p><p>在一番討論後我們歸納出下列幾點方式：</p><ul><li>scall-up：升級 instance 的內置配備。</li><li>scall-out：直接增加 instance。</li><li>使用 cache</li><li>使用 queue</li><li>服務拆分：一套系統可能分有不同服務，將這些服務獨立拆分成一個 instance。</li><li>限制流量</li></ul><p>其實每個做法都會對應到每個適合的情境，不管我們使用了哪個做法也都會有相對應需要去承擔的問題及風險。</p><ul><li>Scall-out 情境：若情境是建立在已經擁有百台 instance 的狀況下還合適嗎？要是遇到這百台的 instance 需要進行功能的更新時，我們要如何能在短時間內將功能 push 上去。</li><li>Cache 情境：若說一個架構設計成擁有 cache 了但如果今天主機關機了。那這時的資料會是資料庫最新的還是 cache 才是最新的？通常是資料庫才是最新的但 cache 不是最新的。這時就要去承擔這個設計所帶來的副作用。</li></ul><blockquote>註記： 導師提到可探討為何 facebook 及 微軟都還在使用 memory cache 而不使用其他種 cache 服務？</blockquote><p>在進行架構設計時，我們必須從「風險」去做更進一步的考量，並發想是否有做好當遇到可預測的狀況時，能夠迅速地讓整個服務重啟且減少資料遺漏的可能性。但當然最重要的還有對技術的熟悉程度，若使用了一個不太熟悉的技術，當問題發生了是沒辦法立即的去針對問題做修復動作。</p><p>導師也特別提到，通常在什麼狀況下我們會需要從單一個架構模式轉成另一個架構模式呢？</p><ul><li>金錢部分</li><li>管理部分</li></ul><p>架構演進的效能分析，導師提出了 X-Y-Z 軸的架構：</p><ul><li>X軸：Scale up / scale out</li><li>Y軸：業務層，例如功能面。</li><li>Z軸：邏輯層，例如 sharding 或 partition。</li></ul><p>透過「X-Y-Z軸」軸的架構，可能揣摩多種架構設計的原因與理由，讓系統初始開始架構時有個可以考量的方向。</p><h4>下述哪個硬體擴充最為困難？</h4><ul><li>I/O (disk)</li><li>Network</li></ul><blockquote>&gt; 註記：Microservice 會有可能遇到 network 的頻寬問題。(這部分可以搜尋 netflix 的案例，去搜尋它們使用了多少的 microservice。)</blockquote><ul><li>Memory</li><li>CPU</li></ul><p>在沒有假設任何情境的情況下，其實答案並沒有絕對。但若以 cloud service 來說，反到 network 是沒辦法升級的。這個論點可以藉由為什麼 AWS 或是 GCP 或其它 cloud service 會在不同的「區域」增設主機來提供服務。</p><h3>區域服務</h3><p>這部分我們探討了「災難恢復」的議題，在討論中提到台灣金融業的機台通常都會有個「災難恢復中心」，其距離會有個法規，限制其距離一定要為 30 公里。但若公司要設計太近，得還要有個原因去回覆才行。</p><p>且以台灣金融業為例，目前資料絕大多數會以落地為主。但少許銀行服務有慢慢地前往 cloud service 上。另外也提到，關於「個資」的部分，與國家有關的個資通常都會留在自己國家上。但目前以其他行業的個資，台灣是沒有強制將個資留在台灣就是。</p><p>導師也特別提到，當我們真的遇到了災難，不管將資料備援在雲端或是其他區域，如何將資料進行回覆也是在整體架構上需要考量到的。以及先前一直在提到的如何確保「資料一致性」的議題。</p><h3>Queue</h3><ul><li>思考：什麼時候該用 queue？</li><li>asynchronous queue 的問題，可以加大記憶體或甚至是服務獨立出來。</li><li>queue 一定要有容量上限，不能讓它無限，但限制數量後 produce 那一端會連鎖效應的問題。</li><li>queue 擁有許多種特性，至少七到八種以上。</li><li>用 queue 通常都有 order 問題。</li><li>通常 queue 所產生的問題都是連鎖性的。</li></ul><p>這部分筆者由於還沒有實際用過 queue，所以只記錄了部分的筆記。其它可參考其他組員的 blog 紀錄文章：</p><ul><li><a href="https://blog.frost.tw/posts/2020/04/03/TGONext-Database-Migration-and-Architecture-Changing/#more">TGONext: 資料庫變遷跟架構改變</a></li><li><a href="https://marcus116.blogspot.com/2020/05/Database-Migration-Software-Architecture-Evolution.html">[筆記] TGONext 架構組 — 資料庫 Migration 及軟體架構的演進</a></li></ul><h3>可額外探討議題</h3><ul><li>資料庫部分，可研究 row based database 與 column based database 的設計差異。</li><li>架構部分，可研究 twitch 的架構。</li></ul><h3>結論</h3><p>這次的討論接續上一次也是在強調技術「本質」的問題。每個技術都有自己其優缺點，架構師在什麼樣的情境下使用什麼樣的技術，其背後的考量或是判斷，都會間接顯示出身為「架構師」的價值。</p><p>且探討的過程中，或多或少也都與上一次討論所提的「效能」金三角有關。當我們用了某個技術來補足另一個技術所不及的地方時，是否又延伸了新的需要考量的問題呢？</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4d0a6b830738" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[TGO-Nextwork 架構組 — 架構與資料庫]]></title>
            <link>https://medium.com/@justinlee_78563/tgo-nextwork-%E6%9E%B6%E6%A7%8B%E7%B5%84-%E6%9E%B6%E6%A7%8B%E8%88%87%E8%B3%87%E6%96%99%E5%BA%AB-c275484c3290?source=rss-5a463ab3453b------2</link>
            <guid isPermaLink="false">https://medium.com/p/c275484c3290</guid>
            <category><![CDATA[tgonetworks]]></category>
            <category><![CDATA[backend]]></category>
            <dc:creator><![CDATA[Justin Lee]]></dc:creator>
            <pubDate>Sun, 28 Jun 2020 13:54:48 GMT</pubDate>
            <atom:updated>2020-07-02T17:09:29.255Z</atom:updated>
            <content:encoded><![CDATA[<h3>TGONext 架構組 — 架構與資料庫</h3><h3>前言</h3><p>這是紀錄是參加由 <a href="https://www.facebook.com/tgotaiwan/">TGONetworks</a> 所辦 <a href="https://next.tgonetworks.org/">TGONext</a> 的活動記錄，而在這活動中筆者選擇了架構組，並在導師 <a href="https://blog.gcos.me/">Ant</a> 的帶領下討論與「架構」有關的議題，下述為每次活動討論的議題及筆記內容。</p><h3>基礎架構的問題</h3><p>若今天要設計一個產品服務的架構時，假設是一個「Web」網站的服務。設計初期，我們直覺上會採取一個最簡單的設計，也就是在一台「Server」裡面放置「Web 專案」及「資料庫」，其設計也被稱之為「Monolithic Architecture(單體式架構)」。如下圖所示：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PW0ImAXuMXjlf4_w8JBPpQ.png" /></figure><p>然而，隨著「請求(request)」的增加，我們可以將「資料庫」從「Server」中抽取出來放置在另外個 Server 中成為一個獨立個體。而這個設計的用意就是為了防止「Web」與「資料庫」在同個 Server 的情況下互相搶奪資源。如下圖所示：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UC54IXtMR3Jn8GiNJjhv9w.png" /></figure><p>更進一步，當系統的使用人數越來越多且請求的資料有逐漸重複的時候。例如像是訂單系統中，前端必須不斷的隔一小段時間更新目前訂單的最新資料。在這種情境下我們可以考慮加入「Cache」的機制，來滿足這個狀況的需求。如下圖所示：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xEi5yMpjYDx3MO7LjV6Eeg.png" /></figure><p>雖然引進 cache 能夠解決上述的問題，但我們將 cache 引入了現有的技術架構中，就需要注意的是若 cache 沒有處理好有沒有可能造成額外的問題。例如「快取雪崩」及「快取穿透」的問題。</p><ul><li>快取雪崩(Cache avalanche)：以上圖三為例，假設系統遇到了一天內算是高併發高流量的時間下，結果 cache server 發生了異常或因為沒辦法承載而掛掉或重新啟動。這時的所有請求會直接灌向 database server 來進行資料的取得，但因為流量相當的大，短時間內無法回應各個請求，間接造成了資料庫的異常。到最後不管是 cache server, database server 甚至是 web server 都因為沒辦法滿足請求的內容而造成服務停擺。</li><li>快取穿透(Cache penetration)：當請求所需的內容是在 cache server 中不存在的內容且剛好 database server 也沒有相對應的資料時，就會不斷的提高資料搜尋的成本，嚴重時就會讓 database server 造成停擺。</li></ul><p>若是遭受到上述的問題，整體架構的復原會是一個最大的問題。而這邊需要額外考量的是服務啟動的先後順序，若說我們先啟動 web server 那麼就可能導致因為服務才剛啟動，短時間內的流量非常的多，但因為 cache server 或 database server 還沒有啟動，進而導致整個服務會因為沒辦法負荷大量流量，又一次造成停擺的問題。</p><p>在進行架構設計時，我們必須從「風險」去做更進一步的考量，並發想是否有做好當遇到可預測的狀況時，能夠迅速地讓整個服務重啟且減少資料遺漏的可能性。但當然最重要的還有對技術的熟悉程度，若使用了一個不太熟悉的技術，當問題發生了是沒辦法立即的去針對問題做修復動作。</p><ul><li>參考文件<br> 1. <a href="https://www.pixelstech.net/article/1586522853-What-is-cache-penetration-cache-breakdown-and-cache-avalanche">What is cache penetration, cache breakdown and cache avalanche?</a><br> 2. <a href="https://aws.amazon.com/tw/builders-library/caching-challenges-and-strategies/">快取的喜與憂</a></li></ul><h3>微服務(Microservices)</h3><p>在上一段的最後講到了 server 在重啟的順序，然而這在「微服務」中，是不用去思考後續啟動的順序。這是因為微服務中有「去中心化」的特性，每個 service 都是獨立的個體。</p><p>相對的，若將架構轉換成微服務的架構時，就需要注意處理下列幾點事項：</p><ul><li>log 的追蹤：在微服務中，一個請求的處理過程中可能會經過多個 service，而資料經過了一個 service 就改變了它原本的內容。這時要是沒有設計 log 的追蹤，很有可能沒辦法準確的知道是哪一個 service 的個體發生了問題。</li><li>相依性問題：要考量相依性，但因去中心化，要有集中化管理才行。而這部分的集中化管理可以透過「Service Mesh」及「Sidecar」來處理。</li><li>資料一致性的問題</li></ul><blockquote>註記： 若說 Sidecar 掛掉則會砍掉整個 instance 再重新啟動新的 instance。</blockquote><p>另外，要如何判定什麼時候導入微服務的主要考量在人與組織之間的狀況。例如跨組織的情境可使用微服務。在設計架構時要先設立技術邊界是什麼。</p><p>在設計 server 架構時，從一開始一般的「Monolithic」階段設計到「Microservice」階段，中間會有所謂「模組化過程」的過渡期。</p><ul><li>參考文件<br> 1. <a href="https://blog.envoyproxy.io/service-mesh-data-plane-vs-control-plane-2774e720f7fc">Service mesh data plane vs. control plane</a><br> 2. <a href="https://zhuanlan.zhihu.com/p/98193165">微服务实践：我们离Service Mesh还有多远</a><br> 3. <a href="https://columns.chicken-house.net/2016/09/15/microservice-case-study-01/#%E5%BE%AE%E6%9C%8D%E5%8B%99%E6%9E%B6%E6%A7%8Bmicroservices-vs-%E5%96%AE%E9%AB%94%E5%BC%8F%E6%9E%B6%E6%A7%8Bmonolithic">微服務架構 #1, WHY Microservices?</a><br> 4. <a href="https://docs.microsoft.com/zh-tw/azure/architecture/patterns/sidecar">側車模式</a><br> 5. <a href="https://medium.com/brobridge/%E5%BE%AE%E6%9C%8D%E5%8B%99%E6%9E%B6%E6%A7%8B%E4%B8%8B%E5%B8%B8%E8%A6%8B%E7%9A%84%E5%9B%9B%E5%80%8B%E6%8A%80%E8%A1%93%E9%9B%A3%E9%A1%8C-7e2112d0f0d">微服務架構下常見的四個技術難題</a><br> 6. <a href="https://www.infoq.com/news/2016/02/ddd-microservices/">Using Domain-Driven Design When Creating Microservices</a></li></ul><h3>效能(Performance)</h3><p>在考量整個系統架構的設計時，我們也需要顧慮到「效能」的部分。效能基本上會有所謂的「Performance 金三角」，主要由「Throughput」、「Memory footprint」及「Latency」所組成，以及圍繞在資料一致性的問題。</p><blockquote>註記：而這些一致性的考量都要看產品的需求。若以分佈式系統來說就會有「強一致性」、「最終一致性」的一致性考量問題。</blockquote><p>而這三個特性也會因為我們提高了某個特性而降低了另一個特性。例如：若以「微服務」來說，會造成嚴重的 lantency 問題但會讓 throughtput 提升。</p><p>這是因為微服務是有多個 service 所組成，然後 service 與 service 之間是藉由 API 的方式來進行溝通。就如同先前提到的，一個請求的內容可能會需要經由多個 service 來進行處理，這時就會造成 lantency 提高的狀況。</p><p>換句話說，若說今天在建立系統架構時的情境是要設計一個能處理大量請求的系統，導入「微服務」或許是一個選擇。但若是要設計一個電商系統，可能就不是那麼的合適。</p><ul><li>參考文件<br> 1. <a href="https://github.com/CppCon/CppCon2014/blob/master/Presentations/Efficiency%20with%20Algorithms%2C%20Performance%20with%20Data%20Structures/Efficiency%20with%20Algorithms%2C%20Performance%20with%20Data%20Structures%20-%20Chandler%20Carruth%20-%20CppCon%202014.pdf">Efficiency with Algorithms, Performance with Data Structures — Chandler Carruth — CppCon 2014</a><br> 2. <a href="https://medium.com/brobridge/%E6%87%89%E7%94%A8%E5%B1%A4-cqrs-%E7%9A%84%E5%AF%A6%E7%8F%BE%E8%88%87%E5%9B%B0%E9%9B%A3-378f97e86639">CQRS</a></li></ul><h3>資料庫</h3><p>在什麼樣的狀況下選擇適合那個情境的資料庫，也是件需要考量的事情。比如說若需要使用到地理資訊系統(GIS)，並做相關的操作。或許 Postgre 資料庫會是一個還不錯的選擇。</p><blockquote>註記：可以研究每個資料庫的版本其 read 及 write 的差異。</blockquote><p>而在討論中我們也討論到關於資料庫的演進：</p><blockquote>RDBMS -&gt; NoSQL -&gt; NewSQL</blockquote><p>其中較為特殊的是「NewSQL」，它擁有 RDBMS 及 NoSQL 各自的特性。</p><p>在討論的過程中，導師也提出些議題方向讓我們後續可以進行反思：</p><ul><li>可從中觀察其資料庫技術的本質為何？若沒有提出本質，就由 source code 部分切入觀察。</li><li>可研究關於 OLAP, OLTP。而這兩種特性則合併成 New SQL，主要是強調「強一致性」。</li><li>NOSQL &lt;-&gt; SSD</li><li>memory copy (eventual)</li><li>lambda opeation</li><li>Postgre -&gt; 單寫多讀架構</li><li>MySQL -&gt; 多寫</li></ul><blockquote>註記：研究 Postgre, MySQL 的本質</blockquote><ul><li>OLAP -&gt; read, Analysis</li><li>OLTP -&gt; write, Trnasaction (強一致性)</li></ul><blockquote>註記：上述兩種特性則合併成 New SQL -&gt; 強一致性<br>例如 Google 的 <a href="https://cloud.google.com/spanner/?hl=zh-tw">Spanner</a> 用 timestamp 的方式做到強一致性。而阿里巴巴則也有另一項 New SQL 的服務。<br>至於 New SQL 的 open source 則可參考 <a href="https://www.cockroachlabs.com/">Cockroach DB</a></blockquote><ul><li>MySQL 生態系可研究 coconutSQL</li><li>ORM V.S. DBA</li><li>Kernel mode V.S. user mode</li></ul><blockquote>註記：kernel mode -&gt; IIS (但被入侵就會很危險)。user mode -&gt; ex: linux</blockquote><ul><li>什麼時候用 ORM? 優缺點為何？</li><li>在各 table 的 cloumn 中設計 Null 是好或不好？</li><li>Store position &amp; trigger 的本質探討？</li><li>STI(Single Table Inheritance) 什麼時候使用？</li></ul><h3>結論</h3><p>這次的討論涵蓋了許多架構需要考量到的技術，而導師不管在談到哪個技術的構面時，都會強調技術的「本質」。當我們使用了一個技術就需要去了解這個技術想要解決的問題為何。若說不清楚或不了解這項技術的主軸為何時，就直接將這項技術納入現有的架構框架下是一件非常不明智的事情。</p><p>導師也提到若是要觀察一個人是否真的清楚一項技術的本質，只要看他能不能回答出一個技術的優缺點，且優缺分別至少要能講出三個。若是沒辦法做到，那就能判定他對這項技術可能不是那麼的了解。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c275484c3290" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[TGO-Nextwork 架構組 — 高併發高流量]]></title>
            <link>https://medium.com/@justinlee_78563/tgo-nextwork-%E6%9E%B6%E6%A7%8B%E7%B5%84-%E9%AB%98%E4%BD%B5%E7%99%BC%E9%AB%98%E6%B5%81%E9%87%8F-629b1c0f9d21?source=rss-5a463ab3453b------2</link>
            <guid isPermaLink="false">https://medium.com/p/629b1c0f9d21</guid>
            <category><![CDATA[backend]]></category>
            <category><![CDATA[tgonetworks]]></category>
            <dc:creator><![CDATA[Justin Lee]]></dc:creator>
            <pubDate>Sun, 28 Jun 2020 13:53:28 GMT</pubDate>
            <atom:updated>2020-07-02T17:09:41.691Z</atom:updated>
            <content:encoded><![CDATA[<h3>TGONext 架構組 — 高併發高流量</h3><h3>前言</h3><p>這是紀錄是參加由 <a href="https://www.facebook.com/tgotaiwan/">TGONetworks</a> 所辦 <a href="https://next.tgonetworks.org/">TGONext</a> 的活動記錄，而在這活動中筆者選擇了架構組，並在導師 <a href="https://blog.gcos.me/">Ant</a> 的帶領下討論與「架構」有關的議題，下述為每次活動討論的議題及筆記內容。</p><h3>高併發高流量</h3><p>在我們進行高併發高流量的評估時，通常要先跟市調部門或相關人員索取關於「月活躍用戶數」- MAU(Monthly active users)的數據，好用來衡量我們需要多少個 server 或硬體設備才能承受住這些使用者的流量。甚至是為了能藉由數據來說服公司願意花錢來開啟更多 server 來處理更多的流量需求。</p><blockquote>架構師需要從 MAU 轉成 QPS 來評估問題</blockquote><p>首先，在預估每個月的乘載量前，我們需要先了解自己 server 的 QPS(Reqeust per seconds) 值。在藉由知道 server 自己的 QPS 後再接續估算其整個月的 QPS 值。</p><blockquote>註：若要進行併發測試(concurrence test)的話通常會以「秒」為單位。而自己 server 的 QPS 值通常是指每秒最多能乘載的 API 需求量。</blockquote><p>若要求得我們自己 server 的 QPS 值，可以藉由下述工具來取得：</p><ul><li><a href="https://httpd.apache.org/docs/2.4/programs/ab.html">AB Test</a></li><li><a href="https://github.com/wg/wrk">wrk</a></li><li><a href="https://github.com/giltene/wrk2">wrk2</a></li><li><a href="https://jmeter.apache.org/">JMeter</a></li></ul><p>上述這些每個工具都有自己能處理的強項，例如：</p><ul><li>AB 測試方式則為較暴力的方式，其數字未必好看，且難以觀測。因為該測試較為同時間輸入大量的 input 導致是一瞬間的流量，所以較難去觀察較符合實際情況的規則。</li><li>wrk2 則以較為能呈現實際情況的測試方式，這是因為 wrk2 是使用「<a href="https://github.com/datastax/gatling-dse-plugin/wiki/Coordinated-omission">Coordinated Omission</a>」的演算法。</li><li>JMeter：則是以分佈式的測試為主。</li></ul><h3>計算 QPS</h3><p>在進行計算 QPS 前，我們必須要有個認知是這部分需要考量使用者的行為是什麼？會不會有一秒內輸出兩個以上的 API 及中間 API 串接到了多少個不同的服務。甚至，使用者大多使用服務的時間聚集在哪個時間週期，又或是使用服務的時候會維持多久的時間。</p><blockquote>假設今天有一個情境為 MAU: 為一百萬，則 concurrence 要為多少？</blockquote><p>我們先求一個月的 request 數量，假設同時間 API 發送的數量為 3 個，則求得：</p><blockquote>公式：MAU * API 數量（單次併發）</blockquote><p>1000000 * 3 = 3000000</p><p>最後，在藉由該值來計算每台機器在巔峰時間的請求數量為多少。但計算方式可藉由兩種不同的方式來計算，倘若情境為 80% 的使用者只會花費 20% 的時間來使用我們的服務。那麼就可以使用「80/20 法則」來計算 QPS 數量。</p><h4>80/20 法則</h4><blockquote>公式：(預估 API 數量 * 0.8) / (一個月天數 * 一天總秒數 * 0.2)</blockquote><p>(3000000 * 0.8) / (30 * 86400 * 0.2) = 4.6</p><p>代表我們一個月其每秒的 QPS 高峰值為 4.6。另外，若要使用一個更極端的狀況來計算，就把情境設為 99% 的使用者會在 1% 的瞬間來使用我們的服務的話。就可以使用「超峰值法」來計算 QPS 數量。</p><blockquote>註：類似的情況可能是熱門演唱會或銷售熱門商品…時會發生。</blockquote><h4>超峰值法</h4><blockquote>公式：(預估 API 數量 * 0.99) / (一個月天數 * 一天總秒數 * 0.01)</blockquote><p>(3000000 * 0.99) / (30 * 86400 * 0.01) = 114.6</p><p>這代表了一個月期每秒的 QPS 高峰值為 114.6，也就是那一瞬間可能會瞬間飆到 115 個需求的發生。</p><p>然而，在測試的時候我們必須要避免用「內網」來進行測試。這是因為內網連線的速度一定比外網還要來的快，這時的測試結果是不太準確的。針對這部分，若說我們是在 SaaS 的雲服務上所架設的主機（例如 AWS 的 EC2），則可以透過使用不同區域的主機來去做測試。主要的目的是要用來模擬出 client 端與 server 端之間的真實情境。</p><p>上述說明了「80/20 法則」及「超峰值法」來做計算，但並非所有情境都適用於這些算法。例如：「超峰值法」可使用在演唱會、電商或特定時段流量會攀高的情境。我們應該要隨著情境的不同而選用適合的 QPS 計算方式。</p><blockquote>註記：其他還有像是「90/10 法則」及「峰值法」…等。</blockquote><p>但當然對於 QPS 我們也需要增加個 10 % 以上做保守評估。畢竟我們的目標還是以能夠提供穩定的服務為主。</p><h3>結論</h3><p>這次的討論主要集中在要怎麼藉由效能測試工具來去判斷在當下的系統架構設計下，其一台 instance 所能承受的效能極限。並藉由測試出來的數值來與 MAU 做相互計算求得 QPS 數值。藉由量化過的數值來與 PM 及主管們進行探討是否目前的系統承載量要是否能應付目前的需求。</p><p>且每個效能測試工具的各有優缺，所以我們必須要先了解其工具去取得數值的方式為何。若是沒辦法用一個評斷的標準來評估 instance 的乘載量。要就目前架構沒辦法負荷現在的流量，導致系統容易出現問題。又或是當前架構是可以負荷，但可能不是那麼需要開的那麼大獲好的設備來去應對，反而就讓公司在硬體成本上有額外的花費。而如何依據情境的不同，並作出較為合適的系統架構，就反應出一位架構師的價值所在。</p><p>註記：討論的最後有談到 SLI/SLO/SLA 的觀念，這部分由於資訊量滿大的且筆者其實不太熟悉這部分。這部分可以直接參考 Ant 的「<a href="https://blog.gcos.me/post/2020-03-11_how-software-architecture-meet-business-require-mau-sla-by-rps-slo/">軟體技術架構如何正確與商業需求快速對齊：談 MAU 換算至 RPS，SLA 回推至 SLI</a>」一文。</p><h3>下次可討論的相關議題</h3><ul><li>如何設計一個電商系統，可承載 100 萬人同時在線上，SLA 可達到 99.9% 的架構？(回顧題)</li><li>請問 Computer Science 的 Bound Categories 有哪些？可以如何偵測出來？</li><li>Cache 的缺點有哪些？模式有哪些？什麼時候應該採用？</li><li>高併發高流量與程式語言的哪些特性有關？程式語言選用時可以注意什麼？</li><li>高併發高流量在各階段的架構演進可以如何設計？分布式模型的引用？一致性的需求？</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=629b1c0f9d21" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[LINE Bot 系列文 — 實作 Weather bot]]></title>
            <link>https://medium.com/@justinlee_78563/line-bot-%E7%B3%BB%E5%88%97%E6%96%87-%E5%AF%A6%E4%BD%9C-weather-bot-c8d6ee3c95d9?source=rss-5a463ab3453b------2</link>
            <guid isPermaLink="false">https://medium.com/p/c8d6ee3c95d9</guid>
            <category><![CDATA[webhooks]]></category>
            <category><![CDATA[line]]></category>
            <category><![CDATA[crawler]]></category>
            <category><![CDATA[nodejs]]></category>
            <category><![CDATA[line-bot]]></category>
            <dc:creator><![CDATA[Justin Lee]]></dc:creator>
            <pubDate>Sun, 23 Feb 2020 17:48:00 GMT</pubDate>
            <atom:updated>2020-02-23T17:51:09.843Z</atom:updated>
            <content:encoded><![CDATA[<h3>LINE Bot 系列文 — 實作 Weather bot</h3><h3>前言</h3><p>接續「<a href="https://medium.com/@justinlee_78563/line-bot-%E7%B3%BB%E5%88%97%E6%96%87-%E4%BB%80%E9%BA%BC%E6%98%AF-webhook-d0ab0bb192be">LINE Bot 系列文 - 什麼是 Webhook?</a>」。這篇文章會實際撰寫出一個天氣 LINE Bot 來說明 <a href="https://developers.line.biz/en/docs/messaging-api/overview/#how-it-works">Message API</a>，但著重在當中的 <a href="https://developers.line.biz/en/docs/messaging-api/using-flex-messages/">Flex message</a> 的部分，其原因會在內文中說明。另外，本文不會實際說明要怎麼撰寫程式碼，較著重在藉由什麼角度及考量來進行實作。相信針對手把手寫出 LINE Bot 的教學文章已經非常多了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*obk_aGlmdk1V6ve2lT59jg.jpeg" /></figure><h4>關於 Flex message</h4><p>首先，先來談談「<strong>Flex message</strong>」。我們可以藉由 LINE 所提供的 <a href="https://developers.line.biz/en/docs/messaging-api/overview/#how-it-works">Message API</a> 來撰寫出一個 LINE Bot。而當中有許許多多的 message 類型可供串接：</p><ol><li><a href="https://developers.line.biz/zh-hant/docs/messaging-api/message-types/#text-messages">Text message</a></li><li><a href="https://developers.line.biz/zh-hant/docs/messaging-api/message-types/#sticker-messages">Sticker message</a></li><li><a href="https://developers.line.biz/zh-hant/docs/messaging-api/message-types/#image-messages">Image message</a></li><li><a href="https://developers.line.biz/zh-hant/docs/messaging-api/message-types/#video-messages">Video message</a></li><li><a href="https://developers.line.biz/zh-hant/docs/messaging-api/message-types/#audio-messages">Audio message</a></li><li><a href="https://developers.line.biz/zh-hant/docs/messaging-api/message-types/#location-messages">Location message</a></li><li><a href="https://developers.line.biz/zh-hant/docs/messaging-api/message-types/#imagemap-messages">Imagemap message</a></li><li><a href="https://developers.line.biz/zh-hant/docs/messaging-api/message-types/#template-messages">Template message</a></li><li><a href="https://developers.line.biz/zh-hant/docs/messaging-api/message-types/#flex-messages">Flex Message</a></li></ol><p>我們可以選擇上述當中一種 message 類型來將由 Webhook 所取得到來自使用者的 message 來做特定的處理。但當中較為特別是「<strong>Flex message</strong>」，這是因為以使用者的使用平台來說，目前 LINE 有提供手機的 LINE APP 及電腦版桌面程式的 LINE。</p><p>假設我們使用「<strong>Template message</strong>」來做 message 回覆，會電腦版桌面程式中發現「請至智慧手機上確認訊息內容」的字樣出現，這其實就會限縮使用者使用的平台便利性。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/412/1*aod8itOPMor6yONKhlukoQ.png" /></figure><p>但當然不是每個 message 類型都有其限制說一定需要在手機平台才可以進行呈現。而筆者會特別提出來是因為「<strong>Flex message</strong>」算是 LINE 在 2018 後半年才釋出的規格。且剛好筆者公司所研發的產品就有個是使用 LINE Bot 來進行開發，但原先的產品有大量使用「<strong>Template message</strong>」來實作類似 menu 的部分。</p><p>所以，一聽到「<strong>Flex message</strong>」可以使用時做出 menu 的功能且能將其 message 呈現在 LINE 的電腦平台上，就想說一定要來研究下怎麼使用「<strong>Flex message</strong>」來進行「切版」。</p><p>是的，你沒有聽錯，就是切版。而會提到切版是因為在官方文件的<a href="https://developers.line.biz/zh-hant/docs/messaging-api/message-types/#flex-messages"><strong>說明</strong></a>上有提到：</p><blockquote>Flex Messages are messages with a customizable layout. You can customize the layout freely based on the specification for CSS Flexible Box (CSS Flexbox)</blockquote><p>等同於我們可以用類似 WEB 前端的切版概念來撰寫「<strong>Flex message</strong>」部分的程式碼。</p><p>在實際撰寫「<strong>Flex message</strong>」前，我們需要先了解其 message 的架構由外至內依序由 Container, Block 及 Component 所組成。而 Block 部分由上之下又分為 Header, Hero, Body 及最下面的 Footer。若是有切過版的讀者應該對其架構並不陌生。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*J3I9sRyN5BvFLKxu7m4FGQ.png" /><figcaption>Figure from: <a href="https://developers.line.biz/zh-hant/docs/messaging-api/flex-message-elements/#container">https://developers.line.biz/zh-hant/docs/messaging-api/flex-message-elements/#container</a></figcaption></figure><h4>實作方向</h4><p>目前所採取的作法是當 LINE Bot 將相對應的「<strong>特定詞</strong>」request 傳送到後端 server 後，皆以立即爬蟲的形式找尋資料，後續再傳 webhook 回到 LINE Bot 中。而會採取收到需求後才做爬蟲的動作其原因是不想額外設置一個資料庫來儲存天氣資料。但這個做法有可能會發生回應延遲的問題，不過在幾次操作過後發現平均大約 1 秒左右就會有回應，所以這部分的問題並不會特別影響使用者體驗。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/872/1*TapfgAvoFP5Z9ZdnkTg2OA.png" /><figcaption>以「台南市」作為搜尋為例</figcaption></figure><h4>LINE message</h4><p>LINE message 的傳輸部分，其設計皆以「<strong>reply-message</strong>」的作法為主，並不會有「<strong>push-message</strong>」的推播功能。</p><ul><li>reply-message: 指的是當使用者將訊息藉由 webhook 傳送到我們 LINE Bot 的 server 端時，就會回傳相對應的回應，並透過 webhook 來將該回應回傳給使用者。</li><li>push-message: 指的是我們 LINE Bot server 端可以主動傳送訊，並藉由 webhook 來將該訊息發至使用者的手中。</li></ul><p>而這部分之所以不使用推播功能，是因為「<strong>push-message</strong>」在每個月內是有使用上限。若超過次數且沒特別設定，那麼我們所開發的 LINE Bot 中任何與「<strong>push-message</strong>」有關的功能都將不能使用。若讀者想查詢自己 LINE Bot 的每個月推播可使用次數則可以藉由下述 API 來進行搜尋剩下使用次數。</p><blockquote>curl -v -X GET <a href="https://api.line.me/v2/bot/message/quota">https://api.line.me/v2/bot/message/quota</a><br>-H ‘Authorization: Bearer {channel access token}’</blockquote><p>通常在 <strong>develop</strong> 的權限下，每個月免費的 reply message 上限為 500 個，若要調整其上限則需要額外至 LINE Official Account Manager 的頁面去做調整。</p><h4>使用的 Node.js 套件</h4><ul><li><a href="https://github.com/request/request"><strong>request</strong></a>：在 Node.js 中用來發送 request 所使用的套件。</li><li><a href="https://github.com/line/line-bot-sdk-nodejs"><strong>line-bot-sdk-nodejs</strong></a>：LINE 官方所提供用來製作 LINE Bot 的 sdk。</li></ul><h3>爬蟲</h3><p>在開始撰寫爬蟲前我們的目標資訊為下列這些項目，氣象資訊的話有分「<strong>今日天氣</strong>」及「<strong>一週天氣</strong>」而這部分會採取使用 <a href="https://developers.line.biz/en/docs/messaging-api/using-flex-messages/">flex message</a> 的方式來顯示。而「<strong>氣象圖片</strong>」部分則使用 <a href="https://developers.line.biz/en/docs/messaging-api/message-types/#image-messages">image message</a> 來做呈現。</p><blockquote>氣象資訊</blockquote><ul><li>今日天氣</li><li>一週天氣</li></ul><blockquote>氣象圖片</blockquote><ul><li>地震</li><li>颱風</li><li>雨量</li><li>溫度</li><li>紫外線</li><li>空氣品質</li></ul><h4>資料集來源</h4><ul><li><a href="https://www.cwb.gov.tw/V8/C/">台灣氣象局</a></li><li><a href="https://opendata.cwb.gov.tw/index">氣象資料開放平臺</a></li><li><a href="https://taqm.epa.gov.tw/">空氣品質監測網</a></li></ul><h4>氣象資訊 - 今日天氣</h4><p>我們需要的資料則是藏在<a href="https://www.cwb.gov.tw/V8/C/">台灣氣象局</a>的這支 JS 檔案底下：</p><blockquote>URL: <a href="https://www.cwb.gov.tw/Data/js/fcst/W50_Data.js?">https://www.cwb.gov.tw/Data/js/fcst/W50_Data.js?</a></blockquote><p>當打開該檔案後可以發現是呈現出一個名為「<strong>W50_County</strong>」的 obejct 變數：</p><pre>var W50_County={<br>&#39;10013&#39;:{<br>  &#39;Title&#39;:&#39;東北季風影響，多雲，早晚涼，請注意保暖。&#39;,<br>  &#39;Content&#39;:[<br>    &#39;明(9)日屏東地區天氣多雲，氣溫17-27度。早晚天氣涼，日夜溫差大，請注意保暖。&#39;,&#39;明(9)日恆春半島沿海空曠地區有8 至９級強陣風，請注意。&#39;],<br>  &#39;DataTime&#39;:&#39;01/08 15:45&#39;<br>},&#39;10004&#39;:{<br>  &#39;Title&#39;:&#39;東北季風或大陸冷氣團影響，天氣偏冷&#39;,<br>  &#39;Content&#39;:[<br>    &#39;今(8)日，新竹地區為晴時多雲的天氣，高低溫約在17到22度之間。&#39;,&#39;明(9)日，受東北季風或大陸冷氣團影響，天氣偏冷，新竹地區為晴時多雲的天氣，白天溫度預估14-24度，請適時增減衣物，沿海空曠地區易有8至10級強陣風，戶外活動請注意安全。&#39;,&#39;明(9)日，新竹沿海風力最大可達7至8陣風10級，請特別注意。&#39;],<br>  &#39;DataTime&#39;:&#39;01/08 17:02&#39;</pre><p>從檔案中的規則得知，台灣各地區域的名稱會先由一個 ID 所表示，例如：屏東縣是 10013, 新竹縣是 10004…等。但其 ID 應該是會有一個對照相對應縣市的規則。在經由一番觀察後，這部分可以在 「<strong>Info_County.js</strong>」檔案中發現。</p><blockquote>URL: <a href="https://www.cwb.gov.tw/Data/js/info/Info_County.js">https://www.cwb.gov.tw/Data/js/info/Info_County.js</a></blockquote><pre>var QuickSearch=[<br>{ID:&quot;10017&quot;,URL:&quot;County&quot;,label:&quot;基隆市&quot;},<br>{ID:&quot;63&quot;,URL:&quot;County&quot;,label:&quot;臺北市&quot;},<br>{ID:&quot;65&quot;,URL:&quot;County&quot;,label:&quot;新北市&quot;},<br>{ID:&quot;68&quot;,URL:&quot;County&quot;,label:&quot;桃園市&quot;},<br>{ID:&quot;10018&quot;,URL:&quot;County&quot;,label:&quot;新竹市&quot;},<br>{ID:&quot;10004&quot;,URL:&quot;County&quot;,label:&quot;新竹縣&quot;},<br>{ID:&quot;10005&quot;,URL:&quot;County&quot;,label:&quot;苗栗縣&quot;},<br>{ID:&quot;66&quot;,URL:&quot;County&quot;,label:&quot;臺中市&quot;},<br>{ID:&quot;10007&quot;,URL:&quot;County&quot;,label:&quot;彰化縣&quot;},<br>{ID:&quot;10008&quot;,URL:&quot;County&quot;,label:&quot;南投縣&quot;},<br>{ID:&quot;10009&quot;,URL:&quot;County&quot;,label:&quot;雲林縣&quot;},<br>{ID:&quot;10020&quot;,URL:&quot;County&quot;,label:&quot;嘉義市&quot;},<br>{ID:&quot;10010&quot;,URL:&quot;County&quot;,label:&quot;嘉義縣&quot;},<br>{ID:&quot;67&quot;,URL:&quot;County&quot;,label:&quot;臺南市&quot;},<br>{ID:&quot;64&quot;,URL:&quot;County&quot;,label:&quot;高雄市&quot;},<br>{ID:&quot;10013&quot;,URL:&quot;County&quot;,label:&quot;屏東縣&quot;},<br>{ID:&quot;10014&quot;,URL:&quot;County&quot;,label:&quot;臺東縣&quot;},<br>{ID:&quot;10015&quot;,URL:&quot;County&quot;,label:&quot;花蓮縣&quot;},<br>{ID:&quot;10002&quot;,URL:&quot;County&quot;,label:&quot;宜蘭縣&quot;},<br>{ID:&quot;10016&quot;,URL:&quot;County&quot;,label:&quot;澎湖縣&quot;},<br>{ID:&quot;09020&quot;,URL:&quot;County&quot;,label:&quot;金門縣&quot;},<br>{ID:&quot;09007&quot;,URL:&quot;County&quot;,label:&quot;連江縣&quot;}<br>];</pre><p>後續我們就可以針對我們要的地區資料去做擷取動作。</p><p>這部分程式碼可以參考：<a href="https://github.com/PenguinRun/weather_bot/blob/develop/services/county_info.js">地區對照表</a>、<a href="https://github.com/PenguinRun/weather_bot/blob/develop/models/weather/county_note_data.js">提取今日天氣部分</a></p><h4>氣象資訊 - 一週天氣</h4><p>這部分主要使用「<a href="https://opendata.cwb.gov.tw/index"><strong>氣象資料開放平臺</strong></a>」內所提供的 API -「<a href="https://opendata.cwb.gov.tw/dist/opendata-swagger.html#/%E9%A0%90%E5%A0%B1/get_v1_rest_datastore_F_D0047_091"><strong>鄉鎮天氣預報-臺灣未來一週天氣預報</strong></a>」來進行實作。</p><p>但有趣的是如果我們要使用這支 API 來進行單一地點查詢的話，就會需要傳送「<strong>locationName</strong>」這個 parameter 值。而在該 API 文件中有特別提到：</p><blockquote>Available values : 宜蘭縣,花蓮縣,臺東縣,澎湖縣,金門縣,連江縣,臺北市,新北市,桃園市,臺中市,臺南市,高雄市,基隆市,新竹縣,新竹市,苗栗縣,彰化縣,南投縣,雲林縣,嘉義縣,嘉義市,屏東縣</blockquote><p>這邊就可以先假設一個情況，如果要使用者在查詢縣市地區的天氣時完整的輸入縣市名稱應該是一件不太可能的事情，而且也會有點繁瑣。於是這部分我們可以先做個「<strong>前處理</strong>」的動作，自定義出一個對照表，將使用者輸入的縣市文字直接轉成這支 API 所需要且對應到的文字內容。例如：</p><pre>const info_county = {<br>    &#39;臺南縣&#39;: &#39;臺南市&#39;,<br>    &#39;臺南市&#39;: &#39;臺南市&#39;,<br>    &#39;高雄&#39;: &#39;高雄市&#39;,<br>    &#39;打狗&#39;: &#39;高雄市&#39;,<br>    &#39;高雄縣&#39;: &#39;高雄市&#39;,<br>    &#39;高雄市&#39;: &#39;高雄市&#39;,<br>    &#39;基隆&#39;: &#39;基隆市&#39;,<br>    &#39;雞籠&#39;: &#39;基隆市&#39;,<br>    &#39;基隆市&#39;: &#39;基隆市&#39;,<br>    ...</pre><p>我們甚至可以將些地區的暱稱也跟著寫進去這個自定義的對照表中。如：「打狗」、「雞籠」…等。</p><p>這部分程式碼可以參考：<a href="https://github.com/PenguinRun/weather_bot/blob/develop/services/county.js">地區對照表</a>、<a href="https://github.com/PenguinRun/weather_bot/blob/develop/models/weather/recent_county_data.js">提取一週天氣預報部分</a></p><h4>氣象圖片 - 地震</h4><p>這部分主要使用「<a href="https://opendata.cwb.gov.tw/index"><strong>氣象資料開放平臺</strong></a>」內所提供的 API -「<a href="https://opendata.cwb.gov.tw/dist/opendata-swagger.html#/%E5%9C%B0%E9%9C%87%E6%B5%B7%E5%98%AF/get_v1_rest_datastore_E_A0016_001"><strong>小區域有感地震報告資料-小區域有感地震報告</strong></a>」來進行實作。</p><p>這部分程式碼可以參考：<a href="https://github.com/PenguinRun/weather_bot/blob/develop/models/earthquake_data.js">地震</a></p><h4>氣象圖片 - 颱風</h4><blockquote><em>颱風資訊 URL:</em><a href="https://www.cwb.gov.tw/Data/js/typhoon/TY_NEWS-Data.js?"><em> https://www.cwb.gov.tw/Data/js/typhoon/TY_NEWS-Data.js?</em></a><em><br>颱風圖片路徑 URL: </em><a href="https://www.cwb.gov.tw/Data/typhoon/TY_NEWS/PTA_IMGS_$%7B%E7%99%BC%E4%BD%88%E6%99%82%E9%96%93%7D_zhtw.json"><em>https://www.cwb.gov.tw/Data/typhoon/TY_NEWS/PTA_IMGS_${發佈時間}_zhtw.json</em></a><em>?</em></blockquote><p>首先，我們先在「<strong>颱風資訊 URL</strong>」所對應到的這支 JS 檔案中來獲取目前最新颱風資料的發佈時間。而發佈時間的值可在 「<strong>TY_DataTime</strong>」的變數中取得。</p><pre>var TY_DataTime = &#39;201912280600&#39;;</pre><p>在獲取該時間後，將它放到「颱風圖片路徑 URL」所對應到的 JSON 檔案中來獲取正確的圖片路徑。例如：</p><blockquote>URL: <a href="https://www.cwb.gov.tw/Data/typhoon/TY_NEWS/PTA_IMGS_201912280600_zhtw.json?">https://www.cwb.gov.tw/Data/typhoon/TY_NEWS/PTA_IMGS_201912280600_zhtw.json?</a></blockquote><p>就能取得其 path 值：</p><pre>{&quot;WHOLE&quot;: [&quot;PTA_201912280600-0_zhtw.png&quot;, &quot;PTA_201912280600-12_zhtw.png&quot;, &quot;PTA_201912280600-24_zhtw.png&quot;], &quot;EACH&quot;: [{&quot;list&quot;: [&quot;PTA_201912280600-0_TD35_zhtw.png&quot;, &quot;PTA_201912280600-12_TD35_zhtw.png&quot;, &quot;PTA_201912280600-24_TD35_zhtw.png&quot;], &quot;id&quot;: &quot;TD35&quot;}]}</pre><p>而這圖片的路徑分有「<strong>WHOLE</strong>」及「<strong>EACH</strong>」兩個變數，且依據其變數內容個別分為 0, 12, 24。依觀察的結果「<strong>WHOLE</strong>」指的是可以較為廣泛的觀看颱風的現況，而「<strong>EACH</strong>」則是可以縮小範圍來的觀察颱風。且 0, 12, 24 指的應該就是依序時間的先後來區別颱風的當前位置為何。</p><p>這部分程式碼可以參考：<a href="https://github.com/PenguinRun/weather_bot/blob/develop/models/typhoon_data.js">颱風</a></p><h4>氣象圖片 - 雨量</h4><blockquote><em>URL: </em><a href="https://www.cwb.gov.tw/Data/rainfall/"><em>https://www.cwb.gov.tw/Data/rainfall/</em></a><em>{現在時間}_{現在時間}_{取得雨量時間}.QZJ8.jpg<br>有效 URL: </em><a href="https://www.cwb.gov.tw/Data/rainfall/2020-01-09_0500.QZJ8.jpg">https://www.cwb.gov.tw/Data/rainfall/2020-01-09_0500.QZJ8.jpg</a></blockquote><p>可以藉由上述的 URL 來取得目前台灣雨量的圖。但這個 URL 所需的時間是會變動的，較為特別的是「<strong>現在時間</strong>」會是需要有個固定格式才行且「<strong>取得雨量時間</strong>」是以半小時為單位，於是我們可以寫個判斷來撰寫進去。</p><pre>// 現在時間<br>const onTime = () =&gt; {<br>    const date = new Date();<br>    const mm = date.getMonth() + 1;<br>    const dd = date.getDate();</pre><pre>return [date.getFullYear(), &quot;-&quot; +<br>        (mm &gt; 9 ? &#39;&#39; : &#39;0&#39;) + mm, &quot;-&quot; +<br>        (dd &gt; 9 ? &#39;&#39; : &#39;0&#39;) + dd<br>    ].join(&#39;&#39;);<br>}</pre><pre>// 每半小時更新一次<br>const getHoursAndMinutesForRainfall = () =&gt; {<br>    const date = new Date();<br>    const hour = date.getHours()<br>    // 因應氣象局溫度傳訊不是那麼即時用 15 分鐘作為緩衝。<br>    const minutes = date.getMinutes() - 15<br>    return [(hour &gt; 9 ? &#39;&#39; : &#39;0&#39;) + hour +<br>        (minutes &lt; 30 ? &#39;00&#39; : &#39;30&#39;)<br>    ].join(&#39;&#39;);<br>}</pre><p>這部分程式碼可以參考：<a href="https://github.com/PenguinRun/weather_bot/blob/develop/services/image_url.js">雨量</a></p><h4>氣象圖片 - 溫度</h4><blockquote><em>URL: </em><a href="https://www.cwb.gov.tw/Data/temperature/"><em>https://www.cwb.gov.tw/Data/temperature/</em></a><em>{現在時間}_{現在時間}_{取得溫度時間}.GTP8.jpg<br>有效 URL: </em><a href="https://www.cwb.gov.tw/Data/temperature/2020-01-09_0500.GTP8.jpg"><em>https://www.cwb.gov.tw/Data/temperature/2020-01-09_0500.GTP8.jpg</em></a></blockquote><p>與台灣雨量圖相同，這個 URL 也會隨著時間做變動，差別就在於「<strong>取得溫度時間</strong>」是以小時為單位，而這部分我們可以沿用上述取得「<strong>現在時間</strong>」的 function，並額外補個「<strong>取得溫度時間</strong>」的邏輯就可以了。</p><pre>// 取得溫度時間<br>// 每小時更新一次<br>const getHoursAndMinutesForTemperature = () =&gt; {<br>    const date = new Date();<br>    let hour = date.getHours()<br>    const minutes = date.getMinutes()<br>    hour = minutes &lt; 30 ? hour - 1 : hour<br>    // 因應氣象局溫度傳訊不是那麼即時用 30 分鐘作為緩衝。<br>    return [(hour &gt; 9 ? &#39;&#39; : &#39;0&#39;) + hour + &#39;00&#39;<br>    ].join(&#39;&#39;);<br>}</pre><p>這部分程式碼可以參考：<a href="https://github.com/PenguinRun/weather_bot/blob/develop/services/image_url.js">溫度</a></p><h4>氣象圖片 - 紫外線</h4><p>這個我們可以直接藉由圖片連結做輸出，因為這個圖片會自動更新最新資訊（笑）。</p><blockquote><em>URL: </em><a href="https://www.cwb.gov.tw/Data/UVI/UVI.png"><em>https://www.cwb.gov.tw/Data/UVI/UVI.png</em></a></blockquote><p>這部分程式碼可以參考：<a href="https://github.com/PenguinRun/weather_bot/blob/develop/services/image_url.js">紫外線</a></p><h4>氣象圖片 - 空氣品質</h4><blockquote><em>URL: </em><a href="https://taqm.epa.gov.tw/taqm/Chart/AqiMap/map2.aspx?lang=tw&amp;ts=$%7Bdate%7D"><em>https://taqm.epa.gov.tw/taqm/Chart/AqiMap/map2.aspx?lang=tw&amp;ts=${date}</em></a><em><br>有效 URL: </em><a href="https://taqm.epa.gov.tw/taqm/Chart/AqiMap/map2.aspx?lang=tw&amp;ts=1578518628539"><em>https://taqm.epa.gov.tw/taqm/Chart/AqiMap/map2.aspx?lang=tw&amp;ts=1578518628539</em></a></blockquote><p>這部分我們就直接擷取「<a href="https://taqm.epa.gov.tw/taqm/tw/default.aspx"><strong>空氣品質監測網</strong></a>」的圖片 URL 即可，只要將 date 的部分轉為毫秒再輸入到該網址中就能直接取得最新的空氣品質資訊圖了。</p><p>這部分程式碼可以參考：<a href="https://github.com/PenguinRun/weather_bot/blob/develop/services/image_url.js">空氣品質</a></p><h3>後記</h3><p>在實作的過程中，其實有遇到些有趣的問題，其細節為：</p><h4>1. 使用平常沒使用過的 JS method</h4><p>在爬蟲的部分我們在抓取「<strong>今日天氣</strong>」時，需要藉由下述 URL 的 JS 檔案來進行擷取。</p><blockquote><a href="https://www.cwb.gov.tw/Data/js/fcst/W50_Data.js"><em>https://www.cwb.gov.tw/Data/js/fcst/W50_Data.js</em></a><em>?</em></blockquote><p>但特別的是，這個 JS 檔案是只有撰寫一個 Object，那我們要怎麼擷取其參數呢？這時可以使用eval()的 JS method，但在看其 <a href="https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/Reference/Global_Objects/eval">MDN</a> 文件後發現是有安全性上的風險，所以這部分可以轉用文件內所建議的 Function() 方式來去做提取。</p><p>這部分程式碼可以參考：<a href="https://github.com/PenguinRun/weather_bot/blob/develop/models/weather/county_note_data.js">今日天氣</a></p><h4>2. 抓取氣象局的氣象 icon</h4><p>在氣象局的網站中，會出現些氣象 icon 來表示當前的天氣。但有趣的是這些圖片的連結其實都是 svg 的檔案。例如：</p><blockquote><a href="https://www.cwb.gov.tw/V8/assets/img/weather_icons/weathers/svg_icon/day/02.svg">https://www.cwb.gov.tw/V8/assets/img/weather_icons/weathers/svg_icon/day/02.svg</a></blockquote><p>若我們要抓取這些 icon 其方式大略可以分為兩種：</p><ul><li>方式一：使用網路上的 svg 轉 一般圖檔的方式。</li><li>方式二：將 svg 剖析成 base64 編碼，再將其轉成一般圖檔。</li></ul><p>而筆者則是選擇了方式二來進行，其細節為：</p><ul><li>使用了 Node.js 的「<a href="https://github.com/etienne-martin/svg-to-img">svg-to-img</a>」套件來將 svg 圖檔轉成 png。</li><li>接續為了不想在主機上放置其圖檔，轉而接了 imgur 的 API 將其圖片轉變成一串短網址。</li></ul><p>這部分程式碼可以參考：<a href="https://github.com/PenguinRun/weather_bot/blob/develop/services/generate_weather_icons.js">抓取氣象 icon</a></p><h3>未來考量</h3><ul><li>可加入各地區的天氣觀測站詳細資訊。與一般縣市或地區天氣不同的是會有「<strong>風向</strong>」及「<strong>濕度</strong>」等，相關資料呈現。</li></ul><blockquote><em>各地區URL: </em><a href="https://www.cwb.gov.tw/V8/C/W/OBS_Map.html"><em>https://www.cwb.gov.tw/V8/C/W/OBS_Map.html</em></a></blockquote><ul><li>空氣品質部分的資訊優化。這部分可提取的資料其實滿多的，不管在視覺或資料的呈現上，都還有很多可以玩的地方。</li></ul><h3>小結</h3><p>在整個撰寫過程中花最多時間的部分在構思到底要擷取什麼資料，甚至是又要該怎麼將資料呈現出來，就算已經到了寫程式的實作階段還是不斷的在反覆進行。而另外個花最多的時間就是思考 UI 的部分，主要是因為自己沒有什麼想法，在網路上也沒有什麼特別的 LINE Bot 設計版面可以參考。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/822/1*CKnWAYQkb6RM6zRi_JXNpQ.png" /><figcaption><strong>開發流程示意圖</strong></figcaption></figure><p>最後，就是自己拼拼湊湊了個不好看的版面。但好在認識的設計師朋友看不下去，稍微幫忙微調及給了點 UI 上意見。才得以弄個比原本版本還要好看的 UI（笑）。若讀者想玩玩看這個 LINE Bot 可以藉由下述的 QR code 來取得。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Pc3IalixSsWQcRbbQk8Nrw.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c8d6ee3c95d9" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[LINE Bot 系列文 — 什麼是 Webhook?]]></title>
            <link>https://medium.com/@justinlee_78563/line-bot-%E7%B3%BB%E5%88%97%E6%96%87-%E4%BB%80%E9%BA%BC%E6%98%AF-webhook-d0ab0bb192be?source=rss-5a463ab3453b------2</link>
            <guid isPermaLink="false">https://medium.com/p/d0ab0bb192be</guid>
            <category><![CDATA[api]]></category>
            <category><![CDATA[line-bot]]></category>
            <category><![CDATA[webhooks]]></category>
            <category><![CDATA[backend]]></category>
            <category><![CDATA[client-server]]></category>
            <dc:creator><![CDATA[Justin Lee]]></dc:creator>
            <pubDate>Mon, 23 Sep 2019 17:15:10 GMT</pubDate>
            <atom:updated>2019-09-24T02:46:08.529Z</atom:updated>
            <content:encoded><![CDATA[<h3>LINE Bot 系列文 — 什麼是 Webhook?</h3><h3>前言</h3><p>近期打算寫關於 <strong>LINE bot</strong> 的系列文章，於是打算先從介紹「<strong>Webhook」</strong> 寫起。在開始說明 webhook 前，我們先來聊聊一般 API 的運行。</p><h4>關於 API</h4><p><strong>API</strong> 的全名為 Application Programming Interface。其中，最重要的一個單詞為「<strong>Interface」</strong>。關於這個「<strong>介面</strong>」我們可以視為是一種不同設備間的溝通規範，只要符合這個「<strong>規範」</strong>就能讓兩個不一樣的設備來進行相互溝通。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*o-zT_Nd-AS6lBA1eMlc2nA.jpeg" /><figcaption><em>Figure from : </em><a href="https://unsplash.com/photos/Bb_X4JgSqIM">https://unsplash.com/photos/Bb_X4JgSqIM</a></figcaption></figure><p>這邊舉個較常見的例子，以「<strong>USB</strong>」來說。不知道讀者是否有想過為什麼 USB 的品牌這麼的多，但不同品牌的 USB 卻都可以插入不同電腦的插槽並讓電腦讀取 USB 中的資料。這是因為各品牌的 USB 在製作時，都有符合 USB 的插槽規範。也因為這個規範，才能讓不同品牌的 USB 在不同的電腦中被讀取並寫入資料。</p><h4>Client-server 端之間的關係</h4><p>當我們提到 API 時，一般都會先聯想到「<strong>主從式架構（Client-server model）</strong>」。在該架構中，兩個主要的角色為「<strong>Client 端</strong>」及「<strong>Server 端</strong>」。而之間的關係，如下圖所示：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JlXI1pPMnGIVeXO78y-QOg.png" /></figure><p>關於「<strong>Client</strong>」端，我們可以視 client 端為一個「<strong>主動</strong>」的角色。當 client 端與 server 端之間的連線（Connection）被建立時，第一步皆是由 client 端的請求（Request）所發起，並將該請求送至 server 端。</p><p>而「<strong>Server</strong>」端的部分，我們則可以視 server 端為一個「<strong>被動</strong>」的角色。當 server 端收到來自 client 端的請求並處理後，就會回傳一個回應（Response）給 client 端。</p><p>若要舉個例來說明 client-server 端之間的關係，我們嘗試以「<strong>餐廳</strong>」做為例子來說明看看。如下圖所示：</p><h4>以餐廳為例</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VI-G_4JvlVj3XV-oFeHlkQ.png" /></figure><ol><li>先想像成你是一位客人，服務生來詢問你要點什麼餐。</li><li>待點餐完成後，服務生將菜單送到廚房。</li><li>廚房收到菜單的點餐內容後，開始做餐點。</li><li>廚房將客人所點的餐點完成。</li><li>餐點完成後，廚房請服務生將餐點送給客人。</li><li>客人收到服務生所送來的餐點後，開始用餐。</li></ol><p>最後，當客人確認收到一開始所點的餐點後，服務生就可以告知廚房說客人以取得餐點，並結束這整個流程。</p><h4>瀏覽 Google 頁面</h4><p>或許單以「<strong>餐廳</strong>」的例子，可能還沒有辦法讓讀者瞭解 API 實際運作的過程。我們舉另外一個實際運作的例子來看看。假設情境為「<strong>用 Chrome 的瀏覽器，瀏覽 Google 的頁面</strong>」，這邊我們同樣使用 client-server 主從式架構的角度來說明。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QRZ6plYBrevNAhGx3Q_awg.png" /></figure><ol><li>使用者透過 Chrome 瀏覽器輸入 google.com 的URL，並按 enter 送出。</li><li>等待 request 從 client 端傳到 server 端。</li><li>若 google server 端有這個 API 端口，開始處理這個 request 。</li><li>Google server 將資料訊息傳到 response 裡面。</li><li>等待 response 從 server 端傳到 client 端。</li><li>Client 端接收到 response，並將 google 的畫面呈現給使用者看。</li></ol><p>最後，當 client 端確認收到一開始 request 所想取得的資料後，就會告知 server 端確實有收到這筆資料並結束整個 connection。</p><p>順帶一提，由於「<strong>Client端</strong>」與「<strong>Server端</strong>」之間是透過 HTTP 協定來進行連線。等同於任何可以使用 HTTP 協定的設備，我們皆能透過 API 來讓不同的設備來進行相互溝通。</p><h3>關於 Webhook</h3><p>在介紹完基本的 API 運作流程後，並開始解釋 webhook 為何物前，我們先舉個情境再接續說明，應該能讓讀者更加瞭解 webhook 的定義及運作。讓我們延續使用剛剛的餐廳案例，但這次的角色將轉變成「<strong>餐廳</strong>」與「<strong>外送員</strong>」。</p><h4>餐廳 V.S. 外送員</h4><p>如果說，今天客戶使用餐飲外送服務商所製作的 APP 來進行餐點下訂的動作時，餐廳就會接收到訂單並開始製作餐點。那麼外送員要怎麼知道餐廳什麼時候做好餐點，並在餐點完成時去餐廳取餐，接續送到客戶的手上呢？</p><p>或許，外送員可以使用一種名為「<strong>輪詢(Polling)</strong>」的方式來進行確認。其行為就是讓身為 client 端的外送員定期向 server 端的餐廳去進行「餐點是否完成？」的確認。這部分，如果使用 client-server 主從式架構來表示，大概會變成這樣。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*THIK74uFjgyE6_cXBKhdtQ.png" /></figure><p>你可能會覺得這個方式不錯，只要服務員想要確認餐點好了沒，打通電話就可以知道狀況。</p><p>但換個角度想，這種做法若是餐點確認的間隔時間太短，不僅會造成 server 端的負荷。若間隔時間太長，也會同時造成收到的資訊有不即時的問題發生。</p><blockquote>這邊的「<strong>即時</strong>」是指若我們每隔 30 秒發送一次 request，但餐點卻是在這 30 秒之間就處理好，這中間的時間差距就導致「<strong>資訊不即時</strong>」的問題發生。</blockquote><p>而且，當服務員不停的打電話跟餐廳確認餐點做好沒，也有可能讓餐廳憤而決定取消與餐飲外送服務商的合作。（笑</p><h4>那有沒有更好的方式呢？</h4><p>其實，反過來思考就行了。餐廳如果能主動向外送員說：「餐點做好了。」那是不是外送員就不用定期跟餐廳來做確認的動作，餐廳也不用因為外送員的不斷確認而讓心情受到影響，讓整個處理餐點的效率變差。而這個方式也就是這篇文章的重點 「<strong>webhook</strong>」 所能做到的事情。</p><p>關於 webhook 在這個例子的運行情境。如下圖所示：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XrmmQSA1h2cX6Uxta1AgEg.png" /></figure><p><strong>「Webhook」</strong> 的重點就在於餐廳能「<strong>主動」</strong>去聯繫外送員。也就是說，身為外送員的 client 端需要額外開啟一個 API 的端口。當餐點完成時，身為餐廳的 server 端就可以藉由這個 API 來主動告知外送員餐點已經做好了。</p><p>這時，外送員將由原本的「<strong>主動方</strong>」變成「<strong>被動方</strong>」，而這樣的處理方式就是「<strong>webhook</strong>」所能做到的。</p><h3>在 LINE bot 上的 webhook</h3><p>對我們開發者而言，如果要在 LINE Bot 上進行開發則需要遵守 LINE 官方所提供的「<a href="https://developers.line.biz/zh-hant/docs/messaging-api/overview/"><strong>Messaging API</strong></a>」的規範來進行開發。</p><p>其規範中有提到在 LINE BOT 的設計主要分有三個角色，分別是：</p><ul><li><strong>用戶：</strong>藉由 LINE APP 來發送訊息的使用者。</li><li><strong>LINE Platform： </strong>LINE 官方用來傳遞「用戶」及「Bot server」資訊的中介 server。</li><li><strong>Bot server：</strong>用來開發 LINE Bot 的 server。</li></ul><p>而這三個角色之間的關係，我們可以用一張圖來說明它們之間的關係。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xRW05xCHmq7r8OOmFzlosw.png" /></figure><p>用戶發送的訊息能藉由 LINE Platform 來向 Bot server 來進行傳遞。而 Bot server 也能主動的向用戶藉由 LINE Platform 來進行推播的動作。</p><p>而「<strong>webhook</strong>」的部分則是設置在 LINE Platform 與 Bot server 之間。能藉由 Messaging API 來針對不同的 webhook event 來進行相互溝通。</p><h3>小結</h3><p>對於「<strong>webhook</strong>」，簡單來說就是不管身為 client 端或 server 端，任一端都要能有開 API 的能力，因為它是一個運用在 server 與 server 之間的概念。當兩端都能同時擔任「<strong>發送方</strong>」及「<strong>接收方</strong>」時，就能避免掉「<strong>輪詢(Polling)</strong>」所造成的問題。</p><p>這篇文章會以 API 說明做為開頭是因為 webhook 是 API 眾多運行方式的其中一種。而 LINE Bot 的開發又需要使用到 webhook。若是讀者還不太了解 API 的運行方式，可能就不太能理解 webhook 會被運用在 LINE bot 上開發的原因。</p><h3>Reference</h3><ul><li><a href="https://simonfredsted.com/1583">Simon Fredsted — What is a webhook?</a></li><li><a href="https://codeburst.io/what-are-webhooks-b04ec2bf9ca2">Prashant Ram — What is a webhook?</a></li><li><a href="https://en.wikipedia.org/wiki/Webhook">Wiki — webhook</a></li><li><a href="https://line.github.io/line-bot-sdk-nodejs/guide/webhook.html#what-a-webhook-server-should-do">Line-bot-sdk-nodejs — webhook</a></li><li><a href="https://developers.line.biz/zh-hant/docs/messaging-api/overview/">Line — Message API 介紹</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d0ab0bb192be" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[關於crawler-以7–11店家資料為例]]></title>
            <link>https://medium.com/@justinlee_78563/%E9%97%9C%E6%96%BCcrawler-%E4%BB%A57-11%E5%BA%97%E5%AE%B6%E8%B3%87%E6%96%99%E7%82%BA%E4%BE%8B-f5893e4707a5?source=rss-5a463ab3453b------2</link>
            <guid isPermaLink="false">https://medium.com/p/f5893e4707a5</guid>
            <category><![CDATA[nodejs]]></category>
            <category><![CDATA[web-crawler]]></category>
            <category><![CDATA[ttip]]></category>
            <category><![CDATA[javascript]]></category>
            <dc:creator><![CDATA[Justin Lee]]></dc:creator>
            <pubDate>Wed, 08 Nov 2017 19:24:16 GMT</pubDate>
            <atom:updated>2018-01-18T10:05:52.046Z</atom:updated>
            <content:encoded><![CDATA[<p>比起<a href="https://medium.com/@justinlee_78563/%E9%97%9C%E6%96%BCcrawler-%E4%BB%A5%E5%85%A8%E5%9C%8B%E9%81%8B%E5%8B%95%E5%A0%B4%E9%A4%A8%E7%82%BA%E4%BE%8B-f180a3bdc534"><strong>上篇（關於crawler-以全國運動場館為例）</strong></a>，這篇主要試著透過async/await來寫整個crawler的架構。</p><p>這次，筆者的前輩建議事先規劃好處理爬蟲的流程，待確定流程後，才開始寫code。這樣的作法不但有助於讓整個開發過程的效率提高，也能釐清會遇到的技術難點在那。於是，之後有關寫code的文章，筆者會試著先撰寫完設計思維及處理流程，才開始進行介紹寫code的階段。</p><blockquote>開發環境</blockquote><p>作業系統：ubuntu</p><p>後端程式語言：node js</p><p>package:<a href="https://github.com/cheeriojs/cheerio"><strong> cheerio</strong></a>, <a href="https://github.com/request/request"><strong>request</strong></a></p><p>框架：express</p><p>工具：Postman</p><blockquote>目標</blockquote><p>這次的目標是藉由<a href="http://emap.pcsc.com.tw/emap.aspx#"><strong>7–11電子地圖</strong></a>網站來練習async/await架構，而抓取的資料則是各縣市地區的店家資料。如：</p><pre>門市店號：141659 <br>門市店名：石光地址：新竹縣關西鎮石光里石岡子252號1樓<br>電話：(03)5868624 <br>接收傳真服務(付費)：(03)5868654</pre><blockquote>處理步驟</blockquote><blockquote>前端render或後端render</blockquote><p>在處理這次的爬蟲前，我們要先釐清我們所要抓取的資料，它是夾雜在「前端render」還是「後端render」。</p><ul><li>前端render：將後端資料庫的資料，經處理（或未處理）後，後端開發者將資料寫入API中。前端開發者在呼叫後端API來將參數帶入HTML文件裡，並呈現給client端看。</li><li>後端render：將後端資料庫的資料，經處理（或未處理）後，直接將參數帶進HTML文件中，並直接將其文件內容呈現在client端。</li></ul><p>那要如何進行辨識呢？很簡單，我們可以藉由瀏覽器所提供的開發者工具來進行辨識。以Chrome為例，先開啟開發者工具。開啟方式為：windows鍵盤的朋友(ctrl + shift + i)、Mac鍵盤的朋友(commend + option + i)。</p><p>開啟之後，點選Network，在從 XHR(XMLHttpRequest)、Doc或JS中去尋找些線索。</p><p>在這次的目標中，我們先進入到目標資料的頁面。如下圖：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aCMRfEiexqd1UMvQhfGmEw.png" /></figure><p>在目標頁面開啟開發者工具，待搜索後，可以看到我們所要觀察的目標就在XHR的類別底下，有個Name為EMapSDK.aspx的物件，點進去後在透過Preview來觀看可以發現我們要的資料就在該物件底下。如下圖所示：</p><p>註：Preview會根據該物件所回傳的資料類型（JSON、文本、圖片…等。）方式來呈現其相對應的預覽。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yOJxDWv0Llb701Q87ZMIzw.png" /></figure><p>這時，我們就能發現它所回傳來的資料算是XML的格式。以此就能推斷這個目標格式就夾雜在「前端render」的API裡。</p><blockquote>剖析HTTP的訊息</blockquote><p>接著，我們就在回到開發者工具，在從Headers裡面來看整個HTTP的訊息。能發現目標資源的URL為「http://emap.pcsc.com.tw/EMapSDK.aspx」，其HTTP method為POST。</p><p>註：Headers會顯示該物件的整個HTTP headers的訊息。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*azlfmAZNgXqM5vnejGZ7BQ.png" /></figure><p>這意味著它是有夾帶些參數在request中，我們就能將目光專注在底下的Form Data。當中較為特別的是：</p><pre>commandid:SearchStore<br>city:台北市<br>town:松山區</pre><p>再來，我們就使用Postman來測試，並輸入以下條件。</p><pre>HTTP method: POST<br>Request URL: <a href="http://emap.pcsc.com.tw/EMapSDK.aspx">http://emap.pcsc.com.tw/EMapSDK.aspx</a></pre><pre>enctype: x-www-form-urlencoded</pre><pre>Key               Value<br>commandid         SearchStore<br>city              台北市<br>town              松山區</pre><p>輸入完成後，按下Send鍵。就能看到我們所要的店家資料呈現在底下的XML格式的資料中。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QxrAt1gqDjGAm5zsuT33rw.png" /></figure><blockquote>釐清如何取得目標資料</blockquote><p>回歸原點來思考，我們要取得的店家資料是全台灣7–11的店家資料，並從剛剛的步驟發現，當我們輸入：</p><pre>commandid:SearchStore<br>city:台北市<br>town:松山區</pre><p>就能取得台北市松山區所有的7–11資料。同理，假設我們若將city輸入台北市、town輸入信義區，也是能得到台北市信義區所有的7–11的資料。</p><p>於是我們第一個動作就是要先去擷取各縣市的「區域」資料。</p><p>首先，先回到點選區域的頁面，並用開發者工具去觀看其API的運行。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HcK7xWBAjERwGYMX3mBoiw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hj7De_aAU036eZdLU-vaSA.png" /></figure><p>結果發現有出現我們所想要的區域資料。接著我們在看看它的Headers情況為何：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iCSiEtaGEgFtKpu-pywvKQ.png" /></figure><p>可以看到Request URL也是為「http://emap.pcsc.com.tw/EMapSDK.aspx」<br>，其HTTP method為POST。於是，直接將目光轉移到底下的Form Data，可發現較為特別的參數為：</p><pre>commandid:GetTown<br>cityid:01</pre><p>在將參數丟到Postman來進行測試，並輸入以下條件：</p><pre>HTTP method: POST<br>Request URL: <a href="http://emap.pcsc.com.tw/EMapSDK.aspx">http://emap.pcsc.com.tw/EMapSDK.aspx</a></pre><pre>enctype: x-www-form-urlencoded</pre><pre>Key               Value<br>commandid         GetTown<br>cityid            01</pre><p>待輸入完成後，按下Send鍵。就能發現，其結果就是我們所想要看到的區域資料：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*G2N13soITxzz-lEWqTZ-5A.png" /></figure><p>問題來了，由於cityid的值為數字。從結果來看，目前只知道01是「台北」。但02之後呢？每個cityid所對應到的地方是哪邊？</p><p>所以，我們必須去觀察這部份它所定義的規則為何。</p><p>可以透過source裡面去查詢有沒有相關的資源。這時，可以發現有個檔案叫做「emap.aspx」，底下也剛好有一個cityid的參數。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UQ7qtO9kK3rQc9QCRgF5CA.png" /></figure><p>該參數是透過一個叫「AREACODE」所引入，在更進一步的追尋。發現它是源自於「lib/areacode.js」的檔案，於是我們就點開lib的資料夾，並選擇該檔案。</p><p>之後，我們就能看到各縣市的「區域」資料，其編號所對應到的地區就呈現在上面。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4erDjBJ0u6OT-tGLde8ljQ.png" /></figure><p>由於資料量並不多，筆者決定將這些資料用手動的方式將其city跟cityid轉成JSON格式的檔案。（可參考：<a href="https://github.com/PenguinRun/crawler_7_ELEVEN/blob/master/data/store_id.json"><strong>JSON檔案</strong></a>）</p><p>最後，歸納一下我們要進行crawler的流程：</p><ul><li>提取各縣市的區域資料。</li><li>藉由區域資料，將店家資料提出。</li></ul><blockquote>開始寫code</blockquote><p><strong>「提取各縣市的區域資料。」</strong></p><p>我們先將目標定為抓取台北市全部的區域試試看。</p><pre>const request = require(&#39;request&#39;);<br>const cheerio = require(&#39;cheerio&#39;);<br>const areaData = require(&#39;../data/store_id.json&#39;);</pre><pre>const getTownName = (url, cityID) =&gt; {<br>    return new Promise((resolve, reject) =&gt; {<br>      let townNameArray = [];<br>      request.post({<br>          url: url,<br>          form: {<br>              commandid: &quot;GetTown&quot;,<br>              cityid: cityID<br>          }<br>      }, function (err, res, body) {<br>          const $ = cheerio.load(body);</pre><pre>          // 區域名稱<br>          $(&#39;TownName&#39;).each(function (index, element) {<br>              townNameArray.push($(this).text());<br>          })</pre><pre>          resolve(townNameArray);<br>       })<br>     })<br>}</pre><pre>getTownName(&quot;<a href="http://emap.pcsc.com.tw/EMapSDK.aspx">http://emap.pcsc.com.tw/EMapSDK.aspx</a>&quot;, &quot;01&quot;)<br>    .then((result) =&gt; {<br>       console.log(result); // 台北市全區資料<br>    });</pre><p>只要打印出result就是台北市全區的資料。</p><p>接著，就可以開始嘗試將各縣市的區域資料提取出來。這時，我們就會使用到剛剛所撰寫好的<a href="https://github.com/PenguinRun/crawler_7_ELEVEN/blob/master/data/store_id.json"><strong>JSON檔案</strong></a>。</p><pre>let areaDatas = [];</pre><pre>for (let i = 0; i &lt; areaData.result.length; i += 1) {<br>        const areaID = areaData.result[i].areaID;<br>        const areaName = areaData.result[i].area;<br>        const townName = await loadData.getTownName(url, areaID);<br>        // 有些townName可能為0，因此進行篩選<br>        if (townName.length !== 0) {<br>         areaDatas.push({ cityName: areaName, townName: townName });<br>        }<br>}</pre><p>我們將areaDatas的結果寫成：</p><pre>[ { cityName: &#39;台北市&#39;,<br>    townName:<br>     [ &#39;松山區&#39;,<br>       &#39;信義區&#39;,<br>       &#39;大安區&#39;,<br>       &#39;中山區&#39;,<br>       &#39;中正區&#39;,<br>       &#39;大同區&#39;,<br>       &#39;萬華區&#39;,<br>       &#39;文山區&#39;,<br>       &#39;南港區&#39;,<br>       &#39;內湖區&#39;,<br>       &#39;士林區&#39;,<br>       &#39;北投區&#39; ] },<br>...<br>]</pre><p>不難發現，這就是7–11提取各區店家所需的參數，只是筆者依據縣市來劃分縣市內各區的資料。</p><pre>commandid:SearchStore<br>city:台北市<br>town:松山區</pre><p><strong>「藉由區域資料，將店家資料提出。」</strong></p><p>我們先將目標定為抓取台北市松山區全部的7–11試試看。</p><pre>const request = require(&#39;request&#39;);<br>const cheerio = require(&#39;cheerio&#39;);</pre><pre>const getStoreData = (url, cityName, townName) =&gt; {</pre><pre>    let storeArray = [];<br>    let storeID = [];<br>    let storeName = [];<br>    let storeTele = [];<br>    let storeFax = [];<br>    let storeAddress = [];<br>    let storeValues = &quot;&quot;;<br>    return new Promise((resolve, reject) =&gt; {<br>        request.post({<br>            url: url,<br>            form: {<br>                commandid: &quot;SearchStore&quot;,<br>                city: cityName,<br>                town: townName<br>            }<br>        }, function (err, res, body) {<br>            const $ = cheerio.load(body);<br>            // 店家ID<br>            $(&#39;POIID&#39;).each(function (index, element) {<br> 　　　　　　     //去空白<br>                storeID.push($(this).text().replace(/\s/g, &#39;&#39;));<br>                storeValues = index; // 該區所有店家的個數<br>            })<br>            // 店家名稱<br>            $(&#39;POIName&#39;).each(function (index, element) {<br>                storeName.push($(this).text());<br>            })<br>            // 店家電話<br>            $(&#39;Telno&#39;).each(function (index, element) {<br>                //去空白<br>                storeTele.push($(this).text().replace(/\s/g, &#39;&#39;));<br>            })<br>            // 店家傳真<br>            $(&#39;FaxNo&#39;).each(function (index, element) {<br>                //去空白<br>                storeFax.push($(this).text().replace(/\s/g, &#39;&#39;)); <br>            })<br>            // 店家地址<br>            $(&#39;Address&#39;).each(function (index, element) {<br>                storeAddress.push($(this).text());<br>            })<br>            for (let i = 0; i &lt;= storeValues; i += 1) {<br>                storeArray.push({<br>                    storeCity: cityName,<br>                    storeTown: townName,<br>                    storeID: storeID[i],<br>                    storeName: storeName[i],<br>                    storeTele: storeTele[i],<br>                    storeFax: storeFax[i],<br>                    storeAddress: storeAddress[i]<br>                });<br>            }<br>            resolve(storeArray);<br>        })<br>    })<br>}</pre><pre>getStoreData(&quot;http://emap.pcsc.com.tw/EMapSDK.aspx&quot;,<br>             &quot;台北市&quot;,<br>             &quot;松山區&quot;)<br>.then((result) =&gt; {<br>  console.log(result); // 台北市松山區全部7-11的資料<br>};</pre><p>只要打印出result就是台北市松山區全部7–11的資料了。</p><p>但我們的目標是台灣全區的7–11的資料。這時就要使用到上個步驟，最後處理出來areaDatas的結果：</p><pre>// 各縣市<br>for (let i = 0; i &lt; areaDatas.length; i += 1) {<br>     // 縣市內各區域<br>     for (let j = 0; j &lt; areaDatas[i].townName.length; j += 1) { <br>          let city = areaDatas[i].cityName;<br>          let town = areaDatas[i].townName[j];<br>          const storeDatas = await loadData.getStoreData(url, <br>          city, town);<br>          if (storeDatas[0].storeID !== undefined) {<br>              totalStoreDatas.push({ <br>                 city: city, <br>                 town: town, <br>                 storeDatas: storeDatas <br>              });<br>          }<br>      }<br>}</pre><p>最後，我們的目標結果就存放在totalStoreDatas中。</p><pre>{<br>    &quot;result&quot;: [<br>        {<br>            &quot;city&quot;: &quot;台北市&quot;,<br>            &quot;town&quot;: &quot;松山區&quot;,<br>            &quot;storeDatas&quot;: [<br>                {<br>                    &quot;storeCity&quot;: &quot;台北市&quot;,<br>                    &quot;storeTown&quot;: &quot;松山區&quot;,<br>                    &quot;storeID&quot;: &quot;170945&quot;,<br>                    &quot;storeName&quot;: &quot;上弘&quot;,<br>                    &quot;storeTele&quot;: &quot;(02)25472928&quot;,<br>                    &quot;storeFax&quot;: &quot;(02)25459434&quot;,<br>                    &quot;storeAddress&quot;: &quot;台北市松山區敦化北路168號B2&quot;<br>                },<br>....</pre><p>這部份完整的處理流程可從<a href="https://github.com/PenguinRun/crawler_7_ELEVEN/blob/master/models/getdata_model.js"><strong>這裡</strong></a>看。</p><h4>小結</h4><p>這次的練習除了使用async/await來控制function的執行順序外，也嘗試使用了Promise all來操控同時發送多個request（這部份可在上述完整的處理流程檔案中看到）。其結果，待測試後，是有比起同時發送一個request結果還要來的快。</p><p>但也不太建議為了速度，同時間發送太多的request給server。這是因為：</p><ul><li>禮貌問題（別給別人的server造成太多負荷）。</li><li>有可能被列入黑名單。</li></ul><p>要如何在抓取資料的時間及發送request的數量上取得一個平衡，這點筆者也還在學習怎麼拿捏中。</p><p>最後，在提及一下四個步驟：</p><ul><li>確認是前端render或後端render？</li><li>剖析HTTP的訊息</li><li>釐清如何取得目標資料</li><li>開始實作</li></ul><p>寫crawler對筆者說非常的有趣，與筆者就讀研究所時的研究主題有關，屬於資料分析的一環。當然，要做資料分析前就得要有資料才行（笑）。</p><p>關於完整的code可以參考：</p><p><a href="https://github.com/PenguinRun/crawler_7_ELEVEN">PenguinRun/crawler_7_ELEVEN</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f5893e4707a5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[關於OAuth 2.0-以Facebook為例]]></title>
            <link>https://medium.com/@justinlee_78563/%E9%97%9C%E6%96%BCoauth-2-0-%E4%BB%A5facebook%E7%82%BA%E4%BE%8B-6f78a4a55f52?source=rss-5a463ab3453b------2</link>
            <guid isPermaLink="false">https://medium.com/p/6f78a4a55f52</guid>
            <category><![CDATA[oauth2]]></category>
            <category><![CDATA[oauth]]></category>
            <category><![CDATA[facebook]]></category>
            <dc:creator><![CDATA[Justin Lee]]></dc:creator>
            <pubDate>Thu, 26 Oct 2017 13:28:39 GMT</pubDate>
            <atom:updated>2017-10-26T14:17:53.030Z</atom:updated>
            <content:encoded><![CDATA[<p>這次在練習使用Facebook來當作第三方登入，並紀錄下關於些OAuth2的小知識還有處理方式。</p><blockquote><strong>OAuth 2.0</strong></blockquote><p>「OAuth 2.0是OAuth協定的下一版本，但不向下相容OAuth 1.0。OAuth 2.0關注用戶端開發者的簡易性，同時為Web應用，桌面應用和手機，和起居室裝置提供專門的認證流程。」 <em>引用自</em><a href="https://zh.wikipedia.org/wiki/OAuth"><em>OAuth wiki</em></a>。</p><p>在介紹OAuth 2.0之前，我們要先了解為什麼會有OAuth這個標準。</p><pre>    +--------+                                  +--------+<br>    | Client | ------ user credentials ------&gt;  | Server |<br>    +--------+                                  +--------+<br> <br>request: 傳遞使用者憑證(如：帳號跟密碼)<br>response: 使用者個人資料</pre><p>以Client-Server架構來說，Client要提取resource owner的受保護資料(protected resource)時，要向Server端傳輸使用者憑證（使用者帳號及密碼）才可以。</p><pre>小劇場</pre><pre>    +--------+                          +--------------------------+<br>    |  User  |                          | Third-party applications |<br>    +--------+                          |         (第三方)          |<br>                                        +--------------------------+</pre><pre>第三方跟Server說：我想要使用者的隱私資料，可以給我嗎？<br>Server回第三方說：可以阿，但你要先給我使用者的帳號跟密碼。</pre><pre>第三方跟User說：你可以給我你的帳號跟密碼嘛？因為我想要你的資料。<br>User跟第三方說：說給你就給你喔？</pre><pre>第三方：........</pre><p>為了讓第三方應用程式拿到這些受保護資料(protected resource)，使用者(resource owner)也要把憑證給這個第三方才行，但這樣子就會造成下述的這些問題：</p><ul><li>第三方應用程序需要儲存使用者的憑證來使用，而這些密碼通常是明文。</li><li>Server端需要支持密碼的認證，儘管密碼含有安全性的漏洞問題。</li><li>第三方應用程式會獲得幾乎完整的使用權限，可以存取受保護資料，而使用者不能限制第三方應用程式可以拿取資料的時限，以及可以存取的資料範圍(subset)。</li><li>使用者不能撤銷第三方的權限，必須藉由更改使用者密碼的方式才行。</li><li>任何第三方應用程式被破解，都會導致使用者的密碼和所有受該密碼保護的資料被破解。</li></ul><p>而OAuth為了解決這些問題，分成了四個不同的角色：</p><ul><li>Resource owner：可以授權別人去存取受保護資料資料。如果這個角色是人類的話，指的就是使用者(end-user)。</li><li>Resource server：存取受保護資料的Server，可以根據access Token來接受取得隱私資料的request。</li><li>Client：代表使用者去存取受保護資料的應用程式。「client」指的並不是任何特定的實做方式，任何在server端、桌面或設備上執行的應用程式，都可稱為client。</li><li>Authorization server：在認證過使用者的身份，且經由使用者許可後，就會簽發access token的server。</li></ul><p>Client分為resource owner及client(第三方)，Server分成resource server及authorization server。並提出了一個概念式的OAuth處理流程：</p><pre>     +--------+                               +---------------+<br>     |        |--(A)- Authorization Request -&gt;|   Resource    |<br>     |        |                               |     Owner     |<br>     |        |&lt;-(B)-- Authorization Grant ---|               |<br>     |        |                               +---------------+<br>     |        |<br>     |        |                               +---------------+<br>     |        |--(C)-- Authorization Grant --&gt;| Authorization |<br>     | Client |                               |     Server    |<br>     |        |&lt;-(D)----- Access Token -------|               |<br>     |        |                               +---------------+<br>     |        |<br>     |        |                               +---------------+<br>     |        |--(E)----- Access Token ------&gt;|    Resource   |<br>     |        |                               |     Server    |<br>     |        |&lt;-(F)--- Protected Resource ---|               |<br>     +--------+                               +---------------+<br><br>                     Figure: Abstract Protocol Flow</pre><p><em>figure from : </em><a href="http://figure from : https://tools.ietf.org/html/rfc6749#page-7"><em>https://tools.ietf.org/html/rfc6749#page-7</em></a></p><ul><li>A: Client端向resource owner發送授權的request。這個授權request可以直接向resource owner發送，或是由authorization server來發送request。</li><li>B: Client取得resource owner的authorization grant(授權許可)。這個許可，可以用來代表resource owner的授權。</li><li>C: Client端向authorization server請求access token，這時client端要認證自己，並給予從resource owner那邊取得的授權許可。</li><li>D: Authorization server在認證client端後，在驗證經由client端所傳來的授權許可。若兩者皆合法，就會簽發給client端access token。</li><li>E: Client端將由authorization server所得到access token傳在request中，向resource server來取得protected resource(受保護資料)。</li><li>F: Resource server驗證來自client端傳來的access token，若合法，就回傳受保護資料給client端。</li></ul><p>在這邊所提及的access token，我們可以把它當作是使用者憑證。當從authorization server取得後，就能透過該憑證來跟resource server取得該使用者的受保護資料。</p><blockquote><strong>Facebook</strong></blockquote><p>在Facebook中，它所處理的OAuth2的流程大致上是：</p><pre>     +--------+                               +---------------+<br>     |        |--(A)- Authorization Request -&gt;|   Resource    |<br>     |        |                               |     Owner     |<br>     |        |&lt;-(B)-- Authorization Grant ---|               |<br>     |        |                               +---------------+<br>     |        |<br>     |        |                               +---------------+<br>     |        |--(C)-- Authorization Grant --&gt;| Authorization |<br>     | Client |                               |     Server    |<br>     |        |&lt;-(D)----- Access Token -------|               |<br>     |        |                               +---------------+<br>     |        |<br>     |        |                               +---------------+<br>     |        |--(E)----- Access Token ------&gt;|    Resource   |<br>     |        |                               |     Server    |<br>     |        |&lt;-(F)--- Protected Resource ---|               |<br>     +--------+                               +---------------+<br><br>                     Figure: Facebook Protocol Flow</pre><p><em>figure from : </em><a href="http://figure from : https://tools.ietf.org/html/rfc6749#page-7"><em>https://tools.ietf.org/html/rfc6749#page-7</em></a></p><p>可以發現到，其實跟OAuth文件中，所提出來的概念流程沒什麼差異（幾乎一模一樣）。</p><ul><li>A: Client(第三方)將resource owner(使用者)的畫面導至Facebook認證頁。如下圖所示：</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*y2CEpBgbWSZzczYa." /><figcaption>figure from: <a href="https://developers.facebook.com/docs/facebook-login/manually-build-a-login-flow/">https://developers.facebook.com/docs/facebook-login/manually-build-a-login-flow/</a></figcaption></figure><p>登入動作可由下述Facebook提供的 API來呼叫：</p><pre>https://www.facebook.com/v2.10/dialog/oauth?<br>  client_id={app-id}<br>  &amp;redirect_uri={redirect-uri}<br>  &amp;scope=email</pre><pre>client_id: 申請facebook app所給予的app id。</pre><pre>redirect_uri: 當使用者按下確定給予權限許可後，所導入的uri。<br>(其uri設定需要與facebook app中的「有效的 OAuth 重新導向 URI」一致)</pre><pre>scope: 第三方向使用者要求的權限。(例子中為第三方想向使用者提取email資料)</pre><pre>*scope為非必要欄位，但若是要取得使用者特定資料就得設定。</pre><ul><li>B: 當resource owner按下確認按鈕後，就會將要取得的grant導向到上述API所設定的redirect_uri。</li></ul><p>而Facebook就會將grant放置到所設定的redirect_uri上。假設我們設定的redirect_uri為：https://test.com。則：</p><pre><a href="https://test.com/?code=...">https://test.com/?code=...</a></pre><p>code後面…的內容就是我們所收到的grant。</p><ul><li>C: Client端要向authorization server來索取access token。</li></ul><p>我們可以使用下述的Facebook所提供的API來呼叫：</p><pre>GET https://graph.facebook.com/v2.10/oauth/access_token?<br>   client_id={app-id}<br>   &amp;redirect_uri={redirect-uri}<br>   &amp;client_secret={app-secret}<br>   &amp;code={code-parameter}</pre><pre>client-id: 申請facebook app所給予的app id。<br>redirect-uri: 當使用者按下確定給予權限許可後，所導入的頁面。<br>client-secret: 申請facebook app所給予的金鑰。<br>code: 由「登入」動作重新導向後所得的參數(grant)。</pre><ul><li>D: Authorization server開始驗證client端的身份及驗證grant。若合法，會將access token傳入上述api所設定的redirect_uri中。</li></ul><p>在C動作的API response為：</p><pre>{<br>  &quot;access_token&quot;: {access-token}, <br>  &quot;token_type&quot;: {type},<br>  &quot;expires_in&quot;:  {seconds-til-expiration}<br>}</pre><pre>expires_in: 為access_token存活的時間。 </pre><ul><li>E: 這時client就可以將透過access token來跟resource server索取resource owner受保護的資料。</li><li>F: 當驗證client端所傳過來的access token為合法後，就可以取得resource owner受保護的資料。</li></ul><p>提取resource owner的受保護資料部份在facebook graph api的<a href="https://developers.facebook.com/docs/graph-api/using-graph-api">文件</a>中，並沒有完整的範例。因此，這邊筆者就先不解釋facebook graph api的處理步驟。</p><p>若是讀者們對於網頁、IOS、Andrioid或其他裝置，讀者可進一步的參考這份文件。對於特定程式語言或平台，Facebook有提供SDK能更快的協助開發。</p><p><a href="https://developers.facebook.com/docs/facebook-login">Facebook Login - Documentation - Facebook for Developers</a></p><h4>小結</h4><p>簡單來說，要是今天我們所開發的系統需要做一個會員系統，但是又不想額外在耗費時間及人力成本的情況下，可以嘗試做一個OAuth2的登入方式。</p><p>筆者覺得若是能藉由各大知名OAuth2來做登入，或多或少也能吸引些使用者進行註冊。這是因為使用者們不用為了要加入成為一個新會員，又去填寫些個人資料、收認證信、手機認證…等。繁瑣步驟。</p><p>但若是該系統需要使用者更進一步的個人資料，如購物車網站、銀行…等。就還是得要自行開發一個屬於自家企家（公司）的會員系統。</p><p>參考資料：</p><ul><li><a href="https://tools.ietf.org/html/rfc6749">RFC 6749: The OAuth 2.0 Authorization Framework</a></li><li><a href="https://developers.facebook.com/docs/facebook-login/manually-build-a-login-flow/">Manually Build a Login Flow - Facebook Login - Documentation - Meta for Developers</a></li><li><a href="https://zh.wikipedia.org/wiki/OAuth">OAuth - 维基百科，自由的百科全书</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6f78a4a55f52" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>