<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Terrence Toh on Medium]]></title>
        <description><![CDATA[Stories by Terrence Toh on Medium]]></description>
        <link>https://medium.com/@ttcchong?source=rss-46a23a713884------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*8hi9vyOG2X3KIz7scoDVvg.jpeg</url>
            <title>Stories by Terrence Toh on Medium</title>
            <link>https://medium.com/@ttcchong?source=rss-46a23a713884------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 03:37:18 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@ttcchong/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[從遠端工作者到遠端管理者]]></title>
            <link>https://ttcchong.medium.com/%E5%BE%9E%E9%81%A0%E7%AB%AF%E5%B7%A5%E4%BD%9C%E8%80%85%E5%88%B0%E9%81%A0%E7%AB%AF%E7%AE%A1%E7%90%86%E8%80%85-44d3c4a7bc90?source=rss-46a23a713884------2</link>
            <guid isPermaLink="false">https://medium.com/p/44d3c4a7bc90</guid>
            <category><![CDATA[remote-working]]></category>
            <category><![CDATA[remote-management]]></category>
            <category><![CDATA[lifestyle]]></category>
            <dc:creator><![CDATA[Terrence Toh]]></dc:creator>
            <pubDate>Mon, 20 Feb 2023 16:11:03 GMT</pubDate>
            <atom:updated>2025-02-24T06:33:04.458Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*F0221kqoMX27iG2NLk6NQQ.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@flysi3000?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Simon Abrams</a> on <a href="https://unsplash.com/s/photos/remote-work?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><blockquote>這篇文章是我在台灣「2023 僑外生校園就業博覽會」上分享的部分內容的文字版，也是我四年多下來，從遠端工作者的身份轉爲遠端管理者，以及和不同產業不同背景的人交流的一些觀察和心得，希望對正在遠端工作或準備遠端工作的個人/團隊有所幫助！</blockquote><h4>提到遠端，你會想到什麽</h4><p>對於以上的問題，相信不同角色會有不同的第一印象，也許是</p><ul><li>不用通勤超爽</li><li>在家上班是不是可以邊上班邊打電動</li><li>看不到人不知道有沒有在認真做事</li><li>關在自己的小空間好孤獨</li><li>有自己的不被打擾的空間就可以高效的完成工作</li></ul><p>新冠肺炎襲捲全球之前，「遠端」曾經只是特定公司會給予的「福利」。疫情期間，無論是各國政府的法規，或基於疫情對於企業和個人的影響，遠端漸漸的從福利轉為預設的「工作模式」。隨著疫情緩和，企業又開始漸漸的把人找回辦公室，或是開啟「混合辦公」模式。</p><p>這樣的轉變，個人觀察到最有趣的現象莫過於：企業主覺得「遠端低效」、「溝通成本變高」；而員工則覺得「遠端高效」、「可以省去一些無效溝通的時間專注在更重要的事」。</p><h4>價值的分歧</h4><p>很明顯的，在大部分公司勞資雙方對於遠端帶來的「價值」是有分歧的，以下舉幾個我很常聽到的問題：</p><ul><li>遠端都看不到團隊在做什麼，產出非常的低效：在辦公室你就真的確保你的員工/團隊成員/同事都有認真在做事嗎？相信大家都有遇過/聽說過可以在公司的各種地方聊天聊了整半天，再回到座位上刷 FB 刷到下班的同事吧。</li><li>遠端會議溝通成本很高，看不到人都不知道有沒有在認真聽，都不發言不認真參與討論，常常會變成一個無效會議：嗯好這問題有很多不同的因素，遠端會議的確有它的成本和缺點，但…實體會議也有很多無效會議啊。</li></ul><p>既然有分歧，但工作還是得完成，產品還是得上，所以還是需要想個辦法來厘清彼此對於遠端所帶來的價值的分歧。這裏提到的是「厘清」，而非「解決」。至少就我個人截至目前的經驗來說，這個分歧很難永遠被解決，人總是在發生問題的時候喜歡找一個最簡單最暴力的解法，在這個問題上，就是「把人找回辦公室」。（當然我不否認有些產業/職位真的需要回到辦公室比較高效）</p><p>那該如何在雙方的期望中間取得一個平衡點呢？要如何優化遠端的體驗和放大遠端帶來的價值呢？以下分享我作為 Individual Contributor（以下簡稱 IC）和 Manager 不同角色間轉換時，對於幾個議題的觀察和思考。</p><h4>信任</h4><p>作為 IC，你透過什麼樣的方式來取得工作夥伴、主管、和老闆的信任呢？作為 Manager，你清楚的溝通了你的期望嗎？雙方是否都有嘗試不同的方式讓彼此可以更瞭解自己的工作狀態或處境呢？</p><p>比如說，我一直都有寫工作日誌的習慣，且會以日、週、月、年為單位，總結出自己在這段時間的工作，並從中找到可以讓自己或我服務的企業變得更好的地方。</p><p>在遠端無法見面的情況下，這樣的文檔更顯得珍貴，你可以透過工作日誌以重點條列且有脈絡和結構的方式分享給你的工作夥伴/主管/老闆。</p><p>當然如果工作日誌如果只記錄你的日常工作是無法讓它的價值最大化的，盡可能在日誌中記錄自己關於工作的狀態、流程、想法，再把這些資訊整理成對方可消化的格式，帶到不同的會議或溝通的場景下去運用，相信這對於雙方建立信任都會有很大的幫助。</p><p>當然工作日誌只是其中一個可能可以增加彼此信任的方式，你也可以當個穩定且持續的產出的專業工作者、從自己的專業出發認真的提供工作上的建議等，盡可能找到屬於自己舒服且可以讓別人看到你的付出的方式。</p><blockquote>缺乏信任的團隊不管是實體辦公或是遠端都注定失敗，只是遠端放大了信任的問題。</blockquote><h4>遠端優先</h4><p>你的工作流程和團隊協作方式是圍繞遠端來設計的嗎？你清楚的向你的工作夥伴/下屬溝通你的期望了嗎？這邊可以再細分幾個面向來思考。</p><p>以溝通方式而言</p><ul><li>哪些資訊可以透過文字傳遞？</li><li>哪些應該直接約一個視訊會議？</li><li>哪些需要即時回覆並處理？</li></ul><p>以我目前的公司為例，一般來說非緊急的訊息都是以文字傳遞為主，通常會需要視訊會議的都是需要即時取得答案或複雜度比較高需要搭配一些工具輔助才能理解的議題，而遇到一些較緊急的狀況，比如說網站掛了當然就必須馬上打電話了。</p><p>這裏會牽涉更多的議題比如說 on-call 機制怎麼設計、怎麽確保發生重大事件時可以找得到人、怎麽確保重要的訊息不會被遺漏、、各種文件的運用時機等議題，每個獨立的議題都可以再深入的去談，有機會再獨立分享。</p><p>另外一個很常管理者詬病的問題為協作上的困難，這就回到工作流程是否都是以遠端優先為前提去設計，以一般產品和軟體工程的協作為例：</p><ul><li>在什麼階段需要讓不同的人參與討論？</li><li>在什麼階段需要分享什么樣的資訊給團隊/跨團隊/公司/客戶？</li><li>如何可以透過自動化的方式減少人工可能遺漏訊息的可能？</li><li>如何可以讓每個階段的工作狀態透明化等？</li><li>如何追蹤績效？</li><li>如何在看不到人的情況下看到工作的產出和其所帶來的價值？</li></ul><p>以上問題如果放到各個不同產業、不同公司文化、不同產品、不同團隊組成都會在流程設計上有不同的考量。</p><p>以我前公司為例子，在遠端期間只要有一個人是遠端，就算有一部分人在辦公室也應該要以視訊的方式進行會議確保每個人的會議體驗一致。</p><p>以我現在的公司來説我們就更關注在資訊透明化、流程自動化以及績效量化等議題。</p><blockquote>根據團隊的需求，以遠端優先爲中心去設計相關的流程和協作方式</blockquote><h4>遠端體驗</h4><p>根據我不負責任的統計，我發現有一部分人的在提到遠端體驗時會投訴</p><ul><li>網路變慢了</li><li>熒幕變小了</li><li>桌子空間變小了</li><li>家裏電費變高了</li><li>會議上那時不時就斷綫/聼不清楚你在說什麽的人兒</li><li>工作時間和非工作時間分不開</li></ul><p>我想説的是，不管是對自己好，或是對自己的工作夥伴好，想要有一個還不錯的遠端辦公體驗，適時的審視自己的工作體驗，再依自己的能力去提升體驗是很重要的，畢竟辦公的地方是自己選的當然要好好的對待啊！</p><p>以下分享一些我個人覺得可以提升體驗的幾個方法：</p><ul><li>投資適合的硬體設備：穩定的網路和能讓人清楚的聽到你說什麼的耳機麥克風是基本，如果最基本的環境都沒辦法滿足那只會增加溝通成本。至於那些酷炫的升降桌、人體工學椅、xx 寸大熒幕，就視個人的需求和財力來決定要不要配置了</li><li>心態：人天生都是需要社交的動物，只是多寡的區別，大部分時候遠端工作遠比你想像中的孤獨，且需要高度的自律才能發揮最大的價值，如何讓自己的心態準備好，是一個需要花時間去瞭解自己、探索自己的一個重要的過程</li><li>善用閒暇時間：把不需要通勤所省下來的時間投資在可以讓自己快樂的事情上，多瞭解自己需要什麼、想要什麼，不管是看書、學習、打電動都好，讓這些活動可以成為你保持工作狀態的催化劑。當然，累了就善用這些時間好好的休息、放空、耍廢，好好的探索自己</li></ul><blockquote>如果你察覺到自己陷入低潮，還是建議多出去走走和不同的人聊聊，會有意想不到的效果。</blockquote><h4>結語</h4><p>我個人觀察到的在遠端上適應良好的企業或團隊都有以下特徵</p><ul><li>團隊内部對於彼此的信任度高</li><li>以遠端優先為中心去建立流程、制度、績效追蹤等</li><li>持續的優化遠端的體驗，無論是在硬體設備的投資、心態上的準備、閑暇時間的運用等等</li></ul><p>遠端只是其中一種工作方式，最重要的還是可以找到適合自己/團隊/企業的工作模式。可以先思考自己所帶來的價值，再思考怎麼搭配適合的工作模式讓價值最大化。</p><blockquote>人生是自己的，遠端工作的辦公方式、地點、環境也是自己選的，既然選了當然要盡可能讓自己開心的工作啊！</blockquote><p>以上是我這些年來作爲遠端工作者到遠端管理者的一些觀察和心得，如果你有不同的想法歡迎交流！希望大家都可以找到屬於你們的工作模式，創造更多的價值。</p><pre>如果想知道更多關於遠端工作的事，歡迎加我 LinkedIn 聊聊<br>https://www.linkedin.com/in/terrence-toh-61879072</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=44d3c4a7bc90" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[三十而立是在立什麼]]></title>
            <link>https://ttcchong.medium.com/%E4%B8%89%E5%8D%81%E8%80%8C%E7%AB%8B%E6%98%AF%E5%9C%A8%E7%AB%8B%E4%BB%80%E9%BA%BC-87665f683dff?source=rss-46a23a713884------2</link>
            <guid isPermaLink="false">https://medium.com/p/87665f683dff</guid>
            <category><![CDATA[lifestyle]]></category>
            <dc:creator><![CDATA[Terrence Toh]]></dc:creator>
            <pubDate>Sun, 03 Jan 2021 17:12:09 GMT</pubDate>
            <atom:updated>2021-01-03T17:20:06.697Z</atom:updated>
            <content:encoded><![CDATA[<p>三十而立是在立什麼</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xD2mCk0DBjyV6PRLUqZ82A.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@grakozy?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Greg Rakozy</a> on <a href="https://unsplash.com/s/photos/life?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><pre>這篇原本打算在 2020 生日前寫的，但當時再度遇到馬來西亞因應疫情封城學校關閉小孩在家完全沒辦法分神，只好拖到 2021 順便當年度回顧了。</pre><p>常聽到「三十而立」這四個字，但我還是第一次去認真查了一下三十而立是在立什麼，看了幾個解釋不外乎就是在說成家立業、對自己有一定的認知、獨立等。</p><p>所以三十歲的我有符合以上的期望了嗎？希望可以在 2021 初記錄一些值得記錄的事，讓我在下一個里程碑可以來回顧回顧。</p><pre>以下的內容會很雜，包含 2020 看過的書和玩過的遊戲、關於工作和生活等記錄，沒興趣的可以就此離開咯～</pre><h4>2020 看過的書</h4><p>很久以前還有那種「希望一年看完 N 本書」的期望，後來認清了不管是心態還是現況都不可能完成這壯舉，索性就追隨自己的內心，想看就拿起書來看，沒空不想看就耍廢做其他事情就好，反正硬逼自己拿起書也看不進去還不如隨心所欲。</p><p>今年涉略的書的範圍有點廣</p><ul><li><a href="https://www.amazon.com/dp/B07M9HGLB3">Prepared: What Kids Need for a Fulfilled Life</a></li></ul><p>隨著女兒慢慢長大，一直在思考的是要給我的孩子什麼樣的教育，偶然看到 <a href="https://www.gatesnotes.com/About-Bill-Gates/Holiday-Books-2019">Bill Gates 的推薦書單</a>中有這本書就買來看看，覺得裏面蠻多關於教育的理論、方法、未來都滿值得思考的。</p><blockquote>“How can you use your interests, curiosities, and passions to contribute to your community and better yourself?”</blockquote><blockquote>Tavenner, Diane. Prepared (p. 113). Crown. Kindle Edition.</blockquote><p>上面這句話我自己也想一下，雖然目前我並沒有什麼太大的成就，但我的生活是過得非常充實和開心的，因為我做著的就是我喜歡做的事，而且是持續的在思考可以怎麼貢獻更多。</p><p>那要怎麼讓我的孩子和我一樣自己現在在做的事並且持續的過完他的大半部分人生呢？</p><p>這本書提到了如何從孩子自身的興趣探索開始，到協助他們設定目標，成為幫助他們的人生導師等，對我而言裏面的很多理論和方法都是我滿認同的，雖然說他們辦的學校主要針對是高中生不一定適用於更小的小朋友，但也蠻值得思考裏面的精神。</p><p>常聽到很多父母在談「栽培」「為孩子的未來做準備」之類的，但我心裏想的是「你可以預見未來嗎？你可以確定你現在栽培的方法是符合未來的需求的嗎？」</p><p>我相信下一代有下一代需要面對的問題，也許到那個時候他們面對的問題已經是要移民火星生存的問題了？所以也許從現在開始教他們怎麼在火星種食物活下來或許比較實際。</p><p>另外一個影響我的育兒方法的一點是，<strong>如果要讓孩子知不知道他們對一個東西有沒有興趣，一定要先做到 Expose，也就是讓孩子實際去體驗，不要讓孩子只停留在 Youtube / 電視 / 書，多帶和多陪孩子做各式各樣的體驗，他們總會走出屬於自己的路。</strong></p><p>其實看完我也還不知道要怎麼幫助他們應對未來，我只希望在我還活著的時候可以成為他們的導師，在他們需要幫助的時候給予幫助，幫助他們找到自己的興趣，支持他們去做認為該做的事，就這麼簡單。</p><ul><li><a href="https://www.amazon.com/Data-Science-Business-Data-Analytic-Thinking-ebook/dp/B00E6EQ3X4">Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking</a></li></ul><p>工作關係會碰到很多各式各樣的資料，就好奇說這些資料可以怎麼轉化為有價值的應用，在朋友推薦下就買了這本書。</p><p>但也因為工作關係，後來沒什麼用到所以也只看了一半，不過對我<strong>建立「什麼樣的方法適合解決什麼樣的商業問題」「資料探勘的流程」「各資料探勘的方法」相關的基本知識非常有幫助</strong>。</p><p>但我必須說裏面的數學公式我看不懂的是直接先略過啦～當初選這本來看也這是想先建立一些資料科學相關的脈絡希望日後真的要用到可以當工具書在查。</p><ul><li><a href="https://www.manning.com/books/data-pipelines-with-apache-airflow">Data Pipelines with Apache Airflow</a></li></ul><p>在遇到 Airflow 各不同 pipelines 的 dependencies 問題的時候看到其中一篇文章有推薦就買來看了幾個章節，發現裏面沒有我想要的內容，就放著當工具書有需要再翻了。裏面的內容和基礎知識滿完整和清楚的，適合對 Airflow 有興趣想入門的人閱讀。</p><ul><li><a href="https://www.amazon.com/Headspace-Guide-Mindfulness-Meditation-difference-ebook/dp/B0050C863G">The Headspace Guide to Mindfulness &amp; Mediation</a></li></ul><p>有段時間睡眠品質不太好和專注力很容易渙散，無意中看到冥想似乎對專注和晚上的睡眠品質有幫助就買回來看看，期間有跟著書中的方法練習，但後來發現一直沒辦法掌握書中描述的狀態，就沒繼續練習了。</p><p>但整體而言個人對冥想還是滿有興趣的，只是最近在看別的東西應該等有空再找其他方法來練習</p><ul><li><a href="https://www.books.com.tw/products/0010874449">文明、現代化、價值投資與中國</a></li></ul><p>一直以來都有想接觸投資的想法，但我個人做任何事情前都傾向先系統性的了解整個知識脈絡。尤其是投資，我會希望我清楚知道自己在做什麼、會面臨什麼、有什麼風險是我必須要先清楚知道的等等，因此陸續都有在看一些相關的書和文章。</p><p>對於這本書和價值投資印象最深刻的就是「<strong>要在自己的能力圈內去做投資</strong>」，我覺得我現在對於投資、商業的了解還太少，可以投入的時間也不足以說服我自己行動，所以…繼續學習吧～</p><ul><li><a href="https://www.books.com.tw/products/0010834788">鯨吞億萬：一個大馬年輕人，行騙華爾街與好萊塢的真實故事</a></li></ul><p>作為馬來西亞人，一直對 1MDB 背後的故事很有興趣，所以看到這本書上架就馬上買回來看了。看完後的感想只有：上流社會的世界真的是我無法想像的瘋。</p><h4>2020 玩過的遊戲</h4><p>透過 Nintendo 寄給我的年度統計我才驚覺，今年遊戲的時間都在下半年，可能是我兒子比較穩定了所以比較有時間和心情打開了？</p><p>不管怎樣覺得有時間玩一玩遊戲對我來說都是一件非常幸運的事，有時候會在想如果我把打遊戲的時間都拿去看書或做別的事會怎麼樣？</p><p>我想…我應該會過得很像沱爛泥吧！</p><p>以下來回顧一下今年玩過的遊戲</p><ul><li><a href="https://www.nintendo.com/games/detail/octopath-traveler-switch/">Octopath Traveler</a></li></ul><p>一款出了很多年的遊戲，有鑑於前幾年玩有劇情的遊戲都會因為中間有事忙就先放著，後來再回來玩就忘記劇情的狀況，之後就很少再買劇情類的遊戲。</p><p>去年看到這遊戲在打折就下定決心一定要忘記劇情之前玩完，然後就一口氣把主要劇情都過完啦！故事和音樂都很棒的一部作品～至今偶爾還是會開著音樂作為上班的背景音樂。</p><ul><li><a href="https://www.nintendo.com/games/detail/xenoblade-chronicles-definitive-edition-switch/">Xenoblade Chronicles: Definitive Edition</a></li></ul><p>因為 Octopath 給了我信心，讓我再買了一個據說故事非常好的遊戲，但中間太忙一買就是大概放了半年才打開。故事很熱血，且中間有一些轉折是我猜不到的，就是希望會給我驚喜的遊戲！戰鬥機制對我而言也算滿特別，玩了之後有一度考慮要入手 2 代但…時間不夠用了</p><ul><li><a href="https://www.nintendo.com/games/detail/monster-hunter-generations-ultimate-switch/">Monster Hunter Generations Ultimate</a></li></ul><p>應該算是最近花最多時間的遊戲了～無腦打怪刷裝備～什麼都不想做只想動動手指舒壓的時候的好幫手（好啦被怪虐的時候並沒有舒壓）～期待 Monster Hunter Rise！</p><ul><li><a href="https://www.animal-crossing.com/new-horizons/">Animal Crossing</a></li></ul><p>玩了一下就棄坑了，也不是不好玩，純粹覺得現實生活要賺錢養房到了遊戲還要一直賺錢解鎖更大的房子也太累就玩不下去了</p><p><strong>工作</strong></p><p>最近一直在思考 career path 的事，發現自己的 career path 和自己大學時想的不太一樣，非常的不專注，也讓我懷疑自己沒有成為優秀工程師的因子</p><p>第一家：Android Engineer &gt; Full Stack Engineer &gt; Tech Lead &gt; IPO 後離開</p><p>第二家：Backend Engineer &gt; 剛回 MY 有兼職了 MY Operations Manager 一下&gt; Data Engineer &gt; 現在</p><p>仔細思考了一下其實每個工作的轉折都有給我選擇，只是我都選了那個走更廣的路，但如果再給我選，我應該還是會做同樣的選擇吧～</p><p>這就是一段自我探索的旅程，從現在來看從前的經歷對我現在的工作多少都有點幫助，也可能是知道自己似乎總有一天會創業所以也不怎麼擔心因為走太廣日後找不到工作吧！</p><p>比起去思考「我應該要成為一個怎麼樣的工程師」，我更喜歡思考「我應該要有什麼樣的技能來解決問題」，就像現在回顧 <a href="https://tech.hahow.in/hahow-%E6%95%B8%E6%93%9A%E5%9C%98%E9%9A%8A%E7%9A%84%E8%AA%95%E7%94%9F-665371af389c">Hahow 數據團隊當初成立的初衷</a>，有些是需要透過非工程技能解決的，如果我執著於只專注在工程應該會錯過很多沿途的風景多可惜啊！</p><p>當然我還是沒有放棄想要走深的念頭啦～覺得該探索的探索差不多了，今年應該會好好的耕耘讓自己的技能符合自己的期望了吧！</p><p>另外覺得我的工作經歷很酷的一件事就是每一個直接 report 的對象都是公司的創辦人，且每一位的專業背景都不太一樣，從工程、產品、BD &amp; Sales 都有，也因為如此吸收了不同類型的創業者的養分。</p><p>我也一直很相信一句話，現在在做的/學的看起來不是跟你現在的事情連結起來，但未來總有一天會在某個地方幫得上你。</p><p><strong>健康</strong></p><p>因為疫情影響在上半年經歷了惡夢般的 MCO 封城，兩個屁孩在家還要兼顧工作，直接拖垮了我的健康，事後足足調養了一個月才調回來，讓我開始意識到…我真的不年輕啦！</p><p>現在只要超過 1 點睡覺，隔天醒來都會有那種從肩頸到腳都很緊很痠的感覺，有點可以體會電影中有些有錢老人都想要換年輕的身體的需求。</p><p>但也因為如此過了一段開始嘗試 10 點睡覺，凌晨 5–6 點就可以醒來，而且可以很有精神且有效率的過完一天的神奇生活。</p><p>但那段規律的生活真的是可遇不可求，最近不知道為何躺著都睡不著，所以又恢復原本的生活了。但至少有了一個新的體驗就是好的開始！</p><p><strong>生活</strong></p><p>馬來西亞的疫情每天都以四位數在增加，外界也一直在宣傳說床位已經不足呼籲大家在家抗疫少出門，但真實狀況卻是似乎是我活在平行世界一樣。</p><p>當我帶著一家大小在家躲/在車裏躲/在人少的地方躲，外面的人該出門的不會少，不該人擠人的還是照擠，讓我懷疑這些人腦袋到底裝了什麼…</p><p>轉念一想，或許在這方面我真的才是異類，對我來說有 1% 會發生的事還是會發生，但對很多人來說那可能就是等於不會發生。</p><p>新常態下對自己的心情多少有點影響，也許是因為這樣下半年的遊戲時間才暴增？既然不能報復性旅遊那就報復性玩遊戲吧～</p><p><strong>生意</strong></p><p>就只是想分享我老婆開始了自己的生意，希望可以成為爸爸媽媽孩子們在育兒路上的扶木，大家快來支持支持！</p><ul><li>官網：<a href="https://www.thefumoo.com/">https://www.thefumoo.com/</a></li><li>Medium：<a href="https://medium.com/thefumoo">https://medium.com/thefumoo</a></li><li>Facebook Page: <a href="https://www.facebook.com/thefumoo">https://www.facebook.com/thefumoo</a></li><li>Instagram: <a href="https://www.instagram.com/thefumoo/">https://www.instagram.com/thefumoo/</a></li></ul><p>好了今天的記錄就到這邊～2021 沒有什麼新年新希望，有了小孩後體會到自己的時間都不是自己的，對自己的生活方式沒有過多的期望才不會有太多的期望落差，只要確保自己有在認真的生活就足夠了！</p><pre>最後的最後，2021 希望疫情趕快過去，我想帶小孩出去玩啊！四天放假都在家太痛苦啦！！！</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=87665f683dff" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Airflow：工作流程管理控制台]]></title>
            <link>https://medium.com/hahow-tech/apache-airflow-%E5%B7%A5%E4%BD%9C%E6%B5%81%E7%A8%8B%E7%AE%A1%E7%90%86%E6%8E%A7%E5%88%B6%E5%8F%B0-4dc8e6fc1a6a?source=rss-46a23a713884------2</link>
            <guid isPermaLink="false">https://medium.com/p/4dc8e6fc1a6a</guid>
            <category><![CDATA[tech]]></category>
            <category><![CDATA[data-pipeline]]></category>
            <category><![CDATA[hahow好學校]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[apache-airflow]]></category>
            <dc:creator><![CDATA[Terrence Toh]]></dc:creator>
            <pubDate>Mon, 15 Jun 2020 02:50:19 GMT</pubDate>
            <atom:updated>2020-06-15T02:50:19.353Z</atom:updated>
            <content:encoded><![CDATA[<pre>如果你對以下議題有興趣，歡迎繼續看下去<br>👉 Airflow 的核心概念和主要架構<br>👉 如何運行 Airflow<br>👉 實戰：使用 Airflow 設計 Facebook 廣告資料下載的工作流程</pre><p>上一篇「<a href="https://tech.hahow.in/a1a73af87fe9">淺談 Cloud Dataflow &amp; Apache Beam 處理資料流</a>」介紹了 Hahow 處理資料的工作流程 1.0，搭配 Cloud Dataflow 處理資料管道，快速的去做 PoC 驗證需求。</p><p>隨著時間推進，Data Team 陸續收集和統整了內部夥伴的需求，覺得是時候引入完整性、擴充性更好的方案來應對接下來的各種需求，希望新的方案可以做到：</p><ul><li>支援 backfilling：陸續有每日更新數據的需求出現，需支援針對特定區間做資料回補</li><li>支援單個任務重跑：一個工作流程會包含很多不同的任務，有些流程如果失敗了不需要整個重啟，只需執行特定任務即可，這樣也比較好測試</li><li>任務可以重用也可以組合成不同的工作流程：1.0 僅支援直線式的流程，希望可以讓單個任務被不同的流程使用，做到更好的模組化來重用</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/688/0*QdDHMk3sRbj10Lvy.png" /><figcaption>有兩個任務分別要等 [A, B] 或 [B, C] 完成才會執行</figcaption></figure><ul><li>（非必要）有更直觀的介面可以操作、監控執行狀態和 logs 等資訊：1.0 都在 command line 操作，如果有 GUI 介面會更好</li></ul><p>盤點了需要達到的目標以後，腦海中就馬上浮現在 1.0 前看過相關文件，但在需求驗證期間下沒選擇使用的 Apache Airflow。</p><h3>導入工作流程管理平台：Airflow</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FJsMPN5kPMI7JuqhsaP7rA.png" /><figcaption>Source: <a href="https://en.wikipedia.org/wiki/Apache_Airflow">Wikipedia</a></figcaption></figure><p><a href="https://airflow.apache.org/">Apache Airflow</a>（以下簡稱 Airflow）是一個由 Airbnb 開源的工作流程管理平台，於 2016 年成為 Apache Incubator 的項目。</p><p>Airflow 讓開發者可以以 configuration as code（Python）的方式建構 ETL ，排程處理資料，且搭配 WebUI 控制排程、監控狀態等，以下會陸續介紹幾個 Airflow 的核心概念。</p><p><strong>DAG</strong></p><p>在 Airflow 每個工作流程被定義為一個 Directed Acyclic Graph（以下簡稱為 DAG），每個 DAG 包含了各種工作的集合，而 DAG 定義了工作和工作之間的關係、執行順序等。</p><p><strong>Operators</strong></p><p>DAG 定義的是整個工作流程如何運作，而 Operators 則定義了工作流程裏每個工作的工作內容，比如說 Hahow 比較常用的有：</p><ul><li>BashOperator: 執行 bash 指令</li><li>PythonOperator: 執行 Python function</li><li>GoogleCloudStorageToBigQueryOperator: 從 Google Cloud Storage 匯入資料到 Big Query</li><li>BigQueryOperator: 執行 Big Query 的 SQL 指令</li></ul><pre># 輸出 hello 的工作內容<br>hello = BashOperator(<br>    task_id=&#39;hello&#39;,<br>    bash_command=&#39;echo hello&#39;,<br>)</pre><p>如果 Airflow 提供的 Operators 沒辦法滿足你的需求，可以透過繼承自定義 Operator，操作 <a href="https://airflow.apache.org/docs/stable/concepts.html#hooks">Hooks</a> 來達成目的。Hooks 可以看作是連結外部服務或資料庫的介面。</p><p>此外，Operator 的部分參數是可以透過 <a href="https://jinja.palletsprojects.com/en/2.11.x/">Jinja</a> 語法傳遞的，官方有一些預設的<a href="https://airflow.apache.org/docs/stable/macros-ref.html">變數</a>可以使用，也可以傳遞自己設定的變數。</p><pre># 輸出執行時間的日期（YYYY-MM-DD）<br>today = BashOperator(<br>  task_id=&#39;echo_today&#39;,<br>  bash_command=&#39;echo {{ ds }}&#39;<br>)<br><br># 輸出透過 params 傳遞的自定義參數<br>ping = BashOperator(<br>  task_id=&#39;pong&#39;,<br>  bash_command=&#39;echo {{ params.pong }}&#39;,<br>  params={<br>    &#39;pong&#39;: &#39;pong&#39;<br>  }<br>)</pre><p><strong>Tasks</strong></p><p>定義好工作內容後，透過程式碼宣告把工作內容指派為 task（工作），這些工作實體化為 task instance 提供 DAG 去定義它們之間的關係和執行順序等，而工作執行也會有它自己的生命週期。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*pGGIDSYCxxG2R_jt.png" /><figcaption>Task Lifecycle Source: <a href="https://airflow.apache.org/docs/stable/concepts.html#task-lifecycle">Apache Airflow</a></figcaption></figure><p><strong>Airflow 是可以針對單一工作測試的，因此 Operator 和 Task 在功能切分上設計得越乾淨和功能單一，測試就越簡單。</strong></p><p><strong>XComs</strong></p><p>XCom 是 Cross-communication 的縮寫，在 Airflow 每個工作都是獨立的實體，所產生的任何資料會隨著工作完成消失，如果想取得其他工作的資料可以透過 XCom 傳遞，<strong>但需注意 XCom 的大小是有限制的，僅適合用來傳遞 ID、檔名等可辨識的唯一值</strong>，交給其他 Operator 把完整資料捉出來。</p><pre># Source: <a href="https://airflow.apache.org/docs/stable/_modules/airflow/models/xcom.html">Apache Airflow</a></pre><pre><a href="https://airflow.apache.org/docs/stable/_modules/airflow/models/_modules/airflow/models/xcom.html"># MAX XCOM Size is 48KB</a></pre><pre><a href="https://airflow.apache.org/docs/stable/_modules/airflow/models/_modules/airflow/models/xcom.html"># https://github.com/apache/airflow/pull/1618#discussion_r68249677</a></pre><pre><a href="https://airflow.apache.org/docs/stable/_api/airflow/models/xcom/index.html#airflow.models.MAX_XCOM_SIZE">[docs]</a>MAX_XCOM_SIZE = 49344</pre><h3>Airflow 動起來！</h3><p>了解了核心概念，定義好工作流程、工作內容、分配好工作以後，是時候讓 Airflow 開始工作了！Airflow 要可以運轉需要有幾個角色：</p><ul><li>Web Server：DAG 定義好之後預設都是關閉的，可以透過 WebUI 打開排程。WebUI 會顯示 DAG 的工作狀態、工作流程、運行時間、工作執行的 logs 等資訊。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*qH3fMCzjn66knmf-.png" /><figcaption>工作運行時間的甘特圖</figcaption></figure><ul><li>Scheduler：負責 DAG 實際的排程和分配工作給 Executor 執行</li><li>Metadata Database：儲存 DAG 執行的資訊、狀態，Airflow 本身的設定如用戶、連線等設定。Web Server 顯示的資訊就是從 Metadata DB 來的，而 Scheduler 也會更新這些資訊到 DB 讓 Web 和 Scheduler 可以同步。</li></ul><p>Scheduler 排程以後，還需要有個機制決定如何分配工作，而那個機制就是 Executor。它會把工作交給 Worker 運行，不同 Executor 也有不同的優缺點，詳細比較可以參考<a href="https://www.astronomer.io/guides/airflow-executors-explained/">這篇文章</a>，比較常用的有：</p><ul><li>Local Executor：在單一機器平行運行多個工作，原則上機器規格開得夠大的話初期使用應該就很足夠了，這也是 Hahow 目前還在使用的 Executor</li><li>Celery Executor：把工作分散到各個不同機器的 Celery Worker，需要有 message broker 作為溝通的管道，因為是分散式的所以適合做水平擴充</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*U85SYY3wFioFRnqC.png" /><figcaption>Celery Executor 運作圖 Source: <a href="https://medium.com/sicara/using-airflow-with-celery-workers-54cb5212d405#:~:text=Inside%20Apache%20Airflow%2C%20tasks%20are,in%20its%20own%20python%20subprocess.&amp;text=Celery%20Executor%3A%20The%20workload%20is,can%20run%20on%20different%20machines.">Medium</a></figcaption></figure><ul><li>Kubernetes Executor：版本 v1.10 之後才有的，透過 Kubernetes API 為每個工作開啟一個 <a href="https://kubernetes.io/docs/concepts/workloads/pods/pod/">Pod</a>，工作完成後就會砍掉，可以跟據每個工作分配不同的 CPU、memory、設定等，達到資源利用最大化。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/940/0*Y3AYdhbgk9LDDYhg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/945/0*2PfWS6uNr9I3CVVO.png" /><figcaption>Kubernetes Executor 運作圖 Source: <a href="https://www.datacouncil.ai/hubfs/DataEngConf/Data%20Council/Slides%20SF%2019/Running%20Airflow%20reliably%20with%20Kubernetes.pdf">Data Council</a></figcaption></figure><p>了解 Airflow 運行的架構和各角色不同的分工後，我們可以透過以下指令讓 Airflow 在本機運行（前提是 Airflow 已經安裝好，安裝可以參考<a href="https://airflow.apache.org/docs/stable/installation.html">官方文件</a>）。</p><pre># 指定 DAG 存放的地方<br>export AIRFLOW_HOME=&lt;YOUR_DAGS_PATH&gt;</pre><pre># (Optional) DB 初始化，初次執行即可<br>$ airflow initdb</pre><pre># 開啟 webserver，可以加 -p 指定 port，預設 port 為 8080<br>$ airflow webserver</pre><pre># 開啟 schduler<br>$ airflow scheduler</pre><p>打開瀏覽器輸入 localhost:8080 就可以進入 Airflow 的 WebUI。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*d_zg8EE1JuYhXwdF.png" /><figcaption>Airflow WebUI</figcaption></figure><p>除了 WebUI 以外，Airflow 也提供指令可以使用，常用指令包含：</p><pre># 開發階段在本機測試相關 task<br>$ airflow test &lt;DAG_ID&gt; &lt;TASK_ID&gt;<br><br># 執行給定區間內的資料回填<br># --reset_dagruns 可重啟已經執行過的 DAG<br># --rerun_failed_tasks 僅重啟失敗的工作<br>$ airflow backfill &lt;DAG_ID&gt; -s &lt;START_DATE&gt; -e &lt;END_DATE&gt;</pre><p>到這邊為止我們認識了 Airflow 的核心概念，了解了怎麼讓它運作起來，接下來就會進如實戰的部分咯！</p><h3>實戰：Facebook 廣告資料下載</h3><p>現在大部分企業都有投放 Facebook 廣告，這個案例會展示的是如何使用 Airflow 設計 Facebook 廣告資料下載的工作流程和排程。</p><p>定義的工作流程順序如下：</p><ol><li>產生報告：Facebook Insights API 產生報告，透過 xcom 儲存 json 結果</li><li>取得報告 ID：透過 xcom 取得步驟 1 中的 json 結果，從中取得 report_run_id 並儲存到 xcom</li><li>檢查報告狀態：檢查 HttpSensor 每 30 秒去檢查報告產生的狀態</li><li>資料處理和輸出：自定義 Operators 去執行下載報告 → 取得特定資料 → 寫入 Big Query</li></ol><p>定義好工作流程，下一步我們可以把工作流程轉為 Airflow DAG，代碼如下（自定義 Operator 的部分可以按需求補上邏輯就可以用了）：</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/32055a0836653ee846ec8d341c3faaaa/href">https://medium.com/media/32055a0836653ee846ec8d341c3faaaa/href</a></iframe><p>可以透過指令 `<strong>python &lt;YOUR_FILE_NAME&gt;.py` </strong>執行看看有沒有任何錯誤產生，沒有的話就可以在 WebUI 看到這個 DAG 咯！</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*BbMQYdZJXAO8qQKN.png" /><figcaption>FB 廣告下載 DAG</figcaption></figure><p>最後透過 WebUI 或是指令 airflow trigger_dag &lt;DAG_ID&gt; 就可以啟動 DAG 。</p><p>在導入 Airflow 後，我們從單一的工作流程擴充到多個不同的工作流程，每個工作流程都有自己獨立的排程、參數和相關設定，開發和維護上只需要考慮該 DAG 的需求和流程。</p><p>此外，Airflow 的擴充性也讓我們在現階段可以應付大部分的需求</p><ul><li>Airflow 有提供 Operators 那就使用 Airflow 的</li><li>如果沒有提供那就透過繼承使用 Hooks 連接外部服務自制 Operators</li><li>Hooks 沒辦法解決的話則視問題的分類</li><li>資料處理或統計可以匯入資料到 SQL/BigQuery 解決</li><li>執行指令可以製作 Docker image 透過 DockerOperator/KubernetesPodOperator 執行</li></ul><p><a href="https://tech.hahow.in/a1a73af87fe9">1.0 的工作流程</a>也正式被 Airflow 取代，Airflow 會負責處理一些較單純的資料搬移工作，比如說</p><ul><li>從 Google Cloud Storage 搬到 Big Query</li><li>下載外部服務資料到 Google Cloud Storage 等</li></ul><p>計算量大的工作依舊交給 Cloud Dataflow 自動擴充機器計算，而 Airflow 則只有確保原始檔案都輸出完成後啟動 Dataflow 處理資料管道即可。</p><p>在未來可以隨著量級增大以後轉到 Kubernetes Executor 去達到資源利用最大化，而監控方面也可以和 <a href="https://prometheus.io/">Prometheus</a> 整合做精細的監控以讓後續優化，整體來說 Airflow 在擴充性這點是做得蠻完整的！</p><p>如果你剛好也在考慮是否導入 Airflow，希望以上的分享對你有幫助。</p><p>最後也分享幾個個人覺得滿實用的文章和教學，這些資源在前期建立 Airflow 的基本運作知識和觀念上很有幫助，有興趣的可以參考看看：</p><ul><li><a href="https://airflow.apache.org/docs/stable/concepts.html">Concepts - Airflow Documentation</a></li><li><a href="https://www.astronomer.io/guides/airflow-executors-explained/">Airflow Executors: Explained</a></li><li><a href="https://leemeng.tw/a-story-about-airflow-and-data-engineering-using-how-to-use-python-to-catch-up-with-latest-comics-as-an-example.html#app-v2">一段 Airflow 與資料工程的故事：談如何用 Python 追漫畫連載</a></li></ul><pre>如果你喜歡這篇文章，請用力的鼓掌鼓勵鼓勵吧！👏👏👏</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4dc8e6fc1a6a" width="1" height="1" alt=""><hr><p><a href="https://medium.com/hahow-tech/apache-airflow-%E5%B7%A5%E4%BD%9C%E6%B5%81%E7%A8%8B%E7%AE%A1%E7%90%86%E6%8E%A7%E5%88%B6%E5%8F%B0-4dc8e6fc1a6a">Apache Airflow：工作流程管理控制台</a> was originally published in <a href="https://medium.com/hahow-tech">Hahow Tech</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[淺談 Cloud Dataflow & Apache Beam 處理資料流]]></title>
            <link>https://medium.com/hahow-tech/%E6%B7%BA%E8%AB%87-cloud-dataflow-apache-beam-%E8%99%95%E7%90%86%E8%B3%87%E6%96%99%E6%B5%81-a1a73af87fe9?source=rss-46a23a713884------2</link>
            <guid isPermaLink="false">https://medium.com/p/a1a73af87fe9</guid>
            <category><![CDATA[apache-beam]]></category>
            <category><![CDATA[tech]]></category>
            <category><![CDATA[google-cloud-dataflow]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[data-pipeline]]></category>
            <dc:creator><![CDATA[Terrence Toh]]></dc:creator>
            <pubDate>Sun, 07 Jun 2020 14:07:29 GMT</pubDate>
            <atom:updated>2020-06-07T14:07:29.016Z</atom:updated>
            <content:encoded><![CDATA[<p>在上一篇「<a href="https://tech.hahow.in/hahow-%E6%95%B8%E6%93%9A%E5%9C%98%E9%9A%8A%E7%9A%84%E8%AA%95%E7%94%9F-665371af389c">Hahow 數據團隊的誕生</a>」中有提到基礎建設為 Hahow 數據團隊成立初期的重點項目之一，這篇就來談談我們在初期的資料處理工作流程規劃和相關技術把！</p><p>這篇文章將會分享</p><ul><li>Hahow 數據團隊處理資料的工作流程 1.0</li><li>介紹什麼是 Dataflow，和為什麼我們選擇 Dataflow 來處理資料</li><li>Apache Beam 介紹和範例</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Bvpmq9YWLSQdvoDVtEBpOw.png" /></figure><h3>Hahow 處理資料的工作流程 1.0</h3><p>由於初期把重點放在本站資料單一資料庫，資料處理工作流程蠻單純的，可以分為以下幾個工作階段</p><ol><li>在 Kubernetes 上建立一個 <a href="https://kubernetes.io/docs/concepts/workloads/controllers/cron-jobs/">CronJob</a>，排程匯出本站資料到 Google Cloud Storage</li><li>資料匯出完成後啟動 Dataflow 處理資料</li><li>Dataflow 處理完的資料會直接寫入 BigQuery，分析人員則可以透過 BI 服務連線取得資料分析</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*A-_PLX4nP2L_n-Yz.png" /></figure><p>從上圖可以看到有幾個工作的角色，分別為排程、雲端空間、資料流處理、資料倉儲。每個角色都會因為每家公司需求、架構等不同而有所不一樣，這部分可視情況來做選擇即可。</p><p>以排程為例我們會選擇 Kubernetes CronJob 主要是因為我們已經有建置好的 cluster 和相關部署的 script 可以共用，評估下覺得這是最符合成本和時間的方式。</p><p>接下來主要會介紹 Cloud Dataflow + Apache Beam ，以及如何使用它們來處理資料流。</p><h3>什麼是 Dataflow</h3><p>一般建構分析用的資料需要跟據業務需求對原始資料做一些前置處理，可能包含：</p><ul><li>清除重複、空值太多、和需求不符的資料</li><li>讀取並結合不同資料來源，合併做計算和統計</li><li>針對個別欄位做數值轉換，Ex. 把 0,1,2 的分類轉為有意義且可辨識的值</li></ul><p>處理完的資料會被存放到另外一個檔案或資料庫，資料工程師會把前置處理的邏輯編寫為程式，而程式需要一個可以運行的平台，那個平台就是 Dataflow。</p><p>Dataflow 是由 Google Cloud 託管的資料流處理服務，用來執行資料流處理的程式，並支援自動彈性擴充，費用方面則以運算資源和時間來計價，用多少算多少。</p><p><strong>為什麼選擇 Dataflow</strong></p><p>初期在建置時在需求不明確的情況下，我們偏好的解決方案需符合以下條件：</p><ul><li>serverless：需求不明確且執行的資料管道不多的情況下，沒必要開一台常駐的機器執行</li><li>自動彈性擴充：初期無法預估量級，個別需求會引用不同的資料源，不同的資料源也有不同的量級</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ey9qoyTX5rx_n0lD.png" /></figure><p>Dataflow 提供資料管道運行的環境，跟據資源用量來決定是否擴充資源和平衡工作，而實際上定義資料管道要怎麼運行的程式則必須仰賴 Apache Beam。</p><h3>什麼是 Apache Beam</h3><p>Apache Beam 的前身是 Dataflow SDK，它定義了批次和串流處理資料的標準，並透過不同的語言來實作，不管用哪個 SDK 編寫都可以因應需求在不同的分散式環境下執行。</p><p>Apache 有幾個特點</p><ul><li>統一：相同的程式同時支援批次 (batch) 和串流 (stream) 處理資料，這部分我們比較沒感受到好處，Hahow 目前還是以批次處理為主</li><li>可攜帶性：同樣的資料管道可以同時在不同的環境執行</li><li>擴充性：如果發現官方沒有提供相關的 IO connectors，都可以自己開發擴充，每個 SDK 支援的 IO 都不太一樣，以資料庫為例目前 Python SDK 支援的資料庫 IO 只有 BigQuery、BigTable、Datastore、MongoDb</li></ul><p>目前 Beam SDK 支援的語言主要有 Java、Python、Go，並且可以在 Apache Spark、Apache Flink、Google Cloud Dataflow 等不同的環境下 (Beam Runner) 運行資料管道。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/0*_O6IVeVnKs4NXEpg.png" /><figcaption>Source: <a href="https://beam.apache.org/">Apache Beam</a></figcaption></figure><p>Hahow 主要使用的是 Beam Python SDK，但如果要論對於 Beam Model 的實作完整度來說的話還是 Java SDK 支援比較完整，在官方文件會看到有些功能是 Python SDK 還未實作的。</p><p>比如說下圖為 Python SDK 所支援的 Aggregation，可以看到還是有部分標示為 Not available，因此如果想使用最完整的功能會比較建議使用 Java SDK。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*KBrbNGLeoi60tg50.png" /><figcaption>Source: <a href="https://beam.apache.org/documentation/transforms/python/overview/">Apache Beam</a></figcaption></figure><p>一個最基本的資料管道如下圖，從 Connector（資料庫/檔案）讀取資料，轉換 (PTransform) 為 Beam 的資料型態 (PCollection)，再經過轉換（統計或清理等）後透過寫到資料庫/檔案。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ezMt_mwhJ6Az-pkmm19Pfw.png" /><figcaption>Source: <a href="https://beam.apache.org/documentation/programming-guide/#applying-transforms">Apache Beam</a></figcaption></figure><p><strong>實作第一個資料管道</strong></p><p>假設有一份資料是用戶從什麼來源進入我們的網站，我們想透過這份資料來去統計各來源的數字，我們可以把邏輯透過 Python Beam SDK 編寫為：</p><pre>import sys<br>import apache_beam as beam<br><br>&quot;&quot;&quot;<br>假設這是個用戶從什麼來源進來的資料<br>&quot;&quot;&quot;<br>sample_dataset = [<br>    {&#39;id&#39;: &#39;123&#39;, &#39;source&#39;: &#39;A&#39;},<br>    {&#39;id&#39;: &#39;456&#39;, &#39;source&#39;: &#39;A&#39;},<br>    {&#39;id&#39;: &#39;456&#39;, &#39;source&#39;: &#39;B&#39;},<br>    {&#39;id&#39;: &#39;789&#39;, &#39;source&#39;: &#39;B&#39;},<br>    {&#39;id&#39;: &#39;789&#39;, &#39;source&#39;: &#39;C&#39;},<br>    {&#39;id&#39;: &#39;789&#39;, &#39;source&#39;: &#39;D&#39;},<br>]<br><br>if __name__ == &#39;__main__&#39;:<br>    with beam.Pipeline(argv=sys.argv) as pipeline:<br>        (<br>            pipeline<br>            | &#39;資料初始化(轉為 pcollection)&#39; &gt;&gt; beam.Create(sample_dataset)<br>            | &#39;每行資料轉為 (source, 1)&#39; &gt;&gt; beam.Map(lambda row: (row[&#39;source&#39;], 1))<br>            | &#39;同樣的 source 加總起來&#39; &gt;&gt; beam.CombinePerKey(sum)<br>            | &#39;轉換輸出的格式&#39; &gt;&gt; beam.Map(lambda row: {&#39;source&#39;: row[0], &#39;count&#39;: row[1]})<br>            | &#39;寫入檔案&#39; &gt;&gt; beam.io.WriteToText(&#39;sample-output&#39;)<br>        )</pre><p>在本機端執行</p><pre>$ python -m sample</pre><p>輸出檔案如下</p><pre>{&#39;source&#39;: &#39;A&#39;, &#39;count&#39;: 2}<br>{&#39;source&#39;: &#39;B&#39;, &#39;count&#39;: 2}<br>{&#39;source&#39;: &#39;C&#39;, &#39;count&#39;: 2}<br>{&#39;source&#39;: &#39;D&#39;, &#39;count&#39;: 2}</pre><p>執行後就可以看到資料經過處理變形為另外一份資料咯！當然實際工作遇到的問題不會這麼的單純，但實際操作起來就是「輸入資料 → 變形 → 輸出資料」。</p><h3>Apache Beam 在 Dataflow 上運行</h3><p>如果想讓 Apache Beam 的程式在 Dataflow 運行，有幾種方式，以下分享個人比較常用的兩種：</p><p><strong>本地端執行</strong></p><p>通常新的資料管道開發完成後要上版本控制前，如果不確定是否可以在 Dataflow 順利運作可以先本地端執行跑跑看結果。</p><pre>$ python -m sample \<br>--project &lt;GOOGLE_CLOUD_PROJECT_ID&gt; \<br>--region &lt;REGION&gt; \<br>--temp_location gs://&lt;PATH&gt; \ #供 Dataflow 存放暫存檔案<br>--staging_location gs://&lt;PATH&gt; \ # Dataflow 存放 binary 檔案的地方，如果不指定的話則預設為 tempLocation<br>--runner dataflow \ # 指定運行環境<br>--max_num_workers 2 # 指定最多可以開的機器，建議一定要指定否則不小心會開上百台</pre><p>運行結果如下</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/235/0*PRstF6kzVHdamSxS.png" /></figure><p><strong>建立 Dataflow Template 並透過 API 啟動</strong></p><p>開發完成後，在本機端/CI &amp; CD 流程建立 template，後續再透過 API 啟動執行 data pipeline。</p><ol><li>本機端建立 Dataflow template 並存放到 Google Cloud Storage</li></ol><pre>$ python -m sample \<br>--project &lt;GOOGLE_CLOUD_PROJECT_ID&gt; \<br>--region &lt;REGION&gt; \<br>--temp_location gs://&lt;PATH&gt; \ #供 Dataflow 存放暫存檔案<br>--staging_location gs://&lt;PATH&gt; \ # Dataflow 存放 binary 檔案的地方，如果不指定的話則預設為 tempLocation<br>--template_location gs://&lt;PATH&gt;<br>--runner dataflow \ # 指定運行環境</pre><p>2. 建立好 template 後可以透過 Google Cloud Console、REST API、或 Google Cloud 的 cli 啟動 template，詳細可以參考 <a href="https://cloud.google.com/dataflow/docs/guides/templates/running-templates#using-the-rest-api">Google Cloud 官方文件</a></p><h3>Hahow x Dataflow</h3><p>Hahow 目前會把運算資源吃比較重的任務放到 Dataflow 上去執行，讓機器可以跟據運算需求自動去做擴充，原始資料都會先存放在 Google Cloud Storage，再跟據任務的需求去讀取不一樣的資料。</p><p>舉個例子 Hahow 有個運算的任務資料量約 6Gb 左右，流程為資料讀取後做了一些清理和轉換就存放到 BigQuery，是一個相對單純的資料管道，這個任務限制最多只能開 4 台機器運行，最高 throughput 可以到每秒處理 30,000 筆資料 ，花了 20 分鐘左右完成工作，詳細的運行數據可以參考下圖。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/254/0*q8S2N3665g_hSDSc.png" /><figcaption>Dataflow pipeline UI</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*xFlLn6zfk-ryrx_4.png" /><figcaption>Auto-scaling</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*r7dqTXqDmFqYFOFK.png" /><figcaption>Throughput</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*6tU83lc_9ckneL6s.png" /><figcaption>CPU usage</figcaption></figure><h3>結語</h3><p>綜合以上，Dataflow 讓我們在初期不用煩惱 infrastructure 的問題，只需專注在資料處理的邏輯上，為我們省下很多時間和成本，當然前提是必須設定參數來控制該資料管道最多可以開多少台機器運行，否則一個不小心就會自動擴充到上百台機器哦！</p><pre>希望這邊文章對你有幫助，如果你喜歡這篇文章，請用力的鼓掌鼓勵鼓勵吧！👏👏👏</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a1a73af87fe9" width="1" height="1" alt=""><hr><p><a href="https://medium.com/hahow-tech/%E6%B7%BA%E8%AB%87-cloud-dataflow-apache-beam-%E8%99%95%E7%90%86%E8%B3%87%E6%96%99%E6%B5%81-a1a73af87fe9">淺談 Cloud Dataflow &amp; Apache Beam 處理資料流</a> was originally published in <a href="https://medium.com/hahow-tech">Hahow Tech</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Hahow 數據團隊的誕生]]></title>
            <link>https://medium.com/hahow-tech/hahow-%E6%95%B8%E6%93%9A%E5%9C%98%E9%9A%8A%E7%9A%84%E8%AA%95%E7%94%9F-665371af389c?source=rss-46a23a713884------2</link>
            <guid isPermaLink="false">https://medium.com/p/665371af389c</guid>
            <category><![CDATA[tech]]></category>
            <category><![CDATA[data-team]]></category>
            <category><![CDATA[startup]]></category>
            <dc:creator><![CDATA[Terrence Toh]]></dc:creator>
            <pubDate>Thu, 21 May 2020 02:36:36 GMT</pubDate>
            <atom:updated>2020-05-22T05:57:16.689Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gwh4ElgPDfTIF0AfGxrdxQ.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@franki?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Franki Chamaki</a> on <a href="https://unsplash.com/s/photos/data?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><p>一般企業會在什麼時間點成立數據團隊？有什麼考量？數據量大到多少才需要成立數據團隊？沒有大數據需要處理的數據團隊都在做什麼？成立初期的基礎建設有哪些？</p><p>如果你對剛好也遇到以上問題，這篇文章會從成立的契機、團隊組成、成立初期的目標去介紹 Hahow 數據團隊是在什麼樣的情況下誕生的。</p><p>對網路公司來說，資料是珍貴的資產，如何有效的運用資料已經成為企業的競爭力之一，而大部分的資料都是有時效性的，為了能夠更好的去使用企業的資料，Hahow 在 2019 年 10 月成立了數據團隊。</p><h3>成立契機</h3><p>在成立資料團隊之前，我們盤點了 Hahow 當時在資料方面遇到的問題</p><ul><li>資料使用率低：Hahow 商業分析的資料主要透過自架 Metabase 來做視覺化和儀表板，但 Metabase 必須由熟悉 SQL 的夥伴協助，但大部分需要做商業分析的人都不一定會寫 SQL。</li><li>資料一致性：Hahow 會透過 <a href="https://www.metabase.com/">Metabase</a>、<a href="https://hubot.github.com/">Hubot</a> 都有可以查詢資料的地方，而雙方背後所讀取的資料是來自不同的資料庫，Metabase 和 Hubot 也有可能因為代碼邏輯不一樣而導致結果不一樣。</li><li>缺乏基礎建設：Metabase 只存放本站資料，未來會需要有更好的基礎建設支援存放更多不同來源的資料，比如說透過外部服務收集的行為資料、廣告資料等。</li></ul><p>針對以上問題我們訂了以下目標：</p><ul><li>提升資料使用率：讓資料可以更輕易的被每位夥伴取得並進行分析</li><li>維持資料一致性：所有監控、儀表板、商業分析用的資料都必須來自同一個資料來源</li><li>基礎建設：建立收集資料 → 清理資料 → 儲存資料 → 分析資料的流程</li></ul><h3>團隊組成</h3><p>訂了目標以後我們開始盤點團隊需要什麼樣的人才有辦法完成以上目標。相信大家理想中的數據團隊組成應該是這樣的：</p><ul><li>資料科學家</li><li>資料分析師</li><li>資料工程師</li><li>專案負責人</li></ul><p>現實是企業的資源都是有限的，從我們所訂的目標來去看的話，我們需要的是：</p><ul><li>能夠獨立處理系統架構的並從 0 到 N 建設基礎建設的人</li><li>能夠協助做基本資料分析的人</li><li>能夠作為專案負責人做跨部門溝通的人</li><li>能夠清楚知道企業現在面對的問題有哪些，並且清楚知道這些問題對企業的重要性優先序的人</li></ul><p>Hahow 數據團隊成立至今的組成都非常單純，就 CEO + 一位 Data Engineer。</p><p>為什麼會有 CEO？試問還有誰比 CEO 更清楚企業遇到了什麼問題呢。Data Engineer 則是從內部的 Back-end Engineer 轉調過來，負責建置基礎建設、處理系統架構，同時作為專案負責人協助專案中所有需要數據協助的部分。</p><p>團隊組成必須看公司資源和目標來決定需要的是通才還是專才，Hahow 的配置不一定適合你們的狀況。以 Hahow 來說我們選擇的是以通才來快速的做整合，幫助各部門解決一些日常營運上遇到的痛點。</p><p>團隊組建完成後我們就開始針對目標制定可行方案並執行，以下會分為幾個段落說明我們針對個別的目標做了哪些事情。</p><h3>提升資料使用率</h3><p>如前所述，Hahow 當時的商業分析用途的資料都是透過 Metabase 來視覺化和製作儀表版，必須透過懂 SQL 的工程師或夥伴協助製作。資料本身也都是直接從正式資料直接匯入，並未對欄位做優化。為了提升資料使用率我們做了以下三件事：</p><p><strong>選擇合適的 BI 軟體</strong></p><p>我們希望可以找到一個可以讓公司夥伴更輕易可以取得資料的工具，最好就是可以不用寫代碼就可以自行探索資料、視覺化、製作儀表板，而在 Tableau 和 Looker 間我們選擇了 Tableau。必須得說它們都各有優缺點，各企業都會有自己的考量，而我們選擇 Tableau 的最主要的原因是：不需要懂 SQL，只需要對資料有基本的了解就可以用拖拉的方式做視覺化和基本的分析。</p><p><strong>設計合適的內部訓練</strong></p><p>為了降低操作人員對於初期使用 Tableau 的挫折感，我們對第一批有可能使用的人員做內部訓練，以工作坊的方式進行，搭配大家在實際在工作上可能會遇到的問題作為範例講解。</p><p><strong>透過文件清楚定義資料</strong></p><p>除了製作資料的人，通常大家對於資料欄位的定義不是那麼的清楚，透過文件或 Tableau 本身的標註功能盡可能的把每個資料來源和欄位都標註清楚，讓使用的人可以很清楚知道在用的是什麼資料。</p><h3>資料一致性</h3><p>資料一致性是讓使用的人可以安心使用的重要因素之一，前面提到的 Metabase 和 Hubot 會讀取不同資料來源的資料和程式邏輯不一致，</p><p>Metabase 也很容易出現類似的需求由不同的人撰寫的狀況，在定義上沒有很清楚或許會出現需求和實際結果不符的狀況，比如說 A 所認定的「認列營收」定義未必和 B 認定的定義一致，且類似的資料在 Metabase 有不同的儀表板且數字不一致。</p><p>在這邊我們會針對分析用的資料重新設計合適的欄位，把定義的邏輯寫在 ETL 的代碼裏，確保相同的定義只會有一個邏輯。</p><p>分析用的資料透過 ETL 存到 Google BigQuery，而使用的人則透過 Tableau 連到 BigQuery 取得資料，Slack 的儀表板也改為顯示 Tableau 上製作好的儀表板，確保 Tableau 和 Slack 看到的資訊會是一致的。</p><h3>基礎建設</h3><blockquote><em>You need a solid foundation for your data before being effective with AI and machine learning.</em></blockquote><blockquote><em>Source: </em><a href="https://hackernoon.com/the-ai-hierarchy-of-needs-18f111fcc007"><em>The AI Hierarchy of Needs</em></a></blockquote><p>相信大部分人想到資料團隊都會跟 AI、機器學習等聯想起來，但對於一個沒有任何相關基礎建設的公司來說，首先要做的是把基礎建設給蓋起來，而我們成立初期就是按照下圖的金子塔去對應出我們在現階段擁有的資源可以先做哪些基礎建設。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Ui_B4WVdpsnIhglF.png" /><figcaption><em>Source: </em><a href="https://hackernoon.com/the-ai-hierarchy-of-needs-18f111fcc007"><em>The AI Hierarchy of Needs</em></a></figcaption></figure><p>Hahow 第一版以 Kubernetes Cronjob （排程） + Python script （執行） + Cloud Dataflow （資料清理） + BigQuery （資料倉儲）開始運作，而視覺化和分析則是透過 Tableau 呈現。由於篇幅問題更多關於基礎建設的技術細節會留在其他文章詳細說明。</p><p>由於 Hahow 大部分服務都在 Google Cloud，這邊服務選擇也都以 Google Cloud 為主，以下會從收集、儲存、清理、分析四個階段來說明。</p><p><strong>收集資料</strong></p><p>目前 Hahow 的資料來源有：</p><ul><li>本站資料不會全部匯入，只針對有商業分析需求的資料做整理再匯入到適合分析的資料庫</li><li>行為資料</li><li>廣告資料</li></ul><p>Hahow 現階段是透過 Apache Airflow 所提供的 Hooks 或 Operators，或自制客製化的 Operators 去收集各個不同來源的資料，收集的資料都會儲存一份檔案在 Google Cloud Storage，除了作為備份以外也可以作為不同用途的 ETL 取用。</p><p><strong>清理資料</strong></p><p>依需求會在 Apache Airflow 或 <a href="https://cloud.google.com/dataflow">Dataflow</a> 處理，目前會把比較需要彈性擴充的運算丟到 Dataflow 處理，有部分資料也會在 Airflow 對 BigQuery 執行 SQL 處理。</p><p><strong>儲存資料</strong></p><p>主要分為確定用途的資料和未確定用途的資料：</p><ul><li>確定用途的資料會經過規劃和設計存到 Google BigQuery</li><li>未確定用途的會存在 Google Cloud Storage，視資料用途來決定要保留多久以前的資料</li></ul><p><strong>分析資料</strong></p><p>這邊主要會透過 Tableau 來做基本的資料分析和視覺化，至於為何是 Tableau 可以參考前面的說明。有一些比較複雜的需求才會由 Data Engineer 協助跑統計或其他方法分析。</p><h3>專案與跨部門溝通</h3><p>除了確實完成部門目標以外，作為一個新成立的部門，如何讓其他部門夥伴認識你們並且了解你們在做什麼呢？</p><p><strong>第一個專案</strong></p><p>應該選一個「要做半年，但成效巨大的專案」還是「要做一個月，成效雖小但會有感的專案」呢？</p><p>我們的選擇是選一個對公司現階段最重要的目標來作為起始專案，且執行時間盡量不要超過一個月，盡量以最快速度試錯，跟據專案執行過程會遇到的問題來去調整，儘快的有產出讓公司夥伴有感。</p><p>主要是大部分的內部夥伴其實也沒有概念到底數據可以幫到他們什麼，如果可以快速的有一些成品出來，可以讓夥伴更有畫面，也可以讓數據團隊在合作的過程中發現基礎建設、SOP 等有什麼需要改善地方。</p><p><strong>主動了解痛點</strong></p><p>多和不同團隊的夥伴交流，了解他們在日常營運中遇到的問題，並思考有哪些是可以透過數據去協助的部分，從公司的目標去思考什麼才是最重要的</p><ul><li>跟不同的團隊了解他們工作上遇到的難題，協助分析有哪些部分是可以透過資料解決的</li><li>收集不同團隊的目標以後還需要對齊公司目標，排出對公司現階段來說最重要的專案</li></ul><p><strong>快速驗證</strong></p><p>一般來說數據團隊應該會在其他團隊都相對穩定的情況下才會成立，相信一定有很多助力可以使用。</p><p>以 Hahow 數據團隊來說會著重在商業目標的交付，以最小成本的方式快速去實驗，所以在選擇上都以現有資源可以支援的考量下去思考，比方說在選擇程式語言、工具、平台時都會評估：</p><ul><li>公司內其他部門的工程夥伴是否可以支援</li><li>是否有現成的架構 / 部署 / 工具可以套用</li></ul><p><strong>反饋與優化</strong></p><p>快速做出成品以後透過問卷、會議了解夥伴對於合作過程、成品的想法，並透過回饋來優化現有的系統和流程。</p><blockquote>透過「主動了解需求 → 快速驗證 → 反饋 → 優化」的良好循環，找到數據團隊可以施力的點</blockquote><h3>總結</h3><p>對現階段的 Hahow 來說，數據團隊的最重要的價值不在於能處理多大的數據，而在於能提供什麼樣的觀點，讓數據可以輔佐商業決策和日常營運。</p><p>有一次儀表板顯示前一天業績暴漲，乍看之下有點不尋常，過去需要到各個不同服務和後台去查資料，現在透過資料整合到 Tableau，透過簡單的操作，前後只需花不到 5 分鐘便能分析出原因。</p><p>此外，數據團隊也致力於透過內部訓練、案例分享、學習社群、諮詢服務等推動各層級的夥伴可以取得他們所需的資料進行分析，培養夥伴們對資料的興趣和敏銳度，讓夥伴們可以跟據事實和指標做更好的決策。</p><p>以上就是 Hahow 數據團隊成立至今的心路歷程與故事，如果你對文章的任何一個議題有興趣了解更多，歡迎留言讓我們知道。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=665371af389c" width="1" height="1" alt=""><hr><p><a href="https://medium.com/hahow-tech/hahow-%E6%95%B8%E6%93%9A%E5%9C%98%E9%9A%8A%E7%9A%84%E8%AA%95%E7%94%9F-665371af389c">Hahow 數據團隊的誕生</a> was originally published in <a href="https://medium.com/hahow-tech">Hahow Tech</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>