<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by CraftsmanHenry on Medium]]></title>
        <description><![CDATA[Stories by CraftsmanHenry on Medium]]></description>
        <link>https://medium.com/@henry-chou?source=rss-bd11a24c2871------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*_aiX9T7yCxxXLxEG.</url>
            <title>Stories by CraftsmanHenry on Medium</title>
            <link>https://medium.com/@henry-chou?source=rss-bd11a24c2871------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 03:56:43 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@henry-chou/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[5個概念拯救龜速的SQL查詢(Query)]]></title>
            <link>https://medium.com/@henry-chou/5%E5%80%8B%E6%A6%82%E5%BF%B5%E6%8B%AF%E6%95%91%E9%BE%9C%E9%80%9F%E7%9A%84sql%E6%9F%A5%E8%A9%A2-query-d10e06b8bae3?source=rss-bd11a24c2871------2</link>
            <guid isPermaLink="false">https://medium.com/p/d10e06b8bae3</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[web-development]]></category>
            <category><![CDATA[backend-development]]></category>
            <category><![CDATA[mysql]]></category>
            <category><![CDATA[sql]]></category>
            <dc:creator><![CDATA[CraftsmanHenry]]></dc:creator>
            <pubDate>Sat, 24 Dec 2022 09:05:53 GMT</pubDate>
            <atom:updated>2022-12-24T09:05:53.959Z</atom:updated>
            <content:encoded><![CDATA[<h4>優化查詢速度，相信是每個身為後端工程師的開發者，在職涯中必定會遇到的課題，而索引想必是直覺會被選擇的解決方案，而最近跟同事有碰到這樣「最佳化索引」的挑戰，趁著解決後打鐵趁熱，把自己從他們身上學會加上自己查詢的知識記錄下來，希望能對需要使用索引的開發人員有幫助。</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/918/1*-D0nY8UZduSLoHhWowy54A.png" /></figure><p>Index我想是目前大部分的開發人員聽到要最佳化（Optimize）關聯式資料庫（RDBMS）查詢（Query）第一個想到的好朋友，但不知道大家有沒有遇到過</p><blockquote>明明就對要查詢的欄位建立過Index，怎麼查起來還是這麼慢</blockquote><p>的窘境，過去的我就遇到不少次，前陣子剛剛好與同事合作時又再碰到一次，因此趁這個機會一次把索引再好好複習一次，並趁著剛改善完記憶還鮮明，趕快把對Index的理解記錄下來，並分享給有需要的人。</p><p>在開始文章前，先聲明這篇文章使用的是</p><ul><li>資料庫：MySQL</li><li>資料庫引擎：InnoDB</li><li>索引類型：B-Tree Index</li></ul><p>其中詳述InnoDB和B-Tree Index並不在討論的範圍，讀完此篇文章可以得知</p><ul><li>為什麼索引包含查詢欄位，卻無法加速查詢的原因？</li><li>如何知道送一段查詢進去資料庫後，會被如何解讀？</li><li>設計Index時要注意的觀念</li></ul><p>那接下來就直接開始介紹一下這次到底是遇到什麼狀況需要優化索引</p><h3>情境說明</h3><p>在這個情境中，核心概念是<strong>事件</strong>，事件有兩個來源，<strong>新聞</strong>與<strong>社群網站</strong>（Facebook, PTT），問題出在要查詢「一段連續較長的時間」中，特定類別（ex: 體育、財經、政治…等）的「熱門新聞事件」和「熱門社群網站事件」，大致上各表如下</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/424/1*d5VKRFmbbTLj7HrOuO93ow.png" /><figcaption>圖1.<a href="https://dbeaver.io/"> DBeaver</a>的ER Diagram截圖</figcaption></figure><p>透過Postman GET呈現畫面用的API發現若查詢的時間長於一個月，response的時間（5–30 secs）就會變得令人無法接受，上述兩個需求的SQL查詢大致如下</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9921e14e945afd12a79ca1cc118e3040/href">https://medium.com/media/9921e14e945afd12a79ca1cc118e3040/href</a></iframe><p>從查詢的條件可以知道目標是針對<strong>特定語言、類別</strong>和一段latest_news_time（發布時間）之間，分別根據與event相關的「新聞」和「社群網站貼文」<strong>數量</strong>（amount）排序後，找出相關數量前N（25）名的事件。</p><p>那該怎麼辦呢？當然我和同事一開始馬上就想到索引，因此我們馬上尋找有沒有索引有包含上述查詢條件中用到的欄位，而我們找到以下的索引</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*hbThlCnutt_dsLUM" /><figcaption>圖2. <a href="https://dbeaver.io/">DBeaver</a>的index截圖</figcaption></figure><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/cdd1dbb366bbe76103105ea906a73962/href">https://medium.com/media/cdd1dbb366bbe76103105ea906a73962/href</a></iframe><p>不過以上索引就像不存在一般，毫無發揮作用。因此我們用了SQL的 <a href="https://dev.mysql.com/doc/refman/8.0/en/using-explain.html">EXPLAIN</a>關鍵字，分析看看到底SELECT語法是如何在MySQL中被執行的。而下面是我們的結果</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0fa60b0e39af32a70bdb98625757caa7/href">https://medium.com/media/0fa60b0e39af32a70bdb98625757caa7/href</a></iframe><p>看起來有用到索引，不過<strong>用錯索引</strong>！，因此接下來我們有兩項目標</p><ul><li>有很多類似的索引，SELECT是否能指定使用的索引</li><li>研究索引機制是如何在SELECT中被使用的</li></ul><p>了解問題後，下個小節來嘗試回答上面的這兩個問題</p><h3><strong>索引最佳化處方</strong></h3><h4>指定使用特定的索引</h4><p><a href="https://dev.mysql.com/doc/refman/8.0/en/index-hints.html"><strong>Index Hints</strong></a><strong>（索引提示）</strong></p><p>查過文件後，可以利用Index Hints在table name後，加上此張表要使用的指定索引，而指定方式又分為USE INDEX和FORCE INDEX，如下</p><pre>FROM `event_category` ec USE INDEX(idx_event_category_v3)</pre><p><strong>USE INDEX</strong> 會建議Query Optimizer使用指定的index，若Query Optimizer認為Table Scan比較有效率，會有機會不使用index</p><p><strong>FORCE INDEX</strong> 顧名思義強制使用指定的INDEX，除非指定的index都不適用才會scan table，建議只在非常肯定scan table很昂貴（久）的狀況下才使用</p><p>備註：除了FROM之後的主要Table外，包括JOIN的table也能夠加上Index Hint</p><h4>最佳化SELECT前必須要知道的索引概念</h4><p><a href="https://dev.mysql.com/doc/refman/8.0/en/glossary.html#glos_covering_index"><strong>Covering Index</strong></a><strong>（全覆式索引）</strong></p><p>從上一小節知道可以用FORCE INDEX直接指定要用什麼索引JOIN後，我們還是發現Query的速度很慢，眼尖的人可能會發現，還有一個amount的欄位來不在索引中，甚至是在不同表內。</p><p>此時就需要Covering Index概念，Covering Index我自己翻譯成「全覆式索引」，意思是索引中包含要查詢的所有欄位。當查詢被執行的時候，若需要的欄位全都在索引當中，則會直接將索引查到的內容回傳，減少回主表查詢缺少欄位所需要的I/O時間。</p><p>備註：InnoDB與MyISAM的Covering Index運作方法有些差異</p><p><a href="https://dev.mysql.com/doc/refman/8.0/en/multiple-column-indexes.html"><strong>Multiple Column Index</strong></a><strong>（複合索引）</strong></p><p>MySQL索引允許多個欄位，假設大家都已經知道這個概念，在此要討論的是複合索引<strong>Leftmost Prefix</strong>的概念，希望大家還記得我們已經建好的索引idx_event_category_v3，它的建立方法大致上如下</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/302985ec47849deb72ae033084843897/href">https://medium.com/media/302985ec47849deb72ae033084843897/href</a></iframe><p>這個索引在這裡用(`language`, `category`, `latest_news_time`)這種方式表示。<strong>Leftmost Prefix</strong>概念是指「索引能支援的查詢條件（WHERE）必須是<strong>該索引包含欄位的連續子集合</strong>」，用以上例子來說，以下都是可以支援的查詢條件</p><ul><li>(`language`)</li><li>(`language`, `category`)</li><li>(`language`, `category`, `latest_news_time`)</li></ul><p>其他子集合則是不行的，隨意舉兩個</p><ul><li>(`category`, `latest_news_time`)</li><li>(`language`, `latest_news_time`)</li></ul><p><strong>Leftmost Prefix</strong>使我們了解建立索引時需要注意「<strong>索引的順序性</strong>」，也因此衍生出順序該怎麼決定比較好的議題，首先不用懷疑的是「頻繁被作為查詢條件的欄位越左方越好」，接著又可以問如果有多個時常被查詢的欄位，順序怎麼擺呢？</p><p>小弟我根據在網路上的文章並搭配MySQL文件了解後得到兩種選擇方式，彼此沒有好壞</p><ul><li><strong>資料差異性「低」</strong>的欄位優先：此選擇似乎有違背上面提到的Cardinality的概念，不過這是基於<strong>壓縮率</strong>的考量，多個重複的值開頭形成的複合索引，壓縮後比較有利於減少儲存所需空間</li><li><strong>資料差異性「高」</strong>的欄位優先：高差異性的欄位優先就是完全基於Performance的考量，讓Query能夠比較快找到</li></ul><p>因此可以總結2項建立索引時，須考慮的重點</p><ol><li>欄位作為查詢條件有多頻繁</li><li>壓縮率（儲存）</li></ol><p>下面附上，參考的兩個討論，討論之中有提到一些相關的MySQL文件，有興趣的人可以了解一下</p><ul><li><a href="https://dba.stackexchange.com/questions/160649/composite-indexes-most-selective-column-first">Composite indexes: Most selective column first?</a></li><li><a href="https://stackoverflow.com/questions/2196484/oracle-does-the-column-order-matter-in-an-index/2198069#2198069">Oracle: does the column order matter in an index?</a></li></ul><p><a href="https://dev.mysql.com/doc/refman/8.0/en/glossary.html#glos_cardinality"><strong>Index Cardinality</strong></a><strong>（索引基數？）</strong></p><p>Cardinality翻譯叫做基數，總之我是看不太懂，不過其實就是指「索引的獨特性」，索引的獨特性受到組成索引欄位的獨特性影響。</p><p>欄位的獨特性用官方文件上的範例解釋一下，先看下面這個Query</p><pre>SELECT col1 FROM table1 WHERE col1 = 50;</pre><p>若table1共有1000比資料，以上Query若col1是有<strong>unique constraint</strong>獨特限制的欄位，結果只會回傳1比（col1有1000種值）。另一方面，假設col1總共只有10種值且值<strong>均勻分布</strong>，那以上的查詢則會回傳20比。</p><p>根據上面索引欄位排序的概念，越左邊的欄位獨特性越高，可以在每次B-Tree索引的分支上<strong>過濾掉</strong>越多的值，使得搜尋的速度越快。</p><p>獨特性外，另外還要考慮欄位的<strong>分散性</strong>，分散性是指欄位中每種值的數量之間的差異性有多高，舉例來說 col1 中有10種值，不過val1有991比，其他9種值比都各只有1比，以上就是分散性極差的範例，分散性太差也無法在Tree的分支中過濾掉夠多的值。</p><p>總而言之，要有高Cardinality的索引，組成的欄位的內部資料最好能</p><ul><li>獨特性高</li><li>分散性高</li></ul><p><a href="https://dev.mysql.com/doc/refman/8.0/en/order-by-optimization.html"><strong>ORDER BY Fields</strong></a><strong>（欄位排序）</strong></p><p>不知道大家是否還記得此篇文章面對的問題有個條件是</p><blockquote>找出「前N熱門」的新聞與社群事件</blockquote><p>因此會需要ORDER BY這個關鍵字，儘管我們最後有LIMIT N的條件，不過為了針對特定時間區段的數量做排序，就<strong>需要把時間內所有的值通通抓出來後</strong>，再進行排序；不是單單收集N比指定時間區段的資料就可以，可以見以下示意圖</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*_k4TtJi55tQrGIpi" /><figcaption>圖3. 有ORDER BY會需要三個月內的全數資料排序再回傳，沒有則只需要前N比回傳</figcaption></figure><p>另外觀察上面的Query會發現，排序用的amount並不在索引之中，如此一來Query Optimizer會認為Scan Table的效率可能會比較好，因而棄用index，到此針對上述的查詢要讓ORDER BY善用索引，可以總結出兩項原則</p><ul><li>WHERE的條件必須要以<strong>Leftmost Prefix</strong>的方式存放在索引當中</li><li>ORDER BY和SELECT的欄位必須全數在索引（是的Covering Index）當中</li></ul><p>因此除了原有的idx_event_category_v3外，還需要一個包含amount欄位的索引，大致上如下</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/638b127492128f20b66a7c878a18715e/href">https://medium.com/media/638b127492128f20b66a7c878a18715e/href</a></iframe><p>最後我們的 Query 變成這樣</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1e3c7793399e453c3aab2f671fb89a34/href">https://medium.com/media/1e3c7793399e453c3aab2f671fb89a34/href</a></iframe><p>備註：InnoDB的索引會自動將Primary Key包含在其中</p><h3><strong>在結束之前</strong></h3><p>這篇文章中從同事跟我在工作上遭遇的Query瓶頸開始，介紹查詢的情境並且發現我們「以為有用索引就會變快」的錯覺 😂，從而啟發我們去更深入了解MySQL的索引機制是如何在Query Optimizer中被執行的，在了解以上說明的5個概念有這樣的結論</p><ul><li>在Query中，FROM跟JOIN關鍵字後的表都可以使用<strong>索引提示（Index Hints）</strong>指定要用哪些索引加快速度</li><li>原本的event和event_category表中有些（json）欄位的值非常巨大導致Scan Table很慢，因此會需要<strong>全覆式索引（Covering Index）</strong>把所有需要的欄位通通塞進索引中，以加速<strong>ORDER BY</strong>的速度</li><li>複合索引（Mutiple Column Index）需要考慮Leftmost Prefix和大多數的Query是如何下搜尋條件的，如此在提升Performance的同時還可以節省儲存空間和提升索引的可利用率</li><li>知道可以用<strong>Cardinality（索引基數）</strong>判斷索引欄位的優劣</li></ul><p>希望到此有耐心讀到這的人也跟我一樣也對索引有大躍進😂的認識，這次對於MySQL Performance的提升實在花足心思；當然改善完畢後，還有針對效能的測試，不過為了不把這篇文章變得累牘連篇，還是下次有機會再提效能測試的部分吧！（又挖了個坑！ 😮）</p><p>最後這篇文章不是我個人的研究項目，而是與其他兩位同事一起研究的，這次改善Query Performance的任務中，學會相當多之前對於索引不一樣的概念，讓我對MySQL又更了解一些，真的非常感謝他們兩位。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d10e06b8bae3" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[希望能陪伴你程式職涯的Code Interview攻略]]></title>
            <link>https://medium.com/@henry-chou/%E5%B8%8C%E6%9C%9B%E8%83%BD%E9%99%AA%E4%BC%B4%E4%BD%A0%E7%A8%8B%E5%BC%8F%E8%81%B7%E6%B6%AF%E7%9A%84code-interview%E6%94%BB%E7%95%A5-17b41e35faad?source=rss-bd11a24c2871------2</link>
            <guid isPermaLink="false">https://medium.com/p/17b41e35faad</guid>
            <category><![CDATA[interview]]></category>
            <category><![CDATA[leetcode]]></category>
            <category><![CDATA[algorithms]]></category>
            <category><![CDATA[software-engineer]]></category>
            <category><![CDATA[programming]]></category>
            <dc:creator><![CDATA[CraftsmanHenry]]></dc:creator>
            <pubDate>Fri, 19 Aug 2022 02:02:12 GMT</pubDate>
            <atom:updated>2022-11-09T05:51:20.542Z</atom:updated>
            <content:encoded><![CDATA[<h4>從事軟體業多年的工程師或多或少我想都面對過Code Interview，也想必大家也聽說要透過俗稱的「刷題」來精通這個過程，不過「刷題」我相信對於如我一般的平常人來說都是個厭煩的流程，因此想透過這篇文章總結我過去蒐集的資料，希望能為同樣想走走看這條不歸路的人點亮一盞明燈</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DV4W7sMU7SgmN6GmUueNCQ.jpeg" /></figure><p>一提到LeetCode(a.k.a 刷題)相信跟我一樣的軟體人對它肯定是又愛又恨，愛在「也許」可以幫你換更好的工作，恨在工作用不太到且無聊乏味，而且刷題時間一久不禁還會懷疑自己，因此不論大家認為刷題是洪水、猛獸還是那盞可以讓你許三個願望的神燈都好，我想我們該從「為什麼」這個問題開始思考，就跟我過往的文章一樣，我試著說明我自己的想法，或許大家不認同也沒關係，但請大家試著思考一下，「為什麼」自己會想接受這個無聊乏味的挑戰</p><h3>我的為什麼</h3><p>我想有些人也跟過去的我一樣認為，為什麼自己要刷LeetCode，明明自己就有能力處理得了公司面對的所有問題與需求，不需要透過這種與自己工作無關的技能來證明自己，但換位思考若今天我身為一個面試官，我該如何就面試者過去與自己公司無關的經驗來知道面試者能否解決我們公司的問題呢？況且還需要在短短的60分鐘內判斷，其實很困難甚至無法，因此</p><blockquote>Code Interview(LeetCode)正是最簡單且快速的方式來試探一個人的分析問題思維</blockquote><p>所以我無法否定它的用處，且若想改變這個制度，也需要我透過「走過這個過程深入其中並理解這個程序的問題後，再來尋求改善的方式」，因此<strong>Code Interview是改變這個制度的門票</strong>，更重要的是能避免被大家冠上「吃不到葡萄嫌葡萄酸」的臭名(也許我很在意這個 😂)，但這些正是我的原因。</p><p>如果我的想法並不能說服正在看這篇文章的你，那也許讀者該想想自己做這件事的理由，或許這件事真的就無法協助你達成你的目標，那這篇文章或許不是屬於你的。甚或是你沒遠大的理想只是想利用Code Interview的技巧獲取進入大公司的機會，這些都很好，只要確定自己有<strong>足夠強的理由</strong>給自己動力支撐這整個乏味的過程，當自己失去動力時，記得回頭想想自己的初衷。</p><h3>你是大神嗎？</h3><p>來看這篇文章的人，我想會有人有這個疑問，想知道為什麼我有資格寫這篇文章，因此我在一開始就直說「<strong>我不是什麼大神</strong>」，也沒有在什麼很厲害的公司任職，只是最近又有重新刷題的需要，因此想回顧一下自己過去查的資料，並回想過去路上碰過的釘子，總結一些自己這次刷題時要把握的心法和原則，同時分享給看到這篇文章的讀者。在這篇文章中，我只會是個陪大家一起struggle、一起踩地雷的網友，並分享一些自己解的題目跟解法，希望大家不會太失望。</p><h3>想跟大家分享的解題經驗</h3><p>相信大家在網路上可以查到不少影片，而一些基本概念、心法與誤區像是</p><ol><li>別背題，而是學會解決問題的思維</li><li>別海量亂刷題，而是有重點的刷</li><li>別用 IDE 尤其是有 auto complete 的那種，因為面試都 white board</li></ol><p>這裡就簡單帶過，不過老實說這些誤區我都踩過，因此下面想與各位分享的是我如何建立一套練習的系統，這套系統最主要是能幫助我<strong>建立信心</strong>去面對白板題面試並培養我覺得最重要的能力</p><blockquote><em>分析問題，並能由簡入深以漸進式的方式提出並改善解決方案，同時思考到解決方案的效能</em></blockquote><p>而這套系統是由三個步驟所組成</p><ul><li>選題</li><li>追蹤</li><li>答題方法</li></ul><p>那就廢話不多說從重點選題的方法開始吧！</p><h4>選題</h4><p>為了避免胡亂寫題目，首先就是要從面試常會遇到的演算法和資料結構來選題，我統整以下一共有 14 種</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0316a374b40f1d0e97c79ec76f80c190/href">https://medium.com/media/0316a374b40f1d0e97c79ec76f80c190/href</a></iframe><p>接著知道 14 種類型後，接著針對每一個題型去 <a href="https://leetcode.com/problem-list/top-interview-questions/">top interview questions</a> 這個 filter 分別挑選 4 題簡單、4題中等加上 2 題困難(easy : medium : hard = 2 : 2 : 1)，在挑選的過程中有些演算法和資料結構在 top interview questions 裡面並沒有那麼多題可以選，這時候就挑選一些 top interview questions 外的題目或你想採用其他的 filter 挑選也是可以，這樣你就會擁有 140 題的題目。有了題目後，接下來最重要的是如何讓這些題目寫得有效率。</p><h4>追蹤</h4><p>寫題目是個長期奮戰的過程，因此要有方法能夠評估效率，其中最重要的部分就是要能量化並追蹤，讓自己心裡產生有在進展的感覺避免失去動力，因此接著將選出來的 140 題打亂，不要依照類型排序，並利用看板軟體或服務做紀錄，類似 Trello 或是 Notion Board ，在 Board 中我們分為四類</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZbvQ0XcV1H3C-Jw1ucNnBw.png" /><figcaption>notion 的 board view</figcaption></figure><ul><li>未完成(Not started)</li><li>進行中(In progress)</li><li>不熟悉(Do again)：已經寫完並 submit 成功，但心裡很虛，認為下次看到還是不能反應出來</li><li>已完成(Completed)：完成並 submit，而且有自信的認為，這題的思考模式下次出現能想得出來</li></ul><p>打亂題目的原因是面試官在出題時，通常不會顯示偏好(bias)給你知道，而且不會一開始就告訴你出的題目是什麼類型或需要用到什麼演算法，因此為了模擬隨機出題的狀況，每次寫的時候請從 board 上隨便拉個一兩題到進行中，完成就移到已完成或是不熟悉。</p><p>這樣做的目的是為了追蹤自己的進度，不然做一做很容易沒有方向性跟目標性，這樣反而會讓自己怠惰、拖延，如果想要更進一步保持動力可以考慮每完成一定的題數給自己一些獎勵，像我自己這次就打算利用網銀帳號，每完成幾題就存個250元，目標是存到3萬可以為自己換一套新桌椅，這樣希望能做起來更有動力? 畢竟刷題就是件無聊的事情(也許有些人樂在其中)，必須要找方法讓自己保持在正軌上並持續給自己動力。</p><h4>答題方法(怎麼寫)</h4><p>知道選題跟追蹤方法後，終於要開始寫題目，由於<strong>一般面試通常給你寫題目的時間會介於20~45分鐘</strong>，因此在寫的時候最好也<strong>給自己限時大概35分鐘左右</strong>，將題目分析並寫出來，當然是寫在紙上或是google doc也可以，或你想如 Joma 一樣<a href="https://www.youtube.com/watch?v=X34ZmkeZDos">寫在 word 上</a>也可以 😂，總之不要利用code snippet auto complete的功能。</p><p>值得提到的是，如果一開始簡單的題目寫起來也非常的困難千萬不要感覺挫折，因為大家都是這樣過來的，換個方式思考，過去在老師教你三角函數前，你也不會三角函數，絕對不是你不夠聰明，而是還沒學過這樣的<strong>解題思維</strong>，解題思維正是我們要在刷題的過程中要培養出來的部分。</p><p>在面對題目時，大概有下面三種狀況：</p><ul><li>思考5~10分鐘左右還沒有任何想法，那就看看題目有沒有提示(Hint)，若完全沒有提示那就直接討論區找找答案吧</li><li>看過提示後能有想法，那很好，不過建議利用card紀錄一下自己用到幾個提示</li><li>5~10分鐘內就能自己有想法</li></ul><p>以上三種情況是根據對題目的熟悉程度由低到高排序，但不管是哪種狀況，自己coding的時間頂多只能是35分鐘左右，除非真的離完成只剩一步之遙，否則就直接去討論區找答案，因為透過LeetCode的練習要建立的是</p><ul><li>對題目的思維方法</li><li>閱讀題目的技巧</li><li>迅速判斷題目所需的Algorithm的能力</li></ul><p>以上這些技巧是需要題數去累積的，因此<strong>別執著</strong>在自己尚不熟悉的題目上太久。</p><p>若有需要從討論區看解答，建議找有標示 Easy to Understand, with Explanation 或是 clean code 看，要盡力去了解作者解題的思考方式，最後根據那樣的思考方式將程式寫出來，再寫一次是很重要的過程，有時候思維要轉換成程式碼也是一項困難的工作，所以理解後也務必要將程式寫出來。</p><p>另外如果和我一樣是個記憶力不算很好的人，那我會建議每一題解完都將該題的核心想法寫下來，前面提到要用 board service 的好處就在這，照理說每一題都會是一張 card，如此一來就可以針對每個題目在 card 內做一些筆記，更進一步甚至可以將這些筆記整理出來，變成面對不同類型的題目有哪幾種思考方式這樣的筆記。這才是刷題過程中我所獲得最重要的部分。</p><h3>後記</h3><p>在理解以上練習的系統後，最後也是最重要的一步驟就是設定期限(deadline)，畢竟</p><blockquote><em>沒有期限的想法只能被稱為夢想，無法稱為目標</em></blockquote><p>而期限的設定要合理，而<strong>合理的時長我想會因人而異，大致上會取決於過去對資料結構和演算法的熟悉程度</strong>，對我而言以140題來說，我會給自己設定大概3個月的期限，並且這次想學一下Golang來寫這140題，畢竟用熟的語言寫有些無聊對吧？😂，而且原因不明最近新來的同事們對Golang似乎都有偏好，為了跟大家聊天只好來學一下😆。</p><p>相信能看到這裡的讀者們，都是有決心想要好好走一輪這個流程，進一步提升自己職涯的可能性。這邊想跟大家分享幾個小小的心得</p><ul><li>千萬不要放棄，我能了解寫到後來會想問自己，這樣努力是不是有用</li><li>在寫的途中就可以鼓起勇氣去面試看看</li><li>難題留到假日在寫，寫不出來可以外出散散步，可能就想出來了</li><li>工作還是要好好做，真的不要一心只寫這個，不然可能兩頭皆空</li></ul><p>以上幾點大概是我前一次寫完後的小小體悟，希望能在大家努力的路上幫助到大家。</p><p>最後算是想給自己打點小廣告，我知道前面要求大家選140題是個繁瑣的過程，可能才開始就放棄 😭，畢竟我自已也花了好多時間才收集好這些題目，為了減低大家的阻力，最後將收集的問題用<a href="https://www.notion.so/">Notion</a>分享給大家</p><ul><li><a href="https://temporal-yard-74e.notion.site/c90169807a6442f4b2fc5b62f3a77c74?v=10c8dab15c614afcace9e7024d93581d">LeetCode Problems</a></li><li><a href="https://craftsmanhenry.substack.com/p/code-interview?sd=pf">希望能陪伴你程式職涯的Code Interview攻略</a></li></ul><p>此篇文章轉載自我的 <a href="https://craftsmanhenry.substack.com/">Substack</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=17b41e35faad" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[挖掘令自己滿意的Gitlab Pipeline計畫 — 實作篇]]></title>
            <link>https://medium.com/@henry-chou/%E6%8C%96%E6%8E%98%E4%BB%A4%E8%87%AA%E5%B7%B1%E6%BB%BF%E6%84%8F%E7%9A%84gitlab-pipeline%E8%A8%88%E7%95%AB-%E5%AF%A6%E4%BD%9C%E7%AF%87-7b7f99f9cf89?source=rss-bd11a24c2871------2</link>
            <guid isPermaLink="false">https://medium.com/p/7b7f99f9cf89</guid>
            <category><![CDATA[devops]]></category>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[cicd]]></category>
            <category><![CDATA[backend-development]]></category>
            <category><![CDATA[developer]]></category>
            <dc:creator><![CDATA[CraftsmanHenry]]></dc:creator>
            <pubDate>Wed, 20 Apr 2022 01:57:44 GMT</pubDate>
            <atom:updated>2022-04-28T01:40:29.533Z</atom:updated>
            <content:encoded><![CDATA[<h3>挖掘令自己滿意的Gitlab Pipeline計畫 — 實作篇</h3><h4><a href="https://medium.com/@henry-chou/%E6%8C%96%E6%8E%98%E5%8F%A6%E8%87%AA%E5%B7%B1%E6%BB%BF%E6%84%8F%E7%9A%84gitlab-pipeline%E8%A8%88%E7%95%AB-b2cf9292c767">趴萬（part 1）</a>中，利用過去工作接觸不同專案的機會，統整出一套CI/CD概念想解決使用GitLab時碰到的問題；不過缺少實作，對於向我這樣的實作派而言會有學習上的困難，因此想基於上篇文章的概念來展示實作方式以促進大家的理解，並提供一套基本的CI/CD樣板給大家</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Xf9x4_6KqaIlQzw7" /></figure><p>回顧一下，在<a href="https://medium.com/@henry-chou/%E6%8C%96%E6%8E%98%E5%8F%A6%E8%87%AA%E5%B7%B1%E6%BB%BF%E6%84%8F%E7%9A%84gitlab-pipeline%E8%A8%88%E7%95%AB-b2cf9292c767">前篇文章</a>中為了解決與他人合作專案開發時遇到的下列部署問題</p><ul><li>版號管理困難</li><li>無法追蹤各環境部屬的版號和無法安全快速的rollback回上個版本</li><li>各專案間不一致的部屬流程</li></ul><p>針對版號管理問題，引進自動跳版號工具，以自動化且一致的方式將版號以<a href="https://semver.org/">semantic versioning</a>的型式管理於檔案（package.json）之中；另外利用GitLab原生的<a href="https://docs.gitlab.com/ee/ci/environments/">Environment</a>特性追蹤部署版本並提供快速回溯（rollback）部署的機制；最後提出一套流程整合自動跳版號工具、GitLab Environment和GitLab CI/CD的script如下圖：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*-m0Uvyffl04OVhuM" /><figcaption>各環境pipeline的整合流程圖</figcaption></figure><p>接下來的部分如文章的標題，將會介紹一套實作以上流程的方式給大家，但在開始之前，不知道大家是否還記得在上篇文章CI/CD流程的小節有提到實作的部分會「<strong>隨著組織內部使用的工具不同而產生差異</strong>」；所以除了假設大家都是使用GitLab外，本文章對讀者組織內部使用的工具還有以下假設：</p><ul><li>利用Docker（container engine）建置出image做為建置的產物（artifact）</li><li>Image Registry使用<a href="https://docs.gitlab.com/ee/user/packages/container_registry/">GitLab Container Registry</a>搭配<a href="https://aws.amazon.com/ecs/?nc1=h_ls">AWS Elastic Container Registry</a> — ECR</li><li>Application是部署在Kubernetes上（假設是Elastic Kubernetes Service）</li><li>開發程式碼是Javascript</li></ul><p>才建議完全採用這裡實作的解決方案歐！另外此文章採用的branch model是GitLab flow如果還沒什麼概念想深入瞭解的話，可以看我<a href="https://medium.com/@henry-chou/ci-cd-pipeline-x-gitlab-flow-c5e27034540f">另一篇文章</a>，文章中會帶著大家熟悉目前常見的branch model並瞭解GitLab CI/CD的基本概念，接著就直接開始說明各環境CI/CD流程的細節吧！</p><h3><strong>實作令我滿意的GitLab Pipeline</strong></h3><p>開始前，事先說明一下，實作的部分會區分以下兩種環境介紹</p><ul><li>開發環境</li><li>（類）生產環境</li></ul><p>不過理想上部署的流程應該全環境一致才對，如此才能夠透過</p><blockquote>開發、類生產環境的兩次部署測試，提高對生產環境部署的信心</blockquote><p>多次相同的部署是透過模擬部署過程中可能出現的各種狀況，以演練的方式<strong>增加部署時的危機處理能力</strong>並<strong>提高部署的信心</strong>，不過目前公司配置的開發環境是公司內自架的K8S cluster，類生產與生產環境則是部署到AWS的EKS cluster上，因此部署的步驟才會區分為兩個部分做介紹</p><h4>準備</h4><p>要開始整個CI/CD pipeline流程會需要先安裝、設定前篇文章提到的<a href="https://github.com/release-it/release-it">release-it</a>，並利用release-it在本機專案的project中git push一個能夠觸發pipeline的commit到GitLab上；安裝和設定過程如下</p><pre>npm i --save-dev release-it</pre><p>安裝完後請在與package.json同層的目錄（directory）底下新增一個.release-it.json內容如下</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f48d04e87ca01518e52980420607ecad/href">https://medium.com/media/f48d04e87ca01518e52980420607ecad/href</a></iframe><pre>💡 release-it允許在.release-it.json中透過hook的欄位，在運行生命週期加進一些額外的指令，當然指令也可以是自己寫的script，進而提供更多的彈性</pre><p>.release-it.json提供不少欄位可以設定推版的流程，但文章只會使用最基本的功能，如果需要額外的功能請參考release-it的<a href="https://github.com/release-it/release-it#readme">README</a></p><p>安裝並設定完推版工具後，接著修改一下package.json</p><ul><li>scripts內加入release command以執行release-it</li><li>注意一下自己的devDependencies內有沒有release-it</li><li>version版號要給</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/69cf9cc6651652a51143f694e45b37b3/href">https://medium.com/media/69cf9cc6651652a51143f694e45b37b3/href</a></iframe><p>安裝完release-it後就可以使用以下指令來嘗試release-it的神奇之處啦！</p><pre># 簡易推版<br>npm run release</pre><pre># 可以選擇更改版號的方式<br>npm run release — [major|minor|patch] </pre><pre># 了解更多 release-it 允許的 options<br>npm run release --help</pre><h4>開發環境</h4><p>首先CI/CD flow先從開發環境的部署開始，開發環境的部署流程如下</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*XBCGTAEX2524cFhH" /><figcaption>圖1. 開發環境部署流程圖</figcaption></figure><p>第一步先利用npm run release的指令把程式碼推到GitLab Repository後，GitLab CI/CD會依照.gitlab-ci.yml內各stage的job來觸發pipeline；圖1. 中可以看到中間有個觸發條件，另外之前也提到觸發條件是由git push發動；開發環境的建置必須要滿足下列兩個條件才會開始</p><ul><li>commit的<strong>訊息格式</strong>符合Release + semantic version</li><li>commit是<strong>push</strong>到<strong>default branch</strong>（master/main）</li></ul><p>下面是建置的script</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ae97958317f5f96310cb8943677c6306/href">https://medium.com/media/ae97958317f5f96310cb8943677c6306/href</a></iframe><p>這裡使用GitLab內建的<a href="https://docs.gitlab.com/ee/ci/yaml/#extends">extends</a>關鍵字，以共用build job的script，script如下</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0a161636b810841be5ebcb61052d17e0/href">https://medium.com/media/0a161636b810841be5ebcb61052d17e0/href</a></iframe><p>簡言之，script會執行下列步驟：</p><ul><li>登入GitLab Container Registry</li><li>從package.json抓到release的版號</li><li>建置好image並tag latest與version後</li><li>將version和latest兩個image tag都推到GitLab Container Registry</li></ul><p>建置完後，剩下將image帶進對應的Kubernetes manifest後apply到cluster內，在此是採用<a href="https://kubectl.docs.kubernetes.io/guides/introduction/kustomize/">Kustomize</a>並搭配一點sed編輯/新增一些需要的東西，script如下</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e703e57f392233f979d723964dc23996/href">https://medium.com/media/e703e57f392233f979d723964dc23996/href</a></iframe><p>同樣deploy也使用extend的方式在各環境間共用部署script</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2013f4ddc27e651faee8d8559ba0965d/href">https://medium.com/media/2013f4ddc27e651faee8d8559ba0965d/href</a></iframe><p>觸發部署的條件是以下檔案有更動</p><ul><li>package.json：版號</li><li>deploy/k8s/overlays/development/**/*：該環境的k8s部署設定</li><li>deploy/k8s/base/**/*：app整體在k8s的部署設定</li><li>api/**/*：程式碼</li></ul><p>不管是push還是GitLab console上手動觸發，只要<strong>最後一次的commit</strong>有更動到以上四樣東西，就會觸發部署，但建置新的image<strong>只有</strong>當我們透過release-it推版到GitLab後才會觸發，希望這樣講解大家能明白如此設計的想法，另外我對於unit test的看法是push到feature或default branch且有更動到source code就應該要進行單元測試，觸發條件的部分就留給大家練習吧！想更深入了解GitLab CI/CD rules 關鍵字和內建環境變數，請參考以下文件</p><ul><li><a href="https://docs.gitlab.com/ee/ci/yaml/#rules">Keyword reference for the `.gitlab-ci.yml` file | GitLab</a></li><li><a href="https://docs.gitlab.com/ee/ci/variables/predefined_variables.html">Predefined CI/CD variables reference | GitLab</a></li></ul><h4>（類）生產環境</h4><p>部署到開發環境後，會透過<strong>優良的測試</strong>（希望大家的codebase都有 😅）確保該部署版本都<strong>符合當初規劃的發佈內容</strong>或<strong>有修復到目標bug</strong>，接著才會考慮往類生產環境部署甚至更進一步部署到生產環境</p><p>類生產與生產環境都是部署在AWS的EKS上，理想上stage的環境與production環境<strong>除了規模（scale）外應該完全一致</strong>，如此可以用stage的部署來測試production的部署，不然測試的標的物不同，就失去測試的意義；因為環境相同stage和production的實作會合併成一小節，下圖是我們（類）生產環境的部署流程</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*axFfcvnkmgXQAhZY" /></figure><p>由上圖可知，（類）生產環境的部署有兩個觸發條件</p><ul><li>來源是merge request（GitHub稱為pull request）</li><li>merge後產生commit的目標是stage/production分支</li></ul><p>假設環境是</p><ul><li>部署在AWS的EKS上</li><li>上雲後的image resgistry是使用AWS ECR</li></ul><p>第一步將開發環境建置好image推上ECR，script如下，條件請參考rules關鍵字底下的宣告</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f1fa4caeae1b5719e28c0e1ae644a957/href">https://medium.com/media/f1fa4caeae1b5719e28c0e1ae644a957/href</a></iframe><p>script中同樣使用extends關鍵字共用push image的流程，push-image job使用的image<strong>必須要安裝aws cli</strong>，並在variables內指定ECR repository的位置</p><pre>️❗ 開發環境到類生產環境的部署，是由開發環境（用release-it建立）的tag建立出來的branch合併至類生產環境，千萬別直接從main branch往類生產合併，<strong>從開發環境部署到推往類生產環境之間</strong>，可能已經有其他commit合併到main branch</pre><p>共用的push-image script內，會使用aws cli取得ecr的credentials後登入；所以記得在GitLab repository的CI/CD變數內加AWS的access key id和secret access key（我想不是best practice但方便解說），push-image script如下</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3ce57936b747b84474eb408f8cbbc309/href">https://medium.com/media/3ce57936b747b84474eb408f8cbbc309/href</a></iframe><p>上述script的步驟如下</p><ul><li>設定好AWS credentials</li><li>分別docker登入GitLab與ECR registry</li><li>從GitLab Container Registry拉下開發環境建置的image並打上ECR repo的位置，推往ECR</li></ul><p>要部署到類生產環境，流程上與開發環境毫無差異，唯一有差的是<strong>觸發部署的條件</strong>和<strong>設定AWS的credentials後並取得EKS的設定</strong>，稍微看一下部署stage環境需要注意的部分吧</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/612609e8b2f5d7572eeb99263391b12d/href">https://medium.com/media/612609e8b2f5d7572eeb99263391b12d/href</a></iframe><p>deploy script的部分就請大家回頭參考開發環境部署的部分；生產環境的部署則完全與類生產環境一樣，就請大家根據自家環境做相對應的更改吧！</p><p>回頭看每個deploy job的script內都可以看到一個<a href="https://docs.gitlab.com/ee/ci/yaml/#environment">environment</a>關鍵字，該關鍵字如之前所說的能幫我們在GitLab中追蹤各個環境的部署狀況，提醒大家記得在script中標註環境，如此部署完之後就可以於 [GitLab Repository] &gt;&gt; Deployments &gt;&gt; Environments &gt;&gt; New Environments 找到與script中定義的name同名的environment</p><pre>💡 GitLab environment是對應到Repository的branch，如果environment對應到的branch被刪除，會使environment變成stopped狀態</pre><p>實作到此可以擁有一個GitLab pipeline</p><ul><li>支援<strong>一指令</strong>使用release-it<strong>發佈新版</strong>應用程式</li><li><strong>一致性高</strong>且能夠共用於不同node.js專案的pipeline</li><li><strong>追蹤不同環境</strong>的部署狀態</li></ul><p>希望有耐心看到這的讀者都能夠從過程中學到不少，雖然文章中是使用Javascript專案為例，但其實背後的設計是根據幾個DevOps的核心概念，如果能夠掌握到，我想環境是其他種語言也一樣能夠適用，希望能對大家有幫助</p><h3><strong>在結束之前</strong></h3><p>在文章中整合版號維護工具、GitLab CI/CD腳本和GitLab網站，實作出上述流程，以解決在<a href="https://medium.com/@henry-chou/%E6%8C%96%E6%8E%98%E5%8F%A6%E8%87%AA%E5%B7%B1%E6%BB%BF%E6%84%8F%E7%9A%84gitlab-pipeline%E8%A8%88%E7%95%AB-b2cf9292c767">前篇文章</a>提到的三個問題</p><ul><li>版號管理困難</li><li>無法追蹤各環境部屬的版號和無法安全快速的rollback回上個部署版本</li><li>各專案間不一致的部屬流程</li></ul><p>這個流程經過相當多版的修正、思考還有跟同事的反覆討論，相當感謝找我協助專案的同事，給我機會接觸多種CI/CD並提取各方優點，並感謝跟我討論並提供意見改善CI/CD流程的同事</p><p>在這兩篇文章想要實踐的概念，其實只是DevOps中提倡的三部工作法的第一步「暢流」的實踐，而且還只是非常小部分，其中的概念包括</p><ul><li>嘗試定義公司服務交付的價值流</li><li>建立統一的價值流並將部屬結果（工作）可視化</li><li>基於主幹（main branch）的小批量開發</li></ul><p>這一切對我而言其實是個相當新穎的經驗；說真的Continuous Delivery和DevOps的概念在自己開始工作的前期就已經從書中耳濡目染，因此心中一直有個憧憬能夠身在實踐DevOps概念的團隊中工作，同時也好奇到底該怎樣才能造就出一個實踐DevOps的團隊，剛好公司有了能夠接觸多個專案的經驗，讓我能夠觀察到不同人的工作流程，整理成一個流程分享給大家以減少大家在部屬軟體上麻煩，同時朝DevOps的工作流程前進一點</p><p>希望這篇文章能讓更多人知道這樣的理想，並能受益到這樣的流程，也歡迎大家有什麼指教可以告訴我，讓我能夠把這套流程精進得更好</p><p>下方的附錄還有提供一些不同語言的跳版號工具和同事給我的提問和我自己的回覆與思考，如果未來有新的學習經驗會找時間更新在下方附錄；這些內容就留給大家有時間跟興趣再看看了，祝大家工作愉快 😃</p><h3><strong>附錄</strong></h3><h4>跳版號工具（bump version tools）</h4><p>除了Javascript使用的release-it外，未來若有發現其他的版本控制工具也會更新再這裡，當然也歡迎大家分享自己使用過的工具給我</p><ul><li>NodeJS：<a href="https://github.com/release-it/release-it">release-it</a></li><li>Python：<a href="https://github.com/c4urself/bump2version/#installation">bump2version</a></li><li>Go: <a href="https://github.com/nwillc/gorelease">gorelease</a></li></ul><h4>刪除過舊的版號</h4><p>支援版號機制之後，由於Continuous Delivery的精神是希望能夠頻繁部屬到production，如此會在自家或是雲上的Image Registry產生非常大量的image，進而導致自家的GitLab server被塞爆或是AWS ECR被收取相當高的儲存費用（其實我都發生過 :sweat_smile:），所以<strong>務必要定義清除舊image的政策（Policy）</strong>，下面提供GitLab和AWS ECR定義policy的方法</p><p><strong>GitLab Cleanup Policy</strong></p><p><a href="https://docs.gitlab.com/ee/user/packages/container_registry/reduce_container_registry_storage.html#cleanup-policy">Reduce Container Registry Storage | GitLab</a></p><p><strong>AWS ECR Lifecycle Policy</strong></p><p><a href="https://docs.aws.amazon.com/AmazonECR/latest/userguide/LifecyclePolicies.html">Lifecycle policies</a></p><h4>其他可能的問題（Q&amp;A）</h4><p>與同事和朋友討論後，他們根據自身的經驗提出可能還存在的問題，大家可以思考看看自己組織內有沒有類似的問題需要改善</p><blockquote>如果有多個feature開發在不同branch上，如何針對某一次的release只抓特定的feature部屬到開發環境上？</blockquote><p>「理想上」良好的開發方式會盡量保持小批次的開發與部屬，每次的小批次部屬要合併到main branch的需求就會是目前開出去的所有feature branch，而不會有需要挑選feature branch的狀況；若這樣的狀況發生則表示<strong>當前定義的user story還需要再切分成更小的交付單位</strong></p><blockquote>有考慮用git tag追蹤版號並觸發部署嗎？</blockquote><p>之前有考慮過，不過我自己有些需求是需要部署在開發環境做測試，並不會正式部署到stage甚至是production，因此我選擇這類的release commit<strong>不打tag</strong>，如此一來就無法用tag抓到版號，因此最後還是選擇用檔案；如果讀者沒有這類困擾，可以用</p><pre>export VERSION_NUMBER=$(git describe — tags — abbrev=0 $CI_COMMIT_SHA)</pre><p>抓到觸發這次CI/CD pipeline的commit所對應到的tag，就可以使用tag取得建置和部署時的版號</p><blockquote>在GitLab flow底下，如何在（類）生產環境中追蹤每次release的commit？</blockquote><p>運用<a href="https://docs.gitlab.com/ee/ci/environments/">GitLab Environment</a>的特性，可以於CI/CD script內的deploy job內定義該job會部屬到哪個環境，待部屬完成過後就可以於GitLab網站上查看各個環境的部屬結果與對應的commit是哪個</p><blockquote>可以自動開merge request將tag merge到stage分支嗎？</blockquote><p>想要做的話，可以透過在CI/CD script上添加相對應的job，在deploy完成後利用GitLab API開merge request，有興趣可以參考下面GitLab官方的blog</p><p><a href="https://about.gitlab.com/blog/2017/09/05/how-to-automatically-create-a-new-mr-on-gitlab-with-gitlab-ci/">How to automatically create a new MR on GitLab with GitLab CI</a></p><p>不過無論如何，merge request的審核和最終合併都還是會到GitLab上手動操作，那其實在預計上stage/production的時候手動建立merge request似乎也說不上太麻煩，所以這個項目沒有被列為首要實作的目標</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7b7f99f9cf89" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[挖掘另自己滿意的Gitlab Pipeline計畫]]></title>
            <link>https://medium.com/@henry-chou/%E6%8C%96%E6%8E%98%E5%8F%A6%E8%87%AA%E5%B7%B1%E6%BB%BF%E6%84%8F%E7%9A%84gitlab-pipeline%E8%A8%88%E7%95%AB-b2cf9292c767?source=rss-bd11a24c2871------2</link>
            <guid isPermaLink="false">https://medium.com/p/b2cf9292c767</guid>
            <category><![CDATA[developer]]></category>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[cicd]]></category>
            <category><![CDATA[devops]]></category>
            <category><![CDATA[backend-development]]></category>
            <dc:creator><![CDATA[CraftsmanHenry]]></dc:creator>
            <pubDate>Tue, 12 Apr 2022 02:24:22 GMT</pubDate>
            <atom:updated>2022-04-21T02:00:48.127Z</atom:updated>
            <content:encoded><![CDATA[<h3>挖掘令自己滿意的Gitlab Pipeline計畫 — 概念篇</h3><h4>近半年從接手或與他人合作開發的專案中，截長補短大家對於CI/CD的思維，並理出一套當前合用的pipeline；想透過文章把我的發現分享出來，希望其他開發人員能夠協助我一同改進Gitlab的 CI/CD pipeline，讓我們開發的路上走得更順</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sIFqolNKVPLsgMhPbOOc_Q.jpeg" /></figure><p>這半年來工作上的版控工具從GitHub轉換到GitLab，最大的差異不是使用remote repository的方式，而是使用remote repository做CI/CD的方式，過往的GitHub由於Actions（我沒用過的CI/CD tools 😅）還未發佈，因此都是使用Jenkins做CI搭配其他的Deploy工具，自從轉換到GitLab CI/CD上一段時間後，自己感覺GitLab CI/CD最大的優點是</p><blockquote>Pipeline依附在Branch之上的 — GitLab Flow</blockquote><p>上面這句話用白話文解釋是<strong>需要透過merge到對應的branch觸發CI/CD</strong>，對不習慣的人也許會是阻礙；過往使用git flow搭配其他的CD工具，最大的問題是各環境當前部署的狀態是維護在外部工具上，時常部署到production後，程式碼卻沒有同步合併到main branch上；「<strong>適時合併</strong>」這個行為是需要所有開發人員都建立起相同的紀律（最難的部分 😢）才能達到的事情，但GitLab flow能透過工具本身的設計迴避掉這個問題。</p><p>在使用GitLab工作一段時間後，從接手或與他人合作開發的專案中發現幾個問題會對自身工作的順暢度和同事之間的合作造成一些障礙</p><ul><li>版號控制（<a href="https://semver.org/">Semantic Versioning</a>）</li><li>追蹤與控制各部署環境當前的版本的途徑</li><li>CI/CD的流程</li></ul><p>剛好有幸能看到各專案的CI/CD中，每位開發人員對於這些問題有自己的想法與解決方法，給我機會從中學習並截長補短，最終整理出一套自己的想法。下個章節中會分別詳述我對於上述三個問題的發現和思考，並提出對應的解決方案。</p><h3><strong>惱人的GitLab問題</strong></h3><p>這邊提出的三個問題，我自己認為最主要的成因是，過往使用github搭配外部工具時，外部工具已經透過本身的特性（feature）和工具要求的使用規範，使我在開發的過程中無意間的迴避掉這些問題，但轉移到GitLab後，GitLab對於這些問題保持著開放的態度，因此大家會自己針對這些問題想出一套解決辦法。</p><p>因此接下來說明的解決方案，是我將大家的想法給整理出來並提出自己的看法而已，並不是我想出來的</p><h4>版號控制（<a href="https://semver.org/">Semantic Versioning</a>）</h4><p>當前application的版號控制，依我個人的經驗各家公司的不同團隊可能有不同的做法，而依照當前的觀察我發現對於GitLab而言最大的問題是</p><blockquote>版號到底該存放在哪？Pipeline該從哪裡抓到版號，並用以定義當前部署的版號</blockquote><p>維護版號的規則主要還是遵循<a href="https://semver.org/">Semantic Versioning</a>的規範；將版號維護好對我們組織最主要的目的是container image建置完成後，要對image打上版號的tag，<strong>方便之後部署時的進、退版</strong>，並<strong>能使用版號去定義與討論各版號對應到的功能</strong>；目前我發現版號維護的做法有以下三種</p><ul><li>git-tag</li><li>commit message</li><li>file（package.json）</li></ul><p>以<strong>CI/CD中抓取版號的容易度</strong>和<strong>開發、部署時查看版號的方便性</strong>來思考，會需要以下三步驟</p><ol><li>修改完維護檔案的file（package.json）</li><li>commit並打tag</li><li>push commit 和 tag 回 GitLab repository 觸發CI/CD</li></ol><p>這是將三種做法結合起來的方法，不過此方法依然牽涉到團隊的開發紀律，而不方便會使紀律難以養成，此時若有自動化的工具，就能把這件事情變簡單，一個指令或動作就可以一口氣完成三個步驟，原本想自己寫，但好消息是我找到了！還真的有人提供這樣的工具能把依序完成這三個步驟，以下以node.js的套件release-it為例，若會來有找到支援其他語言的，會持續更新於附錄中</p><p><a href="https://github.com/release-it/release-it">GitHub - release-it/release-it: 🚀 Automate versioning and package publishing</a></p><p>release-it是我找到並實驗過的工具，當然其實網路上有很多其他類似的功能，只要能夠支援以下功能，我都認為是好工具</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/760/0*c76hAv9C_P2X15ju" /><figcaption>release工具的運作示意圖（來源：<a href="https://github.com/release-it/release-it">release-it GitHub repo</a>）</figcaption></figure><ul><li>以semantic version（語意版號）的形式支援跳版號（bump version）</li><li>自動化修改和維護存放版號的相關檔案</li><li>整合git可以自動git add, git commit 並 git push</li><li>支援不同release階段（ex：跳版本前後、push新release前後）的擴充行為</li><li>能寫code提供擴充該套件的plugin</li></ul><p>前三項是達到自動化release不可或缺的基本功能；「支援不同release階段的擴充行為」是為了滿足不同專案特殊的release需求，允許在不同階段前後透過script的形式加入額外的自動化步驟，最後「能寫code提供擴充該套件的plugin」則是可以將一些常用的共同步驟進一步寫成plugin分享給其他開發人員作為release套件的擴充使用，屬於更進階的特性有的話利大於弊但沒有也無仿，總結是</p><pre>前三項 &gt; releaes階段的擴充行為 &gt; 能支援plugin擴充該套件</pre><h4>追蹤與控制各部署環境當前的版本的途徑</h4><p>會有這個需求是因為，有時會需要查看過往各環境的部署歷程，更常發生的是意外將有bug的程式碼部署到production（別說你沒部署過 💩 到production），需要將部署快速倒回（rollback）至上一個沒有問題的部署，此時有一個「紀錄與控制各部署環境版本」的途徑或是工具就非常重要，但要達到部署的追蹤與控制有個前提</p><blockquote>務必先把上一小節提到的版本控制工具引入專案中</blockquote><p>若未先針對每次部署的整包程式碼定義版號，那紀錄與控制的工具就連管理的目標物都沒有，過去使用外部工具deploy完後，就直接支援追蹤部署版本的功能，而GitLab的部分則要<strong>刻意</strong>去使用才行，而這功能正是接下來要介紹的GitLab CI/CD的environment功能</p><p><a href="https://docs.gitlab.com/ee/ci/environments/">Environments and deployments | GitLab</a></p><p>該feature能夠協助我們解決以下幾個問題</p><ul><li>紀錄<strong>當前</strong>各環境的部署是使用哪個branch的哪個commit</li><li>紀錄<strong>過去</strong>各環境的部署歷程</li><li>利用過去的部署歷程，<strong>迅速</strong>（一鍵）重新部署與倒回（rollback）過去的部署</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*jdQ3W7_Jfc3kAooF" /><figcaption>截圖自：自己專案的部署</figcaption></figure><p>解決以上問題後，並<strong>保持每次發佈（release）規模盡量小</strong>的前提下，提供我們更大的信心能夠更頻繁的發佈新的feature到線上測試，就算出問題也能夠快速地回到過去沒問題的版本，而依照我的理解這就是敏捷（Agile）的精神之一</p><blockquote>透過小規模且頻繁的部署持續改善以求更符合使用者的需求</blockquote><p>要使用這個功能需要在專案中的.gitlab-ci.yml內，於對應各環境的deploy job使用environment這個<a href="https://docs.gitlab.com/ee/ci/yaml/#environment">keyword</a>如下所示</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/49c2bf98d8c3e7785dd07582f197e3dc/href">https://medium.com/media/49c2bf98d8c3e7785dd07582f197e3dc/href</a></iframe><p>同時於GitLab的web console左邊的功能導航欄中於Deployments &gt; Environments底下新增同名的environment，完成後於下次觸發deploy job時就會自動將該次觸發deploy的commit紀錄在該job指定的environment內</p><p>如果還是不理解的話會在之後給大家完整的CI/CD pipeline做範例，希望這樣可以提升大家對於這個概念的理解</p><h4>CI/CD的流程</h4><p>在GitLab中，CI/CD pipeline是屬於各專案的，因此各專案間可以截然不同，而最近在公司團隊中工作卻遇到一個令我相當艱難的狀況</p><blockquote>要我接手或是需要找我合作的專案竟然每個都使用不同的部署流程</blockquote><p>如此對我而言會導致以下問題</p><ul><li>不易協助其他專案</li><li>持續忘記過去協助過的專案的部署流程</li></ul><p>其實第一項照理說不成問題，畢竟協助新專案本來就需要理解他人的部署流程，不過如果能夠<strong>同組織內</strong>採用類似的CI/CD架構，如此便能夠降低合作的障礙；嚴重的是第二點，由於現今流行的microservice（微服務）架構，導致每個開發人員需要關心的專案數量提升，倘若各專案間使用的部署流程皆差異極大，那相當容易做完A專案並部署完後去忙B專案，而B專案完成後回A專案卻已經忘記A專案如何部署，又要重新花時間學習。</p><p>為解決此問題，需要一套</p><blockquote>CI/CD的概念框架（原則）</blockquote><p>只要依循框架將需要的CI/CD細節填進去，儘管是不同專案或語言都可以有類似的部署流程；不同語言間的部屬細節我想不太可能完全一致但<strong>背後的概念</strong>卻可以，只要在<strong>組織內</strong>的開發人員DNA中都有同一套CI/CD架構，那合作時就可以節省熟悉CI/CD流程的過程，只需要熟悉不同語言和語言專屬的工具</p><p>不過一套框架並非萬用，設計會<strong>隨著不同組織內使用的工具不同而出現差異</strong>需要做調整，以下是根據我半年來的觀察並搭配GitLab flow歸納出來的整套CI/CD框架的流程</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*e-myr9BP0odVjaHa" /></figure><ol><li>一切始於開發人員從自己本機敲的一條指令開始，GitLab開始執行development環境的pipeline將main branch當前的程式碼建置並部署</li><li>觸發stage環境的pipeline需要將<strong>main branch tag</strong>透過merge request合併至stage branch</li><li>觸發production環境的pipeline需要將stage branch透過merge request合併至production branch</li></ol><p>要注意的是stage環境需要使用<strong>main branch的tag</strong>開出來的分支進行merge，原因是我們無法保證從「完成development環境的部署之後到打算merge main branch到stage branch」這之間會發生多少改變，因此<strong>必須</strong>要在觸發main branch部署的那個command中同時對當前main branch的狀態打一個tag，以確保即將部署到stage環境的程式碼是經過development環境測試過的內容</p><p>另外one command觸發開發環境建置的動作，可以使用在此章節版號控制小節中所介紹的工具（release-it）一次將需要做的事情（bump version, commit, tag 和 push）一次完成，以實現真正的一鍵部署</p><p>說明完困擾我的三個問題和解決方案後，接著需要依照上述的框架實作CI/CD的細節，不過由於篇幅問題，實作的部分就待下篇文章再行分解</p><h3><strong>在結束之前</strong></h3><p>在這篇文章中會想要大費周章整合大家的想法並解決以下三個問題</p><ul><li>版號管理困難</li><li>無法追蹤各環境部屬的版號和無法安全快速的rollback回上個版本</li><li>各專案間不一致的部屬流程</li></ul><p>目標是想找到一個<strong>足夠好</strong>且<strong>大家願意一起使用</strong>的工作流程（或工具組），藉此<strong>促進彼此之間的溝通與合作</strong>，其實這就是DevOps這個fuzz-word的核心概念，同時還能協助組織定義軟體交付的價值流，「價值流」對軟體工程而言是</p><blockquote>將商業需求轉換成技術實作並交付給客戶的（自動化）流程</blockquote><p>此概念來自知名的Toyota TPS（Toyota Production System）生產系統，核心理念是<strong>小批量且持續平穩的透過定義好的價值流交付產品，並在過程中不斷的減少浪費、提升效率（改善）以求最大的產出</strong>，而要能夠持續改善，必須先要有個大家認同的流程，也就是開頭提到的工作流程或工具組</p><p>想整理CI/CD流程是希望未來「跟我合作或新進公司的同事不要遭遇到像我一樣的困境」，透過將自己遭遇的困難分類並思考可能的解法，同時參考多方意見後，整合成一套最終的解決方案，並期待在公司推廣給大家一起使用過後，大家能一起改善並精進這套流程，以實現持續改善的精神（Continuous Improvement）。對於讀者而言，解決方案僅僅只是一個概念、原則（Principle），不限用於特定的語言，大家可以根據自己組織的習慣或需求實作細節甚至是進行擴充，希望文章能夠受益到組織中也是使用GitLab，但</p><ul><li>尚未定義一個大家能夠參考的工作流程，或是</li><li>有定義好的工作流程但有前面提到的類似問題</li></ul><p>的讀者；在下篇文章趴兔（part 2）中，會以自己目前的工作環境提供給各位一個實作範例和一些附加內容，協助大家理解此篇文章說明的概念，請大家期待下篇文章！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b2cf9292c767" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[所以你也想當AWS Solution Architect？]]></title>
            <link>https://medium.com/@henry-chou/%E6%89%80%E4%BB%A5%E4%BD%A0%E4%B9%9F%E6%83%B3%E7%95%B6aws-solution-architect-2a7cec819095?source=rss-bd11a24c2871------2</link>
            <guid isPermaLink="false">https://medium.com/p/2a7cec819095</guid>
            <category><![CDATA[aws-solution-architect]]></category>
            <category><![CDATA[site-reliability-engineer]]></category>
            <category><![CDATA[devops]]></category>
            <category><![CDATA[software-engineer]]></category>
            <category><![CDATA[aws]]></category>
            <dc:creator><![CDATA[CraftsmanHenry]]></dc:creator>
            <pubDate>Sun, 03 Apr 2022 02:47:19 GMT</pubDate>
            <atom:updated>2022-04-03T07:55:04.237Z</atom:updated>
            <content:encoded><![CDATA[<h4>想準備AWS SAP認證卻沒有個方向該從何開始？那這篇文章就是給你的，從今年初下定決心後開始，花不少時間準備證照考試，並在進行的過程中紀錄自己使用的資源與想法，想說在最後把自己的經驗整理成文章分享給需要的人</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*qUi-jiRazhTONwMQ" /></figure><h3>為什麼我想取得AWS Solution Architect認證？</h3><p>在之前分享<a href="https://medium.com/@henry-chou/%E9%83%BD%E9%80%99%E6%A8%A3%E5%94%B8toeic-%E5%A4%9A%E7%9B%8A-%E4%BA%86%E4%B8%8D%E8%87%B3%E6%96%BC%E8%80%83%E5%A4%AA%E5%B7%AE%E5%90%A7-ae115fb9f0b6">自己準備TOEIC的文章</a>中，提過任何的證照考試都是一個耗時且費錢（以前當學生可以浪費爸媽的錢 😅）的事情，如果沒有想清楚自己想考的原因，那對我而言很有可能毫無收穫，所以一如過往的先從回答「Ask your why？」這個問題開始吧！</p><p>簡易的回答是</p><blockquote>給自己一個證明自己AWS學習成果與經驗的途徑</blockquote><p>背後故事是：</p><p>雲端技術喊了許久，目前不僅僅是想「快速PoC又沒有資本投資大型機房」的Startup有需求，連傳統軟體公司也逐漸將自己的機房往雲端供應商遷移，套句我同事曾經說的話：「如果未來軟體界有什麼革命性的服務出現，那也一定是發生在雲端上」，正是這句話引發我對於雲端供應商的興趣；同時非常感謝這位同事還給我一些入門的方向，讓我不會瞎子摸象不知道該從哪裡下手</p><p>開始後才發現，AWS對我而言真的是一個大型的遊樂場，有數不盡的工具跟服務可以嘗試，只要有一張魔法小卡（credit card 你們知道的 😆）什麼都可以一鍵就開始玩，省去不少學習安裝和管理的過程，其中很多服務在條件下甚至可以<a href="https://aws.amazon.com/free/?nc1=h_ls&amp;all-free-tier.sort-by=item.additionalFields.SortRank&amp;all-free-tier.sort-order=asc&amp;awsf.Free%20Tier%20Types=*all&amp;awsf.Free%20Tier%20Categories=*all">免費（Free Tier）</a>使用</p><p>；但學習後不應用那最終只有忘記一條路。可惜（也可以說幸運）的是，前公司有專業且專職的SRE同事把AWS相關的工作處理地好好的，對我身為一個Software Engineer而言就少了一些練習的機會，所以才想說乾脆考個證照，試試自己學習的成果。自己是在2020年獲得Architect Associate level的認證，時過兩年想說該來升級一下自己，所以今年初就決定來給自己一個AWS Solution Architect Professional（下面會簡稱AWS SAP）測驗的挑戰，所以才造就這篇文章。</p><p>當然上述只是我想考的原因，但我想對於這張證照感興趣的人，最想知道的還是通過這個考試後，到底能為工作帶來什麼樣的提升與優勢吧？</p><h3>通過認證的好處</h3><p>在說明好處之前先簡述一下比較泛用的AWS證照考試，如下圖所示</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Onld1diH13SRe17y" /></figure><p>圖片中需要強調的是，所有的認證都可以「獨立進行」，顏色只是想表示<strong>相關知識的關聯性</strong>，換句話說，應試者可以直接考專家級的測驗，只要「有自信可以通過」測驗就能報名，不過各位也會發現，專家級的測驗時間與助理級毫無差異但<strong>題數與費用</strong>卻直接拉高，從官方提供的例題資料中還能知道：「題目與選項的長度」也大幅的提升，因此建議各位別在毫無準備的狀況下直接參加閱讀量爆表的專家級考試阿！我自己也不是那種自信心爆棚的人，因此我還是乖乖參加助理級的考試後經過兩年後再報考專家級，畢竟<strong>專家級失敗一次都可以考兩次助理級</strong>的測驗了</p><pre>💡 獲得AWS認證後能獲得50% off的Discount Code，該Code可以對任何下次考試折扣費用。舉例來說：通過AWS Developer Associate後得到的Discount Code能夠把接下來報考AWS Solution Architect Professional的費用砍半</pre><p>接下來繼續說獲取AWS Solution Architect的益處，我想分成<strong>生活</strong>與<strong>工作</strong>上兩個面向來談</p><h4><strong>生活上</strong></h4><p>大家可能會想說考這東西除了工作外還能有什麼幫助嗎？以生活品質而言當然是不能，但重要的是<strong>準備證照考試的過程</strong>，過程本身<strong>需要下定決心去投入一件事情</strong>，並在下決心後還要透過規劃去安排在下班後的自我學習時間，之中需要非常多犧牲與奉獻 😅，畢竟出社會後，<strong>時間都是自己的</strong>父母或任何人再也不會有要求你要做什麼，長大後回過頭才發現「<strong>自己都是照著別人規劃好的路走，而沒規劃過自己想走的路</strong>」，此時這個證照考試正好給予我機會在獲取生活必須資源（工作）之餘，還能夠訓練自己<strong>去規劃並為自己認為值得的事情</strong>付出努力，這個能力與態度本身的培養我認為是對生活和人生上最有益處的地方</p><h4><strong>工作上</strong></h4><p>身為軟體工程師的我自然不用多說，可以讓我在除了程式碼之外，還能夠具備根據（營運、可靠性、擴展性、安全性和開銷…等）需求規劃運行程式碼用的基礎設施（Infrastructure），而對於（像我前公司）具有強大SRE（Site Reliablity Engineer）的團隊而言，也許不用規劃基礎設施，但也能大大的促進軟體開發人員與SRE之間的溝通，否則雞同鴨講很讓人灰心的…；除此之外雲端最大的好處就是Pay-As-You-Go（用多少付多少），心裡有個idea就可以在寫好程式後馬上靠AWS自己部屬一套PoC出來，並在測試完後馬上移除；對我而言最吸引我的好處就是在第一章節提過的可以用少少的成本玩到很多服務，講了這麼多好處，不過還是要告訴讀到這的人一件會讓你想關掉這篇文章的事實</p><blockquote>這張證照對於軟體（後端）工程師而言，沒有半點的加薪效果</blockquote><p>如果想靠投資這張證照在軟體工程師的職涯上獲得加薪，那你可能要再想想，起碼我自己是沒能辦到，那如果你想知道該怎樣能夠加薪，那我只能送你一張圖</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/540/0*IPJpMqJMymRrXs5H" /><figcaption>當個跳跳虎？（<a href="https://64.media.tumblr.com/c410c1534d48279c506385f99c77d983/tumblr_p2nisiQxMe1w3qc55o1_540.gifv">圖片來源</a>）</figcaption></figure><p>Solution Architect對於想成為SRE或是DevOps Engineer應該會是個不錯的自我投資，但對Software Engineer就真的效果有限，到此如果你是個<strong>知道不能加薪還想往下看的軟體工程師</strong>或是<strong>真的有興趣想投資一下自己的人</strong>，那接著就來看我是使用哪些resource準備AWS Solution Architecture Professional認證吧！</p><h3>準備資源</h3><p>為了通過AWS SAP的認證，我有透過一系列準備的過程並搭配一些準備用的資源提高我自己通過考試的自信心，準備的資源分成三類</p><ul><li>Udemy線上課程</li><li>Mock Exams（模擬試題）</li><li>Cheat Sheets</li></ul><h4><strong>Udemy線上課程</strong></h4><p>線上課程的部分，都是購買Udemy的線上課程，這邊分享兩門我看完的課程，附上我取得的Udemy認證，認證旁有提供課程連結，有興趣的人可以買來學習看看</p><p><strong>第一門課程</strong>：<a href="https://www.udemy.com/certificate/UC-92bea68c-26a6-484d-b061-54f1cb24f2a0/">https://www.udemy.com/certificate/UC-92bea68c-26a6-484d-b061-54f1cb24f2a0/</a></p><p>這門課程是Udemy上與AWS SAP認證相關的課程中最熱門的一門，上完課我感受到的優點有</p><ul><li><strong>廣度</strong>：內容會涵蓋Solution Architect需要知道的所有服務，而助理級需要知道的主題內容都只會稍微帶過，並在之後對該主題多出一些較為進階的實務細節與troubleshooting的方法課程中</li><li><strong>服務整合</strong>：對考試最重要的是<strong>各服務間該如何進行搭配與整合</strong></li></ul><p>兩項優點外，有意買這門課的朋友需要注意</p><ul><li><strong>只有投影片</strong>：講師以投影片的形式將AWS相關內容講過去（是的跟你大學教授一樣 😭）並在語句中帶過一些額外的知識，完全沒有需要動手的hands-on環節，如果對於這樣的教學方式吸收上有困難的人可能需要可慮一下</li><li><strong>語速</strong>：講者本身似乎是法國人，講英語速度非常快，而且咬字還會含糊，時常需要倒帶加字幕來幫助理解</li></ul><p>以上對我本身而言其實是挺障礙的，因此這門課程其實我go through兩次，第一次單純以看Udemy上提供的影片為主，第二次則看講師提供的投影片，並針對投影片上有疑惑、不熟悉的部分再回頭把影片重看一次，才比較能把作者教的東西連貫在一起</p><p><strong>第二門課</strong>：<a href="https://www.udemy.com/certificate/UC-3be8a3c2-4cc1-43ee-9093-19f6c788b278/">https://www.udemy.com/certificate/UC-3be8a3c2-4cc1-43ee-9093-19f6c788b278/</a></p><p>相較於第一門課程，第二門課程我更推薦，此課程的優點有</p><ul><li><strong>Hands-On課程</strong>：對我而言最大的優點，該講師會針對專家級需要知道的實務提供非常好的hands-on課程，hands-on的部分對我而言都非常印象深刻，幾乎都是自己平日工作上沒機會接觸的事情</li><li><strong>圖片為主的服務間整合介紹</strong>：hands-on外的其他課程雖然也都是投影片，但此課程的投影片對於服務與整合應用的說明都是圖片為主，對於我而言相較於第一門課程而言更容易記憶</li><li><strong>口音</strong>：該講者說的是優美的英國腔且咬字相當清晰，對於像我一樣英文不好的人而言，只要具備AWS相關的知識，幾乎不會有聽不懂的狀況</li></ul><p>說這麼多好的，來談談這門課的一些需要注意的事項</p><ul><li><strong>廣度</strong>：該課程相較於第一門課程而言雖然比較易於學習，但涵蓋的廣度沒有第一門課程廣，需要搭配作者整理的review questions（額外付費）和cheat sheets（免費）才會具備應考的能力</li><li><strong>作者說話語調</strong>：對我而言最大的缺點是作者的語調，雖說他的腔調非常易懂且清晰但他的<strong>語調幾乎毫無變化，對於我而言催眠效果超級強</strong> 😅，我鮮少能撐過30分鐘還不需要提神一下的</li></ul><p>若大家有意買上面的課程，Udemy會非常頻繁地推出特價活動，各位可以趁特價活動時購入課程，否則特價跟原價可是一個0的差異</p><h4><strong>Mock Exams</strong>（模擬試題）</h4><p>在上課之餘，當然也免不了要透過模擬試題「<strong>學習考題的模式與應考當下的感覺</strong>」，採用的資源一樣兩項</p><p><a href="https://www.udemy.com/course/aws-solutions-architect-professional-practice-exams-amazon/">https://www.udemy.com/course/aws-solutions-architect-professional-practice-exams-amazon/</a></p><p>一樣是在Udemy上購買的課程，是由<a href="https://tutorialsdojo.com/">TutorialsDojo</a>的作者所編寫的線上模擬試題，此課程中一共有<strong>4份練習題，練習題的形式與正式考試相同共75題限時180分鐘</strong>，每一題幾乎都是針對服務間的整合進行案例分析，並從4個選項中選出最符合要求的項目，如開頭所提的跟正式考試相同<strong>題目跟選項都相當長</strong>，非常考驗閱讀的速度，最後在全部答題完畢後，會提供評分與詳解。</p><p>在寫這4份練習題的時候，自己是採用<strong>每25題50–55分鐘的節奏答題</strong>並在之中休息5分鐘總共持續3個小時，表示需要在2分鐘左右閱讀完一題的題目加選項，並選出最合適的答案，當然這個節奏不是在第1份考題就能做到，其實直到第4份考題我才大致上能達成這個節奏。</p><p>回答完後，我並沒有馬上看詳解，而是先開始做下面第二個資源中的review questions，過一陣子回來自己是將其中1份考題的每一題詳解都閱讀過後，另外挑1份重做並看答錯部分的詳解。</p><p><a href="https://digitalcloud.training/courses/aws-certified-solutions-architect-professional-practice-exams/">AWS Practice Exams - AWS Certified Solutions Architect Professional</a></p><p>這份練習題比較特殊，是位於第二個線上課程的講者自己的個人教學平台，其實講者也有在Udemy上提供練習題課程，形式是6份練習題每份25題，我沒實際去買Udemy該講者提供的練習題，而選在他的教學網站上購買，原因是同樣也是6份練習題每份25題（我相信題目與Udemy一致），更提供</p><ul><li>一般模式：25題限時60分鐘</li><li>練習模式：25題不限時</li><li>複習題（review questions）：根據不同Topics分類練題答題不限時</li><li>真實考試模擬模式：75題限時180分鐘</li></ul><p>自己感覺最有幫助的是review questions的部分，講者幫你根據各種topics把有可能出現的整合情境整理成試題，並在<strong>每一題</strong>答題完成後提供詳解，自己會馬上把詳解全部看一次，並且看一下錯誤的選項為何行不通，從review questions之中，我<strong>發現不少自己還不知道的細節</strong>和<strong>學習怎麼思考各服務的整合</strong>，而<strong>這樣的思考方式我發現不僅對考試有幫助而已，也能受益到日常的開發部署上</strong>；6份練習題的部分作者也直接幫我切好25題為單位來寫，對我也是相當方便，不過寫完review questions後會發現，這份考題背後是有個題庫在的，6份練習題的題目（如果我感覺沒錯）都在review questions中看過</p><p>兩份練習題，我覺得沒有優劣各有優勢，如果你的需求是</p><ul><li>考前大量刷題，趕快熟悉考場與試題模式：推薦第1份</li><li>正在學習階段，想要有漸進性的學習：推薦第2份</li></ul><p>最後還是老話一句</p><blockquote>試題是讓你學習考試的模式，並降低考試當下面對試題的恐懼感</blockquote><p>千萬不要期待考試當下遇到與練習題一模一樣的題目</p><h4><strong>Cheat Sheets</strong></h4><p>Cheat Sheets的部分則是提供由我寫過的練習題作者所整理出來的</p><ul><li><a href="https://tutorialsdojo.com/aws-cheat-sheets/">Tutorials Dojo</a></li><li><a href="https://digitalcloud.training/category/aws-cheat-sheets/aws-solutions-architect-professional/">DigitalCloud Training</a></li></ul><p>各位如果有寫練習題都可以在各題詳解的最下方找到相關服務的Cheat Sheets來協助快速釐清此服務的feature與一些實務細節，這邊不打算花太多時間著墨，原因是Cheat Sheets本身「<strong>對於一個對服務還沒駕輕就熟的讀者來說並沒有太大的意義</strong>」，原因是</p><blockquote>人腦對於片段的知識幾乎是沒有什麼記憶能力</blockquote><p>知識要形成記憶必須要與舊有的知識（EX：使用AWS的經驗、答錯的練習題 😭或情緒的起伏）進行連結，如果只是單單知道一件事情，那就聽到旁邊的陌生人講話沒兩樣，很快就會忘記，如果大家有興趣可以看看這篇文章的介紹</p><p><a href="https://www.fiftyplus.com.tw/articles/19729">學新事物時，可以「真的學進去」的訣竅！研究：4個方法，讓腦子重質不重量 ─50+ FiftyPlus</a></p><p>對於Cheat Sheets的部分自己建議還是寫完練習題或是上完課程後，當作搭配複習不熟悉的細節使用，才能最大化它的使用效益，但還是要謝謝作者幫忙把這些內容整理出來，我們才不需要去AWS如山的Document和White Papers中大海撈針 😫</p><p>在最後還是提供我認為這兩份Cheat Sheets各自的優點</p><ul><li>Tutorials Dojo：發展較久因此提供的資訊量比較多，而且比較完整</li><li>DigitalCloud Training：資訊量還算完備，但內容組織的結構比較好</li></ul><h3>時間規劃</h3><p>分享完自己使用的資源和如何使用之後，接下來就是紀錄我使用這些資源的時間規劃，也許會對有興趣參加認證考試的人有幫助，自己是個大致上都能夠朝九晚六的工程師</p><p>一開始買第一門線上課程時，我還沒有規劃考試，因此我是在每天上下班的時候，在捷運上看Udemy的課程，（如果我記得沒錯）大約花費2個月的時間，看的時候非常的隨緣沒有任何進度規劃</p><p>真正的規劃開始是因為2022年初給自己一個完成認證的挑戰，並同時直接在網路上付錢報名三個月後的認證考試，所以一共規劃3個月的時間來認真準備考試，給自己一些時間壓力</p><h4>第一個月</h4><ul><li><strong>平日晚上</strong>：重新複習<a href="https://www.udemy.com/course/aws-solutions-architect-professional/">Staphane的線上課程</a>的投影片並觀看不熟悉的內容</li><li><strong>假日</strong>：寫Tutorial Dojo上架在Udemy上的<a href="https://www.udemy.com/course/aws-solutions-architect-professional-practice-exams-amazon/">Practice Exams</a></li></ul><p>第一門課程講者都是透過投影片來介紹，好處是不需要電腦可以在通勤時當短篇節目，直接看過去，壞處是沒有動手操作跟筆記導致記憶力薄弱，所以在第一個月開始使用講者提供的投影片複習內容並同時動手做筆記，若遇到不熟悉的部分就回頭再去把影片看過一次</p><p>Practice Exams的部分因為是模擬真實的考試環境，需要<strong>完整且能夠專注的180分鐘</strong>，對於下班疲勞指數破表的我而言實在不合適，所以選擇在假日挑選一天的某個下午，專注地寫個三小時，對於這個部分可以改進的部分是最好能在寫完試題的隔天，馬上看試題的詳解，效果會更好</p><h4>第二個月</h4><ul><li>平日晚上：看<a href="https://www.udemy.com/course/aws-certified-solutions-architect-professional-training/">Neal Davis的線上課程</a></li><li>假日：利用<a href="https://digitalcloud.training/courses/aws-certified-solutions-architect-professional-practice-exams/">DigitalCloud Training</a>的review questions複習一下不熟悉的題目</li></ul><p>第一個月完成後，沒有Hands-On的經驗心裡還是有些虛，因此又決定再去選一門有Hands-On的課程，而選上這門；這門課程講者在他的教學網站上有推薦（促銷）可以搭配review questions使用更能加深印象，因此腦波弱的我就交出魔法小卡了😂，不過在寫文章這時的我倒沒有後悔買下review questions</p><p>就如列表所述，平日晚上看線上課程，不過由於該課程有Hands-On的部分挺花時間的（但比較踏實），有時候規劃的進度看不完會在假日補上；review quesions會在假日選擇與當週影片內容有關的部分寫，題目完成後不管答錯與否，都會看每一題的詳解，釐清任何不清楚的細節</p><h4><strong>第三個月</strong></h4><ul><li>平日晚上：全力把<a href="https://digitalcloud.training/courses/aws-certified-solutions-architect-professional-practice-exams/">DigitalCloud Training</a>的review questions（複習用題目）寫完，並開始以一般模式練習平台上的Practice Exams（練習測驗）</li><li>假日：假日繼續補平日晚上沒有看完的部分，並且開始回頭複習Tutorials Dojo的<a href="https://www.udemy.com/course/aws-solutions-architect-professional-practice-exams-amazon/">Practice Exam</a></li></ul><p>最後一個月其實相當的趕，除了要補上沒有看完的review questions之外，還想要把Tutorials Dojo的Practice Exam重新複習並挑兩篇寫外，還期許自己在把Digital Training Cloud的講者提供的投影片再看一次，不得不說自己野心太大；實際上到考試前兩周我才將DigitalCloud Training的review questions和practice exams通通寫完，並迅速利用真實考試模式練習一次。</p><p>最後的兩周平日晚上我選擇把DigtalTraining Cloud中比較不熟的review questions再做一次，剩下的時間就看一下之前Tutorials Dojo中答錯的題目，周末則是將我手上有的兩個作者提供的practice exams各挑選一個，花整個假日的下午再重寫一次，並且在隔天透過Cheat Sheet複習其中答錯的題目，整體的答題狀況都比當初第一次寫好上許多</p><h3>在結束之前</h3><p>這段話寫在考完試當天晚上回家，不過考完後當下並不知道成績，當時最後的畫面顯示需要最少要等候24小時才知道自己通過與否，但自身感覺professional的考試整體試題難度跟associate是差不多的，只是題目更多題目更長，以試題的面相而言associate level需要知道許多服務的功能與操作細節，但professional level更需要知道的是</p><ul><li>服務間如何組合能最佳化營運、可靠性、花費、安全性或效能</li><li>該服務是用來解決甚麼問題的</li><li>跨AWS account間的資源或特定服務要如何共享</li></ul><p>其實這三件事情是有個模式（pattern）存在的，只要<strong>遇到的案例夠多</strong>，或是可以<strong>多觀察幾次練習測驗的題目</strong>，漸漸就可以發現當某些需求（關鍵字）出現，意味著哪些可選的解決方案，因此準備上建議先透過課程將相關服務的知識稍稍記在腦後再利用試題強化這些知識之間的連結。考完試當天結束後，自覺得花太多時間在準備這門認證，到後期其實有點後繼無力的狀況，可能一個緊湊的期限（tight schedule）還是比較能刺激我好好認真</p><p>接著隔天下班就在自己的個人信箱內收到一封來自AWS的信件，打開信件後看到這個徽章後</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/300/0*FRiUX6ZUwJfD4xwY" /><figcaption><a href="https://www.credly.com/badges/7b4b1d4c-816a-45ef-b753-3e0a7ed19f70/public_url">https://www.credly.com/badges/7b4b1d4c-816a-45ef-b753-3e0a7ed19f70/public_url</a></figcaption></figure><p>忽然覺得幾個月來的努力都得到了回報，希望這徽章足以證實這樣的過程確實多少能幫助到想要取得AWS架構師認證的人，最後提醒想取得證照的人<strong>想清楚為什麼要考</strong>，並下定決心好好準備，不然金錢跟（更貴的）時間都是一去不復返，還有一些注意事項</p><ul><li>認證當天要準備中文與英文雙證件</li><li>網站上註冊的英文名字務必要跟你的英文證件（護照）的名字一致</li><li>非英語系國家的人可以到網站申請延長考試時間30分鐘</li></ul><p>之前我差點因為網站上與英文證件名字不一致而無法考試，雖然到最後還是讓我考，但是對考試當下的心情影響超大，另外閱讀速度不快的人千萬要先去網站<strong>申請延長30分鐘後再去報名</strong>考試，才能獲得增加30分鐘的機會；不過說實在的一共210分鐘的考試非常考驗人的體力跟專注力，一定平常要練習這種考試的強度並在前一天晚上好好休息阿！</p><p>另外若真的因為閱讀速度的問題而無法答（練習）題完畢，可以嘗試先去看看速讀相關的書籍，掌握一下速讀的心法，重點是要掌握文字組合的模式，這可以透過閱讀AWS相關的文件或是練習題；在大腦熟悉文字組合的模式後，需要意識去理解AWS相關知識文字組合的時間就會縮短，閱讀的速度便能得到提升</p><p>最後就祝想要取得證照的大家都可以在學習跟準備的旅途上收穫滿滿並在最後得到證照 😃</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2a7cec819095" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[來從TimescaleDB認識Time-Series Database吧！]]></title>
            <link>https://medium.com/@henry-chou/%E4%BE%86%E5%BE%9Etimescaledb%E8%AA%8D%E8%AD%98time-series-database%E5%90%A7-603603506d09?source=rss-bd11a24c2871------2</link>
            <guid isPermaLink="false">https://medium.com/p/603603506d09</guid>
            <category><![CDATA[software-engineer]]></category>
            <category><![CDATA[database]]></category>
            <category><![CDATA[backend-development]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[software-development]]></category>
            <dc:creator><![CDATA[CraftsmanHenry]]></dc:creator>
            <pubDate>Sat, 12 Mar 2022 04:12:38 GMT</pubDate>
            <atom:updated>2022-03-12T04:12:38.419Z</atom:updated>
            <content:encoded><![CDATA[<h4>身為一個靠CRUD吃飯的工程師，在幾年的工作中也摸過幾種data model的資料庫，剛好最近有幸因為工作需求碰到Time-Series這種之前沒碰過的data model，在學習上有些收穫想要寫篇文章分享給有需要的其他開發人員，並且也為自己留下一點筆記</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*5eXJVBB-hf7EsHwA" /></figure><h3>Time-Series Database 是什麼？</h3><p>Time-Series Data是<strong>隨著時間不斷產生的連續測量值</strong>或是<strong>不連續事件</strong>，而需要用時間的前後順序來最佳化儲存Time-Series Data的就是需要Time-Series Database的原因之一。根據上面標記粗體的部分，資料會隨著時間不斷產生，並且資料類型有分成</p><ul><li>連續（測量值）：IoT sensor, server的CPU, memory用量…等</li><li>不連續（事件）：application log, user對於Restful API的用量</li></ul><p>在說明Time-Series Database前，先簡述一下Time-Series Data特性：</p><ul><li>資料都是以insert（新增非更改）<strong>寫入後就不太有機會再更改</strong>，為了表示資料在該時間點的真實性 — <strong>Append ONLY</strong></li><li>資料本身是以<strong>一段時間看為一個整體</strong>：資料之間有順序性的依賴，無法單看一筆資料就能了解全貌</li><li>時間對於資料本身是一個重要的維度（索引？）</li></ul><p>也許看到以上特性會有人想問，Time-Series Data看似就是有時間欄位的資料而已，為何需要用到Time-Series Database，不是收到新的資料就update同一筆就好，還比較省空間。以我的淺見要用Time-Series Database全建立在</p><blockquote>是否需要知道<strong>一段時間間隔</strong>內，<strong>資料的變化</strong>狀況，畢竟只有把每一個資料點都存下來才能分析一段時間的變化狀況</blockquote><p>因此可以將Time-Series Data正式定義為</p><blockquote>用以反應一個系統、程序或行為隨著時間如何變化的一組資料</blockquote><p>隨著Time-Series Data每個資料點的精細度不同（1 mins, 1 secs, 1 miliseconds）和產生資料的來源（clients device）多寡，有可能幾毫秒內就會有數十個裝置同時寫入，對於一般的資料庫引擎這將會是相當大的寫入負擔，而這僅僅是Time-Series Data的一個問題而已，接下來簡述一下Time-Series Database能幫忙解決哪些資料問題和需求</p><ul><li>連續短時間且平行的大量寫入</li><li>定期合計（Aggregate）時間上關聯的資料成不同的資料結構</li><li>管理時間資料的生命週期</li><li>壓縮時間資料以減少儲存開銷</li><li><strong>快速</strong>且能夠以<strong>不同時間精細度</strong>查詢這些時間上相關聯的資料</li></ul><p>從上面列出的五項我們可以總結問題大概分為讀、寫和儲存三類型，其中讀寫非常的直覺就不贅述，因此想特別說明資料儲存、管理的部分，由於Time-Series Data的特性，會在一段時間內累積出非常巨（海？）量的資料，如果不進行定期處理，儲存的成本則會隨著時間線性上升，因此的Time-Series Database都會針對資料量的問題不外乎以</p><ul><li>壓縮：縮小儲存資料本身需求的容量</li><li>淘汰：移除存在許久而過時的資料</li><li>統整、合計（Aggregate）：將同樣來源與格式的多筆資料收斂成單筆且更具描述性的資料</li></ul><p>開發人員們應該也不難想像，前述的三個處理方式都會以排程的方式定期處理，並且隨著資料的增加速度提升，同時還要調整觸發排程的週期，以此將資料量控制在能夠接受的儲存成本之下</p><p>Time-Series Database近幾年來由於智慧穿戴裝置的盛行，需求量也越來越高，當然也有相當多的廠商開始投入Time-Series Database的研發當中，選擇相當多樣，可以由以下的網站得知Time-Series Database是近年來成長第二快的database engine</p><p><a href="https://db-engines.com/en/ranking_categories#chart-container-line-total">DB-Engines Ranking per database model category</a></p><p>其中我選TimescaleDB來處理最近在公司遇到有關billing方面的業務問題，下一章就來說說，為何會選TimescaleDB做為解決方案吧！</p><h3>為什麼要用TimescaleDB？</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Z4nGzm0A2u38JO2R" /><figcaption>TimescaleDB在<a href="https://db-engines.com/en/ranking/time+series+dbms">Time-Series Database的排名</a>中第5（來源：db-engines.com）</figcaption></figure><p>由於最近在公司剛好碰到要為我們的streaming服務計算使用者的用量，之後以用量對每位使用者收費，經過思考觀察後發現要處理的服務用量資料有以下特性</p><ul><li>頻繁寫入新資料</li><li>寫入後變不會更改</li><li>對時間順序相當敏感</li></ul><p>這樣的資料特性最極端的情境是是IOT（Internet of Things）的資料；由IOT sensor在不同時間點偵測四周環境產生大量的資料而且資料產生後變不需要人為的更改，而這樣的資料對於relational databse和屬於NoSQL類型的document model與key-value model的database而言都相當不易於query（查詢），此時正是Time-Series Databse派上用場的時候，同時當前的專案有以下特性</p><ul><li>需與其他服務整合，因而有些時程需求</li><li>人力有限</li></ul><p>專案本身由於有以上特性，而會希望選用的技術類型其學習曲線盡量平順，使一開始可以快速上手並實作在專案中，TimescaleDB在這樣的情境之下正是一個不錯的選擇，其中以下特性是選用它最主要的原因</p><ul><li>建構在PostgreSQL之上</li><li>不需要學習特殊的query language</li></ul><p>由於是建構在PostgreSQL之上，因此過去在學校或工作上累積的關於relational database相關的知識都還適用，更重要的是許多的NoSQL database都會衍生出屬於自己的query language，而TimscaleDB卻不諳此道，只需要透過大家都比較熟悉的SQL就可以查詢需要的資料</p><p>過去開發工作中熟悉的相容relational database的object relation mapping（ORM） library都還是能用來query TimescaleDB，只是一些特殊的查詢需要學習TimescaleDB擴充的特殊方法，並透過直接下SQL達成，無法透過ORM library內建的方法來直接查詢</p><h3>核心概念</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/866/0*uHe65C2zCCPFAyjC" /><figcaption>TimescaleDB特有的Hypertable和Chunk的設計</figcaption></figure><h4>Hypertable</h4><p>TimescaleDB是建構在一個稱作「<strong>Hypertable</strong>」的特殊table之上，以使用者的角度來看hypertable與一般的資料表無異，但以DB來看hypertable是「位在一般PostgreSQL table上方的一層抽象層（表格）」；以往的CRUD操作則是對Hypertable進行操作，再由Hypertable將query分散到<strong>其底下</strong>的標準PostgreSQL table，這些被Hypertable所包含的table則被稱為「Chunks」，主要負責資料的儲存</p><h4>Chunks</h4><p>Hypertable將要儲存於其中的資料以一到多個維度切分（partition）成Chunks。其中用來Partition的維度（欄位）可以是<strong>一個與時間相關</strong>的欄位或是<strong>多個數字形式</strong>的欄位</p><pre>💡 <strong>Partition 小補充</strong></pre><pre>在巨量資料的當今，資料不再是單一儲存單位能夠處理的，因此衍生出Partition的技術，將巨量的資料分散到多個儲存單位中。</pre><pre>Partition除了可以解決儲存空間不夠的問題，同時還能透過將query的指令分散到多個儲存單位下並行搜尋，以加速查詢。</pre><pre>資料的Durability也能針對Partition出來的各個儲存單位處理，而不需要針對資料整體</pre><p>利用Hypertable具有以下優點</p><p><strong>資料能夠整個存在memory以提升performance</strong></p><p>由於Hypertable利用某些field將資料partition成較小的chunk（table），因此每個chunk的數據量都不會太大，所以屬於當前時段的chunk的資料基本上可以整個放在記憶體中，而不需要利用paging之類的方式使用disk輔助儲存存不下的資料；而且從memory存取的速度是遠優於disk的</p><p><strong>減少index的量</strong></p><p>index是針對各個chunk建構出來的，而非整個Hypertable，因此不需要以整個資料體下去建構index，也使在索引中搜尋所需資料的速度優於Relational Database（整體資料的索引）</p><p><strong>降低處理資料量問題的難度</strong></p><p>從上面的index可以得知，TimescaleDB基於chunk的概念實現相當多的資料管理策略，像是compression（壓縮）, retention（舊有資料的去留）和aggregation（合併相關的資料）的政策，都是針對資料量較小的chunk做處理，以chunk為單位可以避免一次需要處理資料整體的麻煩</p><p><strong>容易scale</strong></p><p>傳統的Relational Database cluster要透過增加node來horizontal scale，一般需要針對當前的資料進行<a href="https://docs.microsoft.com/en-us/azure/azure-sql/database/elastic-scale-introduction#sharding">resharding</a>，以此將巨大的資料表中的資料分散到新增的node；TimescaleDB則不需要進行立即的resharding，只要透過未來的時間區段而自動產生新的chunk到新增的node後，資料便會漸漸擴散開來，由於chunk是根據時間區段所partition出來的，只要掌控好<strong>時間區段產生的資料量</strong>與<strong>scale的時間點</strong>，不太需要擔心chunk成長到單一node無法處理的地步</p><p>簡單了解過TimescaleDB的核心概念與優勢過後（希望有吸引到各位想動手嘗試一下），在下一章中會實際利用docker在本機跑一個TimescaleDB的container，請大家實際了解一下使用它的感覺吧！</p><h3>如何操作TimescaleDB？</h3><h4>在本機安裝</h4><p>在開始之前會需要在本機先有TimescaleDB，為了方便講解與學習，會直接利用docker-compose的指令在本機起一個TimecaleDB吧！以下是docker-compose.yaml</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1ebbd65809bfe90b717575f48af8c041/href">https://medium.com/media/1ebbd65809bfe90b717575f48af8c041/href</a></iframe><p>存在任意資料夾後，在該資料夾底下利用docker-compose up就可以將TimescaleDB起在本機上，並能透過5432 port（PostgreSQL的default port）連進去TimescaleDB</p><p>啟動完後，由於TimescaleDB是建構在PostgreSQL之上的，因此操作會需要psql這個工具，如果本機已經有裝的人就不用太擔心可以透過以下指令直接連線進去</p><p>psql -h localhost -p 5432 -U admin -W 或</p><p>psql postgres://admin:admin@localhost:5432</p><p>若本機沒有的話，可以參考<a href="https://www.timescale.com/blog/how-to-install-psql-on-mac-ubuntu-debian-windows/">Timescale官方的blog文章</a>根據自己的作業系統選擇對應的安裝方法，如果真的很懶的話可以乾脆直接進去TimescaleDB的docker container內，利用已將安裝在container內的psql，指令如下</p><pre>docker exec -it $(docker container ls | grep timescale | awk ‘{ print $1 }’) psql -U admin</pre><h4>建表</h4><p>要開發必須先從建立表格開始；TimescaleDB的建立表格則是由</p><ol><li>建立一般的PostgreSQL table</li><li>將建立出來的PostgreSQL table升級（轉換）成Hypertable</li></ol><p>兩個步驟來完成，這邊由官網提供的天氣範例做說明</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/eb556bab019d7a3364980763321c0873/href">https://medium.com/media/eb556bab019d7a3364980763321c0873/href</a></iframe><h4>塞資料</h4><p>大家會注意到這張table的欄位似乎有點多，這是為了要介紹TimescaleDB相當特殊的query方式所需要的，因此可以先不需要在意這些欄位到底是什麼意思；有Table後下一步將利用OpenWheatherMap這個網站內提供的open data來進行接下來的說明，該資料集有多個城市從1979年1月1日到2021年4月27日的天氣資料，我們需要將該資料集塞進剛剛建立好的table，大家可以從下方連結下載：</p><p><a href="https://drive.google.com/file/d/1zkCg0HFq_ylLCWiB64yu8IQ-3wMHwwGr/view?usp=sharing">https://drive.google.com/file/d/1zkCg0HFq_ylLCWiB64yu8IQ-3wMHwwGr/view?usp=sharing</a></p><p>載下來後會獲得一個zip檔，進一步解壓縮後會獲得一個csv檔，接著在與該csv檔<strong>同一層的目錄底下</strong>執行以下指令</p><pre>\copy weather_metrics (time, timezone_shift, city_name, temp_c, feels_like_c, temp_min_c, temp_max_c, pressure_hpa, humidity_percent, wind_speed_ms, wind_deg, rain_1h_mm, rain_3h_mm, snow_1h_mm, snow_3h_mm, clouds_percent, weather_type_id) from ‘./weather_data.csv’ CSV HEADER;</pre><p>如果是屬於直接進container內使用psql指令的人，會需要將csv檔移動到container內，有觀察docker-compose的人應該會發現，yaml檔內有mount一個位置在本機的./data中，我們將zip檔解壓縮後拿到的csv檔丟進./data內，如此就可以在container的/var/lib/postgresql/data底下找到該檔案，因此需要cd到/var/lib/postgresql/data底下後，再執行上述的指令以將資料塞到table中</p><p>P.S. 執行會需要一點時間畢竟有將近20年的資料 😫</p><pre>💡 也許會有人想問一般的新增資料該怎麼做？由於Timescale是由PostgreSQL擴充出來的，因此我們過去所熟悉的<strong>INSERT</strong>指令就可以完成基本的新增資料動作，因此僅在這邊稍稍帶過</pre><h4><strong>資料查詢</strong></h4><p>一般的查詢用一般大家所熟悉的SQL query就可以完成，以下是官方提供的兩個範例</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/faea553e2c08243388b5fc72555653b9/href">https://medium.com/media/faea553e2c08243388b5fc72555653b9/href</a></iframe><p>這兩個範例，就是我們熟悉的一般SELECT查詢，其中有意思的是INTERVAL這個DataType，INTERVAL是Postgres提供的DataType，有興趣的人可以看看<a href="https://www.postgresqltutorial.com/postgresql-interval/">這篇介紹</a></p><p>TimescaleDB特別的是有提供一些特殊的keywords能讓使用者能夠更方便的以不同的時間精細度（interval）來檢視自己的資料，首先一樣用官方的範例展示time_bucket()方法，time_bucket(interval, field)可以<strong>利用某個（時間）欄位（field）為基準，將資料以指定的interval為單位group在一起</strong>，例如：</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/197d92fa03329fb0475ec2d361f50a75/href">https://medium.com/media/197d92fa03329fb0475ec2d361f50a75/href</a></iframe><p>接著修改一下將time_bucket()搭配first()和last()做使用，這兩個關鍵字需要搭配GROUP BY使用，用以顯示每個聚合（aggregate）出來的group中的第一筆（first()）或最後一筆（last()）資料分別是什麼</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e76546b2a9df948d73d1d52400424da0/href">https://medium.com/media/e76546b2a9df948d73d1d52400424da0/href</a></iframe><p>查詢的部分就先介紹到此，TimescaleDB還有支援許多進階的query，用以最佳化Time-Series Data的查詢模式，若大家有興趣可以參考官方提供的文件</p><p><a href="https://docs.timescale.com/timescaledb/latest/how-to-guides/query-data/advanced-analytic-queries/#first-and-last">Advanced analytic queries</a></p><h4>其他操作</h4><p>談到資料庫引擎（Database Engine），大家必定會想到CRUD這四個操作，上面已經介紹完建立（Create）和查詢（Query），但更新（Update）和刪除（刪除）的部分，由於前述的Time-Series Data特性「Time-Series Data是為了反應當下的事實」，<strong>不太建議對Time-Series Data做一般的update和delete操作</strong>，這都會導致數據失去真實性（、連續性），因此接下來重點不會放在UPDATE和DELETE這兩個SQL command上，取而代之想提兩個對於Time-Series Database相當重要的feature：Continuous Aggregatian和Data Retention</p><p><strong>Continuous Aggregation（持續同整與合計資料）</strong></p><p>雖然Time-Series Data具有一定的結構，但多半是原始資料，與具備可讀性（可分析性？）的需求之間還有一段距離，而Continuous Aggregation正是為此目的而生的；Continuous Aggregation利用Postgres的<a href="https://www.postgresql.org/docs/current/rules-materializedviews.html">Materialized View</a>，在背後以持續、漸進的方式<strong>定期</strong>（查詢）更新View；持續、漸進的好處是<strong>只針對多出來（新增、更新）的資料進行view的更新</strong>，而不需要用整個原始table的datasets重新運算。</p><p>要建立一個Continuous Aggregation需要兩個步驟，請見以下SQL</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1a29ed5ce054ea3b862c694542557249/href">https://medium.com/media/1a29ed5ce054ea3b862c694542557249/href</a></iframe><p>上面SQL需要注意的兩個部分</p><ul><li>WITH (timescaledb.continuous)：可以視為宣告此view是用來做continuous aggregation的</li><li>time_bucket(&#39;1 day&#39;, time) as bucket：以一天為單位aggregate資料</li></ul><p>除了materialized view之外，另一個SQL是用來建立continous aggregation的schedule policy，用以定期執行aggregation的排程，這樣就可以達成幾行前提到的定期更新view的好處</p><p>建立完成之後，可以用以下SQL看剛剛建立materialized view所宣告的SQL</p><pre>SELECT * FROM timescaledb_information.continuous_aggregates;</pre><p>除了定期執行的schedule policy外，也允許透過以下指令<strong>手動</strong>觸發aggregation</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/bdc28cba333779dc42d39f6276097ff7/href">https://medium.com/media/bdc28cba333779dc42d39f6276097ff7/href</a></iframe><p>Continous Aggregation除了上述讓原始的Time-Series Data更具描述性外，更大的好處是可以總結（Summarize）資料以節省儲存成本，經過總結過後，舊的raw data重要性可能不再這麼高，接著就可以逐漸進行淘汰；因此淘汰的方式就是我們下一小節的目標</p><p><strong>Data Retention（downsample — 淘汰）</strong></p><p>由於Time-Series Data的目的是用以<strong>反應一段時間的事實</strong>，隨著時間的過去，舊的資料可能不再這麼重要，而新的資料又不間斷地寫入，若沒有經過整理，隨著資料來源、時間的遞增所增加的儲存成本將無法想像；面對這樣的問題TimescaleDB也提供大部分Time-Series Database都具備的特性<strong>Data Retention</strong>：相對高精細度的Time-Series Data可以隨著時間過去而被逐漸（<strong>定期</strong>）淘汰</p><pre>💡 官方建議在淘汰資料前，建議先將原本的Time-Series raw data做過總結（summarize）過後，總結的方式可以透過上一小節介紹的continuous aggregation或是這篇文章未能提及的<a href="https://docs.timescale.com/timescaledb/latest/getting-started/compress-data/">壓縮（data compression）</a></pre><p>在說明處特別標明定期的原因沒別的，跟Continuous Aggregation相同，要觸發Data Retention的功能同樣可以透過定期排程（Schedule Policy）的形式，請見下面的SQL</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a1ca1be08f836cbbf0a102b15bc22ef6/href">https://medium.com/media/a1ca1be08f836cbbf0a102b15bc22ef6/href</a></iframe><p>當然除了Schedule Policy外，也支援手動觸發，端看手動觸發的query可以反映出一個事實：「Time-Series Data是以chunk（標準的postgres table）為單位進行儲存的」，因此在進行資料的淘汰也是依照chunk為單位進行淘汰，而不會如一般的RDBMS是根據WHERE條件下去整張表尋找某一個需要被淘汰的物件，因此TimescaleDB在移除資料的效能也會好上不少</p><p>介紹完兩個Schedule Policy後，提供兩個SQL可以用來觀看之前有宣告過的Schedule Policy和所有經由policy所觸發的job執行的結果</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b6a77ec5c9940e825edaa15780f2b5aa/href">https://medium.com/media/b6a77ec5c9940e825edaa15780f2b5aa/href</a></iframe><h3>在結束之前</h3><p>TimescaleDB真的是個相當博大精深的database engine，我相信所有的database engine都是，畢竟這些產品服務都是公司（或團隊）集合眾人之力打造出來的服務，因此請恕我無法在短短一篇的文章中介紹完全所有的feature，大家如果還想更詳細的了解TimescaleDB可以透過以下連結</p><p><a href="https://docs.timescale.com/timescaledb/latest/overview/core-concepts/#why-use-timescaledb">Core concepts</a></p><p>到TimescaleDB的官方網站了解TimescaleDB背後的核心概念</p><p>撰文到此自認為這篇文章最重要的是「為什麼要用TimescaleDB？」此章節，雖然在這篇文章介紹TimescaleDB好像鼓勵各位去使用，但在使用之前還是值得各位思考下面幾個問題</p><ul><li>自己要解決的領域（domain）問題是什麼</li><li>打算儲存的資料格式是什麼</li><li>資料本身的讀寫具有什麼特性</li><li>願意投入多少時間學習</li><li>引入技術，在組織內部會有多少阻力</li><li>營運資料庫的成本</li></ul><p>上面只列出依照我的經驗會想考量的因素，相信這六項因素無法全面的包含各類型的開發人員在引入技術上需要面對的考驗，況且以上因素根據面對的情境不同也會有不同的答案。這篇文章的目的只是<strong>想把自己對於TimescaleDB的學習和考量的思路分享給大家，同時也給大家在選擇解決方案上多一種思考方向和方式</strong>，希望能幫助到讀到這篇文章的人</p><p>如果未來有時間而且這篇響應也不錯的話，應該會把我學過的其他種data model連同這篇寫成系列文，畢竟當今每個人所產生的資料量越來越多且多樣，鮮少有系統能夠在不妥協或work around的情境下，用單一種data model處理掉所有的資料儲存問題，因此希望能夠透過這樣的文章給處理資料儲存問題的開發人員多一些思考的方向，如此更能精確地為自己所面對到的問題選擇更合適的data model 😃</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=603603506d09" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[單元測試之 mock/stub/spy/fake ? 傻傻搞不清楚]]></title>
            <link>https://medium.com/@henry-chou/%E5%96%AE%E5%85%83%E6%B8%AC%E8%A9%A6%E4%B9%8B-mock-stub-spy-fake-%E5%82%BB%E5%82%BB%E6%90%9E%E4%B8%8D%E6%B8%85%E6%A5%9A-ba3dc4e86d86?source=rss-bd11a24c2871------2</link>
            <guid isPermaLink="false">https://medium.com/p/ba3dc4e86d86</guid>
            <category><![CDATA[typescript]]></category>
            <category><![CDATA[software-engineering]]></category>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[軟體開發]]></category>
            <category><![CDATA[unit-testing]]></category>
            <dc:creator><![CDATA[CraftsmanHenry]]></dc:creator>
            <pubDate>Sun, 06 Feb 2022 13:17:11 GMT</pubDate>
            <atom:updated>2022-02-06T13:48:55.898Z</atom:updated>
            <content:encoded><![CDATA[<h3>單元測試之 mock/stub/spy/fake ? 傻傻搞不清楚</h3><h4>撰寫單元測試最重要的技巧想必是「破除相依性」；而作為單元測試系列的第一篇文章也沒有比「破除相依性的方法」更適合的主題了。希望透過這個系列能把我對單元測試過去到至今的理解與學習分享給大家</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/940/0*tIyBFuMunceCxe9V" /><figcaption>透過撞擊測試能<strong>盡早發現</strong>汽車的問題</figcaption></figure><p>相信「單元測試」這個詞，在從事軟體工程師的路上必定會不時聽到，不過要落實這個概念需要兩個階段，先從<strong>認知開始</strong>進而到<strong>身體力行</strong>去落實這個概念。還記得剛開始工作時，第一次讀到單元測試跟做這件事的好處後，很興奮的就來試著寫了一下單元測試，結果同事看了後冷冷地說一句：「你寫的不是單元測試，它測到別的東西了」；從這之後我花了可能幾個月的時間鑽研怎麼寫正確而且好維護的單元測試，而最近剛好我的工作語言剛好轉換成TypeScript，又重新開始熟悉單元測試的<strong>操作模式和手感</strong>，同時還發現似乎多了些我以前沒有接觸過或是有差異的概念，因此想趁這個機會重新釐清單元測試並分享給大家，希望能避免大家去踩到我過去所犯的錯誤。</p><p>看完這篇文章你會知道</p><ul><li>什麼才是個「真正的」單元測試</li><li>mock/stub/spy/fake 如何幫助我們隔離出真正的目標測試單元</li><li>如何用TypeScript寫個（自我感覺正確又好維護的單元測試的 😅）單元測試</li></ul><p>而要落實單元測試所需要的準備與練習，又是另一個值得深入探到的主題，因此我決定在系列文的第二篇再來介紹，也避免讓大家讀這篇文章讀得太累，接著就先從什麼是個單元測試開始說明起吧！</p><h3>「真正的」單元測試</h3><p>為了避免像我以前一樣寫出「不是單元測試的」單元測試，一開始先來定義到底什麼是單元測試，這邊我會採用眾人與專家的智慧。眾人的智慧想必大家能猜到就是 - Wikipedia</p><blockquote>Unit tests are typically automated tests written and run by software developers to ensure that a section of an application(known as the “unit”) <strong>meets its design and behaves as intended</strong>.</blockquote><blockquote>單元測試基本上是由軟體開發人員所開發並執行的自動化測試，用以確認一段程式碼（或稱「單元」）<strong>符合期望的設計和行為</strong></blockquote><p>而專家的智慧採用的是The Art of Unit Testing的作者Roy Osherave在書中的定義</p><blockquote>A unit test is an automated piece of code that invokes the unit of work being tested, and then checks some assumptions about a single end result of that unit. A unit test is almost always <strong>written using a unit testing framework</strong>. It can be written easily and <strong>runs quickly</strong>. It’s <strong>trust-worthy, readable, and maintainable</strong>. It’s <strong>consistent in its results</strong> as long as production code hasn’t changed.</blockquote><blockquote>單元測試是一段能自動執行的程式碼，這段程式碼會去呼叫一個工作單元並確認該工作單元最終的單一結果符合一些假設。單元測試幾乎總是依循單元測試框架所撰寫出來。它能夠被輕易地撰寫並且快速執行。它值得信任、可讀而且容易維護。此外只要程式碼沒有更改，單元測試的運行結果必定總是保持一至。</blockquote><p>在期望作者別告我之餘，來說明一下我對這兩個定義的理解，雖然Wikipedia截取的這段沒有定義得如書中這樣完整，但其中「符合期望的設計和行為」點出，被測試的單元不僅僅是一塊程式碼，其中應該蘊含開發人員「期望的一個情境或行為」，這段話能理解出要透過情境來定義出一段被測試程式碼的應有行為，<strong>重點在於情境而非被測試程式碼本身</strong>；The Art of Unit Testing的定義對我而言比較像是<strong>好的單元測試該要有的特性</strong>，其中包含</p><ul><li>可以使用測試框架(Testing Framework)快速的撰寫</li><li>能夠被快速的執行</li><li>易於閱讀與維護</li><li><strong>值得信任，並且只要code沒變的狀況下都可以持續獲得一致的測試結果</strong></li></ul><p>書中有詳細說明為何單元測試應該要有這些特性和這些特性的優點，有興趣的人可以看書詳細理解一下，我會在文章的最後附上一些我參考的資料，會包含這本書。</p><p>不過最後一項「<strong>值得信任並能獲得一致性的測試結果</strong>」是對於這篇文章最重要的特性；而要怎麼做到以上這項特性呢？到這裡就不得不提到程式碼的混亂來源之一「相依性」，相信不要從頭造輪子的概念大家都聽過，因此我們軟體開發人員在開發時，會傾向<strong>盡量使用現有的解決方案（別人的程式碼）來兜出</strong>我們的業務邏輯，而單元測試本身的功能就是在測試<strong>我們想要的</strong>業務情境。</p><p>到這邊都還一切美好，現在請試想如果我們的業務情境所依賴的解決方案這時候改了程式碼！會發生什麼事？相信只要參與過多人合作的專案，必定少不了改A壞B的經歷，這裡想表達的就是，就算我們沒改程式</p><blockquote>我們單元測試的業務邏輯，也會因為別人修改程式碼而遭到破壞</blockquote><p>一開始也提到單元測試的重點要只測試自己想要的業務情境，而「不應該測試到相依程式碼的邏輯」，因此必須要想辦法<strong>避開別人所開發的邏輯（相依性）</strong>，該怎麼做呢？此時需要想辦法偽造相依程式碼回傳的結果；由於我們在開發時必定是期待相依的邏輯能夠回傳<strong>我們需要的</strong>結果，換句話說開發人員對於相依邏輯總是有<strong>不同的意圖</strong>，到此我們已經知道：</p><ul><li>單元測試的測試目標</li><li>單元測試的特性</li><li>為了要單純測試自己的業務邏輯，需要避開別人的程式碼邏輯</li><li>開發人員<strong>期待</strong>相依的邏輯能幫忙完成某些任務</li></ul><p>根據上述所提的期待、意圖的不同能分成幾種處理方式，也就是文章標題的mock/stub/spy/fake，也許也不少讀者聽過，但可能跟我以前一樣沒能明白到底這四種方法之間到底有什麼差異，還有在哪種情境下應該用那個方法，下個小節我們就來一一說明</p><h3>Mock/Stub/Spy/Fake 某種黑客技術？</h3><p>在這個小節會說明單元測試最重要的技巧「 破除相依性（break dependency）」有哪些技巧。第一個部分會先說明標題提到的這些處理相依性的方法到底是什麼？接著會根據相依library的意圖說明不同情況下該使用何種技巧。</p><h4>Mock 和 Stub</h4><p>首先就開宗明義直接說明白，其實處理相依性的技巧就只分為stub跟mock兩類，為了破除相依性其實他們都可以說是個偽造相依library介面的假物件，只是用途不同，所我們就來定義stub和mock的用途</p><p>Stub：一個<strong>可控制的假物件</strong>，用以取代原本相依的第三方元件，可以使單元測試<strong>不用去擔心</strong>第三方的邏輯會導致測試失敗</p><p>Mock：一個假物件，用以替第三方元件判斷與其<strong>互動</strong>的方式是<strong>正確還是錯誤</strong>的。也就是說，可以用mock來驗證本身的邏輯與第三方元件的互動方式是否正確</p><p>不知道大家看完上述定義，能不能明白兩者的差別，但我這邊幫大家總結stub和mock這兩個技巧最主要的差異，就是</p><blockquote>mock可能會導致測試失敗，stub僅僅用以取代真實物件，並不會導致測試失敗</blockquote><p>使用「mock」表示在測試與第三方元件的互動狀況，而使用「stub」無論如何都會讓本身的邏輯正常運作，目的在測試最後自己程式碼邏輯運行後的回傳結果是否正確。</p><p>所以之後不管遇到什麼關於破除相依性技巧的buzzword, jargon只要判斷這個方法會不會導致測試失敗，就能夠判斷這個技巧的真面目是mock還是stub</p><h4><strong>相依library的意圖</strong></h4><p>明白stub和mock的差異後，接著來說明不同情境下該用什麼方法！在開發的當下我們會想去依賴第三方的library，最主要的意圖有兩個</p><ul><li>提供library參數，期待它會<strong>回傳</strong>我們需要的計算結果</li><li>提供library資料，希望他能幫我們<strong>存起來</strong>（Database）或改變（觸發）另一個系統的狀態（Mail Server幫忙送信）</li></ul><p><strong>期待第三方程式回傳計算結果</strong></p><p>若需要相依library回傳所需的計算結果的情況，會使用<em>stub</em>偽造收到參數後的回傳值，以避開需要真實相依的library計算的狀況，如此一來就不用擔心相依的程式碼修改後會導致自己的測試失敗。同時若透過stub解除相依的測試通過但實際運行時卻出錯，我們可以更確定自己的程式碼沒有出錯，而是第三方程式碼造成的錯誤</p><p><strong>委派第三方系統辦事</strong></p><p>委派大致上分為「改變第三方系統的狀態」或是「請求第三方系統幫忙做事」的情況，開發人員會期待library能夠收到<strong>正確的</strong>參數，並以此來確認是否自身的邏輯有提供正確的參數給library，所以此時會使用<em>mock</em>依照收到的參數正確與否決定單元測試是否通過。而不需要直接面對真正的第三方系統，否則可能一個隨機的網路連線問題都會導致單元測試失敗或拖慢運行時間，如此一來就失去單元測試快速且值得信任的特性</p><h4>那Fake/Dummy/Spy ?</h4><p>也許看到這邊還是有人會想問一下那這三個東西到底是？前面總結過可以透過「偽造的物件能否導致測試失敗」這個條件來判斷到底是stub還是mock，我們就來根據他們的使用方式來揭開一下他們的真面目吧！</p><p><strong>Fake</strong></p><p>Fake完全是個不做任何事情的假物件，用來填補並避開測試所相依的元件和邏輯，測試僅僅只會經過這些假物件，而不會做任何驗證，不做驗證毫無疑問是個<em>stub</em></p><p><strong>Dummy</strong></p><p>一般Dummy做為一個空物件，也許是用來填補缺少的參數或是其他測試已經將其視作<em>mock</em>測試過，在當前的測試中僅僅只需要經過此物件，而不需要任何驗證，不驗證表示不會導致失敗，意味這其實他是個<em>stub</em></p><p><strong>Spy</strong></p><p>spy大概是最微妙的一個；一般的mock是針對<strong>整個</strong>物件（類別實體）進行偽造，但spy在使用上只會偽造類別中的<strong>部分</strong>方法，此時若針對偽造的方法有去驗證該方法是否收到正確的參數，則表示該spy需視為一個<em>mock</em>，另一方面若spy的目的是為了讓偽造的方法回傳需要的結果以供接下來的測試邏輯使用那spy則被視為<em>stub</em>，總之把握大原則「偽造的（部分）物件能否導致測試失敗」</p><p>到此為止我們已經知道真正的單元測試必須要獨立於相依的外部邏輯，因此在這個章節中介紹主要的兩種解除外部相依的技巧：<em>stub</em>與<em>mock</em>，也知道在何種情境下該用哪種方法，接著在下個小節就是最令人期待的實作部分。</p><h3>實作單元測試</h3><p>由於最近工作上比較常使用TypeScript，所以系列文會以TypeScript為主要語言來進行實作。TypeScript是建構在JavaScript上的語言，而JavaScript是個library百家爭鳴的語言，眾多的framework可以選擇，在此篇教學我主要使用兩個testing framework</p><ul><li>Jest：JavaScript 著名的 testing framework</li><li>ts-auto-mock：延伸各類 testing framework （包括Jest）使單元測試能更容易地用 TypeScript 編寫</li></ul><p>實作的情境如下：</p><p>有一個定期的job從你的好友列表中，找出這個月生日的所有好友，之後透過email寄生日祝賀給他們，我們會透過一個BirthdayService中的 congratuate()方法來完成需求，service的程式碼如下</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a9fdb5052c3ac05a11c963d60be55727/href">https://medium.com/media/a9fdb5052c3ac05a11c963d60be55727/href</a></iframe><p>由constructor()可以得知我們這裡有兩個相依性需要解決，分別是friendRepository和notificationService，他們的型別都是TypeScript的Interface，這時我們就可以透過ts-auto-mock的強大能力來幫我們避免實體化friendRepository和notificationService</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3b56d1b816cd28e4b0cf71fa3de74c38/href">https://medium.com/media/3b56d1b816cd28e4b0cf71fa3de74c38/href</a></iframe><p>mock 完後，就開始來進行正式的測試，根據情境可從上方的BirthdayService.congratuate()理解出，這裡先從friendRepository中取得好友列表，之後循序查看<strong>是否今日與朋友生日是同一天</strong>，若相同就利用notificationService送出好友的姓名?（其實應該是祝賀訊息，不過為了demo用就簡化成送姓名就好 😅），所以我們第一個測試是：</p><p>利用mock的概念測試 — 邏輯與friendRepository的互動狀況，具體來說就是測試邏輯是否有把user id提供給friendRepository用以取得朋友列表，如下所示</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/061f496b55c0ee634bb1874f2e527327/href">https://medium.com/media/061f496b55c0ee634bb1874f2e527327/href</a></iframe><pre>💡 根據單元測試的best practice，一個mock應該只測試一種互動，因此上面的測試只測試跟repository的互動，而將朋友列表傳notificationService的互動，則應該用另一個測試來進行</pre><p>第二個測試情境則發生在已經從friendRepository取回朋友列表之後，當天生日的朋友會經由notificationService收到祝賀通知，測試如下</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/27b53db52f845f7321a454c3cbaeee81/href">https://medium.com/media/27b53db52f845f7321a454c3cbaeee81/href</a></iframe><p>以上的測試有兩個需要額外注意的重點</p><ul><li>timer的mock</li><li>friendRepository.getAll()的spy</li></ul><p>第一個timer的fake是個非常經典的範例，前面提過單元測試需要確保其穩定性，這樣才可以每一次執行都能有相同的結果，因此我們會期望時間應該被鎖定在<strong>開發者想要測試的時間</strong>，而不是當前的時間，以避免「今天不是某朋友的生日，單元測試就會失敗」的窘境。</p><p>接著由於此測試的重點是與notificationService的互動，會希望能確保每次friendRepository提供的朋友列表都是一致的，如此才能確保notificationService在於每次的測試中都能測試一樣的內容（穩定性），因此透過jest.spyOn()的方法來fake每次friendRepository回傳的內容。</p><p>測試完與主要相依元件的互動後，最後就是測試本身的邏輯；該BirthdayService.congratulate()方法最主要的邏輯是：「找出這個月生日的所有好友，之後透過email寄生日祝賀給他們」，結合上面所學先偽造共12位朋友，並且剛好1~12月各有一位朋友生日，假設今天剛好是某一位朋友的生日，測試看看noitificationService是否會送祝賀訊息給該朋友，測試如下</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/01ab2198c7b8ad327dd39b77678c895e/href">https://medium.com/media/01ab2198c7b8ad327dd39b77678c895e/href</a></iframe><p>順帶一提，後面兩個測試由於主要都在測試notificationService是否有正確的被互動因此friendRepository會被視為stub，而notificationService才是mock，由assertion處可以知道只有notificationService能導致單元測試失敗。</p><p>到此就是關於實作面上我想告訴大家的部分</p><ul><li>如何在TypeScript中使用mock（ts-auto-mock）和stub（jest.spyOn()）</li><li>如何處理相依時間的問題</li><li>如何根據情境思考自己的測試</li></ul><p>希望以上內容能幫助到各位開發人員，儘管不是每位讀者都是使用TypeScript，但思維都是通用的。其他語言的讀者們只需要找到適用的testing和mock framework並針對自己的測試意圖選用mock或stub即可</p><h3>在結束之前</h3><p>作為單元測試系列的第一篇文章，此篇文章想要先告訴大家什麼是個單元測試（第一小節）並說明需要透過mock和stub隔離出目標測試單元的重要性（第二小節），最後實踐這篇文章講述的理論，以TypeScript為開發語言將一個情境寫成實際的單元測試案例（第三小節）；想必在業界從業的大家都知道單元測試的好處，但一定會遇到</p><blockquote>開發都來不及了，還講寫什麼測試，不都有QA了嗎？</blockquote><p>這就跟去吃到飽餐廳一樣「時間就90分鐘，吃高檔肉和Haagen-Dazs都來不及，還吃啥鬼青菜 😆」，我能理解開發的急迫性，也能理解單元測試違反人性的地方，但其實軟體的生命週期「80%以上的時間都是在維護跟debug」，而且我相信QA值得做更重要的事情，而非幫開發人員找出「自己就能排除的問題」，這樣的事情應該交給單元測試，只是我們開發人員需要<strong>透過一點練習</strong>將這樣的<strong>習慣</strong>融入平常的開發生活中。</p><p>因此在接下來的文章中，就會跟大家介紹什麼是單元測試的套路並且如何透過每天的一點小練習將這樣的開發方式變成日常習慣，而唯有變成習慣後，長期下來才真正能看到單元測試帶給自己的好處（是的！跟吃青菜一樣 😆）。</p><p>希望耐心讀到這的人都受益良多，也歡迎有更厲害的大大能分享自身的開發與測試經驗給我，甚至是指出我哪裡講得不好或是有講錯的地方。</p><p>為了撰寫這篇文章我參考的書與文章如下，就提供給各位讀者</p><ul><li><a href="https://www.tenlong.com.tw/products/9789864342471">天瓏網路書店 | 單元測試的藝術, 2/e (The Art of Unit Testing: with examples in C#, 2/e)</a></li><li><a href="https://khalilstemmler.com/articles/test-driven-development/how-to-mock-typescript/">How to Mock without Providing an Implementation in TypeScript | Khalil Stemmler</a></li><li><a href="https://dev.to/byteski/first-steps-in-unit-testing-26ne">First Steps in Unit Testing with TypeScript</a></li><li><a href="https://blog.logrocket.com/testing-typescript-apps-using-jest/">Testing TypeScript apps using Jest - LogRocket Blog</a></li><li><a href="https://khalilstemmler.com/wiki/test-doubles/">Test Doubles | Khalil Stemmler</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ba3dc4e86d86" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[這樣算是Senior Engineer了嗎？（學習、特質）]]></title>
            <link>https://medium.com/@henry-chou/%E9%80%99%E6%A8%A3%E7%AE%97%E6%98%AFsenior-engineer%E4%BA%86%E5%97%8E-%E5%AD%B8%E7%BF%92-%E7%89%B9%E8%B3%AA-a6668d21f49f?source=rss-bd11a24c2871------2</link>
            <guid isPermaLink="false">https://medium.com/p/a6668d21f49f</guid>
            <category><![CDATA[software-engineering]]></category>
            <category><![CDATA[thinking]]></category>
            <category><![CDATA[personal-development]]></category>
            <category><![CDATA[careers]]></category>
            <category><![CDATA[learning]]></category>
            <dc:creator><![CDATA[CraftsmanHenry]]></dc:creator>
            <pubDate>Fri, 14 Jan 2022 14:01:46 GMT</pubDate>
            <atom:updated>2022-01-14T14:01:46.841Z</atom:updated>
            <content:encoded><![CDATA[<h4>「我所認為的Senior Engineer 系列」的第二篇文章，是接續<a href="https://medium.com/@henry-chou/%E8%87%B3%E4%BB%8A%E7%9A%84%E5%B7%A5%E7%A8%8B%E5%B8%AB%E8%81%B7%E6%B6%AF-eb7a870aaf4b">前一篇工作與心態</a>之後，回顧一下自己成長的過程和累積的技能，並反思一下目前的自己與理想中的軟體工程師之間，還有多少路程要走</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*N3AW0dVLEN3xsuIcAHzVjQ.jpeg" /></figure><h3>前言</h3><p>如同上一篇文章所述到今年2022年，我將成為一個擁有五年資歷的工程師；五年資歷不僅僅是客觀的在就業市場上，我未來的客戶（雇主）將會對我有更大的期待而已，更重要的是我有沒有走在自己想要走的道路上。而我想走的路是怎樣的路呢？</p><p>做一個「有獨特性的Programmer」一直是我在追求目標，不過它的定義隨著我所處的階段一直在改變，大學的我認為「把Computer Science的學科學好」就算是有獨特性的工程師，因為外面的就業教學機構不會教這些學科，通常是教使用特定工具，因此資工學科確實帶來一點不同，但出社會後面對與你同樣是Computer Science出身的人或是認真把這些都自學會的人，我還能有何不同呢？更進一步是我該有些什麼技能或特質才能比剛起剛從學校畢業的人更有資格與自信認為自己有到「資深」的等級呢？</p><p>相信在今年2022年的一開始就想清楚是個不錯的選擇，我想就從這裡開始談吧！</p><h3>理想的資深工程師（Journeymen）- 我想走的路</h3><p>一般資深工程師的英文是Senior Engineer，但我想故意引出標題的Journeymen（繁中翻譯：熟練工）這個詞，這個詞的解釋我取自於<a href="https://www.amazon.com/Clean-Coder-Conduct-Professional-Programmers/dp/0137081073/ref=sr_1_1?crid=SHFM2J4O4EN1&amp;keywords=clean+coder&amp;qid=1642039333&amp;sprefix=clean+code%2Caps%2C255&amp;sr=8-1"><em>Clean Coder</em></a>中Apprenticeship章節中的第二小節；書中這樣定義Journeymen</p><blockquote>They are <strong>knowledgeable about current technology</strong> but typically <strong>lack experience with many diverse systems</strong>. They tend to know one language, one system, one platform; but they are learning more. Experience levels vary widely among their ranks, but the average is about <strong>five years.</strong></blockquote><p>以上粗體的部分是我認為的重點</p><ul><li>熟習當前使用技術</li><li>缺乏在多個平台與系統上工作的經驗</li><li>平均有5年資歷</li></ul><p>其中最令我在意的是第一項，熟習當前使用的技術。但如今技術日新月異，目前賴以為生的技術會不會下個月就冒出一個新技術說想要取代它，實在很難説。除了第一項外，我搭配第二和第三項思考並認知出我認為要身為一個資深工程師的幾個要素</p><h4>深知技術背後的概念與其試圖解決的問題</h4><p>工具與語言頻頻出新，若無條件地追，沒有追完的一天。在部落格上看到不少強者，他們會知道今天這樣新技術是為了解決什麼問題而衍生出來的，而且深諳背後設計的概念，因此能夠以極快的速度學會類似概念的技術</p><h4>不斷學習新知識並分享給周邊的同僚</h4><p>而之前觀察有些比較資深的同事會以當前任務所需去看當前市面上是否有比他過去認知的技術更好的解決方案，若有他們會將這些新技術推廣給大家，並且自己學起來後，還能夠撰文或開個workshop介紹給其他同仁們使用</p><h4>謙虛且積極學習不同系統的知識</h4><p>這是列在第二點的，在心目中優秀的資深工程師承認自己還無法在多個平台與系統工作，但不因此而自卑，會透過行動不斷學習不同的工具與平台。重要的是他們都不是學來嘴砲的，而會身體力行做個PoC（Proof of Concept）出來，確認自己的學習效果</p><pre>💡 最後一點5年資歷則比較微妙，因為5年可以是<strong>一份工作做5年</strong>或是<strong>一年換一個工作做5份工作</strong>，這兩類的工程師我都遇過，但在同一份工作耕耘較久的工程師一般比較多人具備以下我期許一位資深工程師該有的特質</pre><h4>沒有最好的解決方案只有最適合當前時空背景的</h4><p>在之前的工作中還有一些令我敬佩的朋友，他們不會執著於特定自己會的技術，而是博學多聞並且會在仔細了解需求過後，根據需求與組織內部習慣選擇最合適的技術，不過我想要資深工程師的後期才能達到這個階段吧！</p><h4>以身作則，寫出能自我描述與容易擴展的程式碼</h4><p>軟體工程師在使用任何技術都免不了寫程式，而他們深知組織良好且表達性強的程式碼，能<strong>節省相當多的時間和人力成本</strong>在未來的開發、擴充或Debug上。不知道是過去深受爛程式碼的迫害還是自己本身就有那份追求好程式的態度，但他們都以<strong>身教</strong>告訴大家好的程式碼該怎麼寫，並且還會認真code review別人的程式碼，雖然被review會有些痛苦，不過收穫卻很多</p><h4>持續求變並改進目前的工作方法</h4><p>根據過往，有經驗的工程師明白，新技術的出現時常會大大影響現有的工作模式，而他們不以過往熟悉的那一套方法為圭臬，而是保持開放的心態，隨時尋找更好的工具來使自己的工作方式更為流暢。同時他們也歡迎其他人與自己分享更好的方式</p><h4>負責任搞清楚自己當前使用的技術</h4><p>時常因為專案進度的壓力，工程師們在開發時為了解決眼前的問題，會遺漏自己選擇的解決方案中的一些細節；負責任的工程師會在事後，深入了解他們選擇的解決方案，來避免一些像是安全性、效能或是租賃（雲端服務）費用…等的非功能面問題，對他們而言程式不是能跑就好，他們對自己的產出負責</p><h4>綜觀全局，分析設計最適合當前規模的軟體架構</h4><p>沒有阿斯匹靈式的通用軟體架構，只有適合當前團隊大小、客戶規模與需求的架構；有經驗的工程師在許多不同規模的專案中工作過，見識也實作過各種規模的軟體專案，並且腦中也組織出一套系統用以再次實作他們曾經碰過的軟體架構。因此他們有辦法根據目前遇到的狀況，來選擇最合適的軟體架構。這個特質只有在網路上看到部分技術大神具備，真好奇他們都在哪工作</p><p>其實以上這些想法都是透過觀察與閱讀書籍、文章後得到的一些心得，當下看到上述這些特質的感覺就是</p><blockquote>我也想成為能夠令我自己佩服的工程師</blockquote><p>最近重新看<em> The 7 Habits of Highly Effective People</em> by Stephen Covey 其中第二個習慣「<strong>Begin with the end in mind — 以終為始</strong>」不禁讓我覺得，事先想清楚自己到底想要如何扮演軟體工程師這個角色，真的讓每天的成長學習，還有面對工作上的各種選擇有個更明確的方向，也減少花在質疑每個選擇的時間。</p><p>想推薦兩本能夠幫助大家思考自己想成為怎樣的軟體工程師</p><ul><li><a href="https://www.tenlong.com.tw/products/9789862017883?list_name=srh">天瓏網路書店 | 無瑕的程式碼 番外篇－專業程式設計師的生存之道 (The Clean Coder: A Code of Conduct for Professional Programmers)</a></li><li><a href="https://www.tenlong.com.tw/products/9789865022754?list_name=srh">天瓏網路書店 | The Pragmatic Programmer 20週年紀念版 (The Pragmatic Programmer, 20th Anniversary Edition)</a></li></ul><p>還有給我論點整理這篇的另一個部落格文章</p><p><a href="https://www.inside.com.tw/article/8039-be-a-senior-engineer">接近 2016 年底的我是否有資格稱為資深工程師 - INSIDE</a></p><p>以上是我覺得有助於大家思考自己想成為怎樣工程師的部分，但「這些只是跟技術比較相關的部分」，其他還有一些關於溝通跟領導特質（leadership）相關的部分，因為篇幅問題，等我有更深的體悟後，有機會再分享，接下來的部分是我對於自己的反思，若對我本身如何思考沒有興趣的讀者，我覺得到此為止就可以，當然有空看看我的想法並給我建議的人，真的萬分感謝 🙏</p><h3>現在的我</h3><p>對我而言透過這篇文章，梳理我腦中許多含糊不清的想法，可以讓我更清楚自己理想的資深工程師到底長得怎麼樣，而現在是該來誠實面對我自己到底如何的時候了，接下來就來理性分析一下自己吧！</p><h4>學習</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ZuvZkEo57cFSq3Qk" /></figure><p>到目前的公司為止，我一共服務過三家公司，無可避免的每一家現有的技術跟能接受新技術的能力都不同，為此我學習的方式採用三個原則</p><ul><li>將公司選擇所採用的技術學習到可以協助團隊達成公司目標就好，轉而</li><li>盡可能了解公司採用這項技術後面的原因和歷史背景</li><li>多去談論技術的論壇或是部落格尋找<strong>能解決我使用當前技術障礙的方法</strong></li></ul><p>以上三點其實最困難的是第三項，也是想略談的項目，由於<strong>過往在學校都是由老師給予我學習的內容與方向</strong>，所以要「<strong>自發地尋找學習與深入的內容</strong>」其實非常的有挑戰性，不過透過工作上對自我的觀察後，我選擇以能解決我當前工作上困難的新技術或概念為學習方向，如此不僅對我自身有幫助，也能對公司的其他同事也有幫助；跟其他同事聊過發現，我使用起來有障礙的技術，其實他們也有，如此一來就有小聊一下的話題了 😆；同時這樣的技術還能夠改善現有的工作流程來提升產能或產出的品質。</p><p>關於不同的工具與平台的部分，比較算是誤打誤撞，因為前公司的SRE團隊剛好有同事發起活動在連續幾周的某天下午開讀書會講一些Cloud Provider的相關知識，由於我本身有興趣並且認為可以促進自己跟SRE團隊的溝通。沒去上課還好，一去才知道原來Cloud Provider不僅僅會用服務就好，還有很多旁枝末節需要注意，才能避免不少非功能面（例如：擴展性、安全性、開銷…等）方面的問題，在這邊一定要跟前公司的（W 和 J）兩位同事說聲謝謝；不過由於我自己是屬於需要動手實作過才能理解的類型，因此還去弄了Cloud Provider的帳號自己花了不少錢（就是你了魔法小卡 — Credit Card 😆）在亂搞學習；雖然不敢說自己很會用，但起碼踩到地雷的機會降低不少 😤，希望自己未來有空能夠跨雲端供應商學習、整合他們概念上的相同與差異之處。</p><h4>特質</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Zhzo1rdCBRClVsv3" /></figure><p>我自認不是個聰明又有天分的工程師，但我期許自己能成為一個細心又敬業的工程師，為此我必須說我花費許多時間在學習怎麼照料程式碼的概念，並且在實務上身體力行，以下幾點是我有自信說自己做的應該算不錯的部分</p><ul><li>寫程式碼力求簡單易懂，勝過於fancy的語言特性</li><li>喜歡code review也喜歡被code review，自己蠻享受那種open minded討論彼此想法的過程</li><li>產出程式碼的速度不一定算快，但是我相信品質一定算是高的（EX：可讀性、避免引入bug的數量…等）</li></ul><p>希望以上幾點有展現出我對寫程式的堅持與熱情。</p><p>只有說自己好的地方，總像是老王賣瓜，而自省之後，認為本身最大的問題還是在於要能從心底認同「沒有最好只有最適合的解決方案」這件事情；身為一個<strong>血氣方剛</strong>的工程師 :sweat_smile: 其實這比想像中的難，尤其是在自己剛學會新的技術（或任何新東西）並跟同事或朋友分享後，才得知自己學的技術已有更新的替代方案，這時常會因為<strong>那該死的面子問題</strong>，堅守自己的立場。另外像是跟同事討論一些技術問題時，有時也會因為那該死的面子想要堅持「自己覺得」比較好的解決方案；每當這樣的事情發生後，我都不禁覺得自己應該要更成熟一些，若有更新的解決方案自己應該要趕快去了解才對，遠比花時間爭論或堅持己見來得好，更進一步聽到同事提出的解決方案時，也許自己動手下去做個簡單的PoC或是上網查閱對相關技術進行評比的文章，都比堅守自己的意見來的好，說到這邊我想能用一句話總結我認為比較好的做法</p><blockquote>身為一個工程師（電腦科學家），用一個客觀的事實證明一件事絕對比 <strong>自認為</strong> 更有力</blockquote><p>最後目前我最缺乏的部分，我想是<strong>在許多不同規模的專案中工作</strong>的經驗吧！這個部分算是我工作到現在的一個遺憾，在目前的公司和過去兩個公司中，我經手過的專案幾乎都是個人專案或是1–3人的小團隊專案，因此相當缺少在大團隊中與多人協作的經驗；並且最後產出的產品都是面對企業級的客戶，頂多也就是公司員工的規模，而企業用的服務鮮少會面對到大量同一時間的請求，所以也相當缺乏這樣的經驗，真的很希望未來有機會能加強這個方向。</p><h3>在結束之前 — 未來的我</h3><p>以上就是我所理解身為一位Senior Engineer該有的原則與人格特質還有我對自己的揭露與反思，其實之前在無意間聽到有同事說出一句我非常不認同的話</p><blockquote>能賺錢的程式才是好程式</blockquote><p>但在這資本主義社會下的我，沒有任何能反駁這句話的地方，只能當下把有些不滿的情緒保留在心中，而且眼看LinkedIn上的許多公司的Job Description都是以所需語言、技術為主要需求條件，而且面試似乎也沒有辦法看出以上所述的這些特質與原則。</p><p>但事後想想其實這件事情不能說有對錯，我想講出這句話的同事跟我之間有「<strong>原則上的差異</strong>」，也許他的原則是做<strong>最能賺錢的工作</strong>，那在這個時代，軟體工程師相較其他職業之下絕對算是個輕鬆的好選擇，當然並非我不想賺錢，但在賺錢之上，我還有做一個「<strong>誠信、專業的軟體工程師</strong>」的原則存在，想到這我瞬間豁然開朗，對我而言被人信任、信服才是一個值得我追求並更令我開心的事情</p><p>分享轉載在上面提到的<a href="https://www.inside.com.tw/article/8039-be-a-senior-engineer">部落格</a>中的 tweet。看到後我才知道自己不是孤單的</p><h3>看阮某拍電動 ê 人 on Twitter: &quot;資深工程師的潛標準如果是有沒有雞雞跟表定從業年資，不是好好檢視過往提出的軟體設計建議、code review 內容，甚至是 coding performance 跟工作倫理表現的話，那無法服人應該不令人意外吧。 / Twitter&quot;</h3><p>資深工程師的潛標準如果是有沒有雞雞跟表定從業年資，不是好好檢視過往提出的軟體設計建議、code review 內容，甚至是 coding performance 跟工作倫理表現的話，那無法服人應該不令人意外吧。</p><p>也許有些人會說這些原則過於理想化，而且實際上鮮少人這樣做，我能明白！因此我希望起碼能<strong>以身作則</strong>先從我自身做起；我始終相信</p><blockquote>別人是無法被改變的，畢竟改變自己就很難。但人卻是可以被激勵和感動的</blockquote><p>若有幸在未來能持續做工程師，希望一路上自己永遠不要忘記當初寫下的這些原則。畢竟隨著年齡的成長、遭遇的事情越多和時代的改變，也許心態會有所轉變，期望自己的未來能夠一直堅持做自己認為對的事情。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a6668d21f49f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[都這樣唸TOEIC（多益）了不至於考太差吧]]></title>
            <link>https://medium.com/@henry-chou/%E9%83%BD%E9%80%99%E6%A8%A3%E5%94%B8toeic-%E5%A4%9A%E7%9B%8A-%E4%BA%86%E4%B8%8D%E8%87%B3%E6%96%BC%E8%80%83%E5%A4%AA%E5%B7%AE%E5%90%A7-ae115fb9f0b6?source=rss-bd11a24c2871------2</link>
            <guid isPermaLink="false">https://medium.com/p/ae115fb9f0b6</guid>
            <category><![CDATA[toeic]]></category>
            <category><![CDATA[learning]]></category>
            <category><![CDATA[personal-growth]]></category>
            <category><![CDATA[experience]]></category>
            <category><![CDATA[language-learning]]></category>
            <dc:creator><![CDATA[CraftsmanHenry]]></dc:creator>
            <pubDate>Fri, 31 Dec 2021 03:25:50 GMT</pubDate>
            <atom:updated>2021-12-31T03:25:50.056Z</atom:updated>
            <content:encoded><![CDATA[<h4>分享跟紀錄自己準備TOEIC考試的經驗和過程，希望對想準備TOEIC的人能有些幫助，不是什麼高手的準備方法，就是一步一腳印的一段旅程</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hiifvhKZeCHbezIN1S0LeA.jpeg" /></figure><p>開始正文前，先給大家一些小小的聲明，避免大家有過多的期待，甚至花了時間讀完才發現這篇文章幫不上忙（時間寶貴啊！），首先讀過這篇文章可以知道</p><ul><li>一些準備TOEIC的策略</li><li>我準備途中的掙扎 😆</li><li>我用哪些資源來協助自己準備TOEIC</li></ul><p>讀者不應該有的期待</p><ul><li>一條捷徑可以讓你在1–2個月內可以把TOEIC考超高</li><li>高超的考試技巧，能夠讓你速解題目</li></ul><p>如果知道以上這些事項後，還是想知道我怎麼準備的話，我們就開始吧！</p><h3>為什麼我想要考TOEIC</h3><p>「Ask your why.」問自己為什麼想做一件事情，對我而言一直是一件非常重要的事，這個問題可以用來<strong>說服自己這是一件足夠重要且值得投入時間的目標</strong>，還可以給自己動力去把這個目標做好。為什麼我想要考TOEIC呢？有三個原因</p><ul><li>想要取得的Cloud Provider的證照，考試<strong>需要有夠快的英文閱讀能力</strong>來消化大量的資訊並從中找到最佳的解決方案</li><li>希望提升自己<strong>閱讀理解技術文件的速度</strong></li><li>進入真正的外商工作一直是我想要做到的事情，而英文能力肯定是不可或缺的</li></ul><p>其中第一項是最當初啟發我想去考TOEIC的主要原因，舉例來說AWS和Google Cloud Platform…等Clould Provider的證照考試都需要在有限的時間內閱讀並理解每個情境下的核心問題，並從選項中選出最佳的解決方案，但不管是問題還是選項可能都有大量的英文內容需要理解，其中不只考驗應試者的技術能力，也考驗快速閱讀理解的能力，這個能力與TOEIC閱讀需要培養的能力不謀而合阿！自己也剛好苦於閱讀速度不夠快，因此才衍生出先練習英文閱讀再考證照的想法。</p><p>第二點是因為自己身為軟體工程師，軟體業是一個日新月異的產業，因此學得夠快是個十分重要的能力，而新的技術文件無可避免地會用英文撰寫，因此又考驗到本身的英文閱讀能力。還有一些大型的技術研討會，會分享當前業界的狀況和趨勢，時常講者也會說英文，這時候要聽懂就必須要英文聽力了。</p><p>最後現在自己人在職場上，部分場合需要商業英文，況且為了達成未來進外商公司工作的夢想，英文更逃不了，因此就決定來報考TOEIC。</p><p>後面兩個原因為的比較不像當前目標，而是為了自身的未來；對我而言三個理由足夠說服我自己好好投入精神能量，在下一個章節中會詳細說明我準備TOEIC的過程吧！</p><h3>準備TOEIC的過程</h3><p>我將我自己準備TOEIC的進展分成<strong>三個階段</strong>來進行說明，其實三個階段並不是我當初開始準備時就有的想法，而是到考前一周，才發現自己的準備過程有三個演進的階段，所以才想要以這樣的結構介紹</p><h4>PHASE 1 — 階段1</h4><p>其實在此之前，我從來沒有考過任何的英文檢定當然包括TOEIC，所以說要考還一時之間沒有什麼方向，因此我在PHASE 1選擇在師大推廣進修部選一門TOEIC的課程，下面是我選的課程 <em>鄭苔英老師 的 中級多益600分班</em></p><p><a href="https://www.sce.ntnu.edu.tw/home/course/detail.php?course=1103G024">國立臺灣師範大學進修推廣學院</a></p><p>先講一下課程，這堂課共11週，每週3個小時，我自己選擇週六下午的課，每堂課上會用到的內容有</p><ul><li>第一堂課要求買的一本模擬試題（看起來疑似是官方書，跟下面這本長得很像）：<a href="https://www.examservice.com.tw/Product/ProductInfo?productNo=B20170725001&amp;type=Book">https://www.examservice.com.tw/Product/ProductInfo?productNo=B20170725001&amp;type=Book</a></li><li>單字和文法的講義，上面有當天的上課內容和一些練習題（課上完會有11份講義）</li></ul><p><strong>聽力</strong></p><p>老師建議一般建議每個人每種題型都要使用聽力練習的APP練習到90%以上的正確率，而依照我前測的聽力結果，要完成的題數分別是</p><ol><li>照片描述：200（90%）</li><li>應答問題：250（90%）</li><li>簡短對話：250（90%）</li><li>簡短獨白：300（90%）</li></ol><p>而使用的APP（免費）IOS和Android版的都有，不用擔心，分別是</p><ul><li><a href="https://play.google.com/store/apps/details?id=com.appfxdesign.toeiclisteningpractices">Listening for the TOEIC ® Test - Apps on Google Play</a></li><li><a href="https://apps.apple.com/tw/app/listening-for-the-toeic-test/id1061945885">‎Listening for the TOEIC ® Test</a></li></ul><pre>💡 要注意的是，在這個階段練習出來的聽力，只是能把最基本的考試單字聽懂，跟熟悉TOEIC聽力的題型而已，完全不足以應付真正的TOEIC考試。真的考試還有 <strong>口音</strong> 跟 <strong>單字量</strong>的問題需要解決</pre><p>其實我在簡短對話跟獨白兩種題型卡非常久，我突破的方法是當我發現那次的對話或獨白自己無法三題都答對，別直接往下一題嘗試，把那題多聽幾次，聽到聽懂為止，再往下前進，我當時告訴自己「這就是在練習聽別人對話，而非考試」，而聽不懂別人說什麼，一定是請對方再說一次吧！這是我的方法給大家參考看看</p><p><strong>閱讀</strong></p><p>而閱讀的部分老師則要求同學要<strong>習慣閱讀</strong>，因此會建議大家去買參考書來練習閱讀，下面建議兩家出版社的參考書</p><ul><li>寂天：難度適中，可以撫慰你幼小的心靈</li><li>國際學村：難到X北，會狠狠的往你臉上灌兩拳</li></ul><p>但自己是買國際學村的，純粹只是因為當時博客來在特價，接著就過著每天心裡被重擊的日子 😭。回歸正題，根據老師的要求我每天回家寫3~4篇的長文閱讀，如果該次測驗長文閱讀都寫完則回到測驗的前面把句子填空給寫完，接著再往下一次測驗前進，做個大概6回就可以</p><p><strong>總結</strong></p><p>課程的選擇建議誠實面對自己，選符合自身實力的課，一開始我就是直接選高階班，結果完全聽不懂，第一堂課就直接跟老師說我要降級 😅。其實會選修課程不只是我不熟悉考試而已，不得不承認「我的英文挺糟的」，高中時唸的單字和文法都已經忘光。單字的部分就是比較偏商業相關的用字和其同義和反義字，而文法的部分TOEIC考試恰巧非常需要用到高中時教的句型，其中以下幾種非常建議在課堂中特別記住</p><ul><li>各類時態：過去式、未來式</li><li>各類子句：形容詞、副詞跟名詞子句</li><li>假設語氣</li><li>一些片語：注意他們後面要接的是 V-ing 還是 to V. 之類的</li><li>一些特定用法：使役動詞、意志動詞（形容詞）… 等</li></ul><p>最後PHASE 1結束與否，其實並非是英文課上完了沒，而是以上的聽力（90%）跟閱讀（六回）完成了沒，完成後就可以進到PHASE 2。我自己本身可能花了4個月才完成PHASE 1，主要原因前面也提過就是聽力太差，真的花非常久的時間，才把每種題型都練習到正確率90%。</p><h4>PHASE 2 — 階段2</h4><p>建議在PHASE 2開始的第一件事情，就是直接報名大概2–3個月之後的TOEIC考試，馬上報名有三個好處</p><ul><li>給自己期限壓力</li><li>可以任選自己想要的考場</li><li>2–3個月的準備時間算是十分充裕</li></ul><p>首先最重要的就是一定要給自己期限的壓力，畢竟</p><blockquote>沒期限的計畫稱之為<strong>夢想</strong>，而不是<strong>目標</strong></blockquote><p>所以第一件事就是要給自己完成TOEIC考試的明確時間，另外TOEIC其實超乎我想像的熱門，若你的實力允許一個月後馬上考，因此想直接去報名，還真的會碰到理想考場被預約滿的狀況，尤其人在台北更是如此，而且我相信會想往下看這篇心得的人應該英文都跟我一樣OOXX吧 😅</p><p>由於我在第一階段已經上過TOEIC的課程，所以這階段會比較有自信再花2–3個月能達到自認為能夠應考的實力。</p><p>題外話，由於疫情關係，原本規劃好的PHASE 2被延期許多次，後來我就自己退費，一直到10月多想考雲端證照，才想起自己有考TOEIC的計畫。</p><p>回到正題，報名完考試後，就開始第二階段的準備，這階段主要運用兩個資源</p><ul><li>Youtube</li><li>TOEIC模擬試題</li></ul><p><strong>Youtube</strong></p><p>一開始我想先推薦這個我自己在看的Youtube頻道給大家練習聽力和補充單字量</p><p><a href="https://www.youtube.com/channel/UCrqx0LRwcN4gH7oFVghhaow">Parker English怕渴英文</a></p><p>怕渴（Parker）英文，我自己使用起來認為非常優質的Youtube頻道，頻道內的影片主要有兩種類型 <strong>必考單字</strong> 和 <strong>聽力練習</strong></p><p>我覺得兩種都很有幫助，不過我自己主要是看 <strong>必考單字 </strong>來擴充我貧弱的單字量，而 <strong>聽力練習</strong> 的部分還是有空才聽，聽力主要還是透過模擬試題和完成試題後的錯誤檢討比較多；Parker在必考單字的部分會根據不同場合整理容易出現的單字，覺得作者非常的用心；我自己會運用每天將近兩個小時的上下班通勤時間</p><ul><li>上班：挑選一個TOEIC必考單字影片來看，並嘗試把例句聽懂</li><li>下班：回顧早上上班看的那部必考單字影片，把當中不熟的單字跟例句再看一次</li></ul><p><strong>TOEIC模擬試題</strong></p><p>模擬試題的部分，還記得在第一階段有買一本閱讀的模擬試題，而且只寫了6回嗎？我自己是繼續寫同一本，往後把7–10回寫完。完成後由於前面的試題也忘得差不多了 😓，因此完成7–10回後再回頭把1–6回重新寫一次</p><p>聽力部分的模擬試題，一樣推薦</p><ul><li>寂天：難度適中</li><li>國際學村：偏難</li></ul><p>兩家出版社，聽力模擬試題的難度一樣是國際學村明顯高出許多，不過記得在買參考書時，<strong>務必要選有詳解的</strong>那種試題，別買到只有簡易解答純粹讓高手練習手感的那種試題</p><pre>📔 雖然我這邊推薦兩家，但是我自己是買國際學村的，前面也提到是因為當時博客來有特價 XD，不過我看有某 Youtuber 推薦寂天的很好，而且影片底下的留言似乎也反映出這個事實，還有隱約記得老師上課也有建議過？所以才推薦出來</pre><p>寫模擬試題的規劃，是先選定一回的測驗，然後按著以下順序循環</p><ol><li>第一天：聽力測驗</li><li>第二天：閱讀測驗</li><li>第三天：把錯的聽力題目多聽幾次和搞懂不會的單字</li><li>第四天：如果昨天的聽力檢討沒做完，則繼續做，最後再把閱讀錯的題目中，導致錯誤的文法或單字弄懂</li></ol><p>一開始寫的時候由於錯誤的題目太多，將近一回就會花費一周的時間，不過後續我<strong>應該</strong>是透過檢討每一回錯誤的題目跟上下班看Youtube頻道的關係，錯的題目越來越少，甚至拚一點假日也不停歇的話，有辦法一周完成兩回。</p><p>另外每一週還會花些時間複習第一階段上課時拿到的講義，我自己是忘記得差不多了，所以還有花些時間把當時上課的記憶給找回來</p><p><strong>總結</strong></p><p>其實這個Phase 2對我而言是一個非常需要紀律的一個階段，首先在通勤期間需要利用破碎的時間鍛鍊自己特別不在行的聽力，同時還要想辦法提升不足的單字量，真的非常感謝Parker英文，但自己覺得如果可以同一時間把當下不熟悉的單字手寫一遍在筆記本上也許會更好，不過人在車上好像有點難做到歐 😄。</p><p>接著當然每天工作8個小時 + 上下班同勤都在唸英文外，回到家後大約還需要再花一個半小時左右的時間練習模擬試題，也是非常的硬，其實我不一定每天都能按照進度進行，若有心累或身體疲勞造成進度落後的狀況，我就選擇在假日花時間趕上進度。因此想清楚自己為什麼想考真的很重要，否則其實有太多比唸書考試有趣的事情在等著我做。</p><p>最後我完成這個階段大概離考試剩下最後一周，其實自己理想上應該結束是剩兩周，改善方面，認為自己可以在自身作息上掌控得更好一點，減少心累和身體疲勞的狀況，不過如今也只能趕鴨子上陣，進到最後一階段（Final Phase）。</p><h4>FINAL PHASE — 最終階段</h4><p>到最終階段的過度條件我覺得有兩個可能</p><ul><li>前面來不及寫完，大考當前剩下最後一週</li><li>理想上，PHASE 2買的模擬題庫10回都做完，並且搭配詳解把不熟和錯誤的題目都複習過，離TOEIC考試還有兩週或以上的時間</li></ul><p>雖然第二個是我的理想，但最後我寫完10回模擬題庫剩下最後一週；剛開始排定讀書計畫時，我認為這階段自己會需要兩週，而實際執行上我也確實感覺需要兩週才比較充裕。但我覺得不管模擬試題寫得如何，最後都必須要留一週執行最後階段，最後階段有三個目標：</p><ul><li>熟悉考試的時程進行</li><li>把容易出現的文法再複習一次</li><li>運用短期記憶把不熟，但是蠻常看見的單字給記下來（剩下一週再進行）</li></ul><p>第一點其實不難理解，因為PHASE 2的目的是盡量<strong>擴展TOEIC的相關單字量和文法</strong>並<strong>熟悉題型的作答方式</strong>，所以其實我在PHASE 2並沒有強制自己照著TOEIC考試的時程進行，還記得我是聽力跟閱讀各寫一天嗎？</p><p>在這個Final Phase，就是要以考試的時程(Listening 45分鐘 + Reading 75分鐘)來寫模擬試題，我自己是採用剩下的每一週，週二和週四各寫一篇模擬試題，然後週三和週五快速瀏覽、檢討和思考答錯的題目，剩下幾週就按照這樣的形式持續幾週。</p><p>寫題目的日子當然寫完後，我就直接洗洗睡了，而週一和週三、週五檢討完後，我會將之前TOEIC課程拿到的文法講義再看一次，講義的部分我只挑文法的部分看，先略過需要記憶的常見片語和介系詞搭配用法。</p><p>短期記憶單字的部分，如果在PHASE 2有寫試題並且檢討寫筆記的話，可以查查自己的筆記本中哪些單字常出現自己又不還不太熟悉的；不過這個部分真的是量力而為了，有剩下多少時間就儘量記憶吧！</p><p>接著到考前一天，我就沒有再寫模擬試題了，我是想讓大腦休息一下，把最好的狀態留給隔天考試，考前一天我只拿出TOEIC文法講義的常見片語和介系詞搭配用法部分，瀏覽一下並唸一唸例句。</p><p><strong>總結</strong></p><p>最後階段，我自己是覺得還準備的不夠多，心裡還感覺不夠踏實，但其實該做的也都大概「形式上」有做到了，人生沒有什麼都等你準備好才會發生的對吧！說要有什麼能做得更好，大概也就上一節的總結部分提到的「在自身作息上掌控得更好一點」的話，那PHASE 2也許就會有提前完成的可能，來給自己更充分的時間把FINAL PHASE我認為該做的事情做好。</p><h3>在結束之前 — 考後心得</h3><p>在這篇文章發佈的時候，這次考TOEIC的成績並還沒有公佈；如同我前面所說的這篇文章並不是要教大家怎麼把TOEIC考得高分，僅僅是我經驗的分享順便幫自己記錄每晚渡過的時間。我還記得我考TOEIC的初衷是「<strong>增進我的英文閱讀速度與理解</strong>」，到最後TOEIC考試只是用來驗證自己練習成果的途徑，成果上在理解與讀速上都成長不少（雖然我的閱讀還是寫不完），但自己心裡卻還算踏實的。</p><p>其實<strong>我自己是個非常不喜歡考試的人</strong>，所以當時雖然報名TOEIC課，其實心裡卻有些排斥，但後來老師在某堂課中説</p><blockquote>確實英文的養成應該落實在生活上，但如果你的生活上沒有任何英文的環境，那何不趁準備TOEIC考試的時候，把模擬試題當成聽英文跟閱讀英文的機會呢？</blockquote><p>這句話完全將我「排斥考試」的心態轉換成另一種「只是在生活中聽聽英文，並看看文章」的心態，因此準備起來排斥感就下降許多。雖然在老師說那句話之前，我也會看不少Youtube頻道是全英文的，不過都是特定我有興趣的主題，因此我聽得懂的單字也被限制在某些領域內，但自那句話後，我就開始多方涉獵一些不同類型的節目，想推薦一些目前自己在看的節目給大家</p><ul><li>教育類<br>- After Skool：<a href="https://www.youtube.com/c/AfterSkool/videos">https://www.youtube.com/c/AfterSkool/videos</a><br>- Ted Edu：<a href="https://www.youtube.com/teded">https://www.youtube.com/teded</a><br>- Kurzgesagt — In a Nutshell：<a href="https://www.youtube.com/c/inanutshell">https://www.youtube.com/c/inanutshell</a></li><li>個人成長<br>- Motivation2Study：<a href="https://www.youtube.com/c/Motivation2Study">https://www.youtube.com/c/Motivation2Study</a><br>- Thomas Frank：<a href="https://www.youtube.com/c/Thomasfrank">https://www.youtube.com/c/Thomasfrank</a></li><li>學英文<br>- Rachel’s English：<a href="https://www.youtube.com/c/rachelsenglish">https://www.youtube.com/c/rachelsenglish</a></li></ul><p>如果大家有自己喜歡看的節目或推薦的也可以分享給我，希望未來哪天的自己也能成為一個別人覺得「英文不錯的人」。</p><p>最後我知道TOEIC對不少人來說，就是達成某些目標的門檻或是條件，因此在最後提一下「<strong>答題的技巧非常重要</strong>」，但我全文並沒有提到這些技巧，其實我進入最後一個階段前，有稍微去網路上搜尋一些相關的答題技巧，也分享出來給大家~</p><ul><li><a href="https://www.language-world.com.tw/TOEIC%E5%A4%9A%E7%9B%8A/%E6%BA%96%E5%82%99%E5%A4%9A%E7%9B%8A%E8%80%83%E8%A9%A6%E6%8A%80%E5%B7%A701.html">看完這篇多益教學文，讓你分數3級跳，你不知道的名師技巧偷偷告訴你！</a></li><li><a href="https://www.ivy.com.tw/column/cont/2020091613490013780">多益閱讀攻略，看完再也不會寫不完，答題又快又精準！（上篇）</a></li><li><a href="https://www.ivy.com.tw/column/cont/2020092115153778338">多益閱讀攻略，看完再也不會寫不完，答題又快又精準！（下篇）</a></li></ul><p>在進行最後一階段模擬真實考試時程的過程中，我有練習使用這些技巧來答題，發現真的能有效的降低聽力的緊迫感和增加長文閱讀答題的速度，因此也推薦如果真的有分數需求的人，也許可以從頭到尾都用這些技巧來練習第二階段的模擬試題。</p><p>希望看完這篇文章的人有獲得點東西，也祝有打算考TOEIC的人，人人考高分 👍</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ae115fb9f0b6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[CI/CD Pipeline X Gitlab Flow]]></title>
            <link>https://medium.com/@henry-chou/ci-cd-pipeline-x-gitlab-flow-c5e27034540f?source=rss-bd11a24c2871------2</link>
            <guid isPermaLink="false">https://medium.com/p/c5e27034540f</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[devops]]></category>
            <category><![CDATA[software-engineering]]></category>
            <category><![CDATA[developer]]></category>
            <category><![CDATA[programming]]></category>
            <dc:creator><![CDATA[CraftsmanHenry]]></dc:creator>
            <pubDate>Wed, 22 Dec 2021 12:07:23 GMT</pubDate>
            <atom:updated>2021-12-22T12:07:23.822Z</atom:updated>
            <content:encoded><![CDATA[<h4>用GitLab打造一個遵循GitLab Flow的Continuous Delivery Pipeline</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*88-Q3iAc5BNM-k00YZQeOQ.jpeg" /></figure><p>工作間從第一次觸CI工具到現在能從頭到尾打造一個完整的CI/CD pipeline，中間除了一大堆的trial and error外，還閱讀不少線上文獻和書籍，但一直都沒有機會能夠整理自己腦中關於CI/CD的知識。剛好最近工作上接觸了全新的GitLab CI/CD，也實作一套出來，因此就想說來分享一下，中間發現的有趣feature與自己建立pipeline的思維。</p><p>讀完這篇文章後，各位讀者會了解</p><ul><li>CI/CD pipeline是什麼？還有這個概念想要解決什麼問題？</li><li>Branching Model的介紹與常見的幾種跟Git相關的branching model</li><li>整合CI/CD pipeline和branching model的設計思維與實作</li></ul><p>另外在開始前，先提醒各位實作CI/CD pipeline跟使用的工具有高度相關，而在這篇文章採用的Git 儲存庫（repository）是GitLab另外搭配使用的CI/CD Tools是GitLab內建的<a href="https://docs.gitlab.com/ee/ci/pipelines/">CI/CD Pipeline</a>，因此若讀者們若使用的工具是別的，那建議可以略過實作的章節，幫自己省點時間 😄。</p><h3>CI/CD管線、流水線（Pipeline）？</h3><p>要用一句話來定義什麼是CI/CD Pipeline，那會是</p><blockquote>一個應用程式從建置、部署、測試到發布整個流程的<strong>自動化</strong>實作</blockquote><p>也可以說是</p><blockquote>程式碼從版本控制系統到使用者手中，這中間的<strong>自動化</strong>表現形式</blockquote><p>大家由上面兩個定義不難看出來這兩句話的重點其實就是「自動化」這三個字，所以接下來我要試著回答下面兩個問題</p><ul><li>為什麼要自動化？</li><li>要自動化什麼？</li></ul><h3>為什麼要自動化？</h3><p>經過工業化時代的我們，都不難理解自動化的好處。還記得我在剛開始工作的時候，當時公司在開發的軟體還沒有完整的自動化建置與部屬流程，因此每次要出版程式前，都要依序幾過以下步驟</p><ol><li>自己小心的檢查設定，build完並試跑一下看能不能在自己電腦上運行</li><li>打開一個word寫下部屬時要對伺服器做哪些操作</li><li>規劃完後就要跟IT申請一台乾淨的Virtual Machine，試著按照自己的步驟操作看看會不會如預期般順利</li><li>最後找QA來照他們設計的測試案例操作看看部屬好的服務，看看有沒有哪些feature是不能運作的</li></ol><p>以上這套做完如果一切順利沒卡關大概一周就過去了，更不用說如果中間出什麼問題或QA測試的結果不如預期，時間一長甚至有來來回回（back and forth）一個月以上的狀況。</p><p>其實問題還不一定是程式本身的問題，因為我們甚至沒辦法保證，每次部屬的步驟都是一樣的或是QA每次測試的方法都是一樣的，搞不好中間多做少做什麼！？想想就覺得恐怖。</p><p>而自動化能為我們解決什麼問題呢？以人的面向來看，一個極大的好處之一不用多說就是<strong>節省人力</strong>，上述的人工操作，由開發人員撰寫rundown、IT提供測試用的機器，由開發人員部署完後需要測試人員測試，以上工作重複性高又耗時且有可能因為操作人員的狀態不好而導致出錯；<strong>自動化後，所有人的時間就可以運用在更有價值的事上</strong>，把重複性高的工作交給機器</p><p>自動化的第二大好處就是<strong>行為重複、一致且不因人的因素而出錯</strong>，而要做到重覆、一致肯定就是要寫一份腳本（Script），每次就是跑那個腳本就好，而<strong>腳本本身就是一個部屬的操作文件</strong>，而且如果<strong>中間出錯，只要檢視腳本</strong>就好。</p><p>第三個好處則是腳本化，<strong>腳本（script）跟程式碼一樣可以透過版控工具進行管理</strong>，如此一來開發人員就可以檢視看看做過的修改並對部屬的流程進行優化，甚至還能夠退回過去的版本以修正錯誤的更動</p><h4>自動化？什麼？</h4><p>現在知道自動化有這麼多好處，那實際上到底該自動化些什麼，可以由上述的問題來得知</p><ul><li>試試看程式碼能不能運行</li><li>利用測試案例測看看部署好的服務有無如預期般運作</li><li>IT供應測試用伺服器的過程</li><li>運用腳本自動將程式碼部署到伺服器</li></ul><p>以上自動化的部分就是屬於<strong>Continuous Integration（CI）</strong>的範圍，其中還有一些實作時的mindset，例如：要時常提交程式碼、提交的更動不該範圍太大且多於一個目的…等，就稍微帶過就好；除了上述四項外，大多的服務可能還有不同的環境，以因應不同的測試與整合需求，這部分就是屬於<strong>Continuous Delivery（CD）</strong>的範疇，因此還需要自動化</p><ul><li>環境本身的設置與管理</li><li>跨環境間的部署</li><li>各環境使用的設定管理</li></ul><p><strong>Continuous Delivery</strong>是一個相當龐大且完整的系統，其中的自動化不止上述講到的這些，另外還有一些在設計Pipeline時需要的mindset與知識由於篇幅的問題，請各位允許我先略過，如果各位讀者對背後的概念、心法和進一步還能做哪些事情有興趣的話，推薦 <strong>Continuous Delivery </strong>by Jez Humble, David Farley</p><p><a href="https://www.tenlong.com.tw/products/9789862019627">天瓏網路書店 | Continuous Delivery 中文版：利用自動化的建置、測試與部署完美創造出可信賴的軟體發佈 (Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation)</a></p><h3>Branching Models 和 GitLab Flow</h3><p>版控工具git在目前的業界已經是獨占鰲頭，就算沒用過也聽過，而git最有名的功能就是能夠對同一份source code建立出不同的branch，使developer能夠在不影響其他branch的情況下進行開發，這樣做的諸多好處不在這次文章的討論範圍內，請容許我這邊先行跳過。</p><p>知道branch的好，難道沒有壞嗎？當然有，尤其是在眾多developer協同開發同一個code base的情況下；人多雜亂就會應運而生</p><blockquote>為了克服branch的混亂，過去的開發人員將處理這些雜亂的思維與實作的方法整理成一套可以遵循的規則</blockquote><p>這就是這章節要討論的branching models。</p><p>branching models中與這篇文章比較相關的有三個 Git flow、GitHub flow和GitLab flow，在這章節中只打算深入探討GitLab flow而其他兩個這裡只提供參考文獻跟其不適用於CI/CD Pipeline這樣的Continuous Delivery概念的原因</p><h4>Git Flow</h4><p><a href="https://nvie.com/posts/a-successful-git-branching-model/">A successful Git branching model</a></p><ul><li>過於繁瑣的分支管理：過去缺少持續整合的概念（CI），無法確保branch隨時都在可以部署的狀態，因此需要feature、release和hot-fix branch來確保修改不會破壞主要的branch；另外要學習與習慣這樣的分支管理策略，需要時間的累積，起碼以我自身待過的團隊來說，還沒看過完全習慣Git Flow管理策略的人（包括我自己 😓）</li><li>與不少支援git的工具概念有衝突：master(main) branch在Git Flow中，被用來表示能夠隨時部署的程式碼狀態，developers平時面對的是develop branch，在Git Flow底下反而develop才比較像是main branch，而據説（自己用過的工具真的很少 😫）有不少工具的設計還是將master作為main branch，因此對Git Flow的支援相當有限</li></ul><h4>GitHub Flow</h4><p><a href="http://scottchacon.com/2011/08/31/github-flow.html">GitHub Flow</a></p><ul><li>太過單純的分支管理：只留下master(main)和feature branch，個人的想法是因為，過去的GitHub還未存在有<a href="https://github.com/features/actions">Actions</a>特性，因此確實不需要其他的branch，來因應環境管理、部署和整合…等需求</li></ul><h4>GitLab Flow</h4><p><a href="https://docs.gitlab.com/ee/topics/gitlab_flow.html">Redirecting...</a></p><p>GitLab Flow則是避開過於複雜和簡單的問題，而且與時俱進的考慮了Continuous Delivery所該包含的範疇，不過以下介紹的策略適用對象還是以SaaS（Software as a Service）為主的<a href="https://docs.gitlab.com/ee/topics/gitlab_flow.html#environment-branches-with-gitlab-flow">Environment Branches</a>，若是裝機型的套裝軟體還請參考原文的<a href="https://docs.gitlab.com/ee/topics/gitlab_flow.html#release-branches-with-gitlab-flow">Releases Branches</a>策略</p><ul><li>主要 branch（master/main）：眾多developers整合彼此程式碼的branch，若沒有特別要求可以將經過CI測試過的main branch程式碼直接往dev環境部署</li><li>featuer branch：如同其他的branching models，<strong>feature branch由main branch分支出來</strong>的；<strong>原則是使feature branch的生命週期盡量短</strong>，因為其他開發人員會持續將程式碼合併至main branch，存在的時間一拉長會導致與main branch的差異逐漸增大，甚至產生不知道怎麼處理的衝突</li></ul><pre>P.S. 有人可能會想問怎樣才叫生命週期短的branch，以我之前看過的文獻有各式各樣的建議，甚至有人建議branch過後不要超過3個小時（code這麼好寫？ 😓）。但依照我個人的經驗，由於本人待過的團隊不少跑scrum的，所以我自己是最長不讓branch存在超過一個sprint，短的話可能一個工作天結束就merge</pre><ul><li><strong>環境 branch</strong>：當main branch（master/main）- dev打算deploy到staging時，便將main branch的code merge至staging branch，同理要部屬到production時，則將staging的code merge至production branch；在dev環境經過CI/CD的驗證能提供給開發人員足夠的信心說將main branch merge至staging和production branch是沒問題的，因此staging和production的branch可以用來反映當前部屬在該環境的最新版程式碼。</li></ul><h3>實作</h3><p>了解完CI/CD Pipeline跟GitLab後，就來實現本文標題所述的整合GitLab Flow與CI/CD Pipeline，在開始講述前，先提醒一下各位「實作與<strong>使用的工具</strong>和<strong>公司的文化</strong>有高度的正相關」，因此如果公司不是採用GitLab並搭配GitLab CI/CD來管理版控程式碼並執行自動化部屬的話，那本章節可能對讀者的用處非常小，可以建議跳過此部分，那就不多說廢話開始吧！</p><p>不過在真正開始說明pipeline之前，先說明一下接下來打算部署的專案與部署的環境。</p><p>專案的部分使用Python的FastAPI快速打造一個包含簡易CRUD與health check的RESTFul API，其中不包括任何儲存的solution（RDBMS, NoSQL, etc），會直接將值寫到記憶體以簡化專案複雜度，相關的教學與實際的專案結構請參考以下的文件與我實作完的<a href="https://gitlab.com/hendryboyz/fastapi-project-setup/-/tree/main/api">GitLab Repository</a></p><p><a href="https://fastapi.tiangolo.com/tutorial/bigger-applications/">Bigger Applications - Multiple Files - FastAPI</a></p><p>環境的部分，則是採用Heroku的Free Plan；雖然我在公司是使用K8S（EKS by Amazon），不過因為費用和文章篇幅關係，採用有免費方案的PaaS供應商Heroku，Heroku申請好帳號那刻就已經提供給使用者一個easy to deploy的環境，大大的簡化在此篇文章中infrastucture上的複雜度，但依然不會花過多的篇幅介紹Heroku的概念，如果想知道細節的讀者請參考</p><p><a href="https://devcenter.heroku.com/articles/container-registry-and-runtime">Container Registry &amp; Runtime (Docker Deploys)</a></p><p>詳細說明部署自建的docker image到Heroku上需要知道的所有細節</p><p><a href="https://devcenter.heroku.com/articles/how-heroku-works">How Heroku Works</a></p><p>說明Heroku的基本概念application和Dyno</p><p>不了解以上概念，不太影響對CI/CD的理解，但還是把以上資源提供出來給喜歡深入研究的讀者。</p><p>由於以GitLab Flow為起點出發，會利用environment branch做為CI/CD的觸發點，並執行幾個階段性（stages）的工作（jobs）來形成pipeline，因此我們就先說明一下在本文的Pipeline中打算實作的階段（stages）吧！</p><h3>stage</h3><ul><li>build：將程式碼build成可以執行的形式，由於現在非常流containerization因此也不免俗會以image的形式來輸出artifact，並push到gitlab本身的image registry中</li><li>static-test：靜態程式碼測試會執行一些還不需要部署執行，就可以針對程式碼本身完成的測試，像是單元測試、資安弱點掃描…等，但這裡就簡單跑個echo示意</li><li>deploy：將build過的image部署到Heroku上（雖然在公司是用Amazon的EKS，要用EKS做demo似乎需要點口袋 😅，徵求sponsor 😆）</li><li>release(production限定)：本篇文章僅僅會對git repository打一個tag並將tag推到GitLab上，並發一個GitLab的release</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/c831a9a23ab2a6c8a1b7898df34e2a60/href">https://medium.com/media/c831a9a23ab2a6c8a1b7898df34e2a60/href</a></iframe><p>以上4個階段是在本文中，以方便講解和理解為出發點設計的，也許跟企業中面面俱到的實際Pipeline間有段距離，但上面的概念是個非常好的出發點，接下來就以各環境的實際部署script講解給各位吧</p><h3>Dev（main）</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*C5_O0HEdd8RrGkUB" /></figure><ul><li><strong>build image</strong>：跑docker指令build出與所處branch對應的image，並將結果推至GitLab內建的<a href="https://docs.gitlab.com/ee/user/packages/container_registry/">Container Registry</a>；若所處的branch是<strong>main</strong> branch則還會再多推一個tag為latest的image到container registry內</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f074d0f3436a4b29fa7109d719d77147/href">https://medium.com/media/f074d0f3436a4b29fa7109d719d77147/href</a></iframe><ul><li><strong>static test</strong>：這裡將靜態程式碼測試放在dev的pipeline中；靜態程式碼測試包括單元測試、安全弱點掃描…等。靜態程式碼測試給予開發人員信心說當前版本的程式碼是沒有問題，允許部署的。不過此專案僅僅做展示用，因此只做了一個標記的job，並沒有提供實際的script</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9128c0da933ec27aee0477ea3b6bda47/href">https://medium.com/media/9128c0da933ec27aee0477ea3b6bda47/href</a></iframe><ul><li><strong>deploy</strong>：deploy會將於build image階段部署好並放置在container registry當中的image pull下來，並推至heroku的image registry後，並要求heroku release該image</li></ul><p>由於continuous delivery的精髓之一就是要透過相同的自動化流程進行部署，因此會將deploy的script抽取出來為一個共用的<a href="https://docs.gitlab.com/ee/ci/jobs/#hide-jobs">hidden job</a>，供其他job做繼承使用，步驟如下所示</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b840dac61affc7b51e6a8b5187181a41/href">https://medium.com/media/b840dac61affc7b51e6a8b5187181a41/href</a></iframe><h3>Staging</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*H_FFaIMJt_9zem4P" /><figcaption>GitLab無法在job數量三個以下時，產生如上的pipeline管線圖，以job相依圖替代</figcaption></figure><ul><li>build image</li><li>deploy</li></ul><p>由於staging上的步驟，完全跟dev環境上一模一樣，這裡就不再贅述；靜態程式碼測試（static test）與掃描的部分，因為在dev環境上已經做過，因此直接省略，避免需要花資源重複跑一次。</p><p>額外提一下，如果想做壓測（<strong>loading test</strong>）的話，建議放在staging環境的deploy之後，避免影響到production環境的客戶，不過由於本文實作的pipeline沒有包括loading test，因此只在最後小小提一下，對壓測有興趣可以參考</p><p><a href="https://locust.io/">Locust.io</a></p><h3>Production</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*jSUWjFU-aFPJXfEY" /></figure><p>想要觸發production pipeline除了與前面兩個stage相同的部分「需要將code merge到對應的branch」外，還需要在觸發pipeline時提供$RELEASE_VERSION這個變數，下面會在步驟中提到$RELEASE_VERSION的用途為何</p><ul><li>build image：要build production的image，需要上面提及的條件因此build image job 需要多加排除的不能build production image的條件</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*9Nd-ji2MBu2taGSY" /></figure><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/025539209f550d2936880d954b9e9fc2/href">https://medium.com/media/025539209f550d2936880d954b9e9fc2/href</a></iframe><ul><li>deploy：同dev, staging不贅述</li><li>release：production部署完之後，在最後我們幫這份部署到production的code上一個tag並push回gitlab repository，並利用GitLab CI/CD的功能在repository內開一個release，文件可以參考</li></ul><p><a href="https://docs.gitlab.com/ee/user/project/releases/#create-a-release-by-using-a-cicd-job">Releases | GitLab</a></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/516642eac055f9c6dfa93c79433b772c/href">https://medium.com/media/516642eac055f9c6dfa93c79433b772c/href</a></iframe><p>以上就是完整的GitLab CI/CD pipeline從develop到production，但有些關於heroku的API key與GitLab personal access key和repository的設定等細節，在本文先行略過。相信讀到這邊的讀者已經很辛苦，所以本文還是以說明整個pipeline為主，剩下的旁枝末節若有興趣大家可以留言告訴我，未來有時間再另外撰文告訴大家。最後就是把完整的repositiory提供給大家，希望能幫上大家的忙</p><p><a href="https://gitlab.com/hendryboyz/fastapi-project-setup">Henry Chou / fastapi-project-setup</a></p><h3>在結束之前</h3><p>到這邊算是說明完想要告訴大家的概念並完成實作展示的部分，本文一開頭說明CI/CD可以減少人力負擔和人為的錯誤，並能持續將不同開發人員的程式碼進行整合並以自動化的方式部屬到生產環境中</p><p>接著在下個章節中介紹版本控制工具git的branch管理策略branch model，並將常見的branch model的優缺點都略為帶過後，在最後強調本文的重點：GitLab Flow，並以GitLab Flow中以環境為主的branch管理策略為目標，打造一個簡易的pipeline</p><p>說明完兩個主要的核心概念後，接著利用GitLab內的CI/CD feature結合GitLab Flow打造一個完整的CI/CD pipeline。希望大家讀完這篇文章後，能夠獲得一些實作上的經驗。更重要的是對於CI/CD的思維方式，不管未來換了哪種CI/CD工具，都可以利用以上的概念打造出CI/CD pipeline。</p><p>而工具的選擇上為什麼使用GitLab？只是因為在近期的工作中，剛好從github切換到GitLab將自己的學習心得分享給大家，畢竟</p><blockquote>沒有最好的工具，只有最適合你們團隊的工具</blockquote><p>而Heroku的部分，則真的只是因為免費，如果未來有點$$的話，也許可以寫關於雲端供應商K8S（EKS, AKS or GKE）的分享，這邊也期待有看到最後的人可以把想看的東西留言告訴我</p><p>另外為了避免這篇文章變成一個CI/CD論文，因此還有諸多遺珠實在無法講和深入，比如說</p><ul><li>如何根據專案大小升級自己的pipeline</li><li>價值流的概念</li><li>CI/CD的成熟度模型</li><li>DevOps…等</li></ul><p>如果各位有興趣除了上述提到的<a href="https://www.tenlong.com.tw/products/9789862019627?list_name=srh">Continuous Delivery</a>這本書外，DevOps Handbook也相當值得一看</p><p><a href="https://www.tenlong.com.tw/products/9789865020941?list_name=srh">天瓏網路書店 | DevOps Handbook｜打造世界級技術組織的實踐指南 (中文版) (The DevOps Handbook: How to Create World-Class Agility, Reliability, and Security in Technology Organizations)</a></p><p>就在最後祝大家在未來的開發路上都能夠順利啦！Happy Coding！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c5e27034540f" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>