<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by GoatWang on Medium]]></title>
        <description><![CDATA[Stories by GoatWang on Medium]]></description>
        <link>https://medium.com/@jeremy455576?source=rss-dfb3ea056e82------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*-cc3yImcO33CMSW-gxLbzg.jpeg</url>
            <title>Stories by GoatWang on Medium</title>
            <link>https://medium.com/@jeremy455576?source=rss-dfb3ea056e82------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Mon, 16 Nov 2026 18:49:16 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@jeremy455576/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[台灣初階軟體工程師不該進去新創公司]]></title>
            <link>https://jeremy455576.medium.com/%E5%8F%B0%E7%81%A3%E5%88%9D%E9%9A%8E%E8%BB%9F%E9%AB%94%E5%B7%A5%E7%A8%8B%E5%B8%AB%E4%B8%8D%E8%A9%B2%E9%80%B2%E5%8E%BB%E6%96%B0%E5%89%B5%E5%85%AC%E5%8F%B8-e846ed1137b7?source=rss-dfb3ea056e82------2</link>
            <guid isPermaLink="false">https://medium.com/p/e846ed1137b7</guid>
            <category><![CDATA[職涯]]></category>
            <category><![CDATA[軟體工程師]]></category>
            <dc:creator><![CDATA[GoatWang]]></dc:creator>
            <pubDate>Tue, 28 Oct 2025 14:48:08 GMT</pubDate>
            <atom:updated>2025-10-29T15:33:45.475Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*y9Cpr6sCHq93qtyBFzetkg.png" /></figure><blockquote>契子：我工作了六年後，開始要找新工作時，赫然發現，我的技能一文不值…. (2025年)</blockquote><p>很多人在討論職涯選擇時，常會把大公司跟新創公司放在檯面上比較，說新創公司可以學到比較全面的技能、可以各方面技能都累積到云云…</p><p><strong>我用六年的血淚換來的經驗告訴我：這些技能對一個軟體工程師幾乎毫無市場價值。</strong></p><p>如果當時的我選擇認真擠進去大型軟體公司，我作為人礦現在售價可能會有指數等級的差別。如果重頭來一遍，就是多一年時間準備跟找工作，我都不會從新創公司開使我的工程師職涯。</p><p>我接下來說說，在台灣，為什麼新創公司絕對是初階工程師最差的選擇。</p><h3>一、技能價值</h3><blockquote>三年後，當我離職時，HR盤點我手上的產品與專案，發現大多公司有價值的資產都是我的傑作，成就感爆棚的我，驚訝地發現可以寫上履歷的經驗，根本沒人在意。(2021年)</blockquote><p><strong>在新創的環境成長，你幾乎學不到真的有護城河的技能。</strong>事實上，新創的環境跟學校沒兩樣，你真正學習到的技能，都是大學生在網路上爬一爬文章就可以輕鬆學會，既沒有知識門檻、也沒有資本門檻。</p><p>新創公司因為剛開始起步，不要說沒有流量，搞不好連產品都還沒出來。你能做的就是0到1工程師，這是一個樣樣從零開始自己DIY的世界。以我自己的例子來說，我剛進公司時，就連gitlab、postgres的docker都是我架的，可能還要兼職管理一下wifi分享器跟公司網域，你說這對公司重不重要，超級重要，但是其實這些瑣事專業的人來搞，一天可能就可以做完。你上網找資料選解決方案實作做出來，可能要花一週以上的時間，做的還不一定好。</p><p>如果你今天在大型軟體公司，這些基礎建設早就已經建構好，你只要學會怎麼用就好，最重要的是這些建構好的工具，都是大神們經過幾十年經驗累積、除錯跟重構的結果，也就是所謂的best practice，文件在裡面設計原理與功能優劣取捨都一起寫給你，就怕你沒時間看，真看不懂還可以直接找到作者coffee chat。</p><p><strong>這就好像其他進去大型軟體公司的工程師，都已經在大型工廠裡面工作，學習生產線跟電腦管理，你還還學怎麼疊磚頭蓋房子，最後弄出來後還是不怎麼堪用的拼裝車，你說五年後的成長是不是指數級的差別。</strong></p><h3>二、有毒的成就感</h3><blockquote>更重要的是，這是一個溫水煮青蛙的過程，我以為我幫公司解決了很多問題，並藉此得到成就感跟多巴胺，事實上都是安慰劑。</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RIGCM1JuAvi6gd4ftEue7g.png" /></figure><p>當然我不僅做公司的MIS，也付則專案跟產品開發，當然依舊是從0開始建構一切。老實說，作為一個有Maker精神的工程師，從0到1土炮出產品的浪漫，就如同得到直男之間「算你厲害」的最高榮譽。我當時做了好多看似很有價值的系統：</p><ul><li>台北市的道路破損巡檢系統，這個專案讓我寫下：<a href="https://medium.com/@jeremy455576/yolov4%E4%BD%BF%E7%94%A8%E6%8A%80%E8%A1%93%E8%84%88%E7%B5%A1%E5%BD%99%E6%95%B4-backbone-4408869015c2">YOLOv4使用技術脈絡彙整 — Backbone篇</a></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/598/1*ECuKxv2CD8KVQnRnr0or_Q.png" /></figure><ul><li>農航所的全國航拍森林林形辨識系統，這個專案讓我寫出了一個Open Source專案 — <a href="https://medium.com/@jeremy455576/trongispy-gis%E7%B6%B2%E6%A0%BC%E8%B3%87%E6%96%99%E8%99%95%E7%90%86%E5%B7%A5%E5%85%B7-42815036b353">TronGisPy</a>，未來公司相關的專案我自己的執行效率都提升了超過50%，還上了PyCon。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xm0wgUgj6jfnb3HmbO1dAA.png" /></figure><ul><li>大型車載立體相機3D建模系統，這個專案也讓我寫出了這篇文章，<a href="https://medium.com/%40jeremy455576/pinhole-camera-model%E7%90%86%E8%AB%96%E8%88%87%E5%AF%A6%E5%8B%99-7c331ed79fdb">Pinhole Camera Model理論與實務</a></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/857/1*TQQn4xqg9KUsVQz94v0RXA.gif" /></figure><p>當然還有滿多POC跟小專案…這些專案既有趣，也讓公司可以藉此得到更多簡報素材去拿案子，滿足自己的Maker成就感之餘，也為公司創造價值。</p><p>直到我正要從第一個公司離職、HR在盤點交接資產時，發現公司裡面有前景的專案跟產品都在我手上時，甚是驚訝。這幾乎讓自己處在一個成就感爆棚、天不怕地不怕的狀態。</p><p><strong>直到五年後，重新回到學校再返回職場時，才突然意識到，自己在求職市場上是這樣弱勢，過去所累積的成就感大多是安慰劑，並不是真正在市場上需要的技能。</strong></p><h3>三、沈沒成本</h3><p>我們必須意識到，在工程師工作生涯的頭幾年，可能是我們最熱血、最有熱情與技術憧憬的一段時間，這段時間並不會太長，大多數人可能也就三年五年，一但柴米油鹽進來，認命似乎是成本最小得選擇，而在這時候，你可以爬到什麼位置大多時候也已經很難改變。</p><blockquote>從學校重返職場的自己，面臨一個重要的人生抉擇，應該要進大廠從零開始做一個初階工程師，或是死皮賴臉地繼續找新創公司打工。(2024年)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jjOxcI-UvIvCKO3p1lSALA.jpeg" /></figure><p>這是一個非常艱難的決定，如果思考未來十年以上的打工仔生涯，最實理性的選則是想辦法進去大型軟體公司，做一個Junior工程師。2023年底我在英國的碩士畢業時，也算是應屆畢業生，我當時還真的有去投一些intern，但也沒有堅持久，就被柴米油鹽淹沒了。</p><p>比起年輕時的熱血跟任性，現在似乎也只能硬著頭皮，繼續在不怎麼樣的公司或團隊去賣資訊（落差）服務，至少職稱可以是Senior或是Tech Lead。</p><p>總體來說，最根本的問題還是，這些從0開始從新構建的系統，每個畢業生稍微投資一點時間就沒有學不起來的，AI時代更不用說這些技能是如何的廉價。但是比起剛出社會沒有任何包袱的選擇，此時重來的沈沒成本已經高到淹沒自己，如果做出犧牲，頭幾年可能會面臨幾十萬到幾百萬的薪資落差。</p><h3>四、台灣新創環境的艱困</h3><blockquote>以打工仔來說，工程師的價值並不是付出多少所決定的，而是公司的盈利能力決定的！</blockquote><p>如果你今天好死不死進了一個沒有前途的公司或產業，你就算在能幹，老闆給的方向是錯的，也都是在做白工。就像是目標在北邊，老闆卻讓整個公司往南邊走，就算走得再怎麼快，終究離目標會越來越遠。而所謂的成就感，也就是讓自已沈浸在美好泡泡的鴉片環境吧了。</p><p>所以，在找工作時，我們必須要意識到，不只是老闆在面試我們，我們也在面試老闆。我這邊並不是要說，要去檢視福利多好有沒有加班費，而是你要把間公司的前景納入考量，尤其是新創公司，你把人生最精華的幾年投資在他們身上，你絕對要把自己當成VC的投資人來看，如果你手上有一大筆錢，你會不會投資這間公司。</p><p>再來的問題就很簡單了，台灣的新創公司是不是一個聰明的投資，到這裡相信大家心裡已經有答案了。不過，我們還是負責一點的來談談，在台灣，新創環境是如何艱困，<strong>為什麼在台灣，初階工程師進新創就是沒有勝率的賭博。</strong></p><p>首先，會在台灣創業且目標市場是台灣的公司，老闆大都沒有國際經驗，如果看清楚台灣市場的大小、且台灣拿fund的困難、投資人對早期就穩定盈利鑽牛角尖的堅持，是斷不會選擇以台灣出發或把目標市場放在台灣的。</p><p>先不說台灣炒房多好賺，沒看到穩定的利潤誰要把錢放到新創產業，加上台灣過去的製造業成功經驗，有錢的不是在等退休就是在算你公司有多少毛利，沒有資金支持的理想，如何可以養出偉大的公司或產業。</p><p>再講的現實一點，台灣市場規模實在是太小，出海能力又極差。實際上看，台灣真的成功的一些新創，像是Dcard或是Gogoro都已經如此成功，仍在是否盈利之間徘徊。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Wl16rxQlb6Vd2qFgC5PaOw.png" /></figure><p>當然，如果是在風險投資與新創產業蓬勃發展的地方，還是可以考慮的。一方面他們如果真的有拿到一些資金，就算最後失敗，產品仍然會有一定的規模，也就是說，學習到的技能可能仍然很有市場價值。另一方面，萬一成功了，賭身家還是有點機會的。</p><p>另外，並不是要你排除所有在台灣請人的新創團隊，如果他是在美國拿資金、或是從創立當天目標市場就不在台灣，台灣團隊就是一個研發中心，那還是一個正常合理的配置，是可以認真考慮的。</p><h3>五、流量為王</h3><blockquote>找工作時，有一個好公司的判斷標準是，薪資上限是自己能力的問題，不是公司預算問題。</blockquote><p>接下來談談，什麼樣的技能在軟體產業是價值的黃金標準？無論你是在哪個位置：開發、Data、AI、或是site reliability，「流量」都是一個工程師升級的關鍵。</p><p>早期的我逛linkedin時，很多焦點都放在工具上，像是Python、Github、Postgres或是pytorch等，但我後來慢慢體悟到，隨著越來越資深，篩選履歷的標準已經不是你會什麼技能，而是你有什麼經驗，最常看到的JD關鍵字大約就是Scalability跟Production Environment。說白了就是有處理「十萬人在線產品」的經驗。</p><p>這個技能之所以稀有珍貴，正是因為他在學校學不來，一方面網路上極少資源可以學習，另一方面也沒有實戰環境給你練習，就算真的要搞出一個練習的環境，成千上百台的VM、分佈全球的CDN、多核心的運行系統、多GPU之間的資料交換，都不是學生可以輕易負擔的成本。</p><p>另一方面，這也是一個天然的職業階梯，現在同時間十萬、接下來可以是五十萬或是一百萬。而同時，你會發現隨著流量的攀升，你解決的問題依舊有趣，且你的經驗將越來越稀缺，更重要的是，企業的收入也會越來越可觀，軟體技術創造的價值就會在更大的基數上疊加。這時，工程師薪資的障礙主要會來自於自己創造的價值，而不是公司的預算。而這樣的公司，才是能真正讓你的經驗價值可以累積的公司。</p><p><strong>或許這些我也沒經歷過，但對我來說，歷歷在目的是。在五年工作經驗高度自信的我，在面對到「流量」的面試問題時，不知如何回答的窘迫。</strong></p><h3>總結</h3><p>總體來說，重點只有一個，就是「流量」。軟體工程師升級的關鍵就是「流量」。一但有了「大流量」的經驗，無論你是在哪個子領域的軟體工程師，都會是相對稀缺的，而這門課，我學了六年才學會。</p><p>這樣的認識，不僅是我個人的感受，因為長期待在0到1的環境，我身邊也充斥了多數相同體悟的同事，有在新加坡的有在台灣的，無不面臨著相同的挑戰，目前努力掙扎轉型，找尋自己的下一個出路，我們都還在路上。</p><p>希望這篇文章，讓還你們看清軟體技能的本質，避開這條崎嶇的道路。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e846ed1137b7" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[新加坡工作一年的心得]]></title>
            <link>https://jeremy455576.medium.com/%E6%96%B0%E5%8A%A0%E5%9D%A1%E5%B7%A5%E4%BD%9C%E4%B8%80%E5%B9%B4%E7%9A%84%E5%BF%83%E5%BE%97-017a8b9647f1?source=rss-dfb3ea056e82------2</link>
            <guid isPermaLink="false">https://medium.com/p/017a8b9647f1</guid>
            <dc:creator><![CDATA[GoatWang]]></dc:creator>
            <pubDate>Wed, 11 Dec 2024 13:43:03 GMT</pubDate>
            <atom:updated>2024-12-11T13:43:03.721Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AeGbrSPYDFtqQCD7RAiaYw.jpeg" /></figure><p>來到新加坡也滿一年了，過去一年生活滿多波折，過程中每個決定有太多妥協，比起過往在台灣工作或去英國讀書這些昂首闊步、不悔當初的每一步，我更願意將這一年的一次次決定藏到看不見的角落，不過幸運的是，這一年終究是在沈潛與累積中過完了。</p><p>不得不說，新加坡真的是一個讓人心無旁鶩的地方，比起出門花錢找樂子，我更願意專注在學習與專案上面。也可能是消費習慣還沒適應，一出門就要大把大把花錢找樂子還是很彆扭，比起台灣的山海環繞，新加坡彷彿是個陽光空氣水都要錢的地方。當然，新加坡生活可以活得很省也可以吃得飽，肉挫麵、雜菜飯也就4塊新幣，但就是沒什麼樂子、沒什麼驚喜、到處都是連鎖店的地方。</p><p>這一年的過程很壓抑，但是回頭看收穫也不少。為了實作一個軟硬體整合的side project，這一年我汲取了這些技能：</p><ol><li>一到四月我開始學機構設計、3D繪圖，過了這四個月，我已經可以設計出POC用的夾具，模擬他們的受力狀況，並且透過3D列印、搭配各種採購的金屬零件、以及馬達，成功操作到夾起半圓球狀的物體。</li><li>五到八月我開始學習如何構建一台三軸移動的機器，從找尋供應商、接電、到最後的組裝，其中也包含設計連接件與固定件，併請CNC代工廠幫我加工零件，目前也已經大致成形。目前就差配電箱的組裝跟接線、跟上電軟體控制了。</li><li>從九月到現在，我開始回歸本業到軟體設計的部分，我開始學習C++的各種語法、型態、以及這個專案會用到的library像是OpenMP、PCL以及ROS。這些東西要全部學習到位，在過去可能要花上一兩年時間，拜ChatGPT所賜，我花了三個月時間就可以清楚地了解每個工具的操作與限制，並在專案中實作出來。</li></ol><p>最後談談心得…</p><ol><li>以今年來看，硬體上的碰壁比預期的少，軟體上反而比預期花更多的時間，不過整個side project的進度有達標，明年大概還會有大量測試跟撞壁，期望可以在明年底可以有一個初步成果。</li><li>其實過去我就一直想要往硬體方向發展，比起軟體主要靠流量與用戶大好大壞的商業模式，我個人更偏好軟硬體整合、且有一定技術壁壘的tech stack，市場不必很大，可以有穩定的被動收入就可以。當然軟體也是有很多可以累積技術壁累的地方，作業系統、編譯器、資料庫設計跟晶片韌體等等，不過我個人沒看到合適的著力點。</li><li>作為一個軟體工程師，讓我最意外的是OpenMP，這個二十年前就有的library，語法至今幾乎沒有變動，且添加一行程式碼，就可以讓for迴圈平行化多線程，說實話作為一個軟體工程師，我才看到這個工具，我有一點驚訝、也有一點慚愧。</li><li>關於ROS與PCL，早在五年前我就幫台北市政府設計了路面破損檢測系統，也有一些3D點雲與建模的研發工作，當時我很清楚的意識到在real-time應用上Python各方面的局限性，在這五年中也一直想要把技能樹向C++的方向發展，但是一直找不到適合的專案，也沒有耐心把一整本C++語法書啃完，每次的學習大概都維持了幾個月，但因為沒有實際應用，這個語言大多停留在教科書裡的印象，今年可以完全上手C++，並透過平行化加速3D計算工作，真的是很值得慶祝的成就。</li></ol><p>現在的生活算是工作跟生活很平衡的節奏，雖然我所謂的生活還是學習與開發，不過終究有一部分可以自己操控的時間，除了新加坡沒有太多娛樂之外，還是令人滿意的。在今年下半年開始，我開始試著慢跑，每週三天左右，每次三到五公里，一方面這是在寸土寸金的新加坡唯一沒有成本的運動，另一方面也節省交通的時間成本，一下班就去marina bay跑步看風景，比起打羽球要兩三個小時，跑步一小時內結束似乎更有效率也更有助於專注。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=017a8b9647f1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[2023年轉職資料科學家不再吃香]]></title>
            <link>https://jeremy455576.medium.com/2023%E5%B9%B4%E8%BD%89%E8%81%B7%E8%B3%87%E6%96%99%E7%A7%91%E5%AD%B8%E5%AE%B6%E4%B8%8D%E5%86%8D%E5%90%83%E9%A6%99-4f3a37101c0d?source=rss-dfb3ea056e82------2</link>
            <guid isPermaLink="false">https://medium.com/p/4f3a37101c0d</guid>
            <dc:creator><![CDATA[GoatWang]]></dc:creator>
            <pubDate>Tue, 23 Apr 2024 10:12:01 GMT</pubDate>
            <atom:updated>2024-12-11T13:38:01.822Z</atom:updated>
            <content:encoded><![CDATA[<h3>2024年轉職資料科學家不再吃香</h3><p>2017年我花了一年半時間踏入這個領域，比起會計財稅領域的穩定氛圍，AI技能的技術迭速度與創新環境代讓個人的光環得以顯現，也讓我在2018年開始成為全職資料科學家，並在未來的三年如魚得水，也寫下「<a href="https://jeremy455576.medium.com/%E9%9D%9E%E6%9C%AC%E7%A7%91%E7%B3%BB%E8%BD%89%E8%81%B7%E8%BB%9F%E9%AB%94%E5%B7%A5%E7%A8%8B%E5%B8%AB%E6%8C%87%E5%8D%97-9c7783190178">非本科系轉職軟體工程師指南</a>」，當時這篇文章在相關關鍵字排行上面可以排到廣告以外前一或二。</p><p>不過，也在我安穩的這幾年度過後，我發現自己在工作期間累積的經驗，其實對未來換工作沒有任何幫助，一方面因為這個領域的迭代速度太快，另一方面也因為大型模型逐步取代小型建模需求，這篇文章會詳細說明，我作為資料科學家這幾年遇到的瓶頸，以及如果從新來過我會怎麼選擇。</p><h3>背景</h3><p>我從2018年開始做AI工程師，陸續做過地理、水利、衛星、公路、工業等需求的建模，當時對自己還是滿有自信的，覺得自己有能力理解不同領域的需求，並把它們轉化成為專案需求，最終透過深度學習模型實踐出來，除了工程能力、溝通能力也讓我在台灣的工作環境無往不利。</p><p>不過也是到了第一份工作的第三年，我開始覺得似乎要讓薪資再往上爬可以突破天花板，要把一些比較基礎的資訊科學的知識學起來，否則很多底層概念都是黑盒子，當時最順擾我的問題大約是：「為什麼C/C++可以比Python有效率那麼多？」，當時也沒有chatGPT可以讓我問，這個問題我周圍始終沒有人可以說明清楚。同時，在台灣硬體發展為主的環境中，無論是要搞晶片或是嵌入式系統，C/C++的職缺薪資看起來都是滿吸引人的。到了2022年，我跟老婆最終決定開始申請看看英國的大學，當時我的想法也很簡單，就是把C/C++學起來，找找看相關的機會，看有沒有可能可以突破天花板。</p><p>畢業後，我也確實找到了問題的答案，學到了我想學的技能，但找工作仍不如想像中順利。一方面實際上，國外對於C/C++能力要求並不如台灣這樣吃重，真的要往高新發展有他們的路徑，像是做金融交易或是勤練演算法進大廠。另一方面，不景氣的環境從2022年第一直延伸到2024年中，在2023年9月畢業時仍是非常困難的裁員時刻。</p><p>我在英國、新加坡、台灣投了幾百封履歷，有真正收到回信的可說是屈指可數，進去面試階段的更是不到五間，一直到2024年3月後我的linkedin才開始陸續收到比較多主動邀約的獵頭訊息。也因為在這種時刻找工作，特別容易開始檢討自己的能力與履歷，去查看市場動態與需求，也有了寫這篇文章的想法，希望可以從新檢討自己的技能樹累積。</p><h3>資料科學家的價值</h3><p>過去資料科學家很大的價值其實來自於建模，針對不同的資料型態建構不同的模型，像是《李飛飛的世界之旅》寫到的，到了2015年他們實驗室嘗試招募研究生，客製化模型去判斷醫院中護士的洗手動作是否確實。當時AI世界的開源交換平台還沒出現，運算硬體取得難度也相對較大，所以作為資料開學家，有很大一部分工作是要設計整個工作流程，從資料的取得、模型建構一直到部署，每一階段都有可觀的工作量。</p><p>這樣的趨勢到了2020年以後有了明顯的改變，網路上開始有人分享資料集，Github也開始有程式碼跟權重檔分享，90%以上的任務可能都有開源的解決方案，資料科學家的價值更像是顧問，根據經驗選擇哪些工具更好用，並把所有工具的輸入與輸出串起來，到這個階段，建模的價值已經剩下不多，以物件辨識來說，一個工作三年經驗的工程師，跟一個剛畢業的學生，做出來的專案品質可能其實差不多。不過不用建模，仍有訓練模型的價值，像是怎麼設定參數，怎麼建構訓練環境，以及如何部署，這些工作仍是需要一些經驗。</p><p>一直到了2022年，大型語言模型與多模態模型出來，很多都已經具備通用能力，也很多模型也已經可以跟自然語言互動，不管是自然語言本身的溝通，或是自然語言跟電腦視覺的互動，也都有一定水準，目前也正在持續發展這樣的能力，發戰到這個程度，大多資料科學家的價值已經盪然無存，再加上Hugging Face以及各種雲端AI環境一出來，所有過去資料科學家學習到的經驗已經沒有太多價值，資料集、權重與程式碼一行指令可以全部下載，環境有建構好的Docker或雲端資源。</p><p>當然，也不能說所有的資料科學家都沒有價值，準確的說有價值的資料科學家已經非常稀少，也就是資料科學家間的貧富差距已經變得非常巨大。若要持續做一個有價值的資料科學家，你必須保證自己走在AI產業的最前沿，無論是世界級的研究室研究人員或是在巨頭企業的研究人員，方能確定你所創造出來的模型會有人使用，並創造商業價值。同時，個人或小型企業，已經不再具備足夠的算力或資料去創造一個有價值的模型。</p><h3>終身學習的重量</h3><p>其實自己會踏入這個領域，有很大一部分原因也是因為這個領域的創新氛圍，因為進步跟迭代的速度很快，讓自己可以逃離依靠經驗與知識壟斷的產業，即便沒有經驗跟年資只要可以持續學習跟上最新的潮流與工具，也可以找到一個自己的位置。一直到2023年我從英國讀書完開始找工作，才慢慢意識到這樣的迭代速度其實也是一個很大的壓力，得意地以為自己搭上了火車，實際上這個領域的前沿正以在高鐵的速度推進。</p><p>這個感受非常明顯大約就是從chatGPT出來之後，因為過往的經驗大多是做電腦視覺，主要的技術積累大多在卷積神經網路上面，自從Google發出《attention is what you need》之後，這個領域有了顛覆性的改變，模型幾乎已經不會因為模型的權重的增加而遇到瓶頸，唯一的限制只剩下資料，同時也統一了電腦視覺與自然語言的模型架構，讓模型得以透過人類語言來理解圖像，簡單來說就是不用再做分類模型或是分割模型，可以用自然語言的方式讓模型我們完成這些任務（搭配一些簡單的小技巧，如SAM），不過這樣的發展使得過去的所有技術累積在一夕之間灰飛煙滅，什麼CNN, LeNet, ResNet, DenseNet大都成為歷史詞彙。</p><p>人人都說要終身學習，才不會被淘汰。但在這個高速迭代的產業中，我清楚地意識到，有意識的終身學習是不夠的，必須要讓自己的工作本身就是學習，否則投入再多的下班時間去研讀論文參加會議，將會讓自己的人生只剩下工作，同時也因為屬於業餘的追趕，沒有太多資源可以實驗跟累積經驗，一輩子有可能就在畏懼落後並命追趕的職業生涯中度過。</p><p>我也曾經要嘗試加入這場Transformer派對，讓自己的工作就是在學習，我的碩士論文便是透過自然語言去做影片的分類，也是多模態模型的一種，當時研究也一度成為SOTA，只可惜在發表前一個月，我的分數就已經被新發表的論文超越。沒有發表經驗基本上也就沒有派對的入場券，成為研究員的算盤也就破了。</p><p>這些經驗，讓我看到大家都在談Prompt Engineering跟RAG，甚至說不用會寫code就能變成領高薪，我都會覺得要很小心，因為實際上你如果只想當打工仔，可能過幾個月你的技能就已經不再有價值，當然如果你是創業仔，可以乘風兒起、大賺一筆、出場獲利，那也是一可能可行條路。</p><h3>新的方向</h3><p>我覺得在這個時代，技能樹已經不是純粹看興趣、科系或是市場需求就好，更多時候要如果經營公司或買賣，去注意（就業）市場的各個動向，以下幾個方面我覺得是可以多多考慮的：</p><ol><li>護城河：這個面向的思考會是，我做了幾年後，不是在這個產業的其他工程師，是不是也有機會學會這個技術。像是電商大數據、MLOps的經驗，一般在公司規模不夠大的地方是沒有辦法學息到這些技能的。</li><li>產業本身賺錢的基礎：如果公司或產業本身就賺的很多，那自然付薪資的壓力就會小很多，也會比較闊。像是座自動化交易的公司，因為本身行業可以資金流的基礎很大，你可以宣稱省了多少成本或是增加多少獲利的機會跟規模也會大大增加。</li></ol><p>總體來說，如果持續朝打工仔的方向前進，我會逐步將自己的技能往大數據跟MLOps的方向發展，一方面建模的需求已經持續萎縮，可能再過幾年就真的完全找不到工作了，而這些需求也逐步往更工程的方向發展，白話來說就是市場目前更欠缺讓模型穩定運作的人，而不是搭建模型的人。另一方面，這個領域的護城河也會比較高一點，比起建模這種資策會可以宣稱一年培養5000人的工程師，真正有機會碰到大流量的企業基數一定小得多。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4f3a37101c0d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Pinhole Camera Model理論與實務]]></title>
            <link>https://jeremy455576.medium.com/pinhole-camera-model%E7%90%86%E8%AB%96%E8%88%87%E5%AF%A6%E5%8B%99-7c331ed79fdb?source=rss-dfb3ea056e82------2</link>
            <guid isPermaLink="false">https://medium.com/p/7c331ed79fdb</guid>
            <category><![CDATA[photogrammetry]]></category>
            <category><![CDATA[攝影測量]]></category>
            <category><![CDATA[相機校正]]></category>
            <category><![CDATA[calibration]]></category>
            <category><![CDATA[opencv]]></category>
            <dc:creator><![CDATA[GoatWang]]></dc:creator>
            <pubDate>Mon, 02 May 2022 03:49:55 GMT</pubDate>
            <atom:updated>2023-07-04T09:10:29.031Z</atom:updated>
            <content:encoded><![CDATA[<h3>前言</h3><p>去年開始接觸攝影測量，發現攝影機可以進行精準的三維量測與建模覺得驚為天人，雖然網路上對於理論講解的文章非常多，但把理論應用於實務問題的文章卻屈指可數，偏偏這個領域理論與實務可以說是天讓之別，主要是因為攝影測量精準程度極高，每一像素可以測量的精準程度可以到μm等級，因此需要透過非常多複雜的校正算法來彌補理論與實務的落差，同時理論在實踐時亦牽涉到硬體規格的選擇、參數之對照甚至是校正取像的技巧。</p><p>整體而言，在專家指導下自己也花了至少一年的時間才能比較全面地理解攝影測量的基礎概念，若各位自行嘗試不但須耗費時間，更需資金測試不同的相機、鏡頭甚至是支架。因此非常希望把這個過程有系統的記錄下與各位分享，幫助降低攝影測量之進入門檻。</p><h3>本文架構</h3><p>本篇文章會先說明Pinhole Camera Model的目的與意義，接著會定義Model中所需要的參數(畸變參數、內方位參數與外方位參數)，並說明時物應用中所需的硬體設置(感光元件與鏡頭)，然後說明Model本身的計算流程(<strong>世界</strong>座標系統、<strong>相機</strong>座標系統與<strong>相片</strong>座標系統)，最後提供Model的Python+OpenCV範例程式。本篇文章雖會提及畸變參數、內方位參數與外方位參數的取得，但僅會說明其邏輯與實作，並不會涉及細部的校正演算法，同時亦不會提及雙目或多目相機的三維量測與建模，但必須說明的是，Pinhole Camera Model絕對是進入攝影測量領域最重要的先備知識。</p><h3>Pinhole Camera Model的目的與意義</h3><p>目的上來說，Pinhole Camera Model主要提供了相片中每一像素與像素中物件真實位置的轉換關係，這樣的轉換可以被廣泛應用在各個相關聯的領域，例如「測量」與「建模」、甚至更應用面的詞彙像是「元宇宙」、「虛擬實境」與「自駕車」，從產品面來說，最廣泛應用的大約是intel出的realsense以及stereo lab推出的zed，兩個產品在硬體層面、匹配算法與適用情境上略有差異，但是在算法層面都需要基於這個理論進行研發，所以Pinhole Camera Model也算是一個電腦視覺3D應用中，最基礎也最重要的演算法了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*yzNJ3-KZhgX5rdV2tXZXqw.png" /><figcaption>Pinhole Camera Model (from: <a href="https://docs.opencv.org/3.4.15/d9/d0c/group__calib3d.html">https://docs.opencv.org/3.4.15/d9/d0c/group__calib3d.html</a>)</figcaption></figure><p>如上圖所示，Pinhole Camera Model主要解釋了2D相片座標系統與3D世界座標系統的轉換關係，2D與3D的轉換上可以分為兩個方向的轉換(2D=&gt;3D及3D=&gt;2D)。由於3D空間的點(XYZ)富含的資訊量比較2D(XY)相片大，若要把2D相片上的點投影至3D空間中，需要兩張以上不一樣角度拍攝的相片，才能把2D相片中的點投影至3D空間中，並定位其在3D空間中的位置。若要從3D空間中的點投影至2D相片上，由於是一個降低維度的運作，一張相片即可完成。因此，為了方便理解，Pinhole Camera Model一般是將已知的3D空間座標點投影到相片上，並計算其在相片上的像素位置。</p><p>當然，隨著時代的進步，感光元件與鏡頭的種類也越來越多元，並不是所有相機都可以直接透過Pinhole Camera Model進行解構，例如魚眼鏡頭，其觀測的角度很多時候已經超過180度，可以想像成人的眼睛可以看到後腦杓的物件，Pinhole Camera Model卻只能處理180度以內的投影，因此並無法直接適用於這類相機，這時可能就必須尋找其他Camera Model來解決問題，如Fisheye Camera Model。也有一些類型的相機是需要經過<strong>特殊校正方法</strong>處理後才能套用Pinhole Camera Model，例如rolling shuttle的相機，因為這種相機是一行(row)一行進行取像地，若是在行進中取像，可能會導致同一張影像中的每行(row)會有平移的現象，這種就需要透過特殊的校正方式處理後，方能使用Pinhole Camera Model。</p><p>不過總體而言，除非有特殊需求，Pinhole Camera Model仍是2D相片與3D空間轉換上最基礎也最常用的模型。</p><h3>參數設定與解釋</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*yzNJ3-KZhgX5rdV2tXZXqw.png" /><figcaption>Pinhole Camera Model (from: <a href="https://docs.opencv.org/3.4.15/d9/d0c/group__calib3d.html">https://docs.opencv.org/3.4.15/d9/d0c/group__calib3d.html</a>)</figcaption></figure><p>以下簡要說明Pinhole Camera Model所需的已知參數，如上圖所示，距離相機(O點)較遠的紅色P點(下面成為Pw)代表的是世界座標系統的物點，位於相片上的紅色P點(下面成為Pi)則代表Pw點被投影到相片上時，在相片座標系統上的像素座標點。其中，O代表相機中心(實質上是透鏡中心)，F代表相片中心，F與O的距離稱為焦距(Focal Length)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BOJoxLmOtOktdoFUU-jpbw.png" /><figcaption>Pinhole Camera Model</figcaption></figure><p>上式即是Pinhole Camera Model，可以用來計算3D物點投影到相片上的像素點，要完成這樣的投影轉換主要需取得畸變參數(Distortion Coefficients，沒有出現上面的圖片或式子中)、內方位參數(Intrinsic Parameters)、外方位參數(Extrinsic Parameters)與物點的世界空間座標(World Coordinate)，以下逐一介紹:</p><h4>一、畸變參數</h4><p>主要用來表示弧面相機鏡頭所導致相片邊緣的像素扭曲的情況，主要有下圖中兩種類型的畸變。上面的圖片或式子中沒有顯示相關的參數，主要是因為他們假設畸變已經被校正，但是這仍然是不能被忽略的步驟，不過簡單的畸變校正可以用<a href="https://docs.opencv.org/master/dc/dbb/tutorial_py_calibration.html">OpenCV</a>來完成，本文最後一位提供Python與OpenCV的程式碼，校正算法跟參數結構這裡就不說明了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0Mye9bnzoesqhDinH51x_w.png" /><figcaption>Distortion Types</figcaption></figure><h4>二、內方位參數</h4><p>內方位參數就是相機本身的既定參數，一旦選好相機(感光元件與鏡頭)後，這些參數也就決定好了，並有以下參數:</p><ol><li>f: 焦距(Focal Length)，亦即相機中心到感光元件(CCD)之間的距離，<strong>在硬體頁面顯示上一般是以mm為單位，但在openCV的設定中是以像素為單位，在後面應用中需注意單位轉換，此外因為感光元件XY軸的像素大小(Pixel Size)，也就是每一像素暫實際空間的大小未必相同，因此若f換算為像素單位，XY軸的值也可能不同。</strong></li><li>px, py: Pixel Size，width of CCD size / columns, height of CCD size / rows，也就是感光元件上每一像素在實際空間中的大小。</li><li>n_rows, n_col: 相片的像素解析度 e.g. 1920 x 1080的相片n_rows是1080且n_cols是1920。</li></ol><p>需別提醒的是，<strong>要拿來做測量的相機務必是定焦相機</strong>，焦距的變動亦會影響到其他參數如<strong>畸變參數</strong>與<strong>內方位參數</strong>，如此便無法進行量測。因此，在開始相關專案時必須確保使用的相機是定焦的鏡頭，並可以查得相機所使用的感光元件大小與像素大小。以Lucid工業相機為例，這邊隨機挑選了一台<a href="https://thinklucid.com/product/triton-5-mp-imx264/">五百萬畫素的相機</a>與<a href="https://thinklucid.com/product/edmund-optics-c-mount-1-2-4-mm-f-1-8/">4mm焦距的鏡頭</a>。相機的規格如下圖，Sensor Size代表的是整個感光元件的大小，有些地方會用CCD Size表示，11.1mm代表的是感光元件對角線的長度。Pixel Size代表每一個像素的實際大小。一般來說，Sensor Size的長與寬除以像素的數量約會等於Pixel Size。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/906/1*u1E3JCQB8F1mrQq3LrMIwQ.png" /></figure><p>鏡頭的規格如下，Focal Length代表感光元件到透鏡中心的垂直距離。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/1*1D0oHGPQWYG51-vpHhHGiA.png" /></figure><p>從下圖可以得知，透鏡、感光元件與焦距的相對關係。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/515/1*W1Wm0l--W56Mn1T07nKHjQ.gif" /><figcaption>Relation of focal_length, ccd_size and lens (from: <a href="http://www.wescomponents.com/datasheets/dvr/CCD_Focal_Length_Calculator.htm">http://www.wescomponents.com/datasheets/dvr/CCD_Focal_Length_Calculator.htm</a>)</figcaption></figure><p>需特別提醒的是，因為物件經過透鏡在感光元件上成像時會有上下左右顛倒的現象，為了方便計算，以下會假定感光元件介於透鏡與物件之間，如下圖Image plane位置所示。如此一來，便可以如同本文第一張圖片所示(順序: 透鏡中心=&gt;感光元件=&gt;物件)進行計算了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/317/1*whqhTMruqWza79vFJhbBQg.png" /></figure><h4>三、外方位參數</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BOJoxLmOtOktdoFUU-jpbw.png" /><figcaption>Pinhole Camera Model</figcaption></figure><p>世界空間座標系統與相機座標系統的起始座標位移量(offset)與XYZ軸角度差，一般來說習慣用公式換算出一個3x4的矩陣來表達，也就是上式中的外部參數矩陣，如果是使用OpenCV進行校正，OpenCV會直接提供這個個3x4的矩陣，也就可以直接應用在上式中，但是如果要整合其他硬體資料則需要了解一下，這個矩陣的組成與意義，主要需要了解「位移量」與「角度差」兩個概念，通常做以下表示:</p><ol><li>ω, φ, κ or roll, yaw, pitch: 旋轉座標系統，相機xyz軸相對於世界空間座標的旋轉角。可以透過公式轉換為3x3的旋轉矩陣，此參數可以透過。</li><li>t1, t2, t3: Translation。在相機座標系統中，相機中心所在位置與世界座標系統的原點的位移(Offset)。</li></ol><p>在旋轉角度差的表達上，主流有兩種不同的座標轉換系統，omega, phi, kappa系統以及roll, yaw, pitch系統，兩種系統只是表示方式的不同並可以互相轉換，已經有很多文章介紹兩者的定義與差異，這邊就不贅述了。</p><p>比較重要的是需要知道如何透過XYZ軸角度差，計算出轉換兩座標系統(世界and相機)的<strong>旋轉矩陣</strong>以方便Pinhole Camera Model的應用。以omega, phi, kappa系統為例，下面是將其轉換為旋轉矩陣的公式，其中omega, phi, kappa分別是XYZ軸的角度差，經過下面公式轉換後可以得到相應的旋轉矩陣，有線性代數座標系統轉換的基礎便很好理解其中意義，不過在這邊沒有相關基礎亦可以直接操作。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/855/1*gwFiQF29fdlFdyNJrkGqAg.png" /></figure><p>另外一個疑惑會是，如何取得omega, phi, kappa參數。實務上來說，若要真正得知跟<strong>相機</strong>跟<strong>世界</strong>座標系統的轉換非常困難，就算使用校正方法計算出來，相機一旦移動便要重新校正，若要在移動仍要維持轉換矩陣可以運作，就必續配備非常高規格的GPS與IMU(慣性導航儀)，或是透過其他軟體方法計算不同時間點相片的位移量(e.g. SLAM)，但這些設備或算法的取得、設定與使用都很仰賴知識與經驗，建議小心入坑。</p><p>實際應用中，如果並不在意物件在世界座標系統中的位置，只需要取得同一物件的3D資訊，那麼透過兩台相機相對位置的校正便可達成目的，因此，<strong>旋轉矩陣</strong>在Pinhole Camera Model中雖然是世界空間座標系統與相機座標系統的轉換矩陣，但在實務應用上，常常應用在兩感測器(e.g. 兩台相機)座標系統的轉換。以兩台相機為例，<strong>旋轉矩陣</strong>便可以透過OpenCV與<a href="https://markhedleyjones.com/projects/calibration-checkerboard-collection">校正板</a>事先校正得知，後面會提供程式碼。</p><h4>四、物點在世界空間座標的位置</h4><p>在使用情境下，物點一般是需要透過測量而得知的座標點，僅有在校正畸變參數、內方位參數或外方位參數時，可以事先取得<a href="https://markhedleyjones.com/projects/calibration-checkerboard-collection">校正板</a>上面已經定義好的座標點位置。不過如果前面目的段落的敘述，為了讓我們快速了解Pinhole Camera Model，先從3D物點投影至2D相片所需要的資訊量較少，硬體設置也較簡單，就先假設3D物點在世界空間座標的位置是已知的。</p><h3>Pinhole Camera Model計算流程</h3><p>接下來要介紹本篇文章的主題Pinhole Camera Model本身。上面已經說明，Pinhole Camera Model一般是將已知的3D空間座標點投影到相片上，並計算其在相片上的像素位置。明確來說，就是在已知上面參數的情況下，計算物點P(Xw, Yw, Zw)投影在相片上的像素點索引值(u, v)。在這段轉換的過程中需經過，三個不同的座標系統:</p><ol><li><em>世界空間座標</em>: 就是下圖中的World Coordinate System，世界空間座標可以是相對的亦可以是絕對的，相對的世界空間座標可以計算物點在某一特定坐標系(另一相機的坐標系、Lidar的坐標系或是IMU的坐標系)的位置與旋轉角；絕對的世界空間座標即是指經緯度座標或是其他二度分帶投影座標(如台灣使用的TWD97座標)。</li><li><em>相機空間座標: </em>就是下圖中的Camera Coordinate System，是以mm為單位、以相機的中心點(O點)為原點，以感光元件(藍色畫布)的x軸(綠色x軸)為X軸，以感光元件的y軸(綠色y軸)為Y軸，並以相機中心到感光元件垂直線(OF線段)為Z軸。</li><li><em>相片平面座標: </em>就是下圖Imaeg Coordinate System，也就是感光元件所在的位置，因為相片是一個2D平面，僅有X軸與Y軸，其以像素為單位，相片由左到右為X軸、由上到下為Y軸。這裡須注意，這裡的XY軸比較像是OpenCV的設定，OpenCV的第一的維度是橫向的Column、第二個維度是直向的Row，Numpy的第一的維度是直向的Row、第二個維度是橫向的Column。<br>整體來說，<em>相片平面座標</em>與<em>相機空間座標</em>有三個最重要的差異。一、維度: <em>相機空間座標</em>是三個維度的空間座標；<em>相片平面座標</em>是二個維度的平面座標。二、起始點: <em>相機空間座標</em>的XY軸原點在相片的正中心；<em>相片平面座標</em>的XY軸原點在相片的左上角。三、單位: <em>相機空間座標</em>的單位是mm；<em>相片平面座標</em>的單位是像素。</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*yzNJ3-KZhgX5rdV2tXZXqw.png" /><figcaption>Pinhole Camera Model (from: <a href="https://docs.opencv.org/3.4.15/d9/d0c/group__calib3d.html">https://docs.opencv.org/3.4.15/d9/d0c/group__calib3d.html</a>)</figcaption></figure><p>整個Pinhole Camera Mode需經過以下三個流程:</p><ol><li>把P點<em>世界空間座標</em>(Xw, Yw, Zw)轉換成<em>相機空間座標</em>(Xc, Yc, Zc)。</li><li>把物點P(最左上的紅色箭頭P點)投影至透過相似三角形計算的轉換投影至相片上(相片上的紅色箭頭P點)，並將單位從mm轉換為像素。</li><li>把<em>相機空間座標</em>中P點的座標(uc, vc, f)轉換為<em>相片座標</em>(u, v)</li></ol><h4>一、把P點世界空間座標(Xw, Yw, Zw)轉換成相片空間座標(Xc, Yc, Zc)</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NgGS7rV368EZLfRnZZ-mZQ.png" /></figure><p>從上式來看，紅色框框內的計算就是將世界空間座標(Xw, Yw, Zw)轉換成相機空間座標(Xc, Yc, Zc)，詳細的來說，又分為旋轉角的轉換(R)與位移(T)，R是一個3x3的矩陣，實際意義則記錄了XYZ軸旋轉的角度，T的部分則是在相機空見座標系統中，相機空間座標中心與世界空間座標中心的位移量，所以將物點透過R轉換到相機空間後，再加上T位移，便可得到誤點在相機座標系統的位置，也就是下式中的(Xc, Yc, Zc)。</p><p>還是在強調一次，這部份如果無法理解，可以去研究線性代數的Change of Basis，不過如果沒有相關基礎，這部分會需要一段時間去理解，此處可以先以應用為主。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/598/1*UjqYmoqV3DQzDVGzSLA-0g.png" /></figure><h4>二、把物點P(最左上的紅色箭頭P點)投影至透過相似三角形計算的轉換投影至相片上(相片上的紅色箭頭P點)，並將單位從mm轉換為像素</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*yzNJ3-KZhgX5rdV2tXZXqw.png" /><figcaption>Pinhole Camera Model (from: <a href="https://docs.opencv.org/3.4.15/d9/d0c/group__calib3d.html">https://docs.opencv.org/3.4.15/d9/d0c/group__calib3d.html</a>)</figcaption></figure><p>上圖中紫色的線段可以組成兩個三角形，並互為相似三角形。由於上一步驟的計算，已知P點在<em>相機空間座標</em>為(Xc, Yc, Zc)，透過相似三角形的計算可以得知其在<em>相機空間座標</em>中P點投影至相片上的位置(uc, vc, f)，此處的Z軸必定是焦距(focal length，上圖中的F)，因為是在<em>相機空間座標</em>中，所以uc與vc中的c是Camera的縮寫。</p><p>我們把相似三角形投影在XZ平面上的相似三角形解剖來看可以得到下圖，P點在<em>相機空間座標</em>中X軸座標為Xc、Y軸座標為Yc，其投影在相片上的Z軸座標為f，那麼X軸座標就會等於(fx/Zc)*Xc。如果套用在YZ平面上面即可以得到，Y軸座標等於(fy/Zc)*Yc。下面最右下式將其改寫為矩陣相乘的形式，不過得到的結果會是一致的。</p><p><strong>這邊須注意，在openCV的設定中，fx, fy的單位是像素，所以uc跟vc的單位已經被轉換為像素(而不是mm)。</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/701/1*F_uUn-3iIqToLVBwjztktw.png" /></figure><h4>三、把<em>相機空間座標</em>中P點的座標(uc, vc, f)轉換為<em>相片座標</em>(u, v)</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/492/1*5HWan6KvNgtn2pjUOrzXcA.png" /></figure><p>前面有提到，<em>相片平面座標</em>與<em>相機空間座標</em>有三個最重要的差異: <strong>維度</strong>、<strong>起始點</strong>與<strong>單位。</strong>維度部份把Z軸的值拿掉即可，單位部分在上一步驟已經轉換完成，因此在這個階段，只需要把起始點從相片的正中心移動到相片的左上角，也就是加上相片正中心的像素值(cx, cy)即可完成。舉例而言，假設相片長寬是128*128，uc, vc = (0, 0)，那麼u, v = (64, 64)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/466/1*gGU-O76Ryrb9PD8VH29DDA.png" /></figure><p>最後我們再回過頭來看原式，等號的左手邊u, v旁邊還乘一個s，等號右手邊乘開來X軸會等於fx*Xc+0+cx*Zc、Y軸會等於0+fy*Yc+cy*Zc、Z軸會等於Zc，但左手邊我們需取得的Z軸是1，所以將XYZ軸全部除以Zc，便可成功建立等號。</p><h3>相機的內外方位校正程式</h3><p>可以參考我的<a href="https://github.com/GoatWang/CamCalibration">Github Repo CamCalibration</a>，裡面有提供測試用的圖片，clone下來就可以直接跑，主要是透過校正板與OpenCV，計算出相機的畸變參數、內方位參數與外方位參數，並將每一張相片所在的位置與旋轉角畫出來。</p><pre># git clone <a href="https://github.com/GoatWang/CamCalibration">https://github.com/GoatWang/CamCalibration</a><br># change directory to <a href="https://github.com/GoatWang/CamCalibration">CamCalibration</a><br># pip install -r requirements.txt</pre><pre># 取得畸變參數、內方位參數與外方位參數<br>&gt; python intrinsic.py<br>...<br>...<br>fx, fy 5.971613716038594 5.947925373788673<br>w_mv, h_mv -0.18810492107689925 1.2861034491316445<br>calibrated<br>fx, fy 5.780574817681404 5.757644293170961<br>w_mv, h_mv -0.5 -0.5</pre><pre># 劃出每一張相片所在的位置<br>&gt; python intrinsic_eval.py</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/496/1*aEQvzvtBTyuJ-AQ-wDgbmg.png" /></figure><p>之後我們便可以得到上面這一張圖，圖中最上面那個很整齊的便是校正板的棋盤格點(見下圖)，下面每一個紅點就是一張相片拍攝時相機所在的位置，位在相機前面一點點的平面是為了表示相機的旋轉角，並不是感光元件實際所在的位置，因為感光元件實際所在的位置會太靠近相機中心，幾乎就是黏再一起，這樣會無法辨識相機拍攝的旋轉角。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/790/1*67eWT5MIuWEWRobi-Yspmw.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7c331ed79fdb" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Bi-Tempered Loss — 處理錯誤標記資料的損失函數]]></title>
            <link>https://jeremy455576.medium.com/bi-tempered-loss-%E8%99%95%E7%90%86%E9%8C%AF%E8%AA%A4%E6%A8%99%E8%A8%98%E8%B3%87%E6%96%99%E7%9A%84%E6%90%8D%E5%A4%B1%E5%87%BD%E6%95%B8-7c3d561a2c6f?source=rss-dfb3ea056e82------2</link>
            <guid isPermaLink="false">https://medium.com/p/7c3d561a2c6f</guid>
            <category><![CDATA[tensorflow]]></category>
            <category><![CDATA[loss-function]]></category>
            <category><![CDATA[mislabeled-data]]></category>
            <dc:creator><![CDATA[GoatWang]]></dc:creator>
            <pubDate>Tue, 21 Sep 2021 09:17:31 GMT</pubDate>
            <atom:updated>2021-09-21T09:17:31.180Z</atom:updated>
            <content:encoded><![CDATA[<h3>Bi-Tempered Loss — 處理錯誤標記資料的損失函數</h3><p>由於最近開始接觸工廠產線瑕疵檢測專案，工廠端對於錯誤判釋的可能幾乎是零容忍，因此一直致力於處理到99%準確率以上的模型瑕疵，但是工廠的訓練資料集大多都上萬張，要把所有錯誤標記抓出來實在太痛苦，剛好又被Medium廣告打到這篇文章: <a href="https://aminey.medium.com/how-to-train-ml-models-with-mislabeled-data-cf4bb353b3d9">How To Train ML Models With Mislabeled Data</a>，於是便開始研究Bi-Tempered Loss這個神奇的損失函數。</p><p>不過…先說結論，雖然這個損失函數能夠有效對抗錯誤標記的資料，但也必須視<strong>錯誤標記的比例</strong>以及<strong>超參數調整</strong>才有機會得到比較好的效果，再加上目前google官方提供的程式碼僅有支援<a href="https://github.com/google/bi-tempered-loss">tensorflow</a>且要修改過方可使用，此外這個損失函數的實作複雜到必須自己定義Gradient的計算方式，keras幾乎無法直接使用(PyTorch有Git Repo但我沒試過)，所以個人建議還是以調整資料的Label優先，真的沒辦法再來試試看這個損失函數。</p><h3>Bi-Tempered Loss的目的</h3><p>Bi-Tempered Loss是Google在2019在<a href="https://arxiv.org/abs/1906.03361">Arxiv</a>發表的文章，最主要的目的是用來對抗錯誤標記的資料。在<a href="https://ai.googleblog.com/2019/08/bi-tempered-logistic-loss-for-training.html">Google AI Blog</a>中，錯誤標記的資料又分成兩種，一種是<strong>距離正確答案很遙遠的離群值樣本</strong>，如果用平均來計算所有樣本的損失，這種離群值將會很大程度的影響總體損失，以Mnist來說就是看起來根本不相似的數字照片被錯誤標記，像是1的照片被錯誤標記成3。另一種，則是<strong>介在答案邊界周圍但錯誤標記的樣本</strong>，這種錯誤會讓模型的判斷邊界變得模糊無法明確二值化，以Mnist來說就是看起來很相似的數字照片被錯誤標記，像是9的照片被錯誤標記成7。Bi-Tempered Loss中t1與t2的參數設置，便是用來處理這兩種類型的錯誤標記。以下是<a href="https://ai.googleblog.com/2019/08/bi-tempered-logistic-loss-for-training.html">Google AI Blog</a>對這兩種錯誤標記的解釋。</p><blockquote><strong>Outliers far away can dominate the overall loss: </strong>The logistic loss function is <a href="http://phillong.info/publications/LS08_potential.pdf">sensitive to outliers</a>. This is because the loss function value grows without bound as the mislabelled examples (outliers) are far away from the <a href="https://en.wikipedia.org/wiki/Decision_boundary">decision boundary</a>. Thus, a single bad example that is located far away from the decision boundary can penalize the training process to the extent that the final trained model learns to compensate for it by stretching the decision boundary and potentially sacrificing the remaining good examples. This “large-margin” noise issue is illustrated in the left panel of the figure below.</blockquote><blockquote><strong>Mislabeled examples nearby can stretch the decision boundary: </strong>The output of the neural network is a vector of <a href="https://en.wikipedia.org/wiki/Activation_function">activation</a> values, which reflects the <a href="https://en.wikipedia.org/wiki/Margin_(machine_learning)">margin</a> between the example and the decision boundary for each class. The <a href="https://en.wikipedia.org/wiki/Softmax_function">softmax transfer function</a> is used to convert the activation values into probabilities that an example will belong to each class. As the tail of this transfer function for the logistic loss decays exponentially fast, the training process will tend to stretch the boundary closer to a mislabeled example in order to compensate for its small margin. Consequently, the generalization performance of the network will immediately deteriorate, even with a low level of label noise (right panel below).</blockquote><h3>Bi-Tempered Loss的作用</h3><p>在<a href="https://ai.googleblog.com/2019/08/bi-tempered-logistic-loss-for-training.html">Google AI Blog</a>中，有針對不同類型的錯誤標記進行訓練測試。測試結果如下圖，每個點都是一個樣本，紅色與白色的底代表模型的決定邊界。clean dataset是沒有錯誤標記的資料，這類型的資料無論使用Logistic Loss或是Bi-Tempered Loss效果都不錯。small margin noise跟large margin noise則是包含部分<strong>介在答案邊界周圍但錯誤標記的樣本</strong>跟<strong>距離正確答案很遙遠的離群值樣本</strong>，這種類型的錯誤可以透過Bi-Tempered Loss中t2(small margin noise)與t1(large margin noise)的參數設置進行訓練，很明顯地使用Bi-Tempered Loss進行模型訓練可以得到較銳利的決定邊界。Logistic Loss則會很大程度的受到noise的影響。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*HmPfjPdvOrL82EomMgnjCQ.png" /></figure><h3>Bi-Tempered Loss的實際影響</h3><p>以下實驗架設正確答案為1，並使用不同的預測機率(0到1之間)，測試在特定t1與t2的設置下loss的大小(Code部分詳見<a href="https://github.com/GoatWang/bi-tempered-loss-tensorflow/">Github Repo</a>)。如下圖所示，最左邊的圖是Logistic Loss 跟Bi-Tempered Loss的比較，中間與右邊兩張圖分別是不同的t1與t2設置的比較。可以發現:</p><ol><li>比起Logistic Loss，Bi-Tempered Loss更為平滑。</li><li>t1可以調整Loss的規模(scale)，對於large margin noise而言，Bi-Tempered Loss比起Logistic Loss，loss的最大值與最小值的差距可以被大幅度的縮小。</li><li>t2可以調整Loss的斜率(slope)，對於small margin noise而言，可以放大預測值與正確答案的微小差距在loss上的影響。</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yb-IYoTdv_sp4IDNsgnCyg.png" /></figure><h3>Mnist實測</h3><p>為了實際測試Bi-Tempered Loss的效果，這裡使用google提供tensorflow版本的Bi-Tempered Loss在Mnist資料及上面進行訓練測試。分別使用t1為1.0、0.6、0.2，t2為1.0、2.0、4.0對參雜Noise的訓練資料集進行訓練，並使用沒有參雜Noise的測試資料集進行模型評價(Code部分詳見<a href="https://github.com/GoatWang/bi-tempered-loss-tensorflow/">Github Repo</a>)。</p><p>下圖是在有10%的Noise的訓練資料集上訓練的成果，其中t1與t2同時等於1的情況就相當是使用CrossEntropy Loss進行訓練，很明顯可以發現CrossEntropy Loss雖然起初訓練可以有不錯的準確率(Accuracy)，但在越後面的Epoch其過度擬合的狀況就越明顯，反而是Bi-Tempered Loss可以在後面的Epoch持續具有對抗Noise的能力。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*OP-7NYtLlW004KH8b_4JOg.png" /></figure><p>為了可以確保模型在後續訓練仍持續具有對抗Noise的能力，此處用最後一個(第15個)Epoch訓練結束時測試資料集上的準確率作為評價標準。下圖可以看到所有測試中不同的t1與t2在測試資料集上準確率的表現，可以發現當資料沒有Noise時CrossEntropy Loss與Bi-Tempered Loss(t2=2)表現都很不錯，但是當有Noise參雜其中時Bi-Tempered Loss(t1=0.2, t2=2)的表現大都可以得到比較好的成果。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*Ig3i1uf0SY7zwa1uOj71FA.gif" /></figure><h3>結論</h3><ol><li>參數t1與t2的設定會嚴重影響Bi-Tempered Loss的表現。</li><li>參數t1與t2的設定良好，Bi-Tempered Loss可以比CrossEntropy Loss表現良好。</li><li>如果Noise不大，Bi-Tempered Loss可能比CrossEntropy Loss表現更差。</li><li>(個人建議)還是把Label檢查到正確比較實際。<br>第一、如果無法確保測試資料集沒有Noise，無法正確評價模型的表現。<br>第二、如果無法正確評價模型的表現，參數t1與t2的調整只能憑感覺。<br>第三、如果t1與t2的調整不良，可能會得到比CrossEntropy Loss更差的結果。</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7c3d561a2c6f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[TronGisPy: GIS網格資料處理工具]]></title>
            <link>https://jeremy455576.medium.com/trongispy-gis%E7%B6%B2%E6%A0%BC%E8%B3%87%E6%96%99%E8%99%95%E7%90%86%E5%B7%A5%E5%85%B7-42815036b353?source=rss-dfb3ea056e82------2</link>
            <guid isPermaLink="false">https://medium.com/p/42815036b353</guid>
            <category><![CDATA[gis]]></category>
            <category><![CDATA[satellite]]></category>
            <category><![CDATA[computer-vision]]></category>
            <category><![CDATA[raster]]></category>
            <dc:creator><![CDATA[GoatWang]]></dc:creator>
            <pubDate>Sat, 24 Jul 2021 09:28:18 GMT</pubDate>
            <atom:updated>2021-07-24T09:28:18.348Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*piZw5nWf0y_3-DQVCxes4Q.png" /><figcaption>TronGisPy</figcaption></figure><h3>簡介TronGisPy</h3><p>TronGisPy是基於Python語言，並以GDAL為底層進行開發的GIS影像自動化處理開源套件，同時也提供機器學習前處裡與後處理的重要功能。為了加速資料處理的開發速度與建置GIS自動化流程，TronGisPy簡化了GDAL的介面，並提供各式方便的Python介面，以利工程師快速開發出有價值且可自動化的應用。由於TronGisPy的所有函式幾乎是基於解決實際問題而進行開發的，且已經至少十個大小不同的專案，因此應該已經可以滿足大部分GIS專案的需求。本篇文章主要在介紹TronGisPy起源、模組、安裝方法以及基礎的GIS影像觀念，應用方式及程式碼會在後面文章陸續介紹。</p><h3>模組簡介</h3><p>主要含有以下模組:</p><ul><li><strong>Raster</strong>: 儲存TIF裡所有資訊的物件模組，其中資訊包含影像本身(Raster.data)、投影座標(Raster.projection)、影像位置解析度與旋轉角(Raster.geo_transform)，同時亦有繪圖(Raster.plot())、轉投影(Raster.reproject())與從新定位網格位置(Raster.remap())或解析度(Raster.refine_resolution())等功能。</li><li><strong>ShapeGrid</strong>: 網格資料與向量資料的轉換功能模組。本模組可以方便地將網格資料向量化(vectorize_layer)、將向量資料網格化(rasterize_layer)，或透過已知的Raster網格將向量資料網格化(rasterize_layer_by_ref_raster)，或使用Polygon對網格進行切割(clip_raster_with_polygon)。</li><li><strong>DEMProcessor</strong>: DEM各項因子運算的功能模組。各項因子包含坡度(dem_to_slope)、坡向(dem_to_aspect)、陰影(dem_to_hillshade)、粗糙度(dem_to_roughness)、TPI(dem_to_TPI)、TRI(dem_to_TRI)。</li><li><strong>Interpolation</strong>: 影像補遺的功能模組。此模組可以透過反距離加權法(IDW)或像素鄰近的數值將遺漏值填上。可以選擇使用像鄰近網格的平均值(mean_interpolation)或是眾數(majority_interpolation)進行內差，亦可使用GDAL實作的反距離加權法(gdal_fillnodata)進行內差。其中為了加速像素鄰近網格Filter的卷機運算，相關函式皆有使用numba進行平行化運算。</li><li><strong>CRS</strong>: 協助座標系統轉換的功能模組。經緯度座標與numpy.array的網格索引的轉換(coords_to_npidxs, npidxs_to_coords)、投影座標格式WKT與EPSG的轉換(epsg_to_wkt, wkt_to_epsg)。</li><li><strong>Normalizer</strong>: 像素數值規一化的物件模組。由於GIS影像感測器繁多像素數值型態有float、8bit或16bit，此模組可以協助將不同的像素數值型態進行規一化(Normalizer.fit_transform())。另外，由於許GIS影像感光元件較敏感或無法確保足夠的光源，在程現時常會有亮度太暗的狀況，此時可以將像素數值中的離群值切掉(Normalizer.clip_by_percentage())，以利影像呈現與觀察。</li><li><strong>SplittedImage</strong>: 協助裁切與組合GIS影像的物件模組。由於GIS影像常常非常大張(e.g. 10000x10000像素)，如果直接放入機器學習模型，一方面資料量可能不足，另一方面也會造成記憶體與運算量的龐大負擔。因此透過SplittedImage物件可以把影像按照移動窗格的模式進行切割，待機器學習模型判釋完成，再將判釋結果組合(get_combined_image)為與原影像具有相同空間資訊的影像。</li><li><strong>TypeCast</strong>: 協助Numpy與GDAL資料格式轉換的功能模組。主要提供GDAL資料格式轉換為Numpy資料格式的函式(tgp.gdaldtype_to_npdtype)，與Numpy資料格式的函式轉換為GDAL資料格式的函式(tgp.npdtype_to_gdaldtype)。</li><li><strong>io</strong>: 檔案讀寫相關的功能模組。可以讀取GIS影像(tgp.read_raster)、取得(tgp.get_raster_info)及更新(tgp.update_raster_info)GIS影像的描述性資訊，亦有提供測試資料與使用者測試上述模組(tgp.get_testing_fp)。</li></ul><h3>安裝</h3><p>由於Gis的底層套件的依賴性比較強，建議根據相應的版本進行安裝。</p><ul><li>透過Docker直接安裝: docker pull jeremy4555/trongispy:latest，並透過docker run -it --rm jeremy4555/trongispy:latest /bin/bash啟動docker，或請見TronGisPy的<a href="https://github.com/thinktron/TronGisPy/blob/master/Dockerfile">Dockerfile</a>。</li><li>Windows建議直接安裝<a href="https://www.lfd.uci.edu/~gohlke/pythonlibs/">別人build好的套件</a>。</li><li>Linux的部分請注意GDAL必須先安裝到可以透過gdal_info --version取得GDAL 3.0.4, release 2020/01/28後，再透過pip安裝pip install GDAL=3.0.4(安裝GDAL的<a href="https://github.com/GoatWang/GdalDockerfile">Dockerfile</a>)，務必確認gdal_info的版本與python中的gdal版本必須一致，其餘套件則透過pip安裝即可。</li></ul><pre>GDAL==3.0.4<br>Fiona==1.8.13<br>Shapely==1.6.4.post2<br>geopandas==0.7.0<br>Rtree==0.9.4<br>opencv_python==4.1.2</pre><p>接著只要透過pip便可安裝TronGisPy了。</p><pre>pip install TronGisPy</pre><h3>GIS影像的屬性與基本操作</h3><p>一張GIS影像需要具備以下資訊: 影像數值、投影座標、起始位置、網格解析度以及旋轉角。最常見的GIS影像格式就是TIFF，裡面儲存的data就是影像數值，Projection就是投影座標，GeoTransform裡面則包含有起始位置、網格解析度以及旋轉角等資訊。而在TronGisPy中僅須透過tgp.read_raster(&#39;&lt;fp&gt;&#39;)，便可將GIS影像讀進記憶體並開始運算。以下詳細介紹Data(影像數值)、Projection(投影座標)、GeoTransofrm(起始位置、網格解析度以及旋轉角)</p><pre>import TronGisPy as tgp<br>img_fp = tgp.get_testing_fp(&#39;aereo_tif&#39;) # 取得測試資料的路徑<br>ras = tgp.read_raster(img_fp) # 讀取GIS影像<br>ras.plot(clip_percentage=(0.1, 0.9)) # 把影像數值前後10%切掉增顯並畫出影像</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SCJQ3vA8ybJU_BOjZsa4rg.png" /></figure><h4>Data(影像數值)</h4><p>影像數值上與一般影像不同的是波段(Band)的數量以及資料型態。波段(Band)的數量，在電腦視覺領域又稱為通道(Channel)。由於遙測資料中比RGB更細緻的波段頻率切割，以及RGB以外的不可見光波段頻率，往往能針對特定的地表物件具有奇特的相關性，像是近紅外光(Near Infrared)對於觀測植披或是水體的都有許多已經非常成熟的應用方法。下圖就是透過紅光(RED)與近紅外光(NIR)計算出的植生指標(NDVI, NDVI=(NIR-RED)/(NIR+RED)) ，對於葉綠素的感測就非常敏感，甚至能用來判是農田的健康狀況。</p><pre>import TronGisPy as tgp<br>fp = tgp.get_testing_fp(&#39;aereo_tif&#39;) # 取得測試資料的路徑<br>ras = tgp.read_raster(fp) # 讀取GIS影像<br>RED, NIR = ras.data[:, :, 0], ras.data[:, :, 3] # 取得紅光跟近紅外光<br>NDVI = (NIR - RED) / (NIR + RED + 10**-6) # 計算NDVI<br>ras_NDVI = ras.copy() # 複製原本GIS影像的地理資訊<br>ras_NDVI.data = NDVI # 複製將數值資料改為NDVI<br>ras_NDVI.plot(clip_percentage=(0.1, 0.9), cmap=&#39;gray&#39;) # 把影像數值前後10%切掉增顯並畫出影像</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1YxGb-I8ubI_oV_ApE-GdQ.png" /></figure><p>因此，許多在遙測儀器上使用不同光波段的感測器也就非常普遍，舉例來說歐洲太空總署(ESA)公開給大眾自由取用的Sentinel-2影像便有12個波段，如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ga_1JM_Q9HpnhCqRRZv-RQ.png" /><figcaption>Bands List in Sentinel-2</figcaption></figure><p>另外，GIS影像的資料型態也與一般相片不同。GIS影像的數值不一定是8bit(0~255)，有些比較精密的感測器也可能拍出16bit(0~65535)的影像，如果是經過處理的影像(非原始影像)，則有可能出現其他型別的資料，GDAL是GIS影像處理上非常重要的底層套件，裡面常見的型別就有Byte、Float32、Float64、Int16、Int32、TypeCount、UInt16、UInt32。可以透過下面程式碼取得所有GDAL內建的資料型別。</p><pre>&gt;&gt;&gt; import gdal<br>&gt;&gt;&gt; print([func for func in dir(gdal) if &quot;GDT&quot; in func])<br>[&#39;GDT_Byte&#39;, &#39;GDT_CFloat32&#39;, &#39;GDT_CFloat64&#39;, &#39;GDT_CInt16&#39;, &#39;GDT_CInt32&#39;, &#39;GDT_Float32&#39;, &#39;GDT_Float64&#39;, &#39;GDT_Int16&#39;, &#39;GDT_Int32&#39;, &#39;GDT_TypeCount&#39;, &#39;GDT_UInt16&#39;, &#39;GDT_UInt32&#39;, &#39;GDT_Unknown&#39;]</pre><h4>Projection(投影座標)</h4><p>由於地球是一個球體，若要用平面來呈現整個世界，必然會有些區域的面積比例與實際比例不符，因此也就衍生了不同的投影方式，大致上可分為未經過投影的經緯度座標(WGS84)，也有六度分帶(UTM)以及二度分帶(TM2)投影，但這些投影方式應用在不同區域仍需選擇不同的起始位置與投影中心。因此，各國或地區亦會針對其所在位置，重新找尋投影中心，降低投影面積扭曲的狀況。不同的投影方式配上不同的起始位置與投影中心，便可重新定義新的座標系統。</p><p>而最常見的通用投影代碼是EPSG代碼，EPSG代碼是歐洲石油調查組為了讓座標系統的跨域溝通更為便利而訂立的，最常見的EPSG代碼是4326，也就是未經投影的WGS84的經緯度座標，台灣全島現行最通用的EPSG代碼是3826(也稱為TWD97)，不同地區設適用的投影亦會有自己的EPSG代碼。不過TIF檔為了增加投影座標定義的彈性，因此使用Well Known Text(WKT)，詳細的定義非常複雜，這邊就不多提了，大多時候在談論座標系統時仍是以EPSG代碼進行溝通。以下程式碼示範如何取得TIF的Projection，並使用TronGisPy轉換EPSG與WKT。</p><pre>&gt;&gt;&gt; import TronGisPy as tgp<br>&gt;&gt;&gt; fp = tgp.get_testing_fp(&#39;aereo_tif&#39;)  # 取得測試資料的路徑<br>&gt;&gt;&gt; ras = tgp.read_raster(fp) # 讀取GIS影像<br>&gt;&gt;&gt; print(&quot;Projection(WKT):&quot;, ras.projection)  # 取得投影座標WKT<br>Projection(WKT): PROJCS[&quot;TWD97 / TM2 zone 121&quot;,GEOGCS[&quot;TWD97&quot;,DATUM[&quot;Taiwan_Datum_1997&quot;,SPHEROID[&quot;GRS 1980&quot;,6378137,298.257222101,AUTHORITY[&quot;EPSG&quot;,&quot;7019&quot;]],AUTHORITY[&quot;EPSG&quot;,&quot;1026&quot;]],PRIMEM[&quot;Greenwich&quot;,0,AUTHORITY[&quot;EPSG&quot;,&quot;8901&quot;]],UNIT[&quot;degree&quot;,0.0174532925199433,AUTHORITY[&quot;EPSG&quot;,&quot;9122&quot;]],AUTHORITY[&quot;EPSG&quot;,&quot;3824&quot;]],PROJECTION[&quot;Transverse_Mercator&quot;],PARAMETER[&quot;latitude_of_origin&quot;,0],PARAMETER[&quot;central_meridian&quot;,121],PARAMETER[&quot;scale_factor&quot;,0.9999],PARAMETER[&quot;false_easting&quot;,250000],PARAMETER[&quot;false_northing&quot;,0],UNIT[&quot;metre&quot;,1,AUTHORITY[&quot;EPSG&quot;,&quot;9001&quot;]],AXIS[&quot;Easting&quot;,EAST],AXIS[&quot;Northing&quot;,NORTH],AUTHORITY[&quot;EPSG&quot;,&quot;3826&quot;]]<br>&gt;&gt;&gt; print(&quot;Projection(EPSG):&quot;, tgp.wkt_to_epsg(ras.projection))  # 取得投影座標WKT<br>Projection(EPSG): 3826<br>&gt;&gt;&gt; print(&quot;EPSG(4326) to WKT:&quot;, tgp.epsg_to_wkt(4326))  # 取得投影座標WKT<br>EPSG(4326) to WKT: GEOGCRS[&quot;WGS 84&quot;,DATUM[&quot;World Geodetic System 1984&quot;,ELLIPSOID[&quot;WGS 84&quot;,6378137,298.257223563,LENGTHUNIT[&quot;metre&quot;,1]]],PRIMEM[&quot;Greenwich&quot;,0,ANGLEUNIT[&quot;degree&quot;,0.0174532925199433]],CS[ellipsoidal,2],AXIS[&quot;geodetic latitude (Lat)&quot;,north,ORDER[1],ANGLEUNIT[&quot;degree&quot;,0.0174532925199433]],AXIS[&quot;geodetic longitude (Lon)&quot;,east,ORDER[2],ANGLEUNIT[&quot;degree&quot;,0.0174532925199433]],USAGE[SCOPE[&quot;unknown&quot;],AREA[&quot;World&quot;],BBOX[-90,-180,90,180]],ID[&quot;EPSG&quot;,4326]]</pre><p>然而須注意的是，因為WKT比EPSG的彈性更高，在轉換的時候，EPSG一定可以成功找到WKT，但是WKT未必可以找到相對應的EPSG。另外，如果希望照片可以與向量資料如Shapefile互動，或是要比較精密的測量或面積計算，務必要避免使用WGS84(EPSG:4326)，因為影像的像素網格每一個的長度或寬度都必須固定，但是球面上的每一個網格並無法固定長度或寬度，因為會有一定的形變，疊圖時自然無法準確對應，面積計算也會失準。以下程式碼示範如何將影像轉投影。</p><pre>import TronGisPy as tgp<br>from matplotlib import pyplot as plt<br>ras = tgp.read_raster(tgp.get_testing_fp(&#39;aereo_tif&#39;)) # 讀取GIS影像<br>ras_reproj = ras.reproject(dst_crs=&#39;EPSG:4326&#39;) # 轉投影到EPSG:4326<br>fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(13, 5)) # 開啟一張1x2網格的畫布<br>ras.plot(ax=ax1, clip_percentage=(0.1, 0.9)) # 畫上EPSG:3826的圖像<br>ax1.set_title(&#39;EPSG:3826&#39;)<br>ras_reproj.plot(ax=ax2, clip_percentage=(0.1, 0.9)) # 畫上EPSG:4326的圖像<br>ax2.set_title(&#39;EPSG:4326&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/936/1*mY5AaZQGS64osCmI-y5tqA.png" /></figure><h4>GeoTransofrm(起始位置、網格解析度以及旋轉角)</h4><p>GeoTransform是由六個數字所構成，如下面程式碼示範如何透過TronGisPy取得GeoTransform。</p><pre>&gt;&gt;&gt; import TronGisPy as tgp<br>&gt;&gt;&gt;ras = tgp.read_raster(tgp.get_testing_fp(&#39;aereo_tif&#39;)) # 讀取GIS影像<br>&gt;&gt;&gt; ras.geo_transform<br>(219541.78148359052, 0.0201129761884431, 2.3639991549296866, 2654444.8101615803, 2.3639991549296155, -0.020112976188556786)</pre><p>其中第1個數字(219541.78)以及第四個數字(2654444.81)分別代表圖像最左上角x軸y軸的座標，第二個數字(0.020)與第三個數字(2.36)則代表在圖像上網格每往右移動一格x與y的變化量，第五個數字(2.36)與第六個數字(-0.02)則代表在圖像上網格每往下移動一格x與y的的變化量，以下便列出了圖像網格索引值(Numpy Index)與座標值轉換的公式。</p><pre># 將直從geo_transform取出<br>c, a, b, f, d, e = geo_transform</pre><pre># 矩陣形式的運算<br>| coord_lng |   | a  b  c | | npidx_col |<br>| coord_lat | = | d  e  f | | npidx_row |<br>|     1     |   | 0  0  1 | |     1     |</pre><pre># 寫成一般式<br>a * npidx_col + b * npidx_row + c = coord_lng<br>d * npidx_col + e * npidx_row + f = coord_lat</pre><p>這裡有三點事項必須注意，第一，Numpy Index在索引網個時第一個維度是Row Index、第二格維度才是Column Index，但是座標系統上，第一個維度是x軸方向、第二格維度才是y方向。第二、影像索引值是由上而下，但是座標系統上是數字越大緯度越高，所以大多時候第六個數字都是負值，也就是影像索引值往下移動時，緯度會越來越小。第三，絕大多數的GIS影像都不會有旋轉，所以第三個數字跟第五個數字大多時候都是0，也就是索引值往右移動時，僅會導致座標系統x軸方向的變動，而索引值往下移動時，僅會導致座標系統y軸方向的變動。如果覺得轉換過於複雜，TronGisPy也已經將轉換的函式都寫好了，以下將示範，如何將影像的每一個像素都轉換為xy座標值。</p><pre>import TronGisPy as tgp<br>ras = tgp.read_raster(tgp.get_testing_fp(&#39;aereo_tif&#39;)) # 讀取GIS影像<br>npidxs_col, npidxs_row = np.meshgrid(range(ras.cols), range(ras.rows)) # 給每個像素都取得row_idx跟col_idx<br>npidxs = np.stack([npidxs_row, npidxs_col], axis=-1).reshape(-1, 2) # 將每個像素的row_idx跟col_idx整理在同一筆資料<br>coords = tgp.npidxs_to_coords(npidxs, ras.geo_transform) # 將影像像素索引值轉換為座標位置<br>for npidx, coord in zip(npidxs[:5], coords[:5]): # 印出頭五個結果<br>    print(npidx, &quot;=&gt;&quot;, coord)</pre><pre># [0 0] =&gt; [ 219541.78148359 2654444.81016158]<br># [0 1] =&gt; [ 219541.80159657 2654447.17416074]<br># [0 2] =&gt; [ 219541.82170954 2654449.53815989]<br># [0 3] =&gt; [ 219541.84182252 2654451.90215904]<br># [0 4] =&gt; [ 219541.8619355 2654454.2661582]</pre><p>另外，TronGisPy在繪圖的座標位置以及與向量圖資的疊塗上也有支援。以下程式碼將示範如何將影像與向量疊合呈現，此處的向量是森林分布的圖資。</p><pre>import TronGisPy as tgp<br>import geopandas as gpd<br>from matplotlib import pyplot as plt<br>ras = tgp.read_raster(tgp.get_testing_fp(&#39;aereo_tif&#39;)) # 讀取GIS影像<br>df = gpd.read_file(tgp.get_testing_fp(&#39;aereo_tif_clipper&#39;)) # 取得疊圖向量<br>fig, ax = plt.subplots(1, 1)# 創建一個畫布，並把圖片跟像量化在同一畫布上<br>ras.plot(ax=ax, clip_percentage=(0.1, 0.9)) # TronGisPy的plot()，已經將座標資訊考量進去，僅需與向量畫在同一畫布即可。<br>df.loc[df[&#39;value&#39;] == 3].boundary.plot(ax=ax, color=&#39;red&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Bgnr6lemaABkY4npCuklhw.png" /></figure><h3>後記</h3><p>本篇文章主要在簡介TronGisPy與講解GIS影像的屬性與基本操作。下一篇文章將會聚焦在網格資料(Raster)與向量資料(Vector)的互動、填補露值的方法、以及地形因子的計算等。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=42815036b353" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[yolov4使用技術脈絡彙整 — Backbone]]></title>
            <link>https://jeremy455576.medium.com/yolov4%E4%BD%BF%E7%94%A8%E6%8A%80%E8%A1%93%E8%84%88%E7%B5%A1%E5%BD%99%E6%95%B4-backbone-4408869015c2?source=rss-dfb3ea056e82------2</link>
            <guid isPermaLink="false">https://medium.com/p/4408869015c2</guid>
            <category><![CDATA[cv]]></category>
            <category><![CDATA[cnn]]></category>
            <category><![CDATA[backbone]]></category>
            <category><![CDATA[object-dection]]></category>
            <category><![CDATA[yolo]]></category>
            <dc:creator><![CDATA[GoatWang]]></dc:creator>
            <pubDate>Wed, 10 Feb 2021 03:23:59 GMT</pubDate>
            <atom:updated>2021-02-15T23:42:44.681Z</atom:updated>
            <content:encoded><![CDATA[<h3>YOLOv4使用技術脈絡彙整 — Backbone篇</h3><h3>前言</h3><p>最近為了使用yolov4，花了兩周把裡面引用到的論文與技術脈絡爬梳了一遍，發現yolov4幾乎整理了近年CNN技術的重要進展，並將能整合進yolov4的技術幾乎都用上了，真的只能由衷佩服。我搭配大量網路文章、影片的解釋，才比較弄懂每一篇論文的重要進展，作者竟然可以分門別類、按時間排序，把每本論文想解決的問題跟解決手段都整理出來，並整合使用在yolov4上，真的是嘔心瀝血之作。</p><p>看完這些技術後，最大的感想是發現自己學習的CNN大約還是停留在2015年，學習到這些技術有種相見恨晚的感覺，許多自己過去做的專案都可以嘗試使用裡面提及的各種技術來解決問題。雖然，了解這些技術後也很難自己刻出yolov4(畢竟真的有太多技術細節)，但是這些技術在建構用在其他較簡單的任務的CNN模型上也是大有助益。整體來說，無論是在學術意義上，或是在實用程度上，這些技術都有非常卓越的表現，因此趁著記憶仍熟悉的情況，撰文紀錄看完這些技術的一些感想跟思考。</p><p>必須要說的是，由於很多技術在網路上都已經可以找到很好的解說，他們比較著重在論內容與實作步驟的逐一交代，所以這篇文章更偏向消化理解各項技術，然後討論模型改善的原因、被使用在yolov4的部分、以及在CNN或物件辨識發展脈絡下的重要貢獻。</p><h3>架構</h3><p>由於yolov4作者很明確地將物件辨識模型結構勾勒出來，在其文本中將其分為Backbone、Neck與Head，其中Backbone與Head在yolov1就已經有很明確的使用，Neck結構則是yolov3才開始使用。</p><p>Backbone主要透過大量的圖片分類資料訓練電腦理解一般圖片的知識，由於標記難度的因素，影像分類的資料集資資料量通常比物件辨識資料集較大，因此透過這樣預訓練的方式，提供電腦理解人類辨識圖便的基礎知識。Backbone的部分在yolov1(2016年)就已經很明確，除了yolov4有創造出CSPNet之外，yolov1~yolov3大都是簡單調整ResNet的結構以符合物件偵測的需求。</p><p>Head則負責將Backbone萃取出的特徵，重新畫成幾個固定大小的網格(grid)，如64x64、32x32或是16x16，再預測每個網個裡面出現物件中心的機率、anchor大小、位置以及類別。Head的部分，在yolov1~yolov4每個模型都有持續做修正，但都不是非常大的變動，無論是anchor的有無、anchor數的多少、anchor大小、norm的方式、初始值的設定、標記物件指派答案的方式或是網格大小的變化，都不斷地往更細節的部分進行修正。</p><p>最後，在yolov3開始出現使用的Neck的部分，起初主要是想改善影像不同解析度的預測偏差的問題。在yolov2的時候，透過每10 epoch塞入不同大小的影像，以解決影像解析度的問題，這個部分剛看到時覺得非常有趣，CNN竟然可以在模型架構不做更動的情況下，接受不同大小的圖像input size。到了v3的時候，透過結合SPP(Spatial Pyramid Poolinh)以及FPN(Feature Pyramid Network)的結構，在不同深度的卷積層(convolutional layer)做預測，由於CNN結構經常使用Max Pooling，而經過不同次數Max Pooling層的feature map基本上也就代表著不同解析度的同一張影像，因此可以在不調整影像大小的情況下，透過一個end-to-end的模型，訓練出可以接受不同解析度影像的網絡。到了v4的時候，則引入PANet的結構，透過多一輪的up-sampling的結構，加強特徵萃取與整合的能力。</p><p>當然，作者在裡面還提及到很多上述以外的技術與觀念。技術像是Loss Function(CIOU、GIOU、DIOU)、Attention(SE、SAM)、Activate Function(Swish、Mish)、Augumentation(cutmix、mosaic)，觀念的話像是Pooling與Receptive Field的關係、輸入圖像大小預測小物件偵測率的關係、網絡結構設計與運算時間的關係。另外，台灣作者王建堯在中研院舉辦的<a href="https://www.youtube.com/watch?v=HdQqAF-rMKc">演講</a>中，也提供了很多在論文中沒有提及卻超級重要的技術，像是grid的邊緣偵測不佳的問題的改善方法、或是一些關於自動優化Backbone、Head與Neck網絡結構的模型。(順帶一提，我第一次聽這演講時是完全聽不懂的狀態，我在看完這些論文後再去聽一次，整個豁然開朗，對作者的專業知識含量又多敬重幾分，總之如果對於上述提及的技術不太陌生的話，這絕對是一場收穫讓人收穫滿滿的演講。)</p><p>ps. 由於寫到一半發現，要寫的東西真的太多，所以這一篇文章主要交代yolov4的Backbone技術，後面有毅力繼續寫的話文章才會提到Head與Neck。</p><h3>Backbone</h3><p>yolov4主要使用的雖然是CSPNet，但要理解CSPNet，先備技術的爬梳實在太重要。如果沒有把整個技術脈絡整理出來，光是理解模型運作，幾乎很難理解作者設計這樣結構的原因，因此以下會從ResNet(2015年)開始後介紹，這些模型幾本上涵蓋大部分作者在related works裡面所提到的模型。</p><p>至於2015年以前的模型，包括LeNet、AlexNet、VGGNet以及GoogleNet，介紹的文章已經多到不勝枚舉，我就不多話了，不過個人是看下面這篇，個人覺得寫的滿好。</p><p><a href="https://medium.com/%E9%9B%9E%E9%9B%9E%E8%88%87%E5%85%94%E5%85%94%E7%9A%84%E5%B7%A5%E7%A8%8B%E4%B8%96%E7%95%8C/%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-ml-note-cnn%E6%BC%94%E5%8C%96%E5%8F%B2-alexnet-vgg-inception-resnet-keras-coding-668f74879306">[機器學習 ML NOTE] CNN演化史(AlexNet、VGG、Inception、ResNet)+Keras Coding</a></p><h4>ResNet(2015，<a href="https://arxiv.org/abs/1512.03385">2015論文</a>、<a href="https://arxiv.org/abs/1603.05027">2016論文</a>)</h4><p>ResNet全稱為Deep Residual Network，是Microsoft Research在2015年提出的模型架構，主要解決了Gradient Vanishing(exploding)與Degradation的問題，同時也引入了BottleNeck 架構降學習參數數量。<strong>ResNet之所以會被視為圖像辨識上極度重要的發展，是因為ResNet幾乎可以讓模型在不斷加深的過程中，持續增加模型的表現效果。</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ikU6jxzaNS9cOq-cAmqJRg.png" /><figcaption>ResNet Block</figcaption></figure><p>ResNet的結構(上圖)其實非常好懂，就是把經過2或3層卷積層的輸出與輸入相加，以作為下層的輸入，這個相加的步驟又稱為Identity Mapping，意思把上一層輸出的特徵映射到下一層。需要注意的是這邊的相加是element-wise的相加，所以實作上padding設定為same會比較方便，可以確保相加的兩個物件可以有相同的長與寬。這樣一來，由於梯度下降的學習目標變成加上「上一層的輸出」後等於「答案」，學習目標就不再是答案本身了，而是上一層的輸出與答案之間的差距，也就是殘差。ResNet解釋論文的文章已經太多，我就不做細緻介紹。</p><p>比較有趣的是，其實論文裡面並沒有解釋，為什麼ResNet可以解決Gradient Vanishing (exploding)與Degradation的問題，2015年那篇是完全沒有解釋，2016年那篇只證明了Identity Maping做Back Propagation的時候，可以無損的傳播梯度給淺層網絡，但並沒有進一步說明，這樣無損的傳播梯度對模型的貢獻。</p><p>網路文章對於這一塊的著墨也不多，很多人喜歡用最無腦的「接近目標說」去解釋，就是每次學習答案跟前一層的誤差(Residual)就會越來接近目標。但這其實有個大問題，就是減掉誤差後學習目標如果從正的變得負的，在不同的卷積層間學習目標就會在正負之間擺盪，因此越來接近目標這一說，其實並無法正確的解釋模型的表現。因此，以下整理兩個我比較可以接受的解釋。</p><ol><li>Weight Initialization說: 上面的接近目標說，如果再進一步修正一下解釋，其實就會合理很多了。就是每次學習跟前一層的誤差(Residual)，雖然不一定每次都會讓誤差變小，但是大多時候會比第一層的誤差小很多，再搭配「參數在初始化大都是非常接近零的值」這一特性，因此這樣的小誤差可以讓模型更新權重的時候一開始就比較貼近目標，進而提升學習效率。(<a href="https://www.youtube.com/watch?v=Bu9A_-M5OZk&amp;list=LLrM7AiR1E68n7cK2dQzhpAw">來源</a>)</li><li>Ensemble說: 基於2016年論文對於ResNet可以無損的傳播梯度給淺層網絡的證明，Ensemble說進一步說明，這樣的特性讓模型在更新每一層CNN權重時，永遠可以選擇保有上一層的特徵，這麼一來模型便在每一層便可以做兩個選擇，改變或是不改變上一層特徵，擴張了整個架構的彈性。而將這樣的選擇放入模型的每一層並視覺化後，便產出了下面這一張決策流程圖。(<a href="https://blog.csdn.net/malefactor/article/details/67637785">來源</a>)</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/987/1*bpagvFEzCthdGMKUUvTIyA.png" /><figcaption>Ensemble說視覺化</figcaption></figure><p>另外值得一提的是ResNet裡面使用的Bottleneck架構，由於ResNet成功讓模型可以被大大加深，參數與運算效率的議題又重新被納入考量，因此ResNet同時建議在超過50層的神經網絡引入Bottleneck架構。Bottleneck架構基本上就是在3x3的卷積層前後塞入1x1的卷積層，並藉此減少參數量以提升訓練效能，詳細的餐數量計算可以參考下圖(<a href="https://zhuanlan.zhihu.com/p/28413039">來源</a>)。</p><p><strong>比較重要的是，由於yolov4裡面最後選擇使用的是基於darknet53網絡的CSPNet，而darknet53是基於ResNet開發出來的網絡，所以裡面也大量使用到Bottleneck架構。另外，後面大多的深度網絡為了節省參數量也都有使用到這個技巧，因此若要弄懂yolov4 backbone的技術架構，Bottleneck中1x1的</strong>卷積<strong>層的重要性是不能被忽略的。</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*ET6Pg3WBE2NhPcQlQG35rw.png" /><figcaption><strong>Bottleneck架構</strong></figcaption></figure><h4>ResNext(2017，<a href="https://arxiv.org/abs/1512.03385">論文</a>)</h4><p>ResNext是Facebook AI在2017年提出的模型架構，主要引入了GoogLeNet中Inception Module使用的split-transform-merge技巧(如下圖)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0kKM46T3T-13SmVrE1mIWw.png" /><figcaption>Inception Module</figcaption></figure><p>將原本ResNet中的residual block(下圖左)改成透過多個卷積通道(Path，也稱branch、cardinality或group)疊合(concatenate)的block(下圖右)，增加模型的學習能力。而這樣的通道亦被作者從新定義為一般卷積層在設定時的一個參數Cardinality。<strong>ResNext也是CNN領域中重要的發展，ResNext讓模型大小的比較從只有深度，轉移到深度與寬度。</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/963/1*gpC-MqmAw1pbo0u9JRniNg.png" /><figcaption>ResNext網絡架構</figcaption></figure><p>上圖右示意了一個ResNext模塊(block)，其保留了ResNet中的Identity Mapping，並增加了Cardinality的設計。上圖中每個長方形層裡面的數字代表input channels, filter size, output channels，也就是說每一個通道會:</p><ol><li>透過4個1x1x256 filter的卷積層，把feature maps下降到4個channel</li><li>透過4個3x3x4 filter的卷積層，進行特徵萃取</li><li>最後經過256個1x1x4 filter的卷積層，把feature maps調整到輸出所需要的channel數</li></ol><p>最後，再將每個path的輸出結果加在一起。比較需要注意的是，這邊(下圖a)是element-wise的相加，不是concatenation。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gKNQu5nwPzrjne4Qu5U39Q.png" /><figcaption>ResNext網絡架構實作</figcaption></figure><p>實作上，為了方便程式撰寫，在實作意義不改變的情況下，作者稍微轉化了上述架構，如上圖:</p><ol><li>(a) 就是上上圖右的原圖</li><li>(b) 則參考Inception的實作方法，將每個通道中的第三層卷積層拿掉，並直接將每一通道中的4個channel的feature map疊合(concatenate)在一起，便成為一個128channel的feature map，最後通過256個1x1x128 filter的卷積層，把feature map調整到輸出所需要的channel數。由於原本在32個通道都有256個1x1x4的filter，調整後則直接對concatenate後的feature maps使用256個1x1x128的filter，因此實作意義並沒有發生變化。</li><li>(c) 1. 將每個通道中的第一層一道通道外，透過128個1x1x256 filter的卷積層，把feature maps下降到128個channel，在通道中才將128個channel分成32個group，每個group有4個channel，讀者可以自行想像，此處的實作意義也沒有發生變化。2. 在圖片表達上，作者把concatenate層放入第二層，並以group表示通道數量。</li></ol><p>比較需要注意的是，同一篇文章對這個「通道」的用詞已經因環境而不同，path、branch、cardinality或group都有出現過，不過總之都是同一個意思。</p><p>至於為什麼這樣的設計可以增加準確率，網路上的討論也不多。但我個人的猜測是，在沒有group的情況下(上上圖左)，3x3的卷積層使用的是64個3x3x64 filter，但是ResNext(上圖(c))有32個Path，每個Path使用4個3x3x4 filter。換而言之，原始的ResNet輸出的feature map中，每一個pixel是由3x3x64的filter與該pixel所在的上一層feature map位置相鄰的的3x3x64個pixel相乘相加的結果，這樣大的資訊量集成為一個pixel其實有點浪費，尤其在比較深度的網絡層當中，「特徵萃取」已經相對完整，應更強調在「特徵篩選」。因此，ResNext32個Path中使用的4個3x3x4 filter，僅將3x3x4(x2)個數字相乘相加後便產出一個新pixel，一方面在可以做特徵篩選的情況下節省了大量的參數(64x3x3x64:32x4x3x3x4=&gt;36864:4608)，另一方面也因為參數量的下降，讓1x1的卷積層可以加深filter的深度，以提升特徵萃取的能力。</p><p><strong>比較重要的是，雖然ResNext並沒有被yolov4直接使用，但是在yolov4台灣作者王建堯的前一篇論文CSPNet(下面會提到)大量使用，ResNext也在結合CSPNet後也有被放入yolov4 backbone的待選清單當中，但因為yolov4不僅講求表現效果，同時也講求速度，所以最終並沒有被採用。</strong></p><h4>DenseNet(2018，<a href="https://arxiv.org/abs/1608.06993">論文</a>)</h4><p>DenseNet基本上就是把ResNet的Identity Mapping概念推到極致的架構。作者的出發點是，既然梯度在不同layer間傳播會有損失，那就把先前出現過的每一layer都當成下一層的輸入，這樣就能夠確保中間每一layer的梯度都能被傳播到當前的layer。</p><p>不過，在看下一篇要介紹的論文SparseNet時，其作者又進一步解釋了DenseNet表現優異的原因。由於越深的卷積層可以萃取越高階的特徵，因此把多層的卷積層輸出為下一層卷積層的輸入，有助於充分利用不同尺度(解析度)的特徵，以利下一個卷積層判讀。</p><p>前一陣子，聽了一位認知神經科學教授<a href="https://www.facebook.com/pojanghsieh">謝伯讓</a>受訪的podcast，提到其實人類在判讀一些事情的時候，腦袋也會為了快速計算而建立捷徑，被稱為捷思，個人覺得與這接些架構中的shortcut設計有異曲同工之妙，以下節錄一小段這位教授的文章:</p><blockquote>捷思是一種大腦為了求快而建立出來的計算捷徑。透過某些事先建立好的預設，大腦可以節省許多資源，例如，大腦預設人臉一定是凸出來的，而不可能是凹進去的。另外，大腦也預設了週遭物體本身的顏色通常不會任意改變（會改變的通常是光源的明暗和顏色）。這些捷思之所以會成為捷思，是因為上述這些事物的特質（例如人臉的凸出性）在「大部份」的狀態下都是恆定的，因此在演化的過程中，它們已經被寫入了大腦的預設值之中。</blockquote><blockquote>from <a href="https://pansci.asia/archives/author/hsieh-pj">https://pansci.asia/archives/author/hsieh-pj</a></blockquote><p>以下這個影片可以讓大家放鬆一下，看看人類腦袋中的捷思是如何運作的:</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FORoTCBrCKIQ%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DORoTCBrCKIQ&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FORoTCBrCKIQ%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/2132ab236406d40457c33777d675eaf5/href">https://medium.com/media/2132ab236406d40457c33777d675eaf5/href</a></iframe><p>在實做上，DenseNet 架構中，作者總共使用4個Dense block，這四個Dense block被 transition layer連接在一起，如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1002/1*CABLMh18z2c8jnXhg-TJJw.png" /></figure><p><strong>每一個Dense block中，每一卷積層的輸入是前面所有卷積層的疊加(concatenation)，</strong>換而言之，如果最原始的input是c的channel且每一個捲積層的輸出都是是k個channel，那麼block中第一個(紅色)捲積層輸入就是c個channel、block中第二個(綠色)捲積層輸入就是c+k x l個channel，而第三個(紫色)捲積層輸入就是c+k x 2個channel。因為每往後一層input的channel數就會增加k，因此作者又把k命名為growth rate，下圖就是一個完整的Dense Block。與ResNet不一樣的地方是，ResNet使用的是element-wise addition的方式做Identity Mapping，DenseNet則使用concatenation。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/532/1*EK25LixlUM8Q9-DTG0auQg.png" /><figcaption>Dense Block示意圖</figcaption></figure><p>在看這一篇論文時，有出現一個比較需要注意的詞彙 — <strong>transition layer，主要就是由BatchNorm層、1x1的卷積層以及AvgPooling層所組成</strong>，連接在Dense Block之間，由於這個技巧在CNN領域已經非常普及，因此直接使用 transition layer以加速討埨<strong>，</strong>如上圖所示。由於後面論文亦會提及這個詞彙，在此稍作解釋。</p><p>整體而言，DenseNet基本上證明了，ResNet的Path仍不足以完全解決梯度消失的問題，更多的Path還是能夠讓模型更直接的看到前面layer的輸出，並使整體表現變的更好。</p><h4>SparseNet(2018，<a href="https://arxiv.org/abs/1804.05340">論文</a>)</h4><p>SparseNet是DenseNet的修正版本，畢竟把前面所有卷積層的疊加起來做為下一層的輸入太過極端，一方面一層一層之間損失的資訊量沒那麼大，真的沒有必要讓每一層的從新計算過去每一層與正確答案之間的關聯性。另一面，這麼做對運算效能也會產生極大的壓力。因此，SparseNet的作者便開始想方設法，讓DenseNet可以在保留足夠Path的狀況下，減少模型的計算負擔。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/866/1*7Q2iTnX1CCx4GaS3_xU-4w.png" /></figure><p>實作上，SparseNet採用僅疊加(concat)最靠近跟最遠的的n/2個layer的輸出，如上圖假設n=4的話，那麼當前這一層的捲積層僅使用最靠近及最遠的2層的疊加結果。另外，作者在attention上也有著墨，但並非這篇文章的重點，就不多提了。</p><h4>CSPNet(2019, <a href="https://arxiv.org/pdf/1911.11929.pdf">論文</a>)</h4><p>Cross Stage Partial Network (CSPNet)則是Yolov4主要作者之一中研院院士王建堯，在融會貫通上述的Backbone技術後，所發展出來的新技術。發展CSPNet的初衷是為了節省運算資源，手段則是取得較效率的梯度傳遞效果(achieve a richer gradient combination while reducing the amount of computation)。</p><p>由於作者重新思考過，ResNext中使用到GooLeNet Inception Module不同捲積通道(Path)傳遞梯度的意義，以及後續DenseNet與SparseNet經過過度修正過程，也就是將梯度傳遞精神推到極致後又修正回來的過程，於是重新組合了更效率的梯度傳遞通道組合，發展出了CSPNet。</p><p>以DenseNet搭配CSP的技術為例，由於DenseNet的運算量很大，每一層的input是前面所有捲積層output的疊合(concatenate)，若能將起初input的channel下降一半，便可大大下降GPU記憶體的捲積流量(CIO)與記憶體運輸量(memory traffic)。舉例來說，假設DenseNet的input是w × h × c，成長率(growth rate，也就是每一層輸出的channel數)是d，且總共有m個dense layers。那麼原始的DenseNet(下圖a)運算流量是(c × m) + ((m² + m) × d)/2，其中c × m是指原始input的c個channel要流過m層dense layer，(m² + m) × d)/2中，m(m+1)/2是指1加到m的總和，d則是每一層輸出的channel數。CSPDenseNet(下圖b)的運算流量則是(c × m)/2 + ((m² + m) × d)/2，其中c通常比m跟d大很多，因此至少可以減少一半的流量。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/650/1*52UdDy3myaX7hSjIGP1sxQ.png" /></figure><p>在結構上，Base layer會被切分成part1與part2，個別擁有Base layer中channel數的1/2，part2經過Dense Block與Transition layer後直接與Part1疊合(concatenate)在一起，論文中還有討論到截斷(truncating)重複傳遞梯度的好處，以及透過調整transition layer的位置來實踐的方式，不過在yolov4跟後面模型的實作上提及不多，這邊就不多做介紹了。</p><p>使用上，CSPNet可以跟不同的Backbone架構結合。在原始論文中有被比較的就有CSPResNet、CSPResNext、CSPDarknet…等等。而在yolov4的論文中，作者比較了CSPResNext50與為了物件偵測設計的CSPdarknet53後，發現雖然CSPResNext的Receptive Field較大(見下圖，Hypothetically speaking, we can assume that a model with a larger receptive field size and a larger number of parameters should be selected as the backbone.)，但是從AP來看，在總體表現上成長性卻不如CSPdarknet53(We observe that the CSPDarknet53 model demonstrates a greater ability to increase the detector accuracy owing to various improvements.)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MJ04r2uuXnDhfA3F9noKrg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/674/1*z9z7XgsxRcORKJCRYIe8hA.png" /></figure><p>在結論上，CSPNet並不若ResNet、ResNext在理論上開創CNN模型新的發展方向，但其實用價值卻是極高的，作者在消化理解過去各個重要模型上確實花了功夫，也成功找到突破點，在不降低模型表現的基礎上，提供了模型更效率的梯度學習進程。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4408869015c2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[企業導入AI先期專案指南(一)]]></title>
            <link>https://jeremy455576.medium.com/%E4%BC%81%E6%A5%AD%E5%B0%8E%E5%85%A5ai%E5%85%88%E6%9C%9F%E5%B0%88%E6%A1%88%E6%8C%87%E5%8D%97-%E4%B8%80-e69c6be970bc?source=rss-dfb3ea056e82------2</link>
            <guid isPermaLink="false">https://medium.com/p/e69c6be970bc</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[ai-transformation]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[GoatWang]]></dc:creator>
            <pubDate>Mon, 09 Mar 2020 15:53:14 GMT</pubDate>
            <atom:updated>2020-08-23T12:04:24.053Z</atom:updated>
            <content:encoded><![CDATA[<h3>企業導入AI先期專案指南</h3><h3>前言</h3><p>今年我們公司幫助<strong>三間公司企業(</strong>測繪業、石油探採業、工程顧問業<strong>)</strong>與<strong>兩個政府機構</strong>成功導入先期專案。而我在裡面扮演的角色，除了專案的實作之外，花更多時間的地方是AI推案與導入，因此比起AI工程師，我覺得自己比較像AI傳教士。而這篇文章的出現，便是希望與大家分享一些這段期間累積了經驗與想法。</p><p>在進入文章前，先簡單交代一下<strong>我們公司的推案與導入流程</strong>。我們在接觸客戶後，會調查客戶對於各項議題的興趣、需求以及資料供應的完整性，然後排定議題的先後順序，並透果演講與實作POC (Proof of Concept)專案，最終成功進入長期的專案合作關係。</p><p>而這篇文章所想要談的便是，在這過程中我們要幫助客戶評估的各式各樣的問題: 專案議題、演算法、評價方法與驗證資料的選擇問題、資料量不足的問題、與AI工程師溝通的問題、與組織內部從業人員溝通的問題...</p><p>我不敢說每一樣問題我們都找到了最佳的解決方案，但我想這邊可以提供一些觀念性問題的指引；至於比較組織面的問題，我也希望透過分享一些踩雷經驗，讓讀者比較有方向去解決。</p><p>然後我寫一寫之後發現文章會太長，因此大約會分成多篇文章去談，我也不太確定幾篇，不過大致會有以下議題: 「什麼樣的企業適合導入AI」、「導入AI面臨的困難」、「AI專案的選擇、規劃與執行」、「任務類型與可行的演算法」、「評價AI專案成功與否」。</p><p>必須提醒的是，<strong>這篇文章的目標讀者是慾導入AI的公司管理階層，因此會更多的在關注觀念上、管理上或組織上的問題，幾乎不會談及演算法、程式實作與技術細節</strong>，有興趣的再往下看就好。</p><h3>什麼樣的企業適合導入AI — 資料勝過一切</h3><p>AI雖然看起來很潮很智慧，但其實說白了就是填鴨式教育，<strong>AI的記憶能力極強，但不具備推理能力，人類可以舉一反三，但AI只能舉三反一。</strong>當有足夠量的訓練資料時，他可以處理各式各樣訓練資料裡面見過的問題；但是如果訓練資料量不足，他就會變成人工智障。因此，<strong>AI最重要的前提就是資料；而適合導入AI的企業便是有累積大量資料的企業，或是短時間可以生產大量資料的企業。</strong></p><blockquote>AI最重要的前提就是資料，資料的重要性絕對勝過工程師與演算法。</blockquote><p>前一陣子，一個朋友找我吃飯說想要搞一間新創公司，做建築景觀相關的工作，想透過AI自動澆水施肥植栽景觀，以確保在未來十年內維持它原始的樣子。聽起來是個有趣的案件，但是最大的問題是他們沒有任何資料來訓練AI模型，況且他們還沒開始實作他們的產品，基本上連AI可以介入的施力點在哪都沒有頭緒。在這種狀況下，我給他們的建議是，先去尋找一些感測器，可以用if、else來解決的問題，絕對不要動到AI。</p><p>從這個個案上來看，AI似乎已經變成一種資本市場上變現的工具，也容易被同「區塊練」與「彼特幣」等技術相比較，說明市場泡沫的存在。不過在我看來AI技術確實能夠創造一些價值，只是需要對的企業與環境。我們總不能期待每一項新技術的出現都像「網際網路」或是「iPhone」一樣，帶來如此全面性的革命。因此，以下就來看看我個人心目中覺得比較適合導入AI的企業樣態。</p><p>這些企業往往已經有一些現行的商業流程，無論是工廠的生產流程、會計業的審計流程或者是測繪業的製圖流程…，這些流程基本上已經把所有可以透過專業、經驗或是其他物理方法解決問題的手段都用盡了，在這個基礎上，一方面公司企業可以持續蒐集大量的內部資料，另一方面也可以分析這些流程中的適合導入AI的各環節。</p><p>舉例來說，我們合作的測繪業，他們長期在幫助農業相關的政府部門，稽核台灣每一年水稻田的總面積。他們已經養了足夠的空拍機、街景車、以及進行資料判釋所需要的人力，也累積了大量的標記資料。這種公司要開始導入AI速度就會非常快，最先可以從他們累積了長年的資料中篩選適合的資料開始AI專案，如果沒有適合的，企業也可以透過既有商業流程的小更動，在不太增加額外成本的情況下，快速的累積適合AI使用的資料。</p><p>但是如果像前述搞植栽景觀的公司，在完全沒有「資料」或是「累積資料的現有流程」的情況下，希望可以透過AI解決問題，幾乎是天方夜譚。不過也不是說沒有資料就完全做不起來AI，只是需要在前期投資大量的人力資本標記成本，AI雖然是軟體，但是在進入競爭激烈的時代，還是資本的軍備競賽。</p><blockquote><strong>整體來說，在沒有既有資料生產方法的情況下，想要有成功的AI專案，務必要將生產資料的成本納入考量，</strong>而且務必要讓老闆清楚的知道這將會是一筆可觀的成本。</blockquote><h3>導入AI面臨的困難</h3><p>談到AI導入的困難，其實必須從「技術面」與「組織面」來著手。</p><p>在「技術面」上，說實話絕大多數的AI技術，不論是處理表格、圖片或文字，現在在網路上都可以很容易地取得資源，這些資源包刮開源軟體、原始論文、演算法套件甚至是教學課程。</p><p>人才的取AI人才也是源源不絕的生產，開個年薪80w的AI缺，每天就幾十封的履歷進來，國內外的都有，真的不行把自己的員工送去人工智慧學校或是買個Coursera課程來看，也能有一些斬獲，畢竟絕大多數的AI任務並不需要多厲害的AI大神來執行。</p><p>因此，在我看來，在技術面上，最大的難題還是資料，就像前面所提的，<strong>AI專案的成功，資料的重要性絕對遠勝於工程師與演算法。因此，本章會談談標記資料的蒐集困難、盲點與一些基礎的解決方案。</strong></p><p>另外就是「組織面」的問題了。其實很多時候，適合導入AI的企業大都已經具備穩定的商業流程與營收基礎，像石化、銀行甚至有一定規模的紡織業，比起他們原物料或是機械設備的成本，AI導入所花用的投資真的燒不掉他們多少錢。<strong>真正困難的地方在於組織架構與企業文化衝突，若沒有人真的有心與認真推展導入作業，並且處理好這些人事或部門之間心理的疙瘩，將會是AI導入最大的困難。</strong></p><h4>技術面 – 資料與模型可推廣能力</h4><p>現在主流在在評價模型的好壞時，絕大多數時候還是以準確率的高低為主要考量，這可能是受到kaggle上或其他資料集所創造的大型比賽的影響，但在實際實做企業內部的AI專案的時候，起初我們蒐集的資料必定沒有這些資料集全面且大量，因此<strong>比起關注準確率，更因該關心的是蒐集訓練資料時，資料的樣態(Type)與分佈(Distribution)，是否涵蓋所有未來預測使用到的資料。</strong></p><p>舉例來說，最近訓練完一組航拍影像的裸露地判釋(如下圖)，這幾張圖看起來模型準確率很高，我們主管就希望可以把這個模型應用到其他影像上面去進行崩塌地判釋，如衛星影像或是UAV影像。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4cfohNDuZgLPp4V3RzXuPA.png" /><figcaption>Landslide Segmentation</figcaption></figure><p>這個時候就會發生一些問題，像是資料的<strong>樣態(Type)</strong>不同，標記資料中河道亦屬於裸露地，但是河道並不屬於崩塌地，因此模型可能會誤把河道判釋為崩塌地；還有影像的解析度不同，衛星影像10m、UAV影像0.1m、航拍影像0.25m，但模型僅看過0.25m解析度的影像，可能就無法在其他解析度上得到好的效果。另外，資料的值域<strong>分佈(Distribution)</strong>也不同，三種類型的遙測影像，由於感光元件的不同，可以紀錄資料的精細程度與感測波段意義也不同，衛星影像中紅色的波段可能與UAV紅色的波段頻率上仍有歧異，另外rgb值域分佈也不同，UAV可能介在0~255之間，但是衛星影像可能介在0~25000之間。</p><p>因此，雖然在這個專案上看似得到很好的準確率，但由於訓練資料未包含未來判釋的資料<strong>分佈(Distribution)</strong>，在<strong>樣態(Type)</strong>上標記資料(裸露地)亦與未來判釋的(崩塌地)標的有落差，因此使用上並不會如想像中的順利。這時就要想辦法創造這些更完整且大量的資料，讓模型可以學習到這些資訊，方能解決問題。</p><h4>技術面 — 資料標記的決心</h4><p>在吳恩達教授提出的<a href="https://landing.ai/ai-transformation-playbook/">AI Transformation Playbook</a>中提到，最理想可以成功的AI公司，是可以透過既有的商業流程產生標記資料的公司。這樣的流程最容易想像的例子就是電商網站，產品在銷售的過程中蒐集更多的使用者資料(解釋變數)、以及使用者與產品互動的資料(標記資料或被解釋變數)，然後可以讓產品變得更好，並吸引更多使用者， 然後再持續這樣的一個循環。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*-dHh8pQ7OFyawS7B.png" /><figcaption>Virtuous circle of AI. From:<strong> </strong><a href="https://landing.ai/ai-transformation-playbook/">https://landing.ai/ai-transformation-playbook/</a></figcaption></figure><p>但不得不說，在AI技術出來也好幾年，真的有辦法這樣累積使用者資料的企業，大約也已經早就對AI技術聊若指掌，想要創業並成功複製一個符合上圖要求的商業流程也不太容易，因此與其想著怎麼樣創造出上面的商業流程，不如好好來面對標記資料不足的問題。</p><p>資料標記聽起來是個簡單的作業，但其無聊瑣碎的程度遠超乎管理者想像，要真正有高品質生產力的資料標記流程，大約是大多剛開始接觸AI企業的最大的困難，或是說大家在畫AI大餅時大多會逃避的問題。然而，足夠量的標記資料仍然決定了AI專案的成敗，<strong>因此在評估是否開始一個AI專案前，務必要有決心，企業不僅僅要取得一次性的標記資料，更要建立一個可被重複實現的資料標記流程。</strong></p><p>以下提供幾個手段來建立這個流程:</p><p>第一、尋找群眾外包網路平台的協助。這個手段上，首先必須提到的就是亞馬遜的 Mechanical Turk (MTurk)平台，在這個平台上，你可以透過使用者介面(GUI)或是簡單的HTML自己定義自己需要的標記介面，在上傳待標記的資料並設定價格後，便可等待別人來標記。最大的好處是便宜、快速且方便，如果你開價比較高，很快就會有一堆人幫你完成標記工作，然後已經幫忙做好標記介面，企業無需自行開發；但是致命的缺點是品質確實參差不齊、專業限制以及文化限制，即便平台上面已經可以設條件篩選誰可標記資料，也可以檢核標記資料是否核可，但自己的實驗結果跟網路上的評價似乎都比較負面。另外，太過專業或太過在地化的標記工作，在上面比較難找到適合的人力進行標記。</p><p>第二、專案委託資料標記公司。這樣的專業標記公司台灣我自己接觸過的是 <a href="https://www.linkernetworks.com/company">Linker Networks</a>，其他網路上可以查到的有 <a href="https://thehive.ai/hive-data?gclid=Cj0KCQiApt_xBRDxARIsAAMUMu-9QIsIASyJeoj-MYnxQaPUOG00jySuk58RddZthVKStll03CX-7OQaAr1kEALw_wcB">Hive</a>, <a href="https://www.cloudfactory.com/">Cloudfactory</a>, and <a href="https://www.samasource.com/?gclid=Cj0KCQiApt_xBRDxARIsAAMUMu9X1WnjAi5M3lyydLvvhRRvQlhf9jfNmdJ7TqA24AOZJAOCWcn97qUaAlGyEALw_wcB&amp;utm_source=google&amp;utm_medium=cpc&amp;utm_campaign=Samasource+Brand+-+Europe&amp;utm_term=samasource&amp;hsa_acc=4137951007&amp;hsa_cam=1768919718&amp;hsa_grp=69213484552&amp;hsa_ad=342545101387&amp;hsa_src=g&amp;hsa_tgt=kwd-316662583600&amp;hsa_kw=samasource&amp;hsa_mt=e&amp;hsa_net=adwords&amp;hsa_ver=3&amp;gclid=Cj0KCQiApt_xBRDxARIsAAMUMu9X1WnjAi5M3lyydLvvhRRvQlhf9jfNmdJ7TqA24AOZJAOCWcn97qUaAlGyEALw_wcB">Samasource</a>…。這樣的公司好處是品質比較可以控管，畢竟可以直接見面說明需求，並以合約方式進行標記專案，客製化程度會比群眾外包平台還高一些，自己實際上合作的經驗也是比較好的。要說壞處的話，就是價格比較不親民也不透明，再來就是要慢慢磨合合作的默契了。</p><p>第三、企業自行管理標記團隊。這個做法的需要自己注意的事情就比較多了。首先要決定由誰來標記，如果是比較簡單的業務，請工讀生進行標記即可，如果是比較專業的標記工作，需要累積一些專業知識與經驗的話，可能要請公司的老師傅來標記。再來要決定標記的次數，有些時候如果標記的正確答案比較模稜量可、不同人會有不同的結果，那可能要請三個人標記同一份資料，然後採多數決。另外，如果標記的資料比較特殊，像是圖片或是影片，可能還要訓找適合的標記工具，如果找不到適合的，或許要自行開發，以增加標記的效率。</p><p>以我自己執行標記工作的經驗為例。剛開始學習AI時，為了完成一個小專案，由於屬於一人專案沒什麼預算，便採用了MTurk的解決方案，但效果真的不怎麼樣，我在否決一些標記成果後，還會有人寫信來argue他們以後會接不到工作。後來自己弄了一些預算，在校園板上面尋找打工仔，自己組織了一個小型的Label Team，辦了說明會與訓練課程，才有品質比較好的標記成果。</p><p>開始到業界後，比較常見的標記工作就比較會委託資料標記公司幫忙標記，像是車牌辨識、號誌辨識、道路線辨識，畢竟這些工作他們必定有既有的標記工具與團隊可以快速地完成標記專案。至於像衛星影像雲層、河道或崩塌地的判釋，因為標記的資訊比較複雜，可以前處理的手段就比較多，自己也建立了公司的標記流程，在工讀生進行標記前，先進行一系列的前處理，讓工讀生不用每一個多邊形的細節曲折都需要細緻素化，僅須對多邊形進行分類即可(如下圖)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QFkdlfKGM_D3wSy5XJSiBg.png" /><figcaption>Label Preprocessing</figcaption></figure><p>當然，這樣標記流程建立的決心要到什麼因企業的需求不同而異。前一陣子聽說，某生產線的品管流程中，需要透過日本進口的高清像機檢查是否有鐵屑存留於產品上，然而要培養判釋師傅並不容易，而且即便是老師傅，在判斷時仍然無法達到客戶的要求，因此希望改採AI進行判釋。<strong>他們的資料標記流程中，師傅不僅標註一次資料，資料標註完送給模型檢核，如果模型仍然難以區分，就會要求其他師傅從新標記，直到最終正確率達到他們預期的水準。</strong></p><h4>組織面 – 理想的AI組織架構</h4><p>當今許所多希望導入AI的企業，很多時候對軟體部門的想像，大約與會計部門差不多，並非主力的研發單位，且大多時候僅對既有軟體進行維護，甚至是僅負責打電話請廠商來維護，所以只有投資少量的心力與人力在上面，因此大約也沒甚麼動力發展新的東西。</p><p>在我看來，這將是導入AI的一大挑戰。畢竟<strong>軟體這種東西，沒有最好只有更好，未來的需求會不斷膨脹，如果真心想做好，沒有一個內部專門服務公司需求的團隊，很難有彈性去更精準的適應公司的商業流程。</strong>以下介紹個人理想中的AI Team建構的二(或三)個階段:</p><p>一、外包測試專案以驗證想法。<br>一開始導入就做組織的重大轉型其實也不切實際，因此<strong>建議在期初可以先透過外包的方式驗證想法與可行性。</strong>然後選擇種子部門或員工同時開始學習一些AI的技術，在專案期末務必要求承包廠商進行教育訓練，把他們實際訓練模型的程式碼帶著內部員工跑一遍，這樣一來企業可以在風險最小的情況底下，完成初步測試專案，同時當員工看見成果可以開始對AI有一些信心，訓練部分也為未來成立新部門做準備。</p><p>二、獨立成立獨立的AI Team<strong><br></strong>接著，如果測試專案的成效不錯，可以將這些員工拉出來，<strong>獨立成立獨立的AI Team，直接隸屬於CEO並協助解決公司其他各部門的問題。</strong>最好找一個AI背景的CTO或是CAIO來管理AI Team，當然管理者可以對公司的領域有一些涉略最好。部門成員除了原有的員工外，可以招入兩種人才，「純資工背景的」或是「具公司domain同時跨足AI領域的」工程師，後者的年資與經驗無須要求太高，可以快速學習、閱讀文獻實做出論文中的演算法比較重要。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*iG45PjgH_ZoCYQhP.png" /><figcaption>Ideal AI Team Structure. From: <a href="https://landing.ai/ai-transformation-playbook/">https://landing.ai/ai-transformation-playbook/</a></figcaption></figure><p>三、將AI功能去中心化(僅給分析型單位)<br>由於最近有機會接觸到比較多的組織屬於分析型單位，像是國稅局數據分析部門、航測學會的影像分析部門或是探油的資料分析部門，這些單位核心的工作就是做資料分析，只差在底下的子部門分析的數據樣態不同而已。因此期初已中心化的方式，幫助各部門完成AI先行專案後，也須逐步培養子部門內部工程師獨立使用AI的能力，一方面要求工程師上手AI不會太難，另一方面這樣才能打破穀倉效應，都把相關的業務事不關己的丟給AI Team。</p><h4>組織面 – 害怕被取代的不合作</h4><p>根據前一章的敘述，大概不難想像，適合導入AI的公司大多是中老齡企業，這些企業組織大多已經科層化，要說服裡面的從業人員協助做商業流程的改變並不容易，對於AI黑盒子的質疑、對於增加工作量的反感、對於被AI取代的憂慮…這些聲音會不斷的出現。因此，專案過程中AI團隊永遠要保持一顆年輕的心，針對這些組織性的問題進行溝通。</p><p>說實話，AI其實很笨，AI模型真的就是填鴨教育底下的產物。它能夠做到的任務還是比較重複性且單調的事情，基本上不太可能取代掉既有的專業人士的產出。因此，很多人說，<strong>在人工智慧之前必須先先有工人智慧</strong>，這也就是說，這些既有員工未來的工作產出，都會是訓練AI模型最好的標記資料，且一但有新的任務變化，即便再這些變化再微小，都還是需要他們的產出去修正模型。</p><p>其實讀者可以想像看看，要做到自駕車那麼多工的任務 – 同時注意行人、號誌、標線、導航、方向盤與煞車…，Google、Uber或是Tesla請了多少世界菁英的軟體工程師，又請了多少硬體廠商幫忙客製化所需要的晶片，又花了幾百台車每天都在試跑，國家又花了多少金費建造試驗場域。而且，即便在那麼積極研發好幾年後，目前還無法達到人類開車的失誤率，也沒有國家真的敢允許私家自駕車離開試驗場域。這樣大家大概就知道AI與人類的距離了，況且台灣的資本市場大概不會允許公司這麼燒錢，員工要能夠被取代，大概還有五到十年的時間要走。</p><p>或許這些論證仍太過生硬，講個有趣的小故事好了。一個朋友在傳產工廠裡面當AI工程師，最近希望透過聲音或是振動頻率的偵測，提前預警機器的故障。當時要在工廠端安裝感測器時遇到很大的阻礙，畢竟工廠端的心態大都趨於保守，以不出事為最高指導原則，創新與流程改善對他們來說都不是有KPI的東西。但是有一個很奇怪的現象，他們對於老總裁的專業技術十分敬重，於是當時他們團隊就說了這樣一個故事，才完成第一階段感測器的裝設。</p><p><em>當時老總才進了他們高雄廠時，耳朵一聽便快速地指向了某一個馬達，說馬達的聲音不對，於是現場的工人便把馬達卸下檢修，果真發現裡面的一個零件已經斷裂。因此，他們希望透過AI技術，複製一個老總裁的耳朵，讓這樣的檢測技術不只可以在高雄廠創造價值，在世界各地的廠都能夠有總裁的身影。</em></p><p>不過，有兩點需要提醒的是。第一、個人覺得<strong>AI導入團隊仍需對於既有商業流程有幾分好奇與尊敬，盡可能不要覺得他們是因為害怕被取代所以不合作。</strong>畢竟這樣的流程在沒有AI的時代也就活得好好的，並且可以讓企業穩定的產生獲利生存至今，你搞AI的能不能在市場上活下來還未必。</p><p>第二，以我的經驗來看，<strong>很多人認為「內部員工的反彈來自於他們害怕被取代」，其實我所遇到的案例大都不是這個心態，比較多是看不起AI，覺得AI是黑盒子云云。</strong>因此，AI導入團隊應該更關心的不是他們會害怕被取代的議題，反而是下一小節要談的議題「內部專業人士的反彈」。</p><h4>組織面 — 內部專業人士的反彈</h4><p>即便現行AI教育仍是以<strong>最終的評價分數</strong>作為最高指導準則，但是要突破與傳統工程師溝通的障礙，他們重視的仍然是可檢視的推論過程，也就是說要在有己有解決方案的公司，透過AI取代既有方法，工程師除了需要透徹了解AI的推論過程之外，仍有兩項工作需要認真著墨。</p><p><strong>其一，盡可能的學習傳統的處理方式，並且準確的說明AI與傳統解決方案的差異。</strong>舉例來說，我個人在處理衛星影像的時候，發現絕大多數傳統在做衛星影像分割(Segmentation)的任務的時候，都是pixel based的分類，也就是說把一個pixel中不同band(CV領域中稱為channel)的值當成獨立的row，放入模型訓練。而之所以，現行CNN based的影像分割方法之所以會有比較好的效果，基本上是基於其在影像空間關聯性的考量，可以讓紋理特徵與特殊的圖形被偵測出來，並進行判釋。舉例來說，看到一個像素是橘色的，可能很難辨識是什麼物件，但是看到多個像素中橘色貓毛的紋理、加上尾巴的形狀，可能就比較容易辨識這就是一隻貓。其後在印出一張模型各階段的Feature Map也能增加說服力，像是下面這張便是人臉辨識模型個階段抓取的特徵。</p><figure><img alt="Face Recognition Feature Map. From: https://arxiv.org/pdf/1804.06655.pdf" src="https://cdn-images-1.medium.com/max/1024/1*5XSziDNc1pwm5aIOAbPAiw.png" /><figcaption>Face Recognition Feature Map. From: <a href="https://arxiv.org/pdf/1804.06655.pdf">https://arxiv.org/pdf/1804.06655.pdf</a></figcaption></figure><p><strong>其二、盡可能將AI的推論過程可視化，最簡地的案例便是找出變數的貢獻重要性，圖像上可以畫出各層的模型輸出。</strong></p><p>有一個案例是我個人在執行探採業案子的實際經驗。由於今年只有半年的執行時間，他們公司對於我們做出的成果大都半信半疑，但我們將影響預測結果的<strong>關鍵特徵</strong>抓出來後製成簡單的長條圖，便獲得了他們的信任。說實話，其實也不是甚麼厲害的圖，當初我還很猶豫要不要做這個分析，<strong>但最終因為與他們長年累積的經驗相符，才成功讓他們對於AI技術卸下心防。</strong>當然，如果你覺得長條圖太弱， 你也可以透過<a href="https://github.com/slundberg/shap#citations">SHAP</a>這個套件搞出fancy一點的分析圖。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*hG1dX8dOERbx9mQj.png" /><figcaption>Shap Package Visualization Result. From: <a href="https://github.com/slundberg/shap#citations">https://github.com/slundberg/shap#citations</a></figcaption></figure><p>另外，電腦視覺相關的模型，現在都已經發展出了各式各樣的視覺化方式，讓模型的中間層不再是黑盒子。舉例來說，在今年在執行透地雷達影像判釋的案子時，我把每一層的判釋為(地下)人孔蓋的影像放入模型中，並將模型計算的每一層輸出印出來，我們便可以發現雖然一開始人孔蓋的雜訊很多，但是在經過濃縮與特徵值萃取後的輸出層，人孔蓋的部分不是全黑就是全白，基本上已經可以反映人孔蓋涵蓋範圍了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*f-yvvKy1G_1uu2Nij94LiQ.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e69c6be970bc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Linebot 2.0 with Django Complete Tutorial — Echo Bot, Saving Userprofile, Two-Page Richmenu]]></title>
            <link>https://jeremy455576.medium.com/linebot-2-0-with-django-complete-tutorial-echo-bot-saving-userprofile-two-page-richmenu-ca15d9f8ae4c?source=rss-dfb3ea056e82------2</link>
            <guid isPermaLink="false">https://medium.com/p/ca15d9f8ae4c</guid>
            <category><![CDATA[line-bot]]></category>
            <category><![CDATA[django]]></category>
            <category><![CDATA[rich-menu]]></category>
            <dc:creator><![CDATA[GoatWang]]></dc:creator>
            <pubDate>Wed, 12 Feb 2020 04:15:02 GMT</pubDate>
            <atom:updated>2020-02-12T06:39:29.395Z</atom:updated>
            <content:encoded><![CDATA[<h3>Linebot 2.0 with Django Complete Tutorial — Echo Bot, Saving Userprofile, Two-Page Richmenu</h3><h3>Introduction</h3><p>There are four parts in this tutorial. The Github repo is at <a href="https://github.com/GoatWang/LinebotTutorial">https://github.com/GoatWang/LinebotTutorial</a>.</p><ol><li><strong>Create Line Official Account</strong>: Line official account is different from general line account. Line official account will be shown as an independent username &amp; picture in line.</li><li><strong>Build Django Backend Website (Echo Bot)</strong>: In this part, the communication structure between user, line server and the website will be explained. Also, this tutorial will go through every step to build this website and deploy on to the heroku.</li><li><strong>Write Logic of the Bot (Saving Userprofile)</strong>: The concept of Event, LineBotApi, Message and Action will be explained. Dealing with different types of Events, Sending different types of Messages, Embedding different types of Actions in the Message is the main point of this section. In the implementation tutorial, we are going to save the user profile into the database when the user add the account as a friend.</li><li><strong>RichMenu and RichMessage (Two-Page Richmenu</strong>)<strong>: </strong>It is common to use self-defined images as button in Line nowadays. This part will describe how to produce this kind of image and the location of buttons. Also, we are going to make a two-page RichMenu in the implementation tutorial.</li></ol><h3><strong>Create Line Official Account</strong></h3><h4>Intro: Linebot Management Official Websites</h4><p>There are two main websites to manage your bot: <a href="https://account.line.biz/login?redirectUri=https%3A%2F%2Fmanager.line.biz%2F">Line Business ID</a> and <a href="https://developers.line.biz/zh-hant/">Line Developer</a>. There are two things to be noticed:</p><ol><li>Even most of the settings can be set in both sites, <strong>some settings can be managed only in one site</strong>. For example, developer “<em>Roles”</em> can only be managed in <a href="https://developers.line.biz/zh-hant/">Line Developer</a>, while “<em>Rich menus” </em>can only be designed in <a href="https://account.line.biz/login?redirectUri=https%3A%2F%2Fmanager.line.biz%2F">Line Business ID</a>.</li><li><a href="https://account.line.biz/login?redirectUri=https%3A%2F%2Fmanager.line.biz%2F">Line Business ID</a> is for Linebot 2.0, while Line@ Manager is for Linebot 1.0. <strong>If you don’t know what is Line@ Manager, just forget it.</strong> you can not log in to Line@ Manager if you don’t have any bot in Linebot 1.0. Do not confuse any of them with each other.</li></ol><h4>Step1: Allow your line account to log through other platforms.</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/404/1*foFcnuWXetCY756gJeqQcA.jpeg" /></figure><h4>Step2: Log in <a href="https://developers.line.biz/zh-hant/">Line Developer</a></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CwHB6cQjVUtXJRW3YekTKg.png" /></figure><h4>Step3: Create a new Provider</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2D-kFrUsI4u-ETxdYR64Vw.png" /></figure><h4>Step4: Select Channel Type: Messaging API Channel</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_a6CMSNu9E-HO0smBJXlyw.png" /></figure><h4>Step5: Create Messaging API channel</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*o5quDAFEB1cUU41NDRUllg.png" /></figure><h4>Step6: other operations</h4><ol><li>disable the Auto-reply messages</li><li>issue a secret token</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xOD253fy8epI8quHWMUvWA.png" /></figure><h3><strong>Build Django Backend Website</strong></h3><h4>Intro: the communication structure between user, line server and the website.</h4><p>There are two kinds of interaction mode in Line Messaging API: reply and push. In reply mode, the reply message will be sent only when the user questioned. In push mode, however, the push message will be sent automatically whenever you want. <strong>To be noticed, there is no limitation on the number of reply messages but only 500 user * message can be sent at line’s free-tier price plan. </strong>That is to say, once you have more than 500 friends, you cannot use push message function at line’s free-tier price plan.</p><p>The image below shows the interaction chain of user client, line server and your server. In reply mode, message will first from sent from user client to line server, then your server (left-to-right). This is followed by the backward response (right-to-left). In push mode, only the backward direction interaction (right-to-left) will happen. Anyway, we are going to build a django server as an echo bot in the section.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/650/1*9Av_u9ESvzKCZkcyj2_8yQ.png" /></figure><h4>Step1: Install prerequisite</h4><ol><li>Install Python3.6 ( <a href="https://www.python.org/downloads/release/python-365/">https://www.python.org/downloads/release/python-365/</a>)</li><li>packages: django, virtualenv</li></ol><pre>&gt;&gt;&gt; pip install django virtualenv</pre><h4>Step2: Create a project</h4><p>Once Django is successfully installed in your python, you can run <em>django-admin startproject &lt;project_name&gt; </em>to create a new project.</p><pre>&gt;&gt;&gt; django-admin startproject LinebotTutorial</pre><p>This command will create a directory with a structure like this.</p><pre>│   manage.py<br>│<br>└───LinebotTutorial<br>    │   settings.py<br>    │   urls.py<br>    │   wsgi.py<br>    └   __init__.py</pre><h4>Step2: Create an app</h4><p>An application can be imagined as an independent module of the whole website. If we only want to create linebot server, one application is enough. Be sure to change directory to the project directory. Then run <em>python manage.py startapp &lt;app_name&gt; </em>to create a new application. <strong>To be mentioned, its recommended not to set <em>app_name </em>as names that will appear in the packages used by the project such as “linebot” or “app”.</strong></p><pre>&gt;&gt;&gt; cd LinebotTutorial<br>&gt;&gt;&gt; python manage.py startapp tutorialbot</pre><p>This command will create a directory called tutorialbot. The whole structure will be like this.</p><pre>│   manage.py<br>│<br>├───LinebotTutorial<br>│   │   settings.py<br>│   │   urls.py<br>│   │   wsgi.py<br>│   └   __init__.py<br>└───tutorialbot<br>    │   admin.py<br>    │   apps.py<br>    │   models.py<br>    │   tests.py<br>    │   views.py<br>    │   __init__.py<br>    │<br>    └───migrations<br>            __init__.py</pre><h4>Step3: Build a virtual environment</h4><p>Virtual environment is generally used in python to build an independent environment that can help to avoid the conflicts between packages. Virtual environment is also helpful for coping an environment from PC to server.</p><pre>&gt;&gt;&gt; virtualenv venv # create the env<br>&gt;&gt;&gt; venv\Scripts\activate  #activate the env<br>&gt;&gt;&gt; pip install django line-bot-sdk #install packages</pre><h4>Step4: write the response function and set the route</h4><ul><li>in tutorialbot\views.py</li></ul><pre>from django.http import HttpResponse</pre><pre>def index(request):<br>    return HttpResponse(&quot;test!!&quot;)</pre><ul><li>create tutorialbot\urls.py</li></ul><pre>from django.urls import path<br>from . import views</pre><pre>urlpatterns = [<br>    path(&#39;&#39;, views.index, name=&#39;index&#39;),<br>]</pre><ul><li>in LinebotTutorial\urls.py</li></ul><pre>from django.contrib import admin<br>from django.urls import include, path</pre><pre>urlpatterns = [<br>    path(&#39;tutorialbot/&#39;, include(&#39;tutorialbot.urls&#39;)),<br>    path(&#39;admin/&#39;, admin.site.urls),<br>]</pre><h4>Step5: test runserver locally</h4><p>Run the server locally using the following script, and go to <a href="http://127.0.0.1:8000/tutorialbot/">http://127.0.0.1:8000/tutorialbot/</a>. If you can see “test!!”, you successfully run the server locally.</p><pre>&gt;&gt;&gt; python manage.py runserver</pre><h4>Steps6: Deployment of the website</h4><p>Be sure that the url of the website should be https which is limited by line official. Once you don’t have https server, it is recommended to use heroku. Heroku is a free resource to deploy your website. The only drawback is that the server will sleep when it receives no web traffic in a 30-minute. It will wake up when receiving a new request, but it takes about 30 seconds to wake up. The Django deploy <a href="https://devcenter.heroku.com/articles/django-app-configuration">tutorial</a> is issued by heroku.</p><ul><li>install <a href="https://devcenter.heroku.com/articles/getting-started-with-python#set-up">heroku-cli</a></li><li><a href="https://id.heroku.com/login">create heroku account</a></li><li>prepare prerequisite files</li></ul><pre># prepare requirements.txt in the project root directory<br>&gt;&gt;&gt; pip install gunicorn<br>&gt;&gt;&gt; pip install django-heroku<br>&gt;&gt;&gt; pip freeze &gt; requirements.txt</pre><pre># in the LinebotTutorial\settings.py<br># at the top of settings.py<br>import django_heroku<br># at the bottom of settings.py<br>django_heroku.settings(locals()) #Activate Django-Heroku.</pre><pre># create Procfile (no extension) in the project root directory<br>web: gunicorn LinebotTutorial.wsgi</pre><ul><li>prepare the project as a git repo</li></ul><p>Write .gitignore in the project root to avoid venv directory to be uploaded since it is quite fat. And we are going to use requirements.txt to copy the venv in the server.</p><pre>#just write these lines in .gitignore<br>venv <br>staticfiles<br>__pycache__</pre><p>initialize a git repo</p><pre>&gt;&gt;&gt; git init <br>&gt;&gt;&gt; git add .<br>&gt;&gt;&gt; git commit -m &quot;my first commit&quot;</pre><ul><li>login to heroku &amp; create the app &amp; deploy the website</li></ul><pre>&gt;&gt;&gt; heroku login <br>&gt;&gt;&gt; heroku create # create the heroku app<br>&gt;&gt;&gt; git push heroku master # deploy the code on to the heroku server<br>&gt;&gt;&gt; heroku ps:scale web=1 # call the server to run the Procfile<br>&gt;&gt;&gt; heroku open # open the website url. you can add &quot;/tutorialbot/&quot; at the end of the url, then you will see the test!! again</pre><h4>Step7: Write CHANNEL_ACCESS_TOKEN and CHANNEL_SECRET</h4><p>write LINE_CHANNEL_ACCESS_TOKEN and LINE_CHANNEL_SECRET, which is from Line Business ID website, at the bottom of LinebotTutorial\settings.py. If you are going to push this to the cloud server such as Github, it is recommended to store the token and the secret in the environment variables and call them through <em>os.environ[‘&lt;env_name&gt;’]</em></p><pre>LINE_CHANNEL_ACCESS_TOKEN = &quot;&lt;your LINE_CHANNEL_ACCESS_TOKEN&gt;&quot;<br>LINE_CHANNEL_SECRET = &quot;&lt;your LINE_CHANNEL_SECRET&gt;&quot;</pre><h4>Step8: Write response function</h4><p>This code is modified from <a href="https://github.com/line/line-bot-sdk-python">line-bot-sdk</a> git repository. It is used to receive the requests from line server and give the same text response back to line.</p><p>in tutorialbot/views.py</p><pre>from django.conf import settings # calls the object written in settings.py<br>from django.http import HttpResponse, HttpResponseBadRequest, HttpResponseForbidden, JsonResponse<br>from django.views.decorators.csrf import csrf_exempt<br>from linebot import LineBotApi, WebhookHandler<br>from linebot.exceptions import InvalidSignatureError<br>from linebot.models import MessageEvent, TextMessage, TextSendMessage</pre><pre>line_bot_api = LineBotApi(settings.LINE_CHANNEL_ACCESS_TOKEN)<br>handler = WebhookHandler(settings.LINE_CHANNEL_SECRET)</pre><pre># this is for testing<br>def index(request):<br>    return HttpResponse(&quot;test!!&quot;)</pre><pre># this is code is modeified from <a href="https://github.com/line/line-bot-sdk-python">https://github.com/line/line-bot-sdk-python</a><br><a href="http://twitter.com/csrf_exempt">@csrf_exempt</a> # this is used for avoid csrf request from line server<br>def callback(request):<br>    if request.method == &quot;POST&quot;:<br>        # get X-Line-Signature header value<br>        signature = request.META[&#39;HTTP_X_LINE_SIGNATURE&#39;]<br>        global domain<br>        domain = request.META[&#39;HTTP_HOST&#39;]<br>        <br>        # get request body as text<br>        body = request.body.decode(&#39;utf-8&#39;)</pre><pre>        # handle webhook body<br>        try:<br>            handler.handle(body, signature)<br>        except InvalidSignatureError:<br>            return HttpResponseBadRequest()</pre><pre>        return HttpResponse()<br>    else:<br>        return HttpResponseBadRequest()</pre><pre># this function is used for process TextMessage from users<br><a href="http://twitter.com/handler">@handler</a>.add(MessageEvent, message=TextMessage)<br>def handle_message(event):<br>    line_bot_api.reply_message(<br>        event.reply_token,<br>        TextSendMessage(text=event.message.text))</pre><p>in tutorialbot/urls.py</p><pre>urlpatterns = [<br>    path(&#39;&#39;, views.index, name=&#39;index&#39;),<br>    path(&#39;callback/&#39;, views.callback, name=&#39;callback&#39;), # add this line<br>]</pre><p>in the INSTALLED_APP part in SLinebotTutorial/settings.py</p><pre>INSTALLED_APPS = [<br>    &#39;tutorialbot.apps.TutorialbotConfig&#39;, # add this line<br>    ...<br>    &#39;django.contrib.messages&#39;,<br>    &#39;django.contrib.staticfiles&#39;,<br>]</pre><p>deploy the app</p><pre>&gt;&gt;&gt; git add .<br>&gt;&gt;&gt; git commit -m &quot;callback function&quot;<br>&gt;&gt;&gt; git push heroku master</pre><h4>Step9: Set Webhook url on Line Developers</h4><p>Fill in your heroku url , which can get from “heroku open”. Remember to add “/LinebotTutorial/callback/” at the tail of the url. After editing the url, be careful to check the “Use webhook” button.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EylFukQSHGXEzrXRV8u6Wg.png" /></figure><h4>Step10: add your bot as a friend and check its status</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/1*NVyXArVyqCWn0elYo8Wi4w.jpeg" /></figure><h3><strong>Write Logic of the Bot</strong></h3><h4>Intro: Event, LineBotApi, Message and Action</h4><p>The basic concept of line-bot-sdk is composed of Event, Message, LineBotApi, SendMessage and Action objects. Once the bot receives an <strong>Event </strong>(e.g. MessageEvent) with a Message (<strong>TextMessage</strong>), the bot server should use <strong>LineBotApi </strong>to reply_message. Then <strong>SendMessage </strong>type (e.g. TextSendMessage) should be selected. If some buttons is embedded in the <strong>SendMessage</strong> (e.g. TemplateSendMessage), the <strong>Action </strong>(e.g. UriAction)should be defined when the button is clicked. All types of <strong>Event</strong>, <strong>Message , SendMessage </strong>and <strong>Action</strong> and all functions of <strong>LineBotApi </strong>are<strong> </strong>described in detail in the repo of <a href="https://github.com/line/line-bot-sdk-python">line-bot-sdk</a>. Some generally used objects of <a href="https://github.com/line/line-bot-sdk-python">line-bot-sdk</a> are listed below.</p><ul><li>Event Types: MessageEvent, FollowEvent, UnfollowEvent, JoinEvent, LeaveEvent, PostbackEvent…</li><li>Message Types: TextMessage, ImageMessage, LocationMessage, FileMessage…</li><li>LineBotApi Functions: reply_message, push_message, get_profile…</li><li>SendMessage Types: TextSendMessage, ImageSendMessage, LocationSendMessage, StickerSendMessage, ImagemapSendMessage, TemplateSendMessage…</li><li>Action Types: URIAction, PostbackAction, MessageAction…</li></ul><h4>Intro: Deal with the FollowEvent</h4><p>In this section, I am going to use FollowEvent as example to illustrate the method to use Event, LineBotApi, Message and Action objects in Django. As a result, we are going to experience the following steps:</p><ol><li>the user adds the bot as a friend, and the bot receives the <strong>FollowEvent </strong>without Message.</li><li>the bot use <strong>get_profile </strong>to get the user profile and save it to the database.</li><li>the bot send a <strong>TemplateSendMessage </strong>with a button to ask the user if he/she wants to receive sales promotion messages.</li><li>When the button is clicked, the <strong>PostbackAction</strong> will be triggered and bot will receive a <strong>PostbackEvent </strong>and update the database<strong>.</strong></li></ol><h4>Step1: Disable Greeting Message from line</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MVciYuDVWSp8dHLSfUcKUQ.png" /></figure><h4>Step2: Open Userprofile schema in Database</h4><p>Although Django have built a User model for us, the schema is not matched with the information provided by line. As a result, we should design a new schema to save information provided by <strong>get_profile </strong>function.<strong> </strong>To be mentioned, sqlite3 is used as the default database by Django, which can be changed by editing settings.py.</p><ul><li>in tutorialbot/models.py</li></ul><pre>from django.db import models<br>from django.contrib.auth.models import User</pre><pre># Create your models here.<br>class UserProfile(models.Model):<br>    # get from line<br>    user = models.OneToOneField(User, on_delete=models.CASCADE) #OneToOneField is used to extend the original User object provided from Django.<br>    line_id = models.CharField(max_length=50, primary_key=True, verbose_name=&quot;LineID&quot;)<br>    line_name = models.CharField(max_length=100, verbose_name=&quot;Line名稱&quot;)<br>    line_picture_url = models.URLField(verbose_name=&quot;Line照片網址&quot;)<br>    line_status_message = models.CharField(max_length=100, blank=True, null=True, verbose_name=&quot;Line狀態訊息&quot;)</pre><pre>    # generated by system<br>    unfollow = models.BooleanField(default=False, verbose_name=&quot;封鎖&quot;)<br>    create_time = models.DateTimeField(auto_now=True, verbose_name=&quot;創建時間&quot;)</pre><pre>    # other<br>    promotable = models.BooleanField(default=False, verbose_name=&quot;promotable&quot;)</pre><ul><li>update the database</li></ul><pre>&gt;&gt;&gt; python manage.py makemigrations # generate the sql code <br>&gt;&gt;&gt; python manage.py migrate # apply the sql code to local DB</pre><h4>Step3: Handle FollowEvent Function</h4><ul><li>at the top of tutorialbot/views.py</li></ul><pre>from django.contrib.auth.models import User<br>from tutorialbot.models import UserProfile<br>from linebot.models import (<br>    MessageEvent, FollowEvent, <br>    TextMessage, <br>    PostbackAction,<br>    TextSendMessage, TemplateSendMessage, <br>    ButtonsTemplate<br>    )</pre><ul><li>at the bottom of tutorialbot/views.py</li></ul><pre><a href="http://twitter.com/handler">@handler</a>.add(FollowEvent)<br>def handle_follow(event):<br>    line_id = event.source.user_id<br>    profile = line_bot_api.get_profile(line_id)<br>    profile_exists = User.objects.filter(username=line_id).count() != 0<br>    if profile_exists:<br>        user = User.objects.get(username = line_id)<br>        user_profile = UserProfile.objects.get(user = user)<br>        user_profile.line_name = profile.display_name<br>        user_profile.line_picture_url = profile.picture_url<br>        user_profile.line_status_message = profile.status_message<br>        user_profile.unfollow = False<br>        user_profile.save()<br>    else:<br>        user = User(username = line_id)<br>        user.save()<br>        user_profile = UserProfile(<br>            line_id = line_id,<br>            line_name = profile.display_name,<br>            line_picture_url = profile.picture_url,<br>            line_status_message=profile.status_message,<br>            user = user<br>        )<br>        user_profile.save()</pre><pre>    buttons_template_message = TemplateSendMessage(<br>        alt_text=&#39;Product Promotion&#39;,<br>        template=ButtonsTemplate(<br>            title=&quot;Product Promotion&quot;,<br>            text=&#39;Do you want to receive the promotion messages?&#39;,<br>            actions=[<br>                PostbackAction(<br>                    label=&#39;yes&#39;,<br>                    display_text=&#39;yes&#39;,<br>                    data=&#39;promotion=true&#39;<br>                ),<br>            ]<br>        )<br>    )</pre><pre>    line_bot_api.reply_message(<br>        event.reply_token,<br>        [<br>            TextSendMessage(text=&quot;Hello\U0010007A&quot;),<br>            buttons_template_message,<br>        ]<br>    )</pre><ul><li>deploy to heroku</li></ul><pre>&gt;&gt;&gt; git add .<br>&gt;&gt;&gt; git commit -m &quot;handle FollowEvent&quot;<br>&gt;&gt;&gt; git push heroku master<br>&gt;&gt;&gt; heroku run python manage.py migrate # apply the sql code to heroku DB</pre><h4>Step4: Test in line</h4><p>Unfollow the account first, then follow it again.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/1*nTLdThtwzGpFsVGxNqslVw.jpeg" /></figure><h4>Step5: Test in Heroku</h4><ul><li>ssh to heroku server &amp; run Django shell</li></ul><pre>&gt;&gt;&gt; heroku run python manage.py shell</pre><ul><li>show all UserProfile</li></ul><pre>&gt;&gt;&gt; from tutorialbot.models import UserProfile<br>&gt;&gt;&gt; user_profiles = UserProfile.objects.all()<br>&gt;&gt;&gt; for u in user_profiles:<br>...     print(u.line_name, u.create_time)</pre><p>Then, “&lt;user_line_name&gt; &lt;create_time&gt;” will be printed.</p><h4>Step6: Handle PostbackEvent Function</h4><ul><li>at the top of tutorialbot/views.py</li></ul><pre>from linebot.models import (<br>    MessageEvent, FollowEvent, PostbackEvent,<br>    TextMessage, <br>    PostbackAction,<br>    TextSendMessage, TemplateSendMessage, <br>    ButtonsTemplate<br>    )</pre><ul><li>at the bottom of tutorialbot/views.py</li></ul><pre><a href="http://twitter.com/handler">@handler</a>.add(PostbackEvent)<br>def handle_postback(event):<br>    if event.postback.data == &quot;promotion=true&quot;:<br>        line_id = event.source.user_id<br>        user_profile = User.objects.get(username=line_id)<br>        user_profile.promotable= True # set promotable to be True<br>        user_profile.save()</pre><ul><li>push to heroku server</li></ul><pre>&gt;&gt;&gt; git add .<br>&gt;&gt;&gt; git commit -m &quot;handle PostbackEvent&quot;<br>&gt;&gt;&gt; git push heroku master</pre><h4>Step7: Test in Heroku</h4><ul><li>ssh to heroku server &amp; run Django shell</li></ul><pre>&gt;&gt;&gt; heroku run python manage.py shell</pre><ul><li>show all UserProfile</li></ul><pre>&gt;&gt;&gt; from tutorialbot.models import UserProfile<br>&gt;&gt;&gt; user_profiles = UserProfile.objects.all()<br>&gt;&gt;&gt; for u in user_profiles:<br>...     print(u.line_name, u.promotable, u.create_time)</pre><p>Then, “&lt;user_line_name&gt; &lt;promotable&gt; &lt;create_time&gt;” will be printed.</p><h3><strong>Rich Menu and Message</strong></h3><h4>Intro: we are going to implement…</h4><p>In the section, I draw two images. There is a button to go to the next page in the first image, while there is a button to go to the previous page in the second image. The icon of my company is just an url to go to the home website of Thinktron.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*W7lbASmeMRXpF28bOoHO6Q.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*bAfDzpp4NH8uTrMTdsiJig.jpeg" /></figure><h4>step1: prepare the images</h4><p>There is a limitation on the images’ size. <strong>The size should be in 2500x1686, 2500x843, 1200x810, 1200x405, 800x540 or 800x270, which is from </strong><a href="https://developers.line.biz/en/reference/messaging-api/#create-rich-menu"><strong>here</strong></a><strong>.</strong> To make this kind of image, I use an online tool called <a href="https://pixlr.com/">pixlr</a>. It is possible to create any size of canvas and draw any image on to the canvas, which can help to generate the required images.</p><h4>step2: write the script to define the location of buttons</h4><p>There are two ways to define the location and area of buttons. First is <a href="https://manager.line.biz/">Line Business ID</a>. Its drawback is you can design the RichMenu only by templates provided by line. Also, the postback action cannot be set on the website.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*A1XUlgwZHFcVkI4CD239wg.png" /><figcaption>where to design richmenu</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/752/1*NqMBrIHbXtz2c-xJ9SF5zg.png" /><figcaption>templates provided by line</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rYpeadboHVxLkru7BpUh4w.png" /><figcaption>No postback action</figcaption></figure><p>The second way to design RichMenu is sand a post request to line server. It is more complicated but more flexible. You have to define the absolute start location (x and y) and the area (height and width) for each button. It is possible that you want to put many buttons on your RichMenu and they are all in the arbitrary location and area. It’s recommended to use <a href="https://developers.line.biz/en/services/bot-designer/">Bot Designer</a> to design it, the tool provides a convenient GUI.</p><p>What we are going to is just split the image into two parts (left and right). As a result, we can just divide the width of the image by 2 to get the width of the button.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fJR9-xcB0QcglCWAH5KPzw.png" /></figure><ul><li>create a new directory called RichMenu in the project root</li><li>create a new directory called images in the RichMenu directory</li><li>put the image in the images directory (if you want to use the same image with this project, download by <a href="https://drive.google.com/drive/folders/1jfnH0ZLckSeP4goT77ExNKL47v3F98ae?usp=sharing">here</a>. The size of the image is 800 * 540)</li><li>create two .py files called create_firstpage.py &amp; create_secondpage.py</li><li>(optional) create a .py files called list_richmenus.py</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/299/1*RH-1mi84M5j3Ixk7A9OiPA.png" /></figure><ul><li>remember to add RichMenu directory in .gitignore file</li></ul><pre>venv<br>.vscode<br>staticfiles<br>__pycache__<br>RichMenu # add this line</pre><ul><li>in create_firstpage.py</li></ul><p>Notice the RichMenuBounds of the first area, the start location is (0, 0), width is 400(half of the image width) and height is 540 (same with the image). <strong>The RichMenu id will be printed, which should be kept and used in the postback event handler in views.py.</strong></p><pre>import os<br>import requests<br>from linebot import LineBotApi<br>from linebot.models import (<br>    RichMenu, RichMenuSize, RichMenuArea, RichMenuBounds, <br>    URIAction, PostbackAction<br>    )<br>LINE_CHANNEL_ACCESS_TOKEN = &quot;&lt;your LINE_CHANNEL_ACCESS_TOKEN&gt;&quot;<br>line_bot_api = LineBotApi(LINE_CHANNEL_ACCESS_TOKEN)</pre><pre># create rich menu<br># from <a href="https://developers.line.biz/en/reference/messaging-api/#create-rich-menu">https://developers.line.biz/en/reference/messaging-api/#create-rich-menu</a><br>rich_menu_to_create = RichMenu(<br>    size=RichMenuSize(width=800, height=540), #2500x1686, 2500x843, 1200x810, 1200x405, 800x540, 800x270<br>    selected=True,<br>    name=&quot;NextPage&quot;,<br>    chat_bar_text=&quot;See Menu&quot;,<br>    areas=[<br>        RichMenuArea(<br>            bounds=RichMenuBounds(x=0, y=0, width=400, height=540),<br>            action=URIAction(label=&#39;Thinktron&#39;, uri=&#39;<a href="https://www.thinktronltd.com/&#39;">https://www.thinktronltd.com/&#39;</a>)),<br>        RichMenuArea(<br>            bounds=RichMenuBounds(x=400, y=0, width=400, height=540),<br>            action=PostbackAction(label=&#39;Next Page&#39;, data=&#39;action=nextpage&#39;)),<br>        ]<br>)<br>rich_menu_id = line_bot_api.create_rich_menu(rich_menu=rich_menu_to_create)<br>print(&quot;rich_menu_id&quot;, rich_menu_id)</pre><pre># upload image and link it to richmenu<br># from <a href="https://developers.line.biz/en/reference/messaging-api/#upload-rich-menu-image">https://developers.line.biz/en/reference/messaging-api/#upload-rich-menu-image</a><br>with open(os.path.join(&#39;images&#39;, &#39;firstpage.jpg&#39;), &#39;rb&#39;) as f:<br>    line_bot_api.set_rich_menu_image(rich_menu_id, &#39;image/jpeg&#39;, f)</pre><pre># set as default image<br>url = &quot;<a href="https://api.line.me/v2/bot/user/all/richmenu/">https://api.line.me/v2/bot/user/all/richmenu/</a>&quot;+rich_menu_id<br>requests.post(url, headers={&quot;Authorization&quot;: &quot;Bearer &quot;+LINE_CHANNEL_ACCESS_TOKEN})</pre><ul><li>in create_secondpage.py</li></ul><pre>import os<br>import requests<br>from linebot import LineBotApi<br>from linebot.models import (<br>    RichMenu, RichMenuSize, RichMenuArea, RichMenuBounds, <br>    URIAction, PostbackAction<br>    )<br>LINE_CHANNEL_ACCESS_TOKEN = &quot;&lt;your LINE_CHANNEL_ACCESS_TOKEN&gt;&quot;<br>line_bot_api = LineBotApi(LINE_CHANNEL_ACCESS_TOKEN)</pre><pre># create rich menu<br># from <a href="https://developers.line.biz/en/reference/messaging-api/#create-rich-menu">https://developers.line.biz/en/reference/messaging-api/#create-rich-menu</a><br>rich_menu_to_create = RichMenu(<br>    size=RichMenuSize(width=800, height=540), #2500x1686, 2500x843, 1200x810, 1200x405, 800x540, 800x270<br>    selected=True,<br>    name=&quot;PreviousPage&quot;,<br>    chat_bar_text=&quot;See Menu&quot;,<br>    areas=[<br>        RichMenuArea(<br>            bounds=RichMenuBounds(x=0, y=0, width=400, height=540),<br>            action=PostbackAction(label=&#39;Previous Page&#39;, data=&#39;action=previouspage&#39;)),<br>        RichMenuArea(<br>            bounds=RichMenuBounds(x=400, y=0, width=400, height=540),<br>            action=URIAction(label=&#39;Thinktron&#39;, uri=&#39;<a href="https://www.thinktronltd.com/&#39;">https://www.thinktronltd.com/&#39;</a>)),<br>        ]<br>)<br>rich_menu_id = line_bot_api.create_rich_menu(rich_menu=rich_menu_to_create)<br>print(&quot;rich_menu_id&quot;, rich_menu_id)</pre><pre># upload image and link it to richmenu<br># from <a href="https://developers.line.biz/en/reference/messaging-api/#upload-rich-menu-image">https://developers.line.biz/en/reference/messaging-api/#upload-rich-menu-image</a><br>with open(os.path.join(&#39;images&#39;, &#39;secondpage.jpg&#39;), &#39;rb&#39;) as f:<br>    line_bot_api.set_rich_menu_image(rich_menu_id, &#39;image/jpeg&#39;, f)</pre><ul><li>(optional) in list_richmenus.py</li></ul><pre>from pprint import pprint<br>from linebot import LineBotApi</pre><pre>LINE_CHANNEL_ACCESS_TOKEN = &quot;&lt;your LINE_CHANNEL_ACCESS_TOKEN&gt;&quot;<br>line_bot_api = LineBotApi(LINE_CHANNEL_ACCESS_TOKEN)</pre><pre>rich_menu_list = line_bot_api.get_rich_menu_list()<br>pprint(rich_menu_list)</pre><pre># delete all richmenus<br># for rm in rich_menu_list:<br>#     line_bot_api.delete_rich_menu(rm.rich_menu_id)</pre><ul><li>run create_firstpage.py &amp; create_secondpage.py to create rich menu</li></ul><pre>&gt;&gt;&gt; cd RichMenu<br>&gt;&gt;&gt; python create_firstpage.py<br>&gt;&gt;&gt; python create_secondpage.py</pre><ul><li>at the bottom of tutorialbot\views.py</li></ul><p>Modify your handle_postback function. You should fill in the id for each RichMenu. Once you forget it you can use list_richmenus.py to find it.</p><pre><a href="http://twitter.com/handler">@handler</a>.add(PostbackEvent)<br>def handle_postback(event):<br>    line_id = event.source.user_id<br>    if event.postback.data == &quot;promotion=true&quot;:<br>        user_profile = UserProfile.objects.get(line_id=line_id)<br>        user_profile.promotable = True<br>        user_profile.save()</pre><pre>line_bot_api.reply_message(<br>            event.reply_token,<br>            [<br>                TextSendMessage(text=&quot;Thanks\U0010007A&quot;),<br>            ]<br>        )<br>    elif event.postback.data == &quot;action=nextpage&quot;:<br>        line_bot_api.link_rich_menu_to_user(line_id, &quot;&lt;firstpage richmenu id&gt;&quot;)<br>    elif event.postback.data == &quot;action=previouspage&quot;:<br>        line_bot_api.link_rich_menu_to_user(line_id, &quot;&lt;secondpage richmenu id&gt;&quot;)</pre><ul><li>evaluate the result</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Z83Sg_BRjCYpynO8LZwdQA.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ca15d9f8ae4c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[非本科系轉職軟體工程師指南]]></title>
            <link>https://jeremy455576.medium.com/%E9%9D%9E%E6%9C%AC%E7%A7%91%E7%B3%BB%E8%BD%89%E8%81%B7%E8%BB%9F%E9%AB%94%E5%B7%A5%E7%A8%8B%E5%B8%AB%E6%8C%87%E5%8D%97-9c7783190178?source=rss-dfb3ea056e82------2</link>
            <guid isPermaLink="false">https://medium.com/p/9c7783190178</guid>
            <category><![CDATA[job-search]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[找工作]]></category>
            <category><![CDATA[轉職]]></category>
            <dc:creator><![CDATA[GoatWang]]></dc:creator>
            <pubDate>Sun, 29 Sep 2019 00:59:59 GMT</pubDate>
            <atom:updated>2019-10-06T02:32:02.793Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RFcC_hDKfCujE4BWSh_QrQ.jpeg" /></figure><p>台灣這幾年對人才的想像似乎圍繞著這幾個詞彙: 跨領域人才、T型人才、協槓青年。隨著這個風潮，最常見的大約是各domain人才希望踏入資工領域，今年已經有不下十個朋友詢問我相關問題，所以整理了一些想法跟大家分享。現在想想…</p><blockquote>其實最應該開設跨領域整合研究所的並不是法律系，而是資工系。</blockquote><h3>非本科系學生找工作的選擇</h3><p>非本科系如果跨入資工領域，我想以後的發展方向可能必須先思考一輪，我不會說你必須先決定要走哪個方向，但是設想這件事情的過程中，一方面我們可以挖掘程式可以帶給自己什麼價值。另一方面，我們也會發現在找工作上，並不一定會如想像中美好，畢竟台灣的產業環境並不會因為你的改變而改變，以下幾個發展的方向，可能都必須親身經歷與嘗試之後才會有答案。</p><h4>原產業對資工人才的需求</h4><p>首先，必須先看原產業對於資工人才是否有需求，如果你原本待的產業相對保守、沒有創新空間(在我的認知裡，台灣很多的大企業大約都是這副德性)，以會計產業為例，無論他們再喜歡說「T型人才」、「跨領域人才」這些炫砲的詞彙，他們也不會因為你擁有的技能或經歷比較特殊，就撼動那強不可破的公司規定。</p><p>當然，如果你待的產業已經開始投入相關領域，擁有雙背景的工程師就會變得極度吃香，像是銀行產業早已開始積極創立AI部門，如果你同時具有金融跟軟體技術的背景，相信會非常容易找到工作。或是我目前所待的公司<a href="https://www.thinktronltd.com/">興創知能</a>，如果有土木、水利或防災的背景，又同時兼具資訊開發能力，大約很容易被邀請來面試。</p><h4><strong>新創公司切入的空間</strong></h4><p>再者，你也必須考量原產業給予新創公司切入的空間。如果原產業的門檻讓新創公司不得其門而入，那也是一大危機。絕大多數的產業他們可以不創新又歷久不衰必定有它的原因，像是資本壟斷性質(如海運或石油)，或是客戶壟斷性質(會計或法律)。</p><p>像是法律產業的lawsnote算是極少成功的案例，成功了提供原產業一些更方便好用的工具作為切入點，讓原產業的老闆買單。不過，整體來說，這樣的新創公司要如此成功，創業者還是必須承擔極高的風險與代價，還是要看個人的能耐與家庭奧援。</p><h4><strong>創業</strong></h4><p>當然，創業也是一個選項，如果你所處的原產業既沒有創新可能，也沒有可期待的新創公司，那麼就只有靠自己了。如果厲害一點，家裡也沒有經濟壓力的話，可以選擇創業，不過風險、成本與生活品質還是很大的考量，畢竟要開發出有商業模式的產品真的比想像中難上百倍千倍，每解決一個問題，就會發現背後更多問題，最終沒有辦法解決的問題只會如指數般放大。</p><p>但是創業有個絕對的好處，如果你的公司真的有一些實績，你回去原產業推銷時就不是拿著履歷唯唯諾諾的指望那微薄的薪水，而是依照你產品的價值與原產老闆相對平起平坐的談判，當然，是不是相對還是依照你產品的強度而定了。</p><h4>完全轉職工程師</h4><p>最後，你還有一個選擇，就是放棄原產業，完全轉職工程師<strong>。</strong>這種選擇最可怕的地方在沉沒成本，<strong>當你在原產業耕耘的越深，你要轉換跑道的心理障礙也就越大</strong>，畢竟那是一個你付出了幾年心血的地方啊…。</p><blockquote>學得越多，包袱越重。</blockquote><p>另外，有一個重要的考量點，就是我們要有足夠的心理準備，<strong>我們將會跟資工本科的畢業生放在同一平台上面比較，當我們失去原有的專業，我們真的有把握可以脫穎而出嗎?</strong></p><h3>培訓機構或是自學</h3><p>選擇培訓機構或是自學，最大的考量點當然是在自己的<strong>自制力</strong>。如果你真的有把握，在剛開始入門程式時、最枯燥乏味的時間，坐在電腦前面，不會莫名其妙滑FB或是Youtube就過了幾個小時，那麼你可以試試看。</p><p>其次需要考量的就是，培訓機構營造的環境，<strong>畢竟可以讓自己有一群跟自己一樣背景的人可以討論(或競爭)，還是會讓人比較有動力去學習。</strong>當然相對應的，進度掌握上就有可能要比較跟著整個班級走，無論太快或太慢。</p><p>不過必須要注意的是，不管是看網路課程，還是去培訓機構，<strong>想要成為優秀的工程師，就必須擁有自學的能力，具體來說，就是沒有人給你問問題的時候，你仍然可以透過Google把問題解決了。</strong>這個技能最好的培養手段便是，心中都要有幾個渴望想用資訊技能解決的問題，如此才能不段讓自己對於新技術產生熱情，然後快速地運用所學開發新的專案。</p><p>另一方面，也無須期待課程結束之後，就可以找到多好的工作，以我個人為例，我在課程結束之後，仍花了一年的時間，在政大資科系以及Coursera上修了幾門重要的課，參幾次黑客松，然後才開始找工作，詳細的狀況可以看我上一篇文章 —<a href="https://medium.com/@jeremy455576/2017-%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90%E5%B8%AB%E7%9A%84%E7%B7%B4%E6%88%90%E4%B9%8B%E8%B7%AF-b6f8d222b301?source=friends_link&amp;sk=d37a185674be04d7ca020b197b434eb8">2017 資料分析師的練成之路</a> 。當然也不是說大家都必須這樣安排，也可以一上完課就開始找工作，只是真的不用期待培訓機構出來，可以直接找到很好的工作就是了。</p><p>如果真的選擇培訓機構，以下跟大家介紹一下幾間自己比較熟悉的機構。</p><h4>資策會</h4><p><strong>資策會算是比較傳統的培訓機構，他比較適合尋求穩定工作的人。</strong></p><p>我自己曾經上過資策會微軟C#全端班，現在是AI班機器學習課程的講師，以下跟大家分享一些經驗。他跟另外兩個培訓機構最大的差別是，他會一步步帶你實作，真的是老師做一步、同學做一步。然而這個過程有個很難解決的問題 — <strong>班上同學的進度不一，不是你跟不上老師，就是同學跟不上你。</strong></p><p>從技術面上面來說，我上完C#全端班的感想是這樣的，他們很多技術是停留在上個時代的技術。因為他們會考量到，大多數會去他們那邊徵才的廠商的需求，<strong>即便這些技術已經過時，為了迎合台灣軟體傳產的需求，以及提升他們的就業率，他們還是會花一部份時間來教授這個部分的知識。</strong></p><p>還有，如果你是鎖定AI班，有一點必須提醒的是，<strong>他們前半段(前兩個月)的課程都在上跟AI無關的技術: 網頁、基礎語法…。</strong>這是好處也是壞處，好處是一般半路出家的AI工程師很少可以同時兼顧網頁的技術，在找工作上多少可以有點幫忙；相對應的，你必須忍受不是AI的課程XDD，多少會有期待落差啦。不過，其實網頁的前後端溝通技術與框架並不是太簡單，甚至比AI演算法還複雜，所以如果有人真的可以帶你操作一次，是真的滿有幫助的啦。</p><h4>人工智慧學校</h4><p><strong>比較適合方向比較明確的人，甚至已經有一些問題想用AI解決，想快速學習AI技術的人。</strong></p><p>目前我所知道的狀況是，平常日他們會把第一期錄好的影片拿出來給大家看，假日時他們會邀請一些學界或是業界的大老回來演講，但是實務上的學習成效很看個人。這種看影片配演講的方法，讓他們可以北中南平行化處理，號稱一年可以培養5000個AI工程師。</p><p>當然，這種作法有好有壞，好處是個人可以按照自己的節奏學習。壞處是有人覺得很沒誠意XDD。喔不是，壞處是個人的自制力也會相對重要，我有看過裡面出來就技術直接突破天際的，也有看過有人畢業後連python基礎語法都不太熟悉的。</p><p>不過他們就很純粹的是AI課程，沒有其他像是網頁前後端技術。</p><h4>Appworks School</h4><p><strong>比較適合自學能力較強的人。</strong></p><p>其實Appworks School算是這幾間培訓機構中個人比較欣賞的。他們充分利用了現有他們覺得比較優質的網路課程，搭配她們設計好的課綱，以及一位導師，幫助大家按進度與節奏學習，並提供同學討論、導師問答與部分的硬體環境，讓整個學習流程變得最有效率。</p><p>當然，相較於資策會，你就很難一步步按部就班地完成某些專案，我想這大概是對於某些人比較大的心理障礙吧。</p><p>在這邊上課還有一個絕對的好處，就是他們對於自己培養的學生有信心，所以學費的來源是來自於，學生畢業後找到工作時的獵人頭仲介費，所以你找不找的到工作，其實也攸關導師的KPI，當有人比自己更擔心自己的前途時，自己就不用擔心了是不是XDD。</p><h4>綜合比較</h4><pre>|          |      資策會      |    人工智慧學校    |    Appworks   |<br>|----------|-----------------|------------------|---------------|<br>|   價格    |     115,000     |      48,000      |       0       |<br>|  入學考試  |       無        |        有        |       有       |<br>|  上課方式  |      老師       |   第一期影片+助教   |  網路影片+助教  |<br>|  適合學生  |   尋找穩定工作    |     目標明確      |    自學能力強   |<br>|  上課內容  |     網頁+AI     |         AI       |     網頁前後端  |</pre><h3>非本科工程師應該鎖定的公司類型</h3><p>在我看來，台灣的軟體業求職生態大約分成三塊: 大型軟體公司、傳統接案公司或傳產資訊人員、新創公司。</p><h4>大型軟體公司</h4><p>從大型軟體公司說起，這裡所指的大約就是Google、Amazon、微軟、蘋果…等。這種公司人人稱羨，畢竟說你是Google工軟體工程師，就跟早年說你是醫生一樣，街頭巷尾的的阿姨都想介紹兒子/女兒給你認識，所以大家削尖腦袋往裡面擠也是在所難免。</p><p>在開始談論競爭力之前，我們要先理解大型軟體公司的(研發工程師)人才需求樣態。他們在做的事情幾乎是開發一般軟體工程師用的軟體工具，如雲端系統、作業系統、瀏覽器或是IDE，換句話說，他們是<strong>幫助工程師的工程師</strong>，他們對於系統、資料庫、演算法甚至資料結構底層的了解要求程度極高，不得不說，在這個層面上，非本科學生幾乎沒有機會根本科學生競爭。</p><p>另外，有一個重要考量就是學歷本身(不包含能力的部分)，這很有可能會因為公司不同而改變，說白了就是人資是不是台灣人、專不專業或偷不偷懶，畢竟他們一天可能真的要看上百封履歷，如果偷懶或不夠專業一點，就會直接按照學歷來分了，我想台灣人資大多數時候也是這樣。</p><p>即便這些大型軟體公司是外商，他們內部進了台灣可能早就本土化，我昨天作夢時不小心夢到，朋友們分享的一些故事。像是M聽說已經本土化的很徹底，最近因為在台灣增設研發部門有好點；G聽說正在走在本土化的路上，畢竟看到H工程師的薪水價碼之後，後面進來的工程師薪水都沒有太好。</p><p>還有，另一個難關就是白板題，他們的面試環節可能有3~5個環節，除了人資、技術面試之外，對我來說，最不想面對與練習的約莫就是白板題了。如果你跟我一樣不愛刷leetcode，那麼這些大型公司軟體公司，真的就不用考慮了。</p><blockquote>夢想還是要有的，萬一實現了呢</blockquote><p>寫了這麼多，其實我想表達的是，<strong>雖然機會渺茫，不過如果能力真的不錯，也有耐心慢慢刷leetcode，還是有機會的</strong>，不過不要抱太大期望就是了。像我這種毫無資工基礎訓練的半路出家工程師，也還是接過亞馬遜的面試邀約的，不過當時年輕不懂事，沒有去面試就是了QQ。</p><h4>傳統接案公司或傳產資訊人員</h4><p>這種工作對於資工背景的要求就不會太多，畢竟他們對於技能的要求也不高。如果是傳產的資訊人員，大約就是維護現有系統，頂多做一點小功能的開發；如果是接案公司，大多就是使用大廠的解決方案，比較誰更能夠快速串接大廠開發好的各項工具(或點擊下一步)，然後在時限內繳交成品。</p><p>由於其複雜性相對較低，薪資自然不是特別優渥，也不太具有創新空間，不過有個絕對的好處，就是<strong>很穩定，餓不死</strong>。如果你想選擇這一條路，就去資策會待半年吧，大約畢業時就可以找到這樣的工作了。</p><h4>新創公司</h4><p>總體而言，我總覺得新創公司才是我們主要下手的對象。大多數的新創公司對於工程師的要求比較偏向: <strong>快速從產品發想中實作出公司需要的功能</strong>(當然也有一大部分的新創公司屬於「技術型創業公司 」，像是Appier對於技術的扎實程度要求就極高)。這種公司雖然在學歷上與札實的資工基礎上有所退讓，不過他們相應的就會有其他要求。</p><p>首先，一定要快速累積作品。這方面可以讓他們快速的瀏覽你所具有的能力與他們需求的契合程度，如果真的剛好有牽涉到他們團隊所需要的技術，就可以比較有共鳴跟交集，也容易快速地讓他們對自己感興趣。當然，相應的你所實作的作品就會有比較深度的討論，這方面可能有需要找到相應專業領域的人來問一下實務上的實作方式與技巧，面試的過程比較不會一直尷尬地回答不知道。</p><p>再來，很有可能不能只做特定領域的工作。因為人數較少的關係，以AI工程師為例，很多時候除了演算法研究跟撰寫之外，資料格式解讀、資料取得、資料儲存、資料標記、資料清洗、模型部署甚至是網頁的前後端，都會有機會涉略，就算真的分得比較詳細，可能多少還是會寫到API。所以如果有機會，多多培養基礎的全端工程師技能，就算公司不直接要求，對於自己跟其他工程師順利溝通也有很大的幫助。</p><p>還有，是一些基本技能，像是口語表達能力或是英語溝通能力，就是看公司啦，大多時候這些技能不會直接決定是否有機會進入某間公司工作，不過很有可能會決定自己在公司裏面的個人魅力或受尊重程度。</p><p>總體來說，我很建議非本科系轉職軟體工程師，可以多把焦點放在新創公司試試看，或許會有比較好一點的結果。</p><h3>找工作是一個滿長的過程–關於心態…</h3><h4><em>先拿到offer再選擇公司，把主動權拿在自己手上</em></h4><p>其實我高中開始，便慢慢發現，自己是個極度容易自我膨脹的人，因此，在找工作的過程當中，常常把自己放在比較高的位階與公司談判，也因此至少失去了兩份工作機會。</p><p>其實很多時候，沒有真正與老闆聊過，你並不會真的知道他們公司最近真正在經營的業務，也不會真正清楚他們希望你在公司扮演的角色，所以正面一點來思考，這其實是給自己留條後路、留個機會。</p><p>雖然，直至今日，我仍然覺得，硬是要去說自己多喜歡貴公司(即便我前一周才知道貴公司存在，並按下應徵鍵)，是一件很虛偽的事，不過實務上，為了把自己放在最有利的地位，我也虛偽了不少回合。</p><h4>CV在新創公司與大型軟體公司的差異</h4><p><strong>新創公司</strong>講求即戰力，在寫他們的履歷的時候，盡可能把自己會的技術mapping到職缺的JD上，做過專案側重在使用了甚麼樣的技術解決問題；<strong>大型軟體公司</strong>，尤其是外商，特別看重基礎能力及解決各式問題的能力，所以不需要把技能寫得太明確(像是SQL就不用特別去寫MySQL或是MSSQL，除非JD特別要求)，做過的專案則必須側重寫解決了甚麼樣的問題，必須具體化實際效益，例如幫整個流程加速了幾倍，或是幫公司省了多少錢。</p><p>舉例來說，我有一個general版本的履歷，也是我投最多間公司的履歷，(約莫60間)，而在這一波海投履歷當中，大公司大概只佔極少數約10間左右，不過進一步回信邀約的有Google、Morgan Stanley、Thomson Reuters，新創公司的回應就比較少。不過NLP版本的履歷，對技術的描述比較詳細，則相對比較受到新創公司歡迎。</p><p>提醒一下，因為我只有一個人，能夠測試的公司有限，也沒有科學一點的統計手段，大家參考一下就好。</p><h4>想要找到好的職缺，必須跳脫正常手段</h4><p>e04、linkedin這些丟履歷當然不可少，但是其實真正好的職缺與欣賞你的人，很可能在現今的推薦與檢索技術上仍會有遺珠之憾。可能「其實老闆會喜歡你，只是你沒機會見到老闆一面」，甚至「直到你見到了老闆，你才發現其實你會滿喜歡他們公司的」…云云，以上種種狀況都是我在求職期間遇到過的。</p><p>總之，多參加各種在你專業領域的社群或比賽，認識厲害的人，增加自己的曝光度，並傳達正在找工作的訊息，這對於非資訊背景、卻要找資訊工作的我來說，特別重要。畢竟履歷上面的學歷只到大學不說，還是一個毫不沾邊的財政系，找工作真的極度困難。總體而言，我後面幾個比較重要的面試機會，大都是在PyCon(講者如果上不了，可以衝衝看閃電秀)跟AI+ Solution Match上拿到的。</p><p>這邊題外話一下，在AI+ Solution Match上面，我把自己最後一頁的簡報放上我的CV。我早就做好打算，如果台下反饋良好，就打開最後一頁PPT說我在找工作，如果不如預期就把最後一頁藏起來。於是報告快結束時，我被大家炯炯有神的眼睛所擄獲，便很幸運的解鎖最後一頁PPT，不只拿到技術優異獎，也拿到許多間公司的面試邀約，亞馬遜後來的面試邀約也是在這一次的活動中賺到的，如果你們對於自己的黑客松作品內容以及簡報能力有一點信心，不妨可以跟我一樣不要臉的試試看。喔對了，照片在封面頁，大家可以觀察順便想像一下這一頁投影片放出來時，那如雷的掌聲跟笑聲XDD</p><h4>找工作很可能是長期抗戰，找個技能或興趣學習</h4><p>其實找工作的過程當中，耐心的等待是一個必要的過程，而如何把等待轉化為一個有意義的歷程，找到一件可以轉移自己注意力的事情便極度重要，也能讓自己在不斷被拒絕的過程當中，淡化打擊的嚴重程度，使得自己比較不情緒化。</p><p>因此，在找工作的這段過程中，培養新的技能與興趣，我在這段期間…學會把論文中的演算法透過程式實做出來、學會寫tensorflow、接了一個聊天機器人的案子、參加了兩個比賽其中一個拿獎了，總之一方面轉移注意力，另一方面，持續累積自己找工作時的武器。</p><h3>最後…</h3><p>轉職這件事，對我來說並不是一個瞬間的決定，其算是誤打誤撞的結果。當時的我，已經拿到來荷蘭萊頓大學國際稅法碩士的入學資格、雅思也通過了，但是有半年的空窗期，幾乎就是在等出國了，於是想說可以好好利用一下，去資策會學寫code。</p><p>沒想到這一學下去就覺得，無論考量到未來發展或是興趣，都比原本規畫好的路好上十倍百倍，於是就繼續留在政大蹭個學生身分，到處修習跟本身系所沒什麼關係的課，然後轉職之路就走到今天了。</p><p>必須要說，這個過程當中，我很幸運地並沒有活得太痛苦，雖然期初砸了很多時間進去，但更多的是興趣、驚喜與成就，但這樣的幸運適不適用在大家身上，希望這一篇文章可以幫助到大家。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9c7783190178" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>