<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by littlemilk on Medium]]></title>
        <description><![CDATA[Stories by littlemilk on Medium]]></description>
        <link>https://medium.com/@leowu0819?source=rss-4948a2e72d8b------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*BtTNaSLWjsivSxoYqmOgXw.png</url>
            <title>Stories by littlemilk on Medium</title>
            <link>https://medium.com/@leowu0819?source=rss-4948a2e72d8b------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 06:04:23 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@leowu0819/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[資料降維 — t-SNE 降維與視覺化]]></title>
            <link>https://medium.com/data-science-navigator/%E8%B3%87%E6%96%99%E9%99%8D%E7%B6%AD-t-sne-%E9%99%8D%E7%B6%AD%E8%88%87%E8%A6%96%E8%A6%BA%E5%8C%96-36b4dcfc98d5?source=rss-4948a2e72d8b------2</link>
            <guid isPermaLink="false">https://medium.com/p/36b4dcfc98d5</guid>
            <category><![CDATA[manifold-learning]]></category>
            <category><![CDATA[dimensionality-reduction]]></category>
            <category><![CDATA[visualization]]></category>
            <category><![CDATA[data-overview]]></category>
            <dc:creator><![CDATA[littlemilk]]></dc:creator>
            <pubDate>Sat, 24 Sep 2022 07:15:46 GMT</pubDate>
            <atom:updated>2022-09-24T07:15:46.183Z</atom:updated>
            <content:encoded><![CDATA[<h3>資料降維 — t-SNE 降維與視覺化</h3><h3>目錄</h3><p><a href="#53ae">☉前言</a><br><a href="#3ef4">☉歐式距離無法獲得的資訊？</a><br><a href="#328c">☉降維的種類</a><br><a href="#d067">☉流型學習</a><br><a href="#f49b">☉t-SNA 演算法步驟</a><br><a href="#e3b7">☉困惑度 Perplexity</a><br><a href="#4429">☉總結</a><br><a href="#edc8">☉實作</a><br><a href="#b296">☉參考資料</a></p><h3>前言</h3><p>t-SNE 全名是 t-distributed Stochastic Neighbor Embedding，由 Hinton 等人在 2008 年<a href="https://www.jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf">發布</a>的一種非線性降維方法，大多將高維資料降至 2 維或 3 維，用於視覺化檢視資料的內容是否具有區別度，或著讓後續的模型任務（例如：分類）更容易達成。</p><h3>歐式距離無法獲得的資訊？</h3><p>先來看看一張圖</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eO4aApGkigBqdRzbsqW_Bg.png" /><figcaption>瑞士卷（Swiss Roll）<a href="https://yuehhua.github.io/slides/dimred-tsne-umap-gnn/#/4">來源</a></figcaption></figure><p>若照我們一般想要了解圖中兩個點的相關程度，我們通常會採用歐式距離（虛線）來計算，歐式距離越近的兩個點代表越相關。</p><p>但是在圖中我們可以很明顯的看出資料都散佈在一個扭曲的面上，所以我們若是去找到這兩個點在此面上的距離（實線），或許獲得的相關性會比較適用。</p><h3>降維的種類</h3><ul><li>線性方法：PCA, LDA</li><li>非線性方法：MDS, Isomap, t-SNE….</li></ul><p>主流的線性降維方法不多，主要就是 PCA, LDA 的兩種方法，在降維時線性地去轉換向量空間；而非線性方法則種類較多，不同的降維有不同的目的，有些是為了保留全域特徵（Global data structure），有些則是為了保留區域特徵（Local data structure）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/1*40t0yOiXszgmznvamOkX3w.jpeg" /><figcaption><a href="http://jbhuang0604.blogspot.com/2010/04/dimensionality-reduction.html">Source</a></figcaption></figure><h3>流型學習</h3><p>流型學習就是假設某種低維度的結構，被塞在了高維度的空間中，那我們就是要透過降維的方法，來重新學習或找到這些低維度的特徵。</p><p>非線性降維很常被拿來解決流型學習的資料，下圖左方是一個在三維空間中的立體 S 型，他其實可以順著 S 的趨勢，攤平成一個彩虹色階的二維資料。右方就是各種非線性降維方法套用後的效果。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x5wec_U8aYQVJr8RYjwjpA.png" /></figure><h3>t-SNE 演算法步驟</h3><h4>步驟一、將高維資料間轉換成以高斯分佈為相似度的條件機率。</h4><p>分子部分可以看成高斯分佈的機率密度函數，代表著以 Xi 為中心的高斯分佈下，Xj 的機率，機率越大，代表兩個距離越近。</p><p>分母部份則是作為 Normalization 的用途。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PoLWhmrI3WXlT00E035ZlA.png" /></figure><h4>步驟二、將要轉換成的低維資料使用 t 分佈為相似度的條件機率。</h4><p>分子部分可看成 t 分佈的機率密度函數（自由度為 1 ），代表以 yi 為中心的 t 分佈。</p><p>分母部份一樣是 Normalization 的用途。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CeP4b_7UIf75sr5J98iWxg.png" /></figure><h4>步驟三、為了將 1. 2. 之間的機率分佈最相近，最小化所有資料點間的 KL 散度</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8cp1v9ZUyooD0dGFebfWsw.png" /></figure><h4>步驟四、以 3. 作為成本函數（Cost Function），並使用隨機梯度下降法（Stochastic Gradient Decent）求最佳解</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/652/1*8sNqMYb0_sxmXpFMI4x6Dw.png" /></figure><h3>困惑度 Perplexity</h3><p>在高維度資料轉換為條件機率時，需要設定以 Xi 為中心分佈的標準差，調整方式就是設定困惑度這個超參數，t-SNE 會找到符合困惑度的 Pi 以及標準差。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/426/1*ESBVQZZM4jhQ3nuIMUBRZA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/602/1*LdKw6mTo6mXKX0j5Z1FLVA.png" /></figure><p>困惑度設定越大，此標準差就會越大，一般建議數值設定在 5 至 50 之間。</p><h3>總結</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9olJSDtRvcTiF1BFTpRRsg.png" /><figcaption>t-SNE on MNIST dataset</figcaption></figure><p>t-SNE 的特性</p><ol><li>非線性的降維方法</li><li>將資料點間關係以條件機率來表示，並進行降維，低維度下儘量保留同樣的條件機率。</li><li>可以找出空間中的局部特徵</li><li>常用於視覺化</li><li>隨機性-每次執行的結果都不同</li><li>比較兩群之間的距離是沒有意義的</li></ol><h3>實作</h3><p>使用 scikit-learn 可以直接實作</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4231a2aec1f9cb938df57b14edbf57cc/href">https://medium.com/media/4231a2aec1f9cb938df57b14edbf57cc/href</a></iframe><h3>參考資料</h3><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2F5d26dO5LVe0%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3D5d26dO5LVe0&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2F5d26dO5LVe0%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/5584640d1d36342a01f9b33172e47d9d/href">https://medium.com/media/5584640d1d36342a01f9b33172e47d9d/href</a></iframe><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FGBUEjkpoxXc%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DGBUEjkpoxXc&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FGBUEjkpoxXc%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="640" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/f603126012c03482681508a9663c76f3/href">https://medium.com/media/f603126012c03482681508a9663c76f3/href</a></iframe><ul><li><a href="https://mropengate.blogspot.com/2019/06/t-sne.html">資料降維與視覺化：t-SNE 理論與應用</a></li><li><a href="https://www.datatechnotes.com/2020/11/tsne-visualization-example-in-python.html">TSNE Visualization Example in Python</a></li></ul><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊：<a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=36b4dcfc98d5" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/%E8%B3%87%E6%96%99%E9%99%8D%E7%B6%AD-t-sne-%E9%99%8D%E7%B6%AD%E8%88%87%E8%A6%96%E8%A6%BA%E5%8C%96-36b4dcfc98d5">資料降維 — t-SNE 降維與視覺化</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[YOLO 實作 Code]]></title>
            <link>https://medium.com/data-science-navigator/yolo-%E5%AF%A6%E4%BD%9C-code-3615fa00bb5b?source=rss-4948a2e72d8b------2</link>
            <guid isPermaLink="false">https://medium.com/p/3615fa00bb5b</guid>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[computer-vision]]></category>
            <category><![CDATA[cnn]]></category>
            <category><![CDATA[tensorflow]]></category>
            <category><![CDATA[yolo]]></category>
            <dc:creator><![CDATA[littlemilk]]></dc:creator>
            <pubDate>Mon, 05 Sep 2022 13:23:16 GMT</pubDate>
            <atom:updated>2022-09-05T13:23:16.207Z</atom:updated>
            <content:encoded><![CDATA[<blockquote>作者：<a href="https://medium.com/@07170601">https://medium.com/@07170601</a></blockquote><p>本範例引用自網路程式碼，模型為YOLO V2，基於TensorFlow 2。</p><p>YOLO的訓練所需計算量相較於基礎的基於MLP的MNIST，擴大了很多。如果不用Colab的GPU加速環境，在本地訓練就需要額外的計算環境。對於擁有NVIDIA獨立顯示卡的電腦，我們可以在上面安裝CUDA、CuDNN和tensorflow-gpu來加速運算。對於M1系列的Mac，在MLP-1這篇文章中的環境搭建方法仍然有效，可以順利對後文的程式碼進行加速。</p><p>首先，我們需要在網路上搜尋CUDA 11.0和CuDNN 8。我們需要切記一點：CUDA和CuDNN的版本其實是需要嚴格對應的。由於我們使用TensorFlow 2，且TensorFlow的版本已經到達2.8，CUDA 11.0和CuDNN 8.1是一個已經經過驗證的組合。CuDNN的下載需要注冊NVIDIA的賬戶。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YjzKptSK5j-6k0TyPLQOGQ.jpeg" /><figcaption>CuDNN 8.3也可以搭配CUDA 11.0使用；其實只要做到描述中有相應版本即可</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/253/1*MkwKxUgYKQROWtRg6gp-cg.png" /><figcaption>最終從NVIDIA網站上下載的結果</figcaption></figure><p>首先安裝CUDA。可以不安裝驅動和NVIDIA GeForce Experience。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/594/0*nFyGhPsUEoyOl5IM.jpeg" /><figcaption>安裝可以不需要更改位置；早期需要手動設定環境變數，現在安裝程式已經可自動設定了</figcaption></figure><p>安裝完CUDA，就需要把CuDNN的文件放到合適的位置。這個位置就在Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0，CUDA根目錄中。CuDNN的壓縮檔中有一個cuda資料夾，進入之後有bin、include、lib這三個資料夾。CUDA根目錄中也有這三個資料夾。我們要做的其實就是把CuDNN壓縮檔中同樣目錄層級的文件放入CUDA根目錄中的相同位置。做完這一步，就可以重開電腦作業系統。一般情況下，TensorFlow的GPU加速環境就搭建完畢。</p><p>我們只需要確保tensorflow是GPU版本的即可。如果不是，可以先執行pip uninstall tensorflow，再執行pip install tensorflow-gpu即可。如果沒有GPU可用，tensorflow-gpu可以調用CPU進行計算。以上都是Windows用戶搭建環境的指引。</p><p>在執行本次程式之前，我們還需要安裝兩個包：</p><p>pip install opencv-python<br>pip install imgaug</p><h4>本次程式碼請移步github</h4><p><a href="https://github.com/kiands/tryYOLOv2">GitHub - kiands/tryYOLOv2</a></p><p>提示：需要在根目錄新增一個名叫weights的資料夾，放入yolov2的預訓練權重文件。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3615fa00bb5b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/yolo-%E5%AF%A6%E4%BD%9C-code-3615fa00bb5b">YOLO 實作 Code</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[YOLO 看一次就好]]></title>
            <link>https://medium.com/data-science-navigator/yolo-%E7%9C%8B%E4%B8%80%E6%AC%A1%E5%B0%B1%E5%A5%BD-6508e5d53d00?source=rss-4948a2e72d8b------2</link>
            <guid isPermaLink="false">https://medium.com/p/6508e5d53d00</guid>
            <category><![CDATA[yolo]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[cnn]]></category>
            <category><![CDATA[computer-vision]]></category>
            <dc:creator><![CDATA[littlemilk]]></dc:creator>
            <pubDate>Mon, 05 Sep 2022 13:22:43 GMT</pubDate>
            <atom:updated>2022-09-05T13:22:43.880Z</atom:updated>
            <content:encoded><![CDATA[<blockquote>作者：<a href="https://medium.com/@07170601">https://medium.com/@07170601</a></blockquote><h3>YOLO簡介</h3><p>YOLO（You Only Look Once）是一種基於深度神經網路的物件辨識、定位演算法。YOLO執行辨識任務的速度非常快，可實時運作。同時YOLO也在不斷發展，截至2022年2月，YOLO已經發展到YOLO v5。不過新版本是在舊版本的基礎上發展而來，所以本文的主題就關於YOLO v1。</p><p>物件辨識和定位是YOLO負責解決的問題：輸入一張圖片，輸出其中包含的物件，并且用矩形框標出並輸出物件的位置。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/382/1*M1jZAY9JbbWq8lpBcTsLBA.png" /><figcaption>圖片引用自YOLO論文<a href="https://arxiv.org/pdf/1506.02640.pdf">https://arxiv.org/pdf/1506.02640.pdf</a></figcaption></figure><p>對於物件的辨識，CNN已經給出了理想的解決方案。在YOLO被提出前，研究學者們面對的難題主要是物件的定位。</p><p>物件定位從概念上理解，無非是地毯式搜尋圖像中不同大小、不同寬高比、不同位置的區域，逐個檢測其中是否存在某個物件，挑選幾率最大的區域進行輸出。不過這個充滿傳統演算法風格的想法顯然缺乏效率。所以，在YOLO之前有人提出了RCNN、Fast RCNN、Faster RCNN這些方法。</p><p>RCNN的R代表Region。這個方法簡而言之就是先從圖片中找出一些可能存在物件的候選區域，然後對每個候選區域進行物件識別，可以大幅提升定位效率。然而這樣，速度仍然不理想（因爲候選區域還是有上千個）。後續的RCNN改進型將處理速度從RCNN的49秒一張圖片改進到Faster RCNN的0.2秒一張圖片（5FPS），但這樣仍然達不到實時處理的需求。</p><p>從流程上看，RCNN的處理分爲兩階段：先提出候選區域，再辨識候選區域中的物件。而YOLO將提出候選區域和物件辨識合二爲一。YOLO并沒有消除候選區域的概念，二十采用了預先定義的候選區域。其將圖片劃分爲7*7 = 49個grid（網格），每個grid中允許預測出2個bounding box（邊框）。這樣，我們可以理解爲YOLO有98個候選區域。</p><p>RCNN的候選區域比較密集，不過等到一些候選區域中識別出物件之後，仍然需要進行微調以接近真實的合理邊框。這個過程叫做邊框回歸。YOLO也有這個步驟。不過YOLO的設計邏輯體現出“既然要進行邊框回歸，那麽就有一個大概的範圍即可，一開始定義的候選區可以少一點。”</p><h3>YOLO的設計</h3><p>除去候選區域，YOLO的結構就是：卷積、池化和兩層全連接。這和普通的CNN非常相似，幾乎沒有本質區別。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wQg0A_lr3IXXfT2GCEMnzg.png" /><figcaption>圖片引用自YOLO論文<a href="https://arxiv.org/pdf/1506.02640.pdf">https://arxiv.org/pdf/1506.02640.pdf</a></figcaption></figure><p>YOLO的輸入是原始圖像。要求是縮放到448*448的解析度。448*448*3的3代表RGB。解析度448*448的限制來自於全連接層，因爲全連接層要求有固定大小的向量輸入。YOLO的輸出則是7*7*30的Tensor。</p><p>因爲輸入圖像被劃分爲7*7的grid，所以輸出的Tensor中的7*7就對應輸入圖像中的grid。7*7*30的Tensor可以被視爲7*7個30維向量，也就是説輸入圖像中的每個grid都會輸出到一個30維向量。不過不僅僅是grid本身的信息會被映射到一個30維的向量，grid周邊的信息也會通過特定的規則編碼到向量中。</p><p>這個30維向量包含的信息則有：20個物件幾率（YOLO支援20中不同的物件）、2個bounding box的置信度、2個bounding box的位置（一個bounding box需要4個數字表示位置，2*4 = 8）。</p><p>物件的幾率視爲P(Ci|Obj)，bounding box的位置記爲（Center_x,Center_y,width,height）。置信度是bounding box中存在物件的幾率*該物件實際存在的bounding box的IOU，intersection over union。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/1*_AV6kcQGu3B6gf3Pu4DyEw.png" /><figcaption>圖片引用自吳恩達的深度學習課程</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/442/1*c46kp99YSai5VMErgyqYyg.png" /></figure><p>當然我們的bounding box存在於預測中，但是IOU是在訓練階段計算得到的。總之，bounding box的置信度表示它是否包含物件且位置有多準確。</p><h3>YOLO的訓練集構建</h3><p>與圖像識別有關的深度學習項目的訓練集都比較複雜。訓練集的構建重點在於7*7*30維的Tensor。具體的構建規則如下：</p><p>1.20個物件幾率</p><p>對於輸入圖像中的每個物件，先找到其中心點。比如圖中有一條狗，狗在圖像上有中心點，中心點落在一個網格內。所以這個網格對應的30維向量中，狗的概率是1，其它物件的概率是0。所有其它48個網格的30維向量中，狗的概率都是0。這就是所謂的中心點所在的網格對預測該對象負責。狗和其它物件，比如汽車的分類幾率也是同樣的方法填寫。</p><p>2.2個bounding box的位置</p><p>訓練樣本的bounding box位置應該填寫物件實際的bounding box，但一個物件對應了2個bounding box，該填哪一個呢？根據之前的討論，這需要根據網路輸出的bounding box與物件實際bounding box的IOU來選擇，所以要在訓練過程中動態決定到底填哪一個bounding box，請參考後文。</p><p>3.bounding box的置信度</p><p>IOU可以直接計算出來，就是用網路輸出的2個bounding box與物件真實bounding box一起計算出IOU。然後看2個bounding box的IOU，哪個比較大（更接近物件實際的bounding box），就由哪個bounding box來負責預測該物件是否存在，即該bounding box的Pr(Object) = 1。，同時物件真實bounding box的位置也就填入該bounding box。另一個不負責預測的bounding box的Pr(Object) = 0。總的來說就是，與物件實際bounding box最接近的那個bounding box，其Confidence = IOU。 該網格的其它bounding box的Confidence = 0。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CM5qhQ0fgdSbeC3EmeCTLA.png" /></figure><h3>YOLO的損失函數（Loss Function）</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xVixSDREfycV89qjosEs5A.png" /></figure><p>總而言之，這個Loss Function就是用網路輸出與樣本標籤的各項內容的誤差平方和作為一個樣本的整體誤差。 損失函數中的幾個項是與輸出的30維向量中的內容相對應的。</p><p>在實現整體功能的過程中，最主要的步驟就是如何設計Loss Function。讓標簽、坐標、Confidence這三個方面得到很好的平衡。作者簡單粗暴的全部採用了sum-squared error loss來做這件事。這個方法存其實存在問題：1.8維的localization error和20維的classification error同等重要顯然是不合理的；2.如果一個網格中沒有物件（一幅圖中這種網格很多），那麼就會將這些網格中的box的Confidence歸零，相對於數量較少的有物件的網格，這種做法是overpowering的，這會導致網路不穩定甚至發散。</p><p>YOLO的訓練</p><p>YOLO先使用ImageNet資料集對前20層卷積網路進行預訓練，然後使用完整的網路，在PASCAL VOC資料集上進行物件識別和定位的訓練和預測。</p><p>YOLO的最後一層採用線性激勵函數（因爲需要預測bounding box的位置），其它層都是Leaky ReLU。訓練中採用了drop out和資料增強（data augmentation）來防止過擬合。</p><p>在下一篇中將會有關於YOLO程式碼的内容，敬請期待。</p><h3>參考</h3><p><a href="https://mooc.study.163.com/smartSpec/detail/1001319001.htm">深度学习工程师微专业 - 一线人工智能大师吴恩达亲研-网易云课堂 - 网易云课堂</a></p><p>You Only Look Once: Unified, Real-Time Object Detection-<a href="https://arxiv.org/pdf/1506.02640.pdf">https%3A//arxiv.org/pdf/1506.02640.pdf</a></p><p><a href="https://zhuanlan.zhihu.com/p/32525231">https://zhuanlan.zhihu.com/p/32525231</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6508e5d53d00" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/yolo-%E7%9C%8B%E4%B8%80%E6%AC%A1%E5%B0%B1%E5%A5%BD-6508e5d53d00">YOLO 看一次就好</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[深度學習 — ResNet]]></title>
            <link>https://medium.com/data-science-navigator/%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92-resnet-489088ac5ea1?source=rss-4948a2e72d8b------2</link>
            <guid isPermaLink="false">https://medium.com/p/489088ac5ea1</guid>
            <category><![CDATA[computer-vision]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[resnet]]></category>
            <dc:creator><![CDATA[littlemilk]]></dc:creator>
            <pubDate>Mon, 25 Jul 2022 02:23:53 GMT</pubDate>
            <atom:updated>2022-07-25T02:23:53.016Z</atom:updated>
            <content:encoded><![CDATA[<h3>深度學習 — ResNet</h3><h3>目錄</h3><p>☉前言<br>☉深度網路的退化問題？<br>☉恆等映射的嘗試<br>☉殘差學習<br>☉ResNet 架構<br>☉實作<br>☉參考資料</p><h3>前言</h3><p>經過<a href="https://medium.com/data-science-navigator/%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92-vgg-cbf5a1fc1658">上篇文章 VGG</a> 的介紹，我們知道透過更小的卷積核（3 x 3）來萃取特徵，可以架構出更深一點的深度網路模型，以 VGG19 來說，就達到了 19 層的深度。那如果我們依樣畫葫蘆，不斷地疊加模型結構，是不是就可以建構出一個超深的模型架構且準確率 100% 的模型了呢？</p><p>讓我們先來看看下面這張圖，ILSVRC 這個 ImageNet 的圖像分類競賽，在 VGG 2014 年獲得亞軍時，其冠亞軍的層數都還在十位數的 22、19 層，但是在 2015 年突然之間的冠軍模型 ResNet 模型深度卻直接暴漲到了 152 層！看起來滿有可能是靠深度來讓模型更強的，但若是這麼簡單的操作，難道歷屆的參賽者沒有任何人嘗試過嗎？還是其中有其他厲害之處呢？</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/605/1*3ND8w0xwiK3sOYLllGaQVw.png" /><figcaption><a href="https://towardsdatascience.com/understanding-and-coding-a-resnet-in-keras-446d7ff84d33">Source</a></figcaption></figure><h3>深度網路的退化問題？</h3><p>事實上，在不變動其他超參數，單純加深深度模型的過程中，越深的模型會出現一個「退化 degradation」現象：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sOIyHRi_g-GvFBziwM9jng.png" /></figure><p>可以看出，這種退化的原因</p><ol><li>與過度擬合無關：因為不管是左邊的 trainning error，還是右邊的 test error，較深的模型都一樣差。</li><li>與梯度消失/梯度爆炸無關：<a href="https://zh.wikipedia.org/wiki/%E4%BD%95%E6%81%BA%E6%98%8E">何愷明</a> 在 Resnet 的論文中就有特別提到，透過 Normalized Initialization 與 Batch Normalization 的方法，已經大大解決了梯度消失/梯度爆炸的問題。</li></ol><p>那究竟是什麼原因導致的退化呢？</p><h3>恆等映射的嘗試</h3><p>何愷明他們進一步嘗試，建立了一個淺層的模型 A，再建立一個對照組較深的模型 B，模型 B 的前半部架構完全等同於 A，不同的是後方多出來的層數在初始權重時，單純做恆等映射（identity mapping）。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*m_sGQY6fzFMTQM0KNf-RKA.png" /></figure><p>不過隨著訓練的開始，B 後方的權重又會在訓練時跑離恆等映射，退化問題依舊發生了。</p><p>最終他們做出了一個結論，若單純加深層數，模型會較難訓練，也較難以最佳化模型。但經過上面的嘗試，他們有了一個天才的想法。</p><h3>殘差學習 Residual learning</h3><p>這個天才的想法就是：</p><p>「既然直接學習對的答案很困難，那我們就學習轉換中的差異就好」</p><p>下圖左半部是沒有使用殘差學習的網路，可以看到經過虛線區塊運算後，輸出了 f(x) 的結果；右半部則使用了殘差學習的結構，多了一條恆等映射的路徑，中間的虛線區塊的輸出則變成了殘差 f(x)-x ，殘差與恆等映射 x 相加後，最終同樣產出了 f(x)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/798/1*meBb013unUS19CT7wtO9ew.png" /></figure><p>舉個更實際的範例：</p><p>透過殘差學習，當你整個 Transform 都訓練得很差的時候，一般的網路 OUTPUT 就會很差；可是殘差學習的設計，會使得 OUTPUT 最差就是作出恆等映射的行為。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gihtKrGPCyyqllYcdBV7Pw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9_mTj6E5Op6DVEom1Zs4kQ.png" /></figure><p>這種結構被稱為 building block，恆等映射的路徑被稱為 shortcut，在一個模型當中可以設置很多組 building block 來進行殘差學習。</p><p>（原論文當中則是將 F(X) 代表成殘差學習的方程式，表達方式不同，但意義一樣）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/958/1*cJOkrBFYiJWAqq0KxVv4oQ.png" /></figure><h3>ResNet 架構</h3><p>ResNet-34 是以 VGG-19 做為基礎去修改而成，加上以兩層卷積層為單位的 building block。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/610/1*PKxmq0J51qzKuNvQ6WJk5A.png" /></figure><p>由下方的試驗就可看出，相較於一般 plain 模型會遇到的退化問題，ResNet -34 展現出比 ResNet-18 更好的成果，克服了退化問題。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*u0-w14Nax44M3wa1xRnW4Q.png" /></figure><p>也同時開發了 18, 34, 50, 101, 152 不同層數的 ResNet，眼尖的讀者應該有發現了，在 ResNet-50 以上的模型，building block 變成了 3 層的結構，此種結構稱為 bottleneck building block。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LT7gUGEs2q2IM94lvdoWNg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3y6BJF_i6CZCyDXfzK0XmQ.png" /></figure><p>改用 bottleneck building block 是考量到訓練時間以及資源的限制，還有層與層之間維度縮放的問題，前面的 1x1 卷積層進行維度的縮減，後面的 1x1 卷積層則是增加（回復），中間的 3x3 卷積層就能處理較少維度的 input/output。同時，也將原本需要透過投影方式來增加維度的 shortcut，改用 1x1 卷積層來來做同樣的事情，能減少兩倍的參數量與時間複雜度。</p><h3>實作</h3><p>（待補）</p><h3>參考資料</h3><ul><li><a href="https://www.google.com/url?sa=t&amp;rct=j&amp;q=&amp;esrc=s&amp;source=web&amp;cd=&amp;cad=rja&amp;uact=8&amp;ved=2ahUKEwi_oNiz7Mb4AhVjQPUHHZIVBT8QFnoECAcQAQ&amp;url=https%3A%2F%2Farxiv.org%2Fabs%2F1512.03385&amp;usg=AOvVaw0ko2RV0WsEDskyH0kl1EHN">Deep Residual Learning for Image Recognition</a></li><li><a href="https://zhuanlan.zhihu.com/p/31852747">你必须要知道CNN模型：ResNet</a></li></ul><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FBu9A_-M5OZk%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DBu9A_-M5OZk&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FBu9A_-M5OZk%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/92a3092fb420e3086cbbc662ccf38d39/href">https://medium.com/media/92a3092fb420e3086cbbc662ccf38d39/href</a></iframe><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊：<br><a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=489088ac5ea1" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92-resnet-489088ac5ea1">深度學習 — ResNet</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[深度學習 — VGG]]></title>
            <link>https://medium.com/data-science-navigator/%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92-vgg-cbf5a1fc1658?source=rss-4948a2e72d8b------2</link>
            <guid isPermaLink="false">https://medium.com/p/cbf5a1fc1658</guid>
            <category><![CDATA[computer-vision]]></category>
            <category><![CDATA[vgg]]></category>
            <category><![CDATA[deep-learning]]></category>
            <dc:creator><![CDATA[littlemilk]]></dc:creator>
            <pubDate>Fri, 10 Jun 2022 07:54:39 GMT</pubDate>
            <atom:updated>2022-06-10T07:54:39.965Z</atom:updated>
            <content:encoded><![CDATA[<h3>深度學習 — VGG</h3><h3>目錄</h3><p>☉<a href="#857a">影像分類</a><br>☉<a href="#55a4">特色</a><br>☉<a href="#f62e">實作</a><br>☉<a href="#a77c">參考資料</a></p><h3>影像分類</h3><p>在影像分類技術迅速成長的時代，ImageNet 這個影像資料集專案，每年都會舉辦 ILSVRC ，號召全世界的參賽者，針對已標注好類別的 1000 的分類，每個類別約有 1000 張圖像，來進行影像分類。在 2012 年~ 2015 年之間，名列前茅的隊伍多是深度學習的網路架構，直至 2017 年也是 ILSVRC 舉辦的最後一屆，此比賽使用的資料集算是被完全解決的任務，不過過程中產生了許多的經典深度學習模型，本文要介紹的 VGG 網路就是在 2014 年獲得影像分類亞軍與影像定位冠軍的模型。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AqWTdPhdozrXo45Yl2KTsA.png" /><figcaption><a href="https://chtseng.wordpress.com/2017/11/20/ilsvrc-%E6%AD%B7%E5%B1%86%E7%9A%84%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92%E6%A8%A1%E5%9E%8B/">Source</a></figcaption></figure><p>VGG 在 ILSVRC 上展露頭角後，由 Karen Simonyan 與 Andrew Zisserman 於 <a href="https://arxiv.org/pdf/1409.1556.pdf"><strong>《</strong>Very Deep Convolutional Networks For Large-Scale Image Recognition<strong>》</strong></a>在 ICLR 2015 上正式提出，主要提出了用<strong>更深更多層</strong>的網路架構，搭配<strong>小的卷積核</strong>可以有更出色的成效。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*l9u8vylpErF7cc7551iA-w.png" /><figcaption>VGG16 模型架構</figcaption></figure><h3>特色</h3><blockquote>更深的網路架構</blockquote><p>VGG 模型有兩個版本：VGG16、VGG19，其中的差異在於隱藏層層數的不同，VGG16 有 16 層隱藏層；VGG19 則有 19 層。</p><figure><img alt="VGG16、VGG19 對應圖中的 D、E 模型" src="https://cdn-images-1.medium.com/max/1024/1*vsG9wHqiRAJ77pV6t9qUkA.png" /><figcaption>VGG16、VGG19 對應表中的 D、E 模型</figcaption></figure><p>以 VGG16（D）來說，架構為</p><ul><li>13 卷積層（Convolution Layer） ：皆是 3X3 的卷積核。</li><li>3 層全連結層（Fully Connected）：分別為 4096、4096、1000 的節點數。</li><li>5 層最大池化層（Max Pooling）：2X2 的最大池化層，stride 設定為 2。</li></ul><p>有權重的隱藏層總計有 16 層，對應模型名稱中的 16。</p><p>VGG 較深的模型架構，可以加強深度學習透過激勵函數（Activation Function）所帶來的非線性結構，這樣的結構也是深度學習相較於傳統統計模型的一大優勢，能擷取出更多有用的訊息。</p><blockquote>用更小的卷積核</blockquote><p>由模型架構可以發現，VGG 模型皆使用 3X3 的卷積核，因為相較於較大的卷積核，更換成 3X3 的卷積核可以使<strong>模型架構更深</strong>，並且<strong>參數量還更少</strong>。</p><ul><li>1 層 5X5 卷積核可更換成 2 層的 3X3 卷積核</li><li>1 層 7X7 卷積核可更換成 3 層的 3X3 卷積核</li></ul><p>下圖以 1 層 5X5 卷積核更換成 2 層 3X3 卷積核來舉例：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*4dw77REaIG8p_gOsbEc7QQ.png" /><figcaption><a href="https://www.researchgate.net/figure/Left-Mini-network-replacing-a-5x5-convolution-operation-Right-Mininetwork-replacing-a_fig1_316075846">Source</a></figcaption></figure><p>使用 5X5 卷積核的話，1 層就會輸出成 1X1 的特徵，參數量為</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hnSCPyGlQVOQ-qS0KaPDNA.png" /></figure><p>若以 3X3 卷積核替代，2 層後才會輸出成 1X1 的特徵，參數量為</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GD9i2fJ19nsY7MViaVZuLQ.png" /></figure><p>較小的卷積核讓神經網路從圖像中學習更細微的 pattern，並將越來越複雜抽象的概念逐層收斂，展現出 CNN 的空間層次特性。</p><h3>實作</h3><p>我們使用 Python 的 Keras 套件來練習 VGG16 的實作，Keras 是在 Tensorflow 2 套件中的高級 API，請確保在您的電腦已安裝 Tensorflow。</p><pre>pip3 install tensorflow</pre><p>以下詳細程式碼都可在 <a href="https://github.com/littlemilkwu/stem_code/tree/master/vgg">這裡</a> 找到</p><p>我們可以自己從零建構 vgg16</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7TkWkCd_ZCMSuPhYZRzmug.png" /></figure><p>不過並且其實 keras 內建就已經收錄了 vgg16 的模型架構，並可以直接下載使用 ImageNet 1000 種分類所訓練好的權重。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0iHMKdTVK-r-hCcc-FRfKA.png" /></figure><p>我們使用李孝利的愛犬順心的照片來讓 VGG16 模型做分類</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/864/1*3Ev_gdek-XuQyxLK2QTW_g.jpeg" /><figcaption><a href="https://www.instagram.com/hyorine_official/tagged/">Source</a></figcaption></figure><pre>Predicted: <br>[(&#39;n02097474&#39;, &#39;Tibetan_terrier&#39;, 0.51207715), <br>(&#39;n02094114&#39;, &#39;Norfolk_terrier&#39;, 0.15288493), <br>(&#39;n02098413&#39;, &#39;Lhasa&#39;, 0.10419147)]</pre><p>模型所分類最高的是「西藏㹴」的犬種，可能模型有學習到順心毛很長的特性～</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/448/0*PJ0HGVz8x6NQTFOo.jpg" /><figcaption>西藏㹴</figcaption></figure><h3>參考資料</h3><ul><li><a href="https://ithelp.ithome.com.tw/articles/10192162">Day 09：CNN 經典模型應用 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天</a></li><li><a href="https://www.cnblogs.com/liaohuiqiang/p/9609162.html">ImageNet历年冠军和相关CNN模型</a></li><li><a href="https://keras.io/api/applications">Keras documentation: Keras Applications</a></li></ul><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊：<br><a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cbf5a1fc1658" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92-vgg-cbf5a1fc1658">深度學習 — VGG</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>