<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Steven Meng on Medium]]></title>
        <description><![CDATA[Stories by Steven Meng on Medium]]></description>
        <link>https://medium.com/@_Xing_Chen_?source=rss-302ca3b868d1------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*o9qQ2CKnn3NJQ2fAQpwlCQ.jpeg</url>
            <title>Stories by Steven Meng on Medium</title>
            <link>https://medium.com/@_Xing_Chen_?source=rss-302ca3b868d1------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 07:47:59 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@_Xing_Chen_/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition 論文詳細解讀]]></title>
            <link>https://medium.com/@_Xing_Chen_/bbn-bilateral-branch-network-with-cumulative-learning-for-long-tailed-visual-recognition-%E8%AB%96%E6%96%87%E8%A9%B3%E7%B4%B0%E8%A7%A3%E8%AE%80-2491805342e4?source=rss-302ca3b868d1------2</link>
            <guid isPermaLink="false">https://medium.com/p/2491805342e4</guid>
            <category><![CDATA[computer-vision]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[computer-science]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[deep-learning]]></category>
            <dc:creator><![CDATA[Steven Meng]]></dc:creator>
            <pubDate>Thu, 22 Sep 2022 11:29:44 GMT</pubDate>
            <atom:updated>2022-09-22T11:29:44.252Z</atom:updated>
            <content:encoded><![CDATA[<h3>Introduction​</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Vic0EDyJPouseTDs25zm5A.png" /></figure><p>在現實生活中的影像辨識的任務中大多的資料分布都不是 Uniform Distribution，而是向上圖一樣大部分的資料佔據了幾個 Class 而已，其他的 Class 的資料量非常少，進而形成長尾資料分布如上圖所示。</p><h3>Existing Methods​</h3><p>現有的方法最大宗的就是 <strong>Re-balancing Strategies</strong>，其中又分成 Re-Weighting 和 Re-Sampling，這邊簡單介紹一下這兩個的概念。Re-Weighting 是在計算 Loss 時依照 Class 的數量去調整權重，也就是說給少數 Class 更多的權重來平衡。而 Re-Sampling 則是多採樣數量少的 Class，減少 數量多的 Class 的採樣。</p><h4><strong>Risks of Re-balancing Strategies</strong>​</h4><p>Re-Weighting 會改變原本的資料分布，而 Re-Sampling 如果 Over-sampling 則會 Over-fit 數量少的 Class，如果 Under-sampling​ 則會 Under-fit 整個資料。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/788/1*DEhEcFwWLdUFH8FvRzKVzA.png" /></figure><p>除了上述提到的缺點外，更重要的是作者發現了 Re-balancing Strategies 會增加分類的能力但會破壞 Feature 的學習能力。如上圖所示，經過 Re-balancing 後，模型可以正確分類 Tail Class 但是每個 Class 變得更分散了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*c2cHExvqrU9M9mDU5zOzZg.png" /></figure><p>上圖為作者實驗出 Re-balancing Strategies 確實會增加分類的能力但會<strong>破壞 Feature 的學習能力</strong>。我們看到左邊 CIFAR-100 實驗的第一個 Column 如果特徵的學習使用原本的方法(CE)，而分類器分別使用原本的方法、Re-Weighting 和 Re-Sampling 。可以看到固定特徵的學習的方法，而分類器改用 Re-balancing Strategies 錯誤率會從 58.62 下降到 56.53 和 56.29。再來看到左邊 CIFAR-100 實驗的第一個 Row 如果固定分類器的方法為 CE，而特徵學習的方法用 CE、Re-Weighting 和 Re-Sampling，可以看到錯誤率會從 58.62 上升到 63.17 和 63.71。這個實驗說明了 Re-balancing Strategies 會增強分類器但是會傷害到特徵學習的效果。</p><h3>Proposed Method</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wqPCFEdq-ORb1i1LDqMHZw.png" /></figure><p>而作者提出有兩個分支的架構，其中兩個分支分別為 Conventional Learning Branch 和 Re-Balancing Branch，如上圖所示，可以很好的解決此問題。</p><h4>Input Sampler</h4><p>首先先看到最左邊兩個分支的輸入，上面 Branch 的輸入是採用一個 Uniform Sampler，也就是說此分支輸入所有資料的 Distribution 是 原本的 Distribution(長尾分布)，目的是為了要學習一些通用的 Feture Representation。至於下面分支的輸入是採用一個 Reversed Sampler，意思是此分支輸入的資料分布是和原本(長尾)相反的，變成長頭的資料分布，目的是為了要增強 Tail Class 的精確度。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/199/1*OI6pn4Y7ChbwtnkeOlqcNQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/197/1*JQfZdLb2NSNC1Ka0bNV8EQ.png" /></figure><p>這邊在講一下 Reversed Sampler​ 如何取樣的公式，首先先計算每個 Class i 的 Pi，Ni 為第 i 個 Class 的數量，Nmax 為最多數量 Class 的數量，而為什麼是 Nmax 除以 Ni 等於每個 Class 的 Wi(權重)，因為我們想要分布是相反的，也就是變成長頭的資料分布，所以是要和原本的計算方式(Ni除以 Nmax)取個倒數，變成 Nmax 除以 Ni，也就是反比的概念。最後依照 Pi 的機率去 Sample。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/472/1*NndWkao1rpMvasBnOUsN1w.png" /></figure><h4>Feature Extractor</h4><p>再來看到中間 Feature Extractor 的部分，作者是使用 ResNet 當作 Backbone Network，而兩個分支除了最後一個 Residual Block 以外都有共享權重，作者認為上面的分支(Conventional Learning Branch)學習良好的特徵表示可以使下面的分支(Re-balancing Branch)有好的影響，同時可以減少計算量。而最後一層使用 GAP (Global Average Pooling)，如下圖所示用來取代全連接層，相較於 CNN 說這個轉換更自然，且可以減少參數量和防止 Over-fitting。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*CxK4UWEZblR-MaTN.jpg" /></figure><h4>Cumulative Learning</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/447/1*MgRoopmc4819wpIIvbSNkw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/270/1*ntN5UhfiNqvCk2b7rQQbBA.png" /></figure><p>最後則是 Cumulative Learninng，作者這邊使用了一個 α 下降的機制來控制兩個權重的比例，公式如上圖所示，T 為當前 Epoch 的值，Tmax 代表有幾個 Epoch。因為作者認為一開始要先專注學習一般的特徵表示，也就是上面的分支，最後再慢慢將注意力轉移到學習 Tail Data 的資料，也就是下面的分支。輸出的公式和 Loss Function 的公式如下圖所示，z 為上下兩個 Branch 加權後的輸出，再來經過 Softmax Function 輸出成 p head，L 為 根據 α 產生的 Loss Function。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/459/1*WyHBvH7z8CD6X3T_GFZNZQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/492/1*GfUn0FCqY1E-ysQNihgI7w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/673/1*K-mOf8fSTXZmcH3IJCLzwA.png" /></figure><p>而作者認為測試的時候上下兩個分支是一樣重要的，所以作者只是單純在測試時把 α 設為 0.5。</p><h3>Experiments</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/675/1*bHvv2EK7yrQXr8kmgShW7A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/341/1*YdbQHf-oJW_gDppSvIGA7w.png" /></figure><p>作者分別在 iNaturalist 2017 和 iNaturalist 2018 還有 Cifar-10/100 上面做實驗，iNaturalist 原本就是一個長尾的資料集，而 Cifar 並不是，所以作者做了一些調整，調整 β 來調整長尾的嚴重程度，如上圖所示，Nmax 為最多 Class 的數量 Nmin 為最少 Class 的數量，作者分別在 β 等於 10、50、100 做實驗。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RcJcnPGYNIAH8tQYoTh2Jw.png" /></figure><p>可以看到上圖為作者在 Long-tailed CIFAR 的實驗結果，皆比先前提過的方法還要好。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/660/1*MMHtP9rNHwaVu9gpAkm5lw.png" /></figure><p>上圖是作者在 iNaturalist 資料集的實驗，可以看到中間有一個星號代表該方法原本論文提出的實驗結果，但是作者在此篇論文中提到使用該論文釋出的程式碼，並無法達到和該輪文依樣好的實驗數據，所以 BBN 的作者就說他們的方法還是最好的xd。作者也用了 2x Scheduler 去測試也得出不錯的結果，2x Scheduler 是訓練的 Epoch 數量變為原本的兩倍，同時學習率調整位置也調整為兩倍。​</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/668/1*UNOKWIPjWQhG-d3eZw6_qA.png" /></figure><p>上圖是作者替換掉 BBN 下面分支(Re-balancing Branch)的 Data Sampler，把它替換為 Uniform Sampler 和 Balanced Sampler 的消融實驗，可以看到作者提出的分支效果是最好的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/668/1*Ne2jADcimZ6V-DJLhDFvLQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/553/1*IITCwR-yBCcus17UHxSeyg.png" /></figure><p>上圖是，作者針對 Cumulative Learning 的 α 進行的消融實驗，可以看到 Parabolic decay 會有最好的效果，其中值得注意的是，有一組的 α 不是遞減而是遞增，而它的 Error Rate 反而上升，且是裡面錯誤率最高的，這也驗證了作者的想法，一開始要先專注學習一般的特徵表示，也就是上面的分支(Conventional Learning Branch)，最後再慢慢將注意力轉移到學習 Tail Data 的資料，也就是下面的分支(Re-balancing Branch)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/648/1*B0gDEtXQzHYyIWen9HFsOw.png" /></figure><p>上圖的實驗數據為使用不同的 Representation Learning Manner 的出的錯誤率，作者只單看上面的分支 BBN-CB(Conventional Learning Branch)和下面的分支 BBN-RB(Re-balancing Branch)，可以看到 CE 原始的方法最好保存 Feature Representations 的完整性，而​ BBN-CB 和 BBN-RB 雖然會破壞 Feature Representations 但是並沒有 RW 和 RS 那麼嚴重，作者將此結果歸功於 Weight Sharing。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fPtL3WMh5i6CiyaojBzhZQ.png" /></figure><p>上面的實驗是作者將不同方法的每一個 Class 的權重 W 取出來，並且計算 L2 Norm，作者根據之前人提出的理論，說這邊 L2 Norm 代表分類器傾向分類成最大的 L2norm 的類別。而 Standar Deviation 越小越好因為代表越平均 不然有可能會都分類再頭類別，可以看到作者提出的方法(BBN-ALL)是最小的，然後再看到 BBN-CB 跟 CE 的曲線很像代表它是專注在 Universal Feature Learning，最後看到 BBN-RB 的曲線，越後面越高，帶表它是負責學習 Tail Data。</p><h3>Conclusion​</h3><p>最後總結一下這篇發表在 CVPR 2020 (Oral) 的論文，作者發現了使用 Re-balancing Strategies 可以增加分類器的精確度，但是會傷害到特徵學習時的表現，於是作者提出的一個全新的架構BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2491805342e4" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[International Economics Note 3]]></title>
            <link>https://medium.com/@_Xing_Chen_/international-economics-note-3-54c950c2389a?source=rss-302ca3b868d1------2</link>
            <guid isPermaLink="false">https://medium.com/p/54c950c2389a</guid>
            <category><![CDATA[business-cycle]]></category>
            <category><![CDATA[international-economics]]></category>
            <category><![CDATA[notes]]></category>
            <category><![CDATA[economics]]></category>
            <category><![CDATA[global-financial-crisis]]></category>
            <dc:creator><![CDATA[Steven Meng]]></dc:creator>
            <pubDate>Tue, 07 Jun 2022 19:12:36 GMT</pubDate>
            <atom:updated>2022-06-07T19:12:36.727Z</atom:updated>
            <content:encoded><![CDATA[<h3>Business Cycle</h3><p>Alternating periods of higher and lower growth</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gtwBIn91ZbBQWjekWEXoPQ.png" /></figure><ul><li><strong>Upturn/Boom phase</strong><br>Starting Point = Demand and Expenditure ↑<br>Production ↑<br>Capacity Utilisation ↑<br>Demand &gt; Production Capacity<br>Wages ↑ and Material Costs ↑<br>Optimism and Confidence<br>Investments ↑ and Consumption ↑<br>Demand for credit/loans ↑ &gt; Interest ↑</li><li><strong>Turning phase</strong><br>Confidence ==&gt; Overconfidence<br>All Costs ↑ (labour, materials, interest)<br>Eventually: Profits ↓<br>Investments ↓ and Consumption ↓</li><li><strong>Downturn/Depression phase</strong><br>Everything the exact opposite as in the upturn/boom phase.<br>Expenditure ↓<br>inflation, production, employment, profits, investments , all↓<br>lower or negative economic growth.<br>Recession (2 quarters negative growth in a row)</li></ul><h3>Global Financial Crisis 2008–2014</h3><p>Causes (USA)</p><ul><li>Very low interest rate</li></ul><p>----&gt; Everybody buy their own home (v. low interest rate!)</p><ul><li>Some years later: Interest rate went ↑ ---&gt; People could not pay their mortgage interest.</li><li>Collapse housing market (USA)</li><li>Banks were hit hard, serious losses. Domino effect!</li><li>Confidence crises ----&gt; run on the bank, banks further in trouble</li><li>Less credit ---&gt; household consumption and investments ↓</li><li>Collapse housing market world-wide.</li></ul><h4>Government reaction.</h4><ul><li>Governments took over / <strong>nationalised banks</strong> (tax payer pays)</li><li>Central banks <strong>‘printed money’</strong> and very low interest rates.</li><li>Idea behind this: money cheaper ---&gt; Investments ↑ and Consumption ↑</li><li>With a lot of government money going to the banks, there remained less for the normal government spending ---&gt; <strong>cut backs in government spending G</strong></li></ul><p>Some governments really got into <strong>very serious </strong>trouble!!</p><p>Greece (almost) bankrupt; also caused by huge government debt.</p><h3>Inflation:</h3><p>Money loses (a part of) its value. Everything gets more expensive.</p><h4>Causes of Inflation:</h4><blockquote><em>Demand Pull: Demand &gt; Supply → Prices<br>Costs Push: Costs ↑, Wages ↑, Raw Material Costs ↑<br>Goverment: Taxes ↑ (for instance VAT)</em></blockquote><h4>Effect of Inflation:</h4><blockquote><em>Fixed Income -&gt; Loss of buying power<br>When you owe money, inflation is your friend!<br>Uncertainty -&gt; bad for confidence, bad for the economy.</em></blockquote><h3>Deflation:</h3><p>When goods become CHEAPER.</p><h3>Why is Deflation bad for the economy?</h3><p>e.g.<br>A company wants to invest a machine that will cost 1 million. Maybe in two years, the price maybe will go down for 0.9 million. So the company will postpone the investment. I for invetstmeant will go down, GDP will go down.<br>A person wants to buy a house, but he knows the price will go down in 2 years. He will postpone buying the house. C for Consumption will go down, GDP will go down.</p><h3>Government Duties and Expenditure:</h3><ul><li><strong>Regulation:</strong> we need laws in society to make everything ordered structured.</li><li><strong>Allocation:</strong> The government is doing things that private company and private sector will not do.</li><li><strong>redistribution:</strong> The government takes people who can’t really take themselves maybe because they’re elderly, handicap.</li></ul><h3>Main <strong>negative</strong> Consequences of taxes:</h3><ul><li>Higher wage costs → loss of competitiveness</li><li>Generally higher prices (households and companies)</li><li>Generally a lower GDP.</li></ul><h3>Main <strong>positive</strong> consequence of taxes:</h3><ul><li>Necessary source of income for the Government.</li><li>We REALLY want the Government to take care of a couple of things for us.</li><li>Taxes are a (very) necessary ‘evil’.</li></ul><h4>Government Budget Deficit: Goverment Expenditure &gt; Goverment Income</h4><blockquote>Income (taxes) = 10, G. Expenditure = 12 -&gt; G. Deficit is 2</blockquote><h3>If a Government wants to <strong>reduce their budget deficit,</strong> they also have only 3 options:</h3><ol><li>Increase their Income</li><li>Spend less on other parts of their budget</li><li>Borrow money(the easy way out)</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=54c950c2389a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[International Economics Note 2]]></title>
            <link>https://medium.com/@_Xing_Chen_/international-economics-note-2-84d3fb920c8d?source=rss-302ca3b868d1------2</link>
            <guid isPermaLink="false">https://medium.com/p/84d3fb920c8d</guid>
            <category><![CDATA[macroeconomics]]></category>
            <category><![CDATA[international-economics]]></category>
            <category><![CDATA[notes]]></category>
            <category><![CDATA[economics]]></category>
            <category><![CDATA[gdp]]></category>
            <dc:creator><![CDATA[Steven Meng]]></dc:creator>
            <pubDate>Tue, 31 May 2022 13:41:11 GMT</pubDate>
            <atom:updated>2022-05-31T13:41:11.947Z</atom:updated>
            <content:encoded><![CDATA[<h3>Macro Economics:</h3><p>Studies the performance, structure, behavior and decision making of an economy as a whole, rather than individual markets.</p><h4>Prosperity:</h4><p>The Availability of Goods and Services (‘hard’, ‘quantifyable’, ‘measurable’, ‘expressed in money’)</p><h4>Welfare:</h4><p>How content and satisfied we are with our lives (‘soft’)</p><p>Prosperity is measured by our <strong>Gross Domestic Product (GDP)</strong></p><p>= Our ‘prosperity’</p><p>= Our ‘wealth’</p><p>= The size of ‘our economy’</p><p>United Nations <strong>Human Development Index (HDI)</strong></p><p>=<strong>Per capita income (GDP, prosperity)</strong></p><p><strong>+Health, life expectancy</strong></p><p><strong>+Education.</strong></p><p><strong>To measure (GDP)</strong></p><ol><li><strong>Production</strong> approach: adding the added value of businesses and governments within the country</li><li><strong>Income</strong> approach: adding together all the remunerations /rewards of the production factors within a country</li><li><strong>Expenditure</strong> approach: the total spending on goods and services</li></ol><h4><strong>Production approach:</strong></h4><p>Compute the <strong>Value Added</strong> to have value of GDP.</p><h4><strong>Income</strong> approach:</h4><ol><li>First, we have to pay <strong>TAXES</strong></li><li>Then we can spend or <strong><em>C</em>ONSUME</strong></li><li>And maybe we have something left: we <strong><em>S</em>AVE</strong></li></ol><p><strong>So GDP (income appoach)= C+T+S</strong></p><h4><strong>Expenditure approach:</strong></h4><p>GDP = Gross Domestic Product</p><p><strong>Lp = Labour Productivity</strong></p><p><strong>Ld = Labour Demand (employment)</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/690/1*2iJzPOxUCzmoLQnY4ROW0g.png" /></figure><ul><li><strong>In the LONG RUN: The ONLY thing that determines our prosperity = Labour Productivity</strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*S1oRad7phFJDwVly8mMq_g.png" /></figure><p>Working-age population: <strong>100</strong> Participation rate: <strong>60%</strong><br>Labour supply(working population) = <strong>100 * 0.6 = 60</strong> peole are willing to do work<br>Production: <strong>500</strong><br>Labour productivity: <strong>10</strong>(one person can produce 10 products)<br>we only need <strong>50(500/10)</strong> people, but there are <strong>60</strong> people available<br>so Unemployment = <strong>10(60–50)</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mMCarcCpWqK2kqQqmNomDg.png" /></figure><h3><strong>GDP = C + I + G + X — M</strong></h3><ul><li><strong>C:</strong> Consumption of private households</li><li><strong>I:</strong> Investments of private companies</li><li><strong>G:</strong> Public Sector Expenditure(Government)</li><li><strong>X — M:</strong> Foreign countries</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*O5GzEYuFynbmi0j3U2xbBw.png" /></figure><ul><li><strong>Real interest rate increase:</strong>The relationship between real interest rates and consumption. When the real interest rate rises, it means that the deposit rate will also rise, so people will want to save more money because the interest rate will be higher, and in this case, consumption will be reduced.</li><li><strong>Consumer confidence:</strong> This refers to the degree of consumer confidence in the future of the economy, if the future of the economy will be depressed, people will spend less money.</li><li><strong>Capital increase:</strong> This refers to the capital you have in your hands, such as real estate, which is counted. When your capital increases, it means that your potential income increases, and you will naturally increase your spending.</li><li><strong>Income leveling:</strong> This means that if the minimum hourly wage increases, people’s income levels will also rise, so they will expect their income to increase in the future and will increase their spending.</li><li><strong>Increase income:</strong> It means literally, when your salary increases, you will naturally spend more money.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Y6BGWL7bI9QaORSl_WXxTA.png" /></figure><ul><li><strong>Sales expectations:</strong> When the company wants to sell more.</li><li><strong>Profit:</strong> The more money you earn, the more you will invest, for example, if you buy stocks and earn 20,000, you will want to continue to invest a little more.</li><li><strong>Interest：</strong> the money that u pay when u borrow money. if the interest is high, that will not have positive impact on willingness to Investment.</li><li><strong>Capacity utilization：</strong> refers to the capacity of the equipment you invest in. If your equipment is highly productive, you will buy more equipment to increase capacity.</li></ul><p>budget deficit: they spend more than their income.</p><p>What can the government do when they have a <strong>budget deficit?</strong></p><p>This means:</p><p>when they (plan to) spend more than their income.</p><h4>3 Things What can the government do when they have a budget deficit?</h4><p><strong>1. Increase income </strong>-&gt; raise taxes</p><p><strong>2. Reduce other expenses on the budget</strong></p><p><strong>3. Borrow money</strong></p><ul><li><strong>Export (X</strong>) = We produce and then sell to foreign countries. They pay us. <strong>Positive for GDP.</strong></li><li><strong>Import (M)</strong> = Foreign countries produce and sell to us. We pay them. <strong>Negative for GDP.</strong></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/662/1*-9RNwIMmBN5U6gFKnSYQpA.png" /></figure><p><strong>(S — I) + (T — G) = (X — M)<br>Savings Balance Private Sector<br>+<br>Savings Balance Government<br>=<br>Export balance</strong></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=84d3fb920c8d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[International Economics Notes 1]]></title>
            <link>https://medium.com/@_Xing_Chen_/international-economics-notes-1-c7f93fee6f23?source=rss-302ca3b868d1------2</link>
            <guid isPermaLink="false">https://medium.com/p/c7f93fee6f23</guid>
            <category><![CDATA[economics]]></category>
            <category><![CDATA[supply-and-demand]]></category>
            <category><![CDATA[notes]]></category>
            <category><![CDATA[price-elasticity]]></category>
            <category><![CDATA[international-economics]]></category>
            <dc:creator><![CDATA[Steven Meng]]></dc:creator>
            <pubDate>Mon, 30 May 2022 13:49:41 GMT</pubDate>
            <atom:updated>2022-05-30T13:49:41.533Z</atom:updated>
            <content:encoded><![CDATA[<h3>What is ‘Economy?</h3><p>Deals with everything we produce, consume, buy, sell. People, companies, governments. Prosperity, wealth, money, work. Products/goods. Scarcity. Prices. Trade.</p><h3>What is Economics:?</h3><p>The study of the Economy.</p><p><strong>It’s hard to think of something to which an ‘economic dimension’ can not be attached.</strong></p><h3>Law of Supply and Demand:</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/695/1*WMrVdwa_dNszidmXZ7Pg3Q.png" /></figure><p>So the LOSAD(Law of Supply and Demand) determines the price (and the quantity)</p><p>The price of Labour (salary), Physical Products, Services, Money (interest and exchange rate)</p><p>If you truly understand the LOSAD, you will understand the world around you a littlebit better ………..</p><h4>Demand Curve: the relationship between price and the quantity demanded can be expressed as an equation.</h4><p>e.g.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/689/1*YacySDt-hnH3lO7wMI1hjQ.png" /></figure><blockquote>What are the reasons if the line shifts to the right?</blockquote><ol><li>People with higher income</li><li>Preferecne, Prefer Product_B to Product_A</li></ol><h3>Business Environment</h3><h4><strong>Internal</strong> Environment:</h4><p>Can be controlled (to some extent)</p><h4><strong>External</strong> environment:</h4><p>Maybe some influence, but <strong>cannot be controlled</strong>. So the company can only <strong>adapt</strong>.</p><p><strong>The impact of external/economic developments can be very serious and drive companies out of business!</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1016/1*KwvyDvNMKHIJBAytVfzuKQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fFNtiOSNzYWUVcQcfG57vw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/783/1*IRfJ7MKXnylU3Pl3aAF-NA.png" /></figure><h4>Epq is not constant, but changes along the curve.</h4><ul><li><strong>Elastic: Epq &lt; -1</strong></li><li><strong>Inelastic: -1 &lt; Epq &lt; 0</strong></li></ul><p>TR means Total Revenue.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/482/1*_oHMczsQOfTBDVFxauPX5g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/799/1*ovCn5cmz_SlGh7cGIkyAjg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/786/1*-eAvPsR3BLFrkst031MUoA.png" /></figure><h4><strong>Company Cost (individual)</strong></h4><p>1.Fixed Cost (FC)</p><p>2.Variable Cost (VC)</p><p>3.Total Cost (TC) = FC + VC</p><p>4.Average Costs = Total Costs/Q</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/933/1*fg-IbZRokYPTZfEA5DEH9A.png" /></figure><p>e.g.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qM60AqvFZItosLbotNvyUA.png" /></figure><p>q = 150p — 1500</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/482/1*TqCdqrXxHqXdi3sYc5U7bw.png" /></figure><p>There is a ‘natural’ market price. (Free Market) At this price, <strong>demand and supply are the same </strong>(in balance, <strong>in</strong> <strong>equilibrium</strong>)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/737/1*9OKBkvUoH7Pbvi30My5Icw.png" /></figure><h4>Reasons for <strong>Government Intervention</strong></h4><p>To protect producers -&gt; minimum prices</p><p>To protect consumers -&gt; maximum prices</p><p>To obtain income -&gt; tax, e.g. VAT</p><p>Government Intervention will change the demand and/ or supply curves (and lead to a <strong>new ‘equilibrium’</strong>)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c7f93fee6f23" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[交大 清大 成大 台科 資工相關所 推甄心得]]></title>
            <link>https://medium.com/@_Xing_Chen_/%E4%BA%A4%E5%A4%A7-%E6%B8%85%E5%A4%A7-%E6%88%90%E5%A4%A7-%E5%8F%B0%E7%A7%91-%E8%B3%87%E5%B7%A5%E7%9B%B8%E9%97%9C%E6%89%80-%E6%8E%A8%E7%94%84%E5%BF%83%E5%BE%97-852e814ff9e3?source=rss-302ca3b868d1------2</link>
            <guid isPermaLink="false">https://medium.com/p/852e814ff9e3</guid>
            <category><![CDATA[graduate-school]]></category>
            <category><![CDATA[interview]]></category>
            <category><![CDATA[experience]]></category>
            <dc:creator><![CDATA[Steven Meng]]></dc:creator>
            <pubDate>Sat, 11 Dec 2021 12:54:43 GMT</pubDate>
            <atom:updated>2022-09-19T10:03:30.835Z</atom:updated>
            <content:encoded><![CDATA[<h3>交大 清大 成大 台科 資工所 相關 研究所 推甄心得</h3><h3>背景</h3><p>118 資工 系排 16%</p><h4>資工六科:</h4><ul><li>離散數學 A+</li><li>線性代數 A+</li><li>計算機組織 A</li><li>演算法 A-</li><li>資料結構 A+</li><li>作業系統 A+</li></ul><h4>經歷:</h4><ul><li>萬芳醫院 AI 生技創新中心 深度學習應用開發案</li><li>兩個網頁遊戲-產學案</li><li>Elk平台研究_鈊象電子-產學案</li><li>2021 第六屆創意遊戲設計競賽-第一名&quot;年度最佳遊戲風雲獎&quot;</li><li>多益 930 分</li><li>補習班英文助教</li><li>系學會幹部</li></ul><h3>推甄結果</h3><ul><li>台科 資工甲組：正取</li><li>成大 資工甲組：備10X(備上)</li><li>成大 人工智慧科技碩士學位學程：備X(備上)</li><li>成大 電機己組：正取</li><li>清大 資工甲：落榜🥲</li><li>交大 資聯：落榜🥲</li><li>交大 智能系統研究所110 ：正取</li><li>交大 智能系統研究所111 ：備19X🥲</li><li>交大 人工智慧技術與應用碩士學位學程：備取1X(備上) 最後選擇讀這個</li></ul><h3>面試分享</h3><h4>成大 資工甲組</h4><p>報告自我介紹 4 分鐘</p><ol><li>針對我的專案問，你解決過最困難的問題是什麼，他的難易度是多少？</li><li>你有哪些學校是正取，你有報名哪些學校，我們系上哪個老師是你想要找的？</li><li>針對我的專案問問題。</li></ol><h4>成大 人工智慧碩士學位學程</h4><p>報告自我介紹 4 分鐘</p><ol><li>你是用 YOLOv4 嗎，你是怎麼決定要用 YOLOv5？</li><li>針對專案去問。</li><li>這個專案有幾個人？</li><li>你大一成績怎麼那麼差？</li><li>你有報成大 資工 醫資嗎？</li><li>你的深度學習經驗好像不是很多，我要怎麼知道你的程度在哪裡？</li><li>YOLO4 v5 的差別在哪裡？</li><li>你怎麼沒去鈊象電子公司去應徵他的遊戲實習生？</li><li>你這個案子是教授接的還是你自己接的？</li></ol><h4>成大 電機己</h4><p>有三站各 1 個教授</p><ul><li>第一站</li></ul><p>英文紙條上面有題目</p><ol><li>自我介紹1分鐘。</li><li>你覺得資料結構最重要的是什麼？</li><li>你們資料結構的課有寫什麼作業嗎？</li><li>你對未來的研究方向為何？</li><li>問專題。</li></ol><ul><li>第二站</li></ul><p>教授直接問問題</p><ol><li>那個學校來的？</li><li>問專題。</li><li>問未來的研究計畫？</li><li>問除了想做 CV 還想做什麼？</li></ol><ul><li>第三站</li></ul><p>教授直接問問題</p><ol><li>自我介紹。</li><li>介紹做過的專案。</li><li>問未來的研究計畫。</li></ol><h3>心得</h3><p>面試真的是我的弱項= =，只有成大需要面試，然後我的面試成績超級低…..，我覺得可能跟我的個性有關系&gt;&lt;，或是我的表達能力。</p><p>備審的部份，我也是參考網路上以及學長的來做，前前後後大概花了 3、4 個禮拜，內容就放我的專案，經歷，英文，讀書計畫等等。我覺得我準備的時間有點趕，很多東西都沒有美化。所以我建議可以拉長一點時間準備，要改也比較有時間，然後把你的強項顯示出來。</p><p>整個推甄花了我超多💰，報名費，交通費有的沒的。然後台南，新竹一直來回跑超累😫，台南比新竹好玩多了😆。</p><p>考慮後校名、系名、地理位置後、教授等等，再加上入學時間，最終我選擇讀交大人工智慧技術與應用碩士學位學程，我也要找到我想要做的領域的教授。</p><p>我其實在大學的時候不管是哪方面經歷過了無數次的失敗…..。所以希望研究所能夠好好的精進自己，一帆風順，步步高升，準時畢業，進入想要進的公司，賺大錢，目標 40 歲退休，然後去當饒舌歌手😎😎。</p><p>最後我要感謝學長姐在我推甄時給我的寶貴建議🥺，還有我身邊的同學朋友也有給我推甄時的一些意見，還有台大的朋朋幫我修我備審的用字遣詞^^。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=852e814ff9e3" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Joint Pose and Expression Modeling for Facial Expression Recognition 論文筆記(表情識別)]]></title>
            <link>https://medium.com/@_Xing_Chen_/joint-pose-and-expression-modeling-for-facial-expression-recognition-%E8%AB%96%E6%96%87%E7%AD%86%E8%A8%98-%E8%A1%A8%E6%83%85%E8%AD%98%E5%88%A5-76aab35a590?source=rss-302ca3b868d1------2</link>
            <guid isPermaLink="false">https://medium.com/p/76aab35a590</guid>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[facial-expressions]]></category>
            <category><![CDATA[paper]]></category>
            <category><![CDATA[deep-learning]]></category>
            <dc:creator><![CDATA[Steven Meng]]></dc:creator>
            <pubDate>Mon, 25 Oct 2021 12:50:02 GMT</pubDate>
            <atom:updated>2021-10-25T12:50:02.555Z</atom:updated>
            <content:encoded><![CDATA[<h3>摘要</h3><p>在任意姿勢下的表情，Facial Expression Recognition (FER) 是一項艱難的任務。</p><p>傳統的方法都是裡用 Face Frontalization 或是在不同的姿勢上訓練不同的分類器。</p><p>與現有方法的不同，作者提出了一種同時利用不同的表情和姿勢，進行人臉圖像生成和姿勢不變的人臉表情識別， End-to-end 的模型。該模型是基於對抗生成網路(GAN)，並且擁有許多優點。</p><h3>1.引言</h3><p>Facial expression recognition (FER)在電腦視覺的應用中，像是心理學、醫學、安全、數位娛樂和駕駛員監控等，都扮演著很重要的角色。FER 的主要挑戰是解決人臉的巨大外觀變化。</p><p>儘管這幾年取得了重大進展，但要開發出可靠性夠高的算法來識別具有挑戰性的任務，因為姿勢的不同、沒有約束的表情變化、訓練資料的不足、燈光的改變等等。</p><p>面部表情識別旨在將給定的面部圖像分析和分類為幾種情感類型，例如，憤怒、厭惡，恐懼、快樂、悲傷和驚喜。在目前現有的方法中，幾乎都是正臉或是趨近於正臉的圖像去辨識。而非正面和非實驗場景的人臉在很大的程度上還沒解決。與正面 FER 相比，非正面面部圖像的表情識別具有挑戰性，因為它需要處理面部遮擋、準確的非正面面部對齊以及準確的非正面面部點定位等問題，如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/691/1*_rg_8TXa8zgNFnzZtqN2DA.png" /></figure><p>只有一小部分演算法解決了這一項具有挑戰性的問題。和現有的方法不同，作者專注於姿勢不同的 FER。因此，它更具挑戰性，並且更適用於實際場景。</p><p>這邊最大的挑戰是，頭部姿勢引起的僵硬面部變化和表情造成的非僵硬面部變化進行去耦，因為它們在 2D 圖像中非線性耦合。詳細地說，就是頭部姿勢引起的僵硬面部變化，會造成一些面部局部遮擋，這會造成表情預測遺失一些有用的資訊。此外，面部紋理的形狀隨著姿勢的變化而非線性地扭曲，這導致與人際紋理差異的嚴重混淆，所以要對頭姿勢和麵部表情進行聯合分析。但是這仍然是一個重大的研究挑戰，這主要是由於不同姿勢下的面部表情外觀存在很大差異，並且很難將這兩種差異來源分離。</p><p>為了解決上述問題，傳統方法通常具有三個截然不同的觀點：</p><ol><li>提取姿勢強健特徵作為面部表情表示，並採用傳統的分類器進行識別。</li><li>在進行姿勢不變的 FER 之前，對姿勢進行正規化。</li><li>為每個特定姿勢學習多個分類器。</li></ol><p>這些方法的成功很大程度上可以歸功於用作分類器輸入的特徵表示的質量。大多數方法都是在經典的手工視覺特徵上進行的，例如 LBP、HOG 和 SIFT，它們具有有限的表示能力，並且可能無法處理姿勢變化引起的面部非線性紋理變形的挑戰。</p><p>最近，深層網絡已成功應用於各種視覺任務，例如圖像分類、目標檢測、分割和姿勢估計。受到深度網絡成功的啟發，一個直觀的想法是通過深度學習來學習 FER 的語義特徵。但是，深度模型需要使用足夠的標記數據進行訓練。因此，創建任何此類圖像分類系統的第一步是收集足夠的帶註釋的數據，其中每個圖像都用正確的類別標記。對於姿態不變的 FER，可公開獲得的數據集，通常包含數量非常有限的標記樣本，如下圖所示，有三個標準基準。SFEW 數據集僅包含 700 張圖像(訓練和測試)，而 Multi-PIE 具有 7655 張圖像(5 個姿勢和 6 個表情)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/701/1*kRxx91CofbAyzkb1He-5Lw.png" /></figure><p>在這種情況下，常見的解決方案是採用在 ImageNet 上進行預訓練的深度網絡並進行微調，以進一步提高特徵表示能力，結果就是網絡是與 FER 分開訓練的，提取的特徵很難從 End-to-end 訓練中受益。End-to-end 訓練的深度模型架構中，會比較傾向於分開訓練每個組件，因為每個組件的參數可以共同合作適應達成單一個目標。另一種方法則是，自動生成訓練資料。手動標記訓練數據幾乎是不可能的，因為我們的目標是以任意姿勢執行 FER。</p><p>近年來，基於 GAN 的方法已成功地通過生成器 G 和辨別器 D 之間的兩人競爭演化來生成令人印象深刻的逼真面孔、門牌號、臥室和各種其他圖像類別。這啟發了作者採用 GAN 擴大並豐富了訓練數據集。儘管有許多有希望的發展，但是圖像合成仍然是 GAN 的主要目標，其不能直接應用於面部表情識別任務。</p><p>基於以上描述，作者設計了一個基於 GAN 的架構來產生不同表情和姿勢的人臉。另一方面，作者將分類器嵌入網絡，以促進圖像生成和進行面部表情識別。為了從 Identity 中解開屬性(表情、姿勢)，作者建構了具有編碼器-解碼器結構的 G，該結構用作面部圖像更改器。在編碼器的輸入端是一張人臉的圖片有任意的姿勢和表情，在解碼器的輸出端就是同張人臉的照片，但是有著指定的表情和姿勢。此外，作者在生成對抗網絡中引入了兩個辨別器Datt 和 Di。Datt 是用來拆開姿勢、表情還有 Identity，必且更改姿勢和表情，然後維持原本的 Identity。Di 則是使姿勢和表情轉換更平滑。搭配上額外的分類器，該分類器會努力讓生成的圖片有著和真實輸入的圖片有著一樣的表情，這樣會對 G 有兩項影響</p><ol><li>生成的圖片在表情上會更像輸入的圖片。</li><li>學習到的 Identity 表示會更好產生不同表情和姿勢的圖片並且保留原 Identity，會有利於 FER。</li></ol><p>這篇論文主要的貢獻如下:</p><ol><li>提出了一種 End-to-end 學習模型，該模型通過共同利用不同的姿勢和表情來同時進行面部圖像合成和姿勢不變的面部表情識別。</li><li>通過 G 和 D 中的表情和姿勢編碼，明確地將特性表示學習從表情和姿勢變化中解開。結果，該模型可以在任意姿勢下自動生成具有任意表情的面部圖像。</li><li>所提出的模型在 Multi-PIE、BU-3DFE 和 SFEW 數據集上實現了 SOTA 的面部表情識別性能。</li></ol><h3>3. 方法</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Efka7EKSKXuw3Ry26waaWw.png" /></figure><h4>3.1. Joint Pose and Expression Modeling for FER</h4><p>模型的整體架構如上圖，整合了一個生成器、兩個判別器和一個分類器。在將圖像傳遞到模型之前，我們首先使用具有 68 個 landmark 的 lib 人臉檢測算法執行人臉檢測。在預處理之後，將面部圖像輸入到編碼器-解碼器結構化的生成器 G 中，以學習 Identity 表示。編碼器 G 的部分是學習將輸入圖片映射到新的 Identity 表示的 function f(x)，再來 Identity f(x) 會和表情姿勢編碼(e、p) 傳遞到解碼器 G 的部分來做臉部變化。將該 Identity 與表情以及姿勢編碼通過生成器 G 和鑑別器 D 之間的 minimax，可以通過將相應的標籤添加到解碼器的輸入中來獲得具有不同姿勢和表情的新標籤面部圖像，這邊作者用了 2 個 D，Datt 是用來拆開姿勢、表情還有 Identity，必且更改姿勢和表情，然後維持原本的 Identity。Di 則是增加生成圖片的質量。在人臉圖像生成之後，然後使用分類器來操作 FER。作者對分類器採用了一種深層次的建模方法，該方法可確保在每一層上，這些特徵對於環境或者人的不確定因素變得越來越沒關聯性，同時又保留了有關面部表情識別任務的判別性信息。</p><h4>3.2. Learning</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/333/1*DgVmg-Fwa1rDSLLHsx3kvg.png" /></figure><p>這邊分為三個部分。</p><ol><li>利用對應的表情姿勢生成人臉圖像</li><li>利用原圖和生成出的圖像，訓練一個 Pose-invariant FER 的分類器</li><li>在 Content-similarity Loss 下保持 Identity。</li></ol><p><strong>Generator G and Discriminator Datt</strong></p><p>Discriminator Datt 是要分辨真實的圖像和生成假的圖像，利用表情和姿勢的標籤 y 可以幫助 Generator G 如何拆分圖像的 Representation，改變姿勢和表情，但是保持原本的 Identity，這對 FER 是很有幫助的，因為通常生誠心圖片時不會去在意原本的 Identity。 Loss Function 如下，Pd(x,y) 是訓練資料的分布。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/509/1*BS2AfI-CefiLArsc8WOhoA.png" /></figure><p><strong>Generator G and Discriminator Di</strong></p><p>這邊 f(x) 是目前編碼器 G 學出來的 Identity 表達，f ∗ 則是先前編碼器 G 學出來的 Identity 表達。這邊會加上 Uniform Distribution 在 f ∗ 上，可以幫助姿勢和表情轉換更平滑。 Loss Function 如下。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/463/1*loNaQj1HyKAgr1Ki2QpmXg.png" /></figure><p><strong>Classifier Cexp</strong></p><p>在生成的例子，Cexp 可以可以懲罰 G 的 Loss，在分類的例子中會分類表情，作者使用經典的 Softmax Cross-entropy Loss 如下。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/424/1*m7-bQqYuuUxhCz5gjsglcQ.png" /></figure><p><strong>Content-similarity loss</strong></p><p>這個 Loss 是為了要讓生成的圖片和輸入的圖片不要差太多，不要長得很不像，公式如下圖所示，L 代表 L1 Norm。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/357/1*KCXMV8tnI3xJINdfCkoPdQ.png" /></figure><p><strong>The Objective Function</strong></p><p>最終的目標函數就是將上述的函示都考慮進來，如下圖所示，其中 TV 代表總共有效的生成圖片(去掉 Ghosting Artifacts 後)，α 和 β 是為了平衡圖像的平滑和高解析度。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/580/1*SCiqnBfdCBEjrC4YB2miQg.png" /></figure><h3>4. Experimental Results</h3><h4>4.1 Datasets</h4><p>Multi-PIE (最通用)、BU-3DFE (3D 面部表情)和 SFEW(室外)。</p><h4>4.2. Implementation Details</h4><p>作者首先使用具有 68 個 Landmark 的 lib 人臉檢測算法裁剪出人臉，並將它們的大小調整為 224x224，後將圖像強度線性縮放到 [-1, 1] 的範圍。</p><p>為了穩定訓練過程，使用基於 CAAE 中的技術設計了 G、 Datt 、 Di。具體來說 G 是一個沒有 Batch Normalization 的 CNN，並且包含編碼器 Geng 和解碼器 Gdec，編碼器 Geng 和解碼器 Gdec 中間橋梁，會有編碼器 Geng 生成的 Identity Representation f(x)。</p><p>然後將 f(x) 與 One-hot 向量表情編碼 e 和姿勢編碼 p 串接在一起。再來輸入到一連串的 FConv，把剛剛連接接的向量傳換為合成圖像。</p><p>作者採用 VGG-Net-19 網絡作為分類器，然後使用生成的圖像和原始輸入圖像進行訓練。</p><p>模型是使用 TensorFlow 實作的，並使用 Adam 優化器進行了訓練，該學習器的學習率為 0.0002，Momentum 為 0.5，所有權重均從零中心點為 0 的 Normal Distribution 初始化。</p><h4>4.3. Quantitative Results</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/627/1*eu0860LfenJExejCZcgEvw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/649/1*hRrkd_C4ztgrRD1BsEvAAQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/657/1*ldQsy5tBz7gxFm7FtYrGQw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/536/1*9S_o-uMGDIsLd7i5M01DyA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/536/1*H9fekuivCIhgBrydS_5i5w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*5_y337rNIaLBZxxTZjbx3A.png" /></figure><h3>5. 總結</h3><p>在這篇論文中，作者提出了一種用於同時面部圖像生成和姿勢不變的面部表情識別的 End-to-end 學習模型。藉由從面部圖像中拆解表情和姿勢，可以生成具有任意表情和姿勢的面部圖像，以幫助訓練分類模型。在三個標準數據集上的實驗證明了模型的有效性。將來，在面部圖像合成中，將考慮圖像的其他方面，例如照明、遮擋。作者提出的模型是通用的，可以應用於其他分類任務，例如人臉識別、圖像分類和音頻識別，這些將在以後的工作內容中介紹。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=76aab35a590" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[YOLOX 詳細解讀]]></title>
            <link>https://medium.com/@_Xing_Chen_/yolox-%E8%A9%B3%E7%B4%B0%E8%A7%A3%E8%AE%80-dd9bcbcff208?source=rss-302ca3b868d1------2</link>
            <guid isPermaLink="false">https://medium.com/p/dd9bcbcff208</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[yolox]]></category>
            <category><![CDATA[object-detection]]></category>
            <category><![CDATA[deep-learning]]></category>
            <dc:creator><![CDATA[Steven Meng]]></dc:creator>
            <pubDate>Thu, 14 Oct 2021 07:19:22 GMT</pubDate>
            <atom:updated>2021-10-14T07:19:22.785Z</atom:updated>
            <content:encoded><![CDATA[<h3>前言</h3><p>曠視科技發表了研究改進的 YOLOX 演算法，其主要貢獻是在 YOLOv3 的基礎上靠著 Decoupled Head、SimOTA 等方式進行優化。</p><p>可以看到下圖所示，YOLOX-L 版本以 68.9 FPS 的速度在 COCO 上實現了 50.0% AP，比 YOLOv5-L 高出 1.8% AP。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eQZ88IurYt6TevNpr3oNWg.png" /></figure><p>再來就介紹一下 YOLOX 最核心的優化方式。</p><h3><strong>Strong augmentation</strong></h3><p>在網絡的輸入端，YOLOx 主要採用了 Mosaic、Mixup 兩種數據增強方法。這邊在我之前的文章已經有介紹過，<a href="https://medium.com/@Seven_73848/yolov4-%E8%A9%B3%E7%B4%B0%E8%A7%A3%E8%AE%80-c47a9cff40c6">連結</a>。而這邊有 2 點需要注意。</p><ol><li>在訓練的最後 15 個 Epoch，這兩個數據增強會關掉。而在此之前的 Epoch，Mosaic 和 Mixup 數據增強，都是打開的。</li><li>由於採取了更強的數據增強方式，作者發現 ImageNet 預訓練不再有益。因此，所有的模型，都是從頭開始訓練的。</li></ol><h3>Decoupled Head</h3><p>原本 YOLO 模型的 Cls、Obj 和 Reg 都是在同一個卷積層來預測，而 YOLOX中做的第一個改進就是將 YOLO 改成了 Decoupled Head，即將分類和迴歸任務分開來預測，因為這個兩個任務其實是有衝突的，如下圖所示。</p><p>首先透過 1x1 卷積將特徵維度降低到 256，然後分成兩個並行的分支，每個分支包含 2 個 3x3 卷積，其中分類分支預測 Cls，而回歸分支預測 Reg 和 Obj。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*N5ToONOGSW1UIfBW.png" /></figure><p>可以看到下圖所示，用去耦頭(Decoupled Head)代替 YOLO 頭大大提高了收斂速度，且精度更高一些。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/707/1*5uAURcD8wrLflzbkbZAEhw.png" /></figure><p>再來看到下面表格， YOLOv3 Baseline 的 AP 值為 38.5<strong>。</strong>然而作者想繼續改進，將輸出端改進為 End-to-end 的方式(即無 NMS 的形式)。發現改完之後 AP 值只有 34.3。有使用 Decoupled Head 的 YOLO 則不會掉那麼多。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/726/1*z3FNUNkCzlCR2ZbEmNTOJw.png" /></figure><h3>Anchor-free</h3><p>YOLOX 把原來 YOLO 的 Anchor-base 框架改成了 Anchor-free 框架。原本的錨框機制是存在一些問題的，比如說使用 Anchor 時，為了調優模型，需要對該數據聚類分析，確定最優錨點，這樣會缺乏泛化性，並不是通用的，且錨框機制增加了檢測頭的複雜度以及生成結果的數量。</p><p>而使用 Anchor-free 框架可以減少參數量，使得檢測器變得更簡單。</p><p>將 YOLO 轉變為無錨點作者是將每個位置的預測從 3 降至 1，並使它們直接預測四個值，即兩個相較於網格左上角的 Offset 以及預測框的高寬值。並且將每個目標的中心位置設為正樣本，定義一個 Scale Range，根據每個物體的大小將每個物體分配到對應的 FPN Level。</p><p>這種改進減少了檢測器的參數量和 GFLOP，使其速度更快，同時獲得了更好的性能。</p><h3><strong>多個正樣本</strong></h3><p>如果對於每個物體，只將其中心位置視為正樣本，那就只有 1 個正樣本，正負樣本不均衡，且會忽略了其它高質量的 Prediction。因此作者將中心 3×3 區域內所有位置都視為正樣本，會提升一些 AP。</p><h3>SimOTA</h3><p>這邊要介紹的是標籤的分配，YOLOX 會輸出 85x8400 的特徵向量圖，分別對應 8400 個 Anchor 錨框。而 YOLOX 是利用<strong>初步篩選</strong>和 <strong>SimOTA </strong>這兩個步驟去挑選。</p><h4><strong>初步篩選</strong></h4><p>有兩種方式，分別是根據中心點來判斷和根據目標框來判斷。</p><ol><li>中心點: Anchor Box 的中心點落在 Ground Truth Boxes 矩形範圍的所有 Anchors。</li><li>目標框: 以 Ground Truth Boxes 中心點為基準，設置邊長為 5 的正方形，挑選 Anchor Box 的中心點落在正方形內的所有錨框。</li></ol><h4><strong>精細化篩選</strong></h4><p>在這邊就用到了 SimOTA。這邊分成了 4 個步驟，分別為</p><ol><li>初篩正樣本信息提取</li><li>Loss 函數計算</li><li>Cost 成本計算</li><li>SimOTA 求解</li></ol><p><strong>初篩正樣本信息提取</strong></p><p>根據位置，可以將網絡預測的候選檢測框位置 Bboxes_preds、前景背景目標分數 obj_preds、類別分數 cls_preds 等信息，提取出來。假設上面初篩出1000 個正樣本錨框的位置，假設只有 2 類。那麼如下圖程式碼所示。</p><p>bboxes_preds_per_image 是候選檢測框的信息，因此維度為[1000，4]。</p><p>obj_preds 因為是目標分數，所以維度是[1000，1]。</p><p>cls_preds因為是類別分數，所以維度是[1000，2]。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/592/1*_dBDSdEJ5YPnaWzOJdeiyg.png" /></figure><p><strong>Loss函數計算</strong></p><p>假設 Ground Truth 有 3 個，那麼針對篩選出的 1000 個候選檢測框，和3個Ground Truth 就計算 Loss 函數，如下圖程式碼所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/779/1*Zd1dy77eO3j6fW2P9alyKQ.png" /></figure><p><strong>Cost 成本計算</strong></p><p>有了 reg_loss 和 cls_loss，就可以將兩個損失函數加權相加，計算</p><p>這裡涉及到論文中提到的一個公式，如下圖所示。λ 是平衡的係數。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/254/1*St4ZMVn0AOQW02tB7hRDJg.png" /></figure><p>可以看到下圖程式碼中，λ 的部分是 30</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/491/1*bui4jmBT1mjR-kjzNNBbsw.png" /></figure><p><strong>SimOTA</strong></p><p>有了上面的一系列信息，標籤分配問題，就轉換為了標準的 OTA 問題。但是經典的 Sinkhorn-Knopp 算法，需要多次迭代求得最優解。</p><p>作者也提到，該算法會導致 25% 額外訓練時間，所以採用一種簡化版的SimOTA 方法，求解近似最優解。詳細步驟如下。</p><p><strong>第一步：設置候選框數量</strong></p><p>如下圖所示，首先按照 Cost 的大小，新建一個全 0 的 matching_matrix，這裡是[3,1000]。通過第三行程式碼，設置候選框數量為 10。再通過第四行程式碼，從前面的 pair_wise_ious 中，給每個目標框，挑選 10 個 IOU 最大的候選框。因為前面假定有 3 個目標，因此這裡 topk_ious 的維度為 [3，10]。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/702/1*6iGbCLWSHKC-sGqNk3HULA.png" /></figure><p><strong>第二步：通過 Cost 挑選候選框</strong></p><p>下面再通過 topk_ious 的信息，動態選擇候選框，這裡是個關鍵。程式碼如下。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/680/1*xP62XvuUZQ5Iq0zcETuKTA.png" /></figure><p>這裡的 topk_ious，是 3 個目標框和預測框中，最大 IOU 的 10 個候選框，經過 torch.clamp 函數，得到最終右面的 dynamic_ks 值。我們就知道，目標框1 和 3，給他分配 3 個候選框，而目標框 2，給它分配 4 個候選框。圖解如下。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/925/1*gCyLFr7Rv3Cfcec-Q46C2Q.png" /><figcaption><a href="https://new.qq.com/omn/20210823/20210823A056WE00.html">圖片來源</a></figcaption></figure><p>那麼基於什麼標準分配呢？</p><p>這時就要利用前面計算的 Cost 值，即 [3,1000] 的損失函數加權信息。在 for迴圈中，針對每個目標框挑選，相應的 Cost 值最低的一些候選框。將 Cost值較低的一些位置，數值設為 1，其餘位置都為 0。比如說目標框 1 和 3 dynamic_ks 值都為 3，所以 matching_matrix 的第一列和第三列，有 3 個1。而目標框 2，dynamic_ks 值為 4，因此 matching_matrix 的第二列，有 4個 1。如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/408/1*2eZXDoJpU_4Ts3IEmYwMMw.png" /><figcaption><a href="https://new.qq.com/omn/20210823/20210823A056WE00.html">圖片來源</a></figcaption></figure><p><strong>第三步：過濾共用的候選框</strong></p><p>在分析 matching_matrix 時，發現第 5 行有兩個 1。這也就說明，第五行所對應的候選框，目前目標檢測框 1 和 2 都匹配到。因此對這兩個位置，還要使用 Cost 值進行對比，選擇較小的值，再進一步篩選。程式碼如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/713/1*H-wTTKVtSPr3WBqHLcCz9A.png" /></figure><p>首先第一行程式碼，將 matching_matrix，對每一行進行相加。如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/931/1*I7c2XNJzhbj7E_r0plO6ow.png" /><figcaption><a href="https://new.qq.com/omn/20210823/20210823A056WE00.html">圖片來源</a></figcaption></figure><p>這時 anchor_matching_gt 中，只要有大於 1 的，說明該檢測框有共用的情況。上圖案例中，第 5 行的檢測框存在共用的情況。</p><p>再利用第三行代碼，將 Cost 中，第 5 行的值取出，並進行比較，計算最小值所對應的行數，以及分數。</p><p>我們將第 5 行兩個位置，假設為 0.4 和 0.3。</p><p>經過第三行代碼，可以找到最小的值是 0.3，即 cost_min 為 0.3，所對應的行數，cost_argmin 為 2。</p><p>經過第四行代碼，將 matching_matrix 第 5 行都置 0。</p><p>再利用第五行代碼，將 matching_matrix 第 2 列，第 5 行的位置變為 1。</p><p>最終我們可以得到 3 個目標框，最合適的一些候選框，即 matching_matrix中，所有 1 所對應的位置。</p><p>圖解如下。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/950/1*tn_uylEiBmCLT-DV2k_QkA.png" /><figcaption><a href="https://new.qq.com/omn/20210823/20210823A056WE00.html">圖片來源</a></figcaption></figure><p><strong>第四步：Loss計算</strong></p><p>經過第三部分的標籤分配，就可以將目標框和正樣本預測框對應起來了。就可以計算兩者的誤差，即Loss函數。YOLOx 中使用傳統的 iou_loss，和giou_loss 兩種，可以進行選擇。而 obj_loss 和 cls_loss，都是採用 BCE_loss的方式。如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/687/1*vHWpkU0LhDaajCwA-eKBAw.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dd9bcbcff208" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[YOLOv5 詳細解讀]]></title>
            <link>https://medium.com/@_Xing_Chen_/yolov5-%E8%A9%B3%E7%B4%B0%E8%A7%A3%E8%AE%80-724d55ec774?source=rss-302ca3b868d1------2</link>
            <guid isPermaLink="false">https://medium.com/p/724d55ec774</guid>
            <category><![CDATA[object-detection]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[computer-vision]]></category>
            <category><![CDATA[deep-learning]]></category>
            <dc:creator><![CDATA[Steven Meng]]></dc:creator>
            <pubDate>Sun, 26 Sep 2021 07:23:24 GMT</pubDate>
            <atom:updated>2021-09-26T07:23:24.801Z</atom:updated>
            <content:encoded><![CDATA[<h3>前言</h3><p>在 YOLOv4 剛出 1 個月多的時間後，YOLOv5 也非常快推出，但是其爭議滿滿。原因是沒有並沒有發布論文，且和 YOLOv4 來比，創新性不足。</p><h3>網路架構</h3><p>YOLOv5 架構圖如下。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GypS8PopcUDtATZ7alGfyQ.jpeg" /></figure><p>可以看到官方原始碼給出的網絡文件是 yaml 格式，和原本Yolov3、Yolov4中的 cfg 不同，分別為 l、m、s、x，最主要的差別就是第 4 行和第 5 行的 depth_multiple 和 width_multiple，分別代表控制網路的深度和寬度的因子，前者深度主要是控制 BottleneckCSP 的數量，後者寬度則是控制卷積核數量。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/950/1*GZVV69fEDZAeM9RUUenPXA.png" /></figure><h3>Focus</h3><p>從上面架構圖看到，640 x 640 x 3 輸入進來後會先經過一個 Focus 模塊，這是 YOLOv5 新的操作，Focus模塊在 YOLOv5 中是圖片進入 Backbone 前，對圖片進行切片操作，具體操作是將圖像相鄰的四個位置進行堆疊，類似於鄰近下採樣，這樣就拿到了四張圖片，四張圖片互補，長的差不多，但是沒有信息丟失，將 W 和 H 信息就集中到了通道空間，輸入通變成了原本的 4 倍，即拼接起來的圖片相對於原先的 RGB 三通道模式變成了12 個通道，最後將得到的新圖片再經過卷積操作，最終得到了沒有信息丟失情況下的二倍下採樣特徵圖，如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/276/0*yKHs-ZkgGIedo7Qr.png" /></figure><p>以 Yolov5s 的結構為例，原始 608x608x3 的圖像輸入 Focus 結構，採用切片操作，先變成 304x304x2 的特徵圖，再經過一次 32 個卷積核的捲積操作，最終變成 304x304x32 的特徵圖。</p><h3>CSP</h3><p>YOLOv5 中設計了兩種 CSP 結構，一種是帶了 Resunit(2 個 Conv 模塊 + 殘差)，也就是 Bottleneck 的 Shortcut 為 True 時，另外一種就是將 Resunit 換成 2 個 Conv 模塊，如下圖紅色框框所示。有 Resunit 的部分主要是用在 Backbone 裡，因為 Backbone為較深的網絡，增加 Resunit 可以增強層與層之間反向傳播的梯度值，避免因為加深而帶來的梯度消失，從而提取到更細粒度的特徵而不必擔心網絡退化。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*trmiuUNrr9p3miHxXAUmmA.jpeg" /></figure><h3>FPN + PAN</h3><p>YOLOv5 的 Neck 和 YOLOv4中一樣，都採用 FPN + PAN 的結構，不過在 YOLOv5 的架構中是參考 CSPnet 設計的，可以加強網路特徵融合能力，如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1023/1*j2Nsnw-FPenVgM9PAoC8Xg.png" /></figure><h3>Mosaic 數據增強</h3><p>YOLOv5 的輸入端採用了和 YOLOv4 一樣的 Mosaic 數據增強的方式，之前在我 YOLOv4 中有詳細介紹，<a href="https://medium.com/@Seven_73848/yolov4-%E8%A9%B3%E7%B4%B0%E8%A7%A3%E8%AE%80-c47a9cff40c6">連結在這</a>，這邊就不再介紹了。</p><h3>自適應圖片縮放</h3><p>在常用的目標檢測演演算法中，不同的圖片長寬都不相同，因此常用的方式是將原始圖片統一縮放到一個標準尺寸，再送入檢測網路中。像是下圖對面800x600 的影象進行變換。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/764/1*NtYX0Ub7VwbzvMa0b9yp0w.png" /><figcaption><a href="https://tw511.com/a/01/30988.html">圖片來源</a></figcaption></figure><p>但如果填充的比較多，則存在信息冗餘，影響推理速度。所以 YOLOv5 在推理階段，採用縮減黑邊的方式，來提高推理的速度。在原碼 datasets.py 的Letterbox 函數中進行了修改，對原始圖像自適應的添加最少的黑邊。如下圖所示，影象上下的黑邊變少了，在推理時，計算量也會減少，也就是目標檢測速度會得到提升。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/766/1*-WgTcST6ep2crny5bRCrcA.png" /><figcaption><a href="https://tw511.com/a/01/30988.html">圖片來源</a></figcaption></figure><p>詳細的步驟如下。</p><p>第一步，計算縮放比例，然後選擇最小的那個，選擇 0.52。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/769/1*kpKYiiDwqefBywjq2xpAZA.png" /><figcaption><a href="https://tw511.com/a/01/30988.html">圖片來源</a></figcaption></figure><p>第二步，計算縮放後的尺寸，將原始圖片的長寬都乘以剛剛得出的最小的縮放係數 0.52，寬變成了 416，而高變成了 312。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/765/1*edMc4P0swZB0ivzMMONifw.png" /><figcaption><a href="https://tw511.com/a/01/30988.html">圖片來源</a></figcaption></figure><p>第三步，計算黑邊填充數值，將 416 - 321 = 104，得到原本需要填充的高度。再採用 numpy 中 np.mod<strong> </strong>取餘數的方式，得到 8 個畫素，再除以 2，即得到圖片上下兩端需要填充的數值。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/757/1*-u_2F3b3S39RpPtJV8z6Ng.png" /><figcaption><a href="https://tw511.com/a/01/30988.html">圖片來源</a></figcaption></figure><p>最後這邊要注意的是，只有在測試，使用<strong>模型推理</strong>時，才採用<strong>縮減黑邊</strong>的方式，提高目標檢測，推理的速度，<strong>訓練時並沒有使用，</strong>還是採用傳統填充的方式。</p><p>Mod 32 的原因是 YOLOv5 經過 5 次的下採樣總步數為 32，所以要計算最小填充黑邊要先計算除以 32 的餘數。</p><p>Yolov5 中填充的是灰色，即（114,114,114）。</p><h3><strong>自適應錨框計算</strong></h3><p>在 YOLO 算法中，針對不同的數據集，都會有初始設定長寬的錨框。在網絡訓練中，網絡在初始錨框的基礎上輸出預測框，進而和真實框 Ground Truth 進行比對，計算兩者差距，再反向更新，迭代網絡參數。</p><p>在 YOLOv3、YOLOv4 中，訓練不同的數據集時，計算初始錨框的值是通過單獨的程序運行的。而 YOLOv5 中將此功能遷入到代碼中，每次訓練時，自適應的計算不同訓練集中最佳錨框找值。</p><p>而 YOLOv5 配置文件已經有給出原本在 COCO 數據集上的初始錨框，如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/456/1*-y7IQCKxIXqh6Ugq4wN1ig.png" /></figure><h3>GIOU</h3><p>YOLOv4 是使用 CIOU Loss<strong> </strong>作為目標 Bounding box<strong> </strong>的損失函數，而 YOLOv5 中則是採用其中的 GIOU Loss 做 Bounding box 的損失函數。這邊在我 YOLOv4 有做詳細的介紹，這邊也不再重複介紹了，<a href="https://medium.com/@Seven_73848/yolov4-%E8%A9%B3%E7%B4%B0%E8%A7%A3%E8%AE%80-c47a9cff40c6"><strong>連結</strong></a>。</p><h3><strong>NMS</strong></h3><p>YOLOv4 在 DIOU Loss 的基礎上採用 DIOU NMS 的方式，而 YOLOv5 中仍然採用加權 NMS 的方式。這邊我之前的文章也有介紹過，就不重複了。</p><h3>跨網格預測</h3><p>YOLOv3 的正樣本 Anchor 匹配策略非常粗暴，每個 Ground Truth 只能有一個 Anchor 對應，且一個 Ground Truth 不可能在三個預測層同時進行匹配，這邊可以看我之前 YOLOv3 的文章，<a href="https://medium.com/@Seven_73848/yolov3-%E8%A9%B3%E7%B4%B0%E8%A7%A3%E8%AE%80-bcefc5c0ec29">連結</a>。而 YOLOv5 採用不一樣的匹配策略且同時增加了正樣本 Anchor 數目的做法來加速收斂。</p><p>YOLOv5 匹配 Anchor 不使用最大值 IOS 去判斷，而是使用 Shape 去匹配，也就是該 Ground Truth Bbox 和當前層的 Anchor 計算寬高比，如果寬高比例大於設定閾值，則說明該 Ground Truth Bbox 和 Anchor 匹配度不夠，將該 Ground Truth Bbox 過濾暫時丟掉，代表在該層預測中認為是背景。</p><p>而對於剩下沒有被過濾掉的 Ground Truth Bbox，計算其落在哪個網格內，同時利用四捨五入規則，找出最近的兩個網格，將這三個網格都認為是負責預測該 Ground Truth Bbox 的正例，可以發現粗略估計正樣本數相比前 YOLO 系列，至少增加了三倍。如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/394/1*F7SK7R7RB3pEsgO5d6ZxyQ.png" /></figure><h3>總結</h3><p>YOLOv5 在 YOLOv4 的基礎上添加了一些新的改進思路，使得其速度與精度都得到了極大的性能提升，並且使用起來更方便靈活，透過不同參數設定可以得到不同複雜度的模型。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=724d55ec774" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[YOLOv4 詳細解讀]]></title>
            <link>https://medium.com/@_Xing_Chen_/yolov4-%E8%A9%B3%E7%B4%B0%E8%A7%A3%E8%AE%80-c47a9cff40c6?source=rss-302ca3b868d1------2</link>
            <guid isPermaLink="false">https://medium.com/p/c47a9cff40c6</guid>
            <category><![CDATA[paper]]></category>
            <category><![CDATA[yolov4]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[object-detection]]></category>
            <dc:creator><![CDATA[Steven Meng]]></dc:creator>
            <pubDate>Thu, 26 Aug 2021 09:47:13 GMT</pubDate>
            <atom:updated>2021-11-01T08:27:03.427Z</atom:updated>
            <content:encoded><![CDATA[<h3>貢獻:</h3><ol><li>開發了一個有效率強大的物件偵測模型，可以讓每個人都能在只有單一個 GPU(1080 Ti or 2080 Ti) 的配備下，訓練出速度快且正確率高的模型。</li><li>驗證了在檢測器訓練過程中，最先進的 Bag-of-Freebies 和 Bag-of-Specials 的目標檢測方法的影響。</li><li>修改了上面第 2 點的方法，使其更有效，更適合於單個 GPU 訓練，包括CBN、PAN、SAM 等。</li></ol><h3>Related works:</h3><p>首先作者先針對物件偵測通用框架進行一些總結，如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*j6Q8fC0vH29yrGvQZFdzHA.png" /></figure><p><strong>Input:</strong> 輸入的圖片、圖像金字塔等等。</p><p><strong>Backbone:</strong> 骨架網路通常會先 Pre-train，常用的架構網路有 VGG16、Darknet53 等等。</p><p><strong>Neck:</strong> 有一些額外的層或是 Block 做一些特徵的抽取，像是 FPN、PANet 等等。</p><p><strong>Head:</strong> 對圖像特徵進行預測，生成 Bbox 和預測類別，分為 One-Stage 和 Two-Stage。如上圖所示，One-Stage 的代表有 YOLO、SSD 等等，而 Two-Stage 的代表有 Faster R-CNN、R-FCN 等等。</p><p>接著作者把優化的策略分為了兩種，分別是 Bag of Freebies 和 Bag of Specials。</p><p><strong>Bag of Freebies: </strong>在訓練階段，可以讓檢測器有更好的精度，且不會增加 Inference 過程的推算時間，所有的技巧如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/979/1*avulAaCnlkoKVTbOoY6Gfg.png" /><figcaption><a href="https://drive.google.com/file/d/1So0cMmDGgwhxRiWkLZqq9Y9i_K2FJ-4O/view">圖片出處</a></figcaption></figure><p><strong>Bag of Specials: </strong>在推測階段，會增加一點 Inference 過程的推算時間，但是卻可以讓檢測器的精度提升很多，所有的技巧如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/941/1*547JHBC9RluiDuyWoajAQA.png" /><figcaption><a href="https://drive.google.com/file/d/1So0cMmDGgwhxRiWkLZqq9Y9i_K2FJ-4O/view">圖片來源</a></figcaption></figure><h3>YOLOv4 架構選擇:</h3><p>這邊架構的選擇主要是基於以下三點。</p><ol><li>網路輸入的解析度要夠高，會更好檢測小物體。</li><li>網路的層數要越深，能夠覆蓋更大面積的 Receptive Field (感受野)。</li><li>網路的參數要夠多，參數越多會越好檢測同一張圖片中，不同大小尺寸的物體。</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*p2oI3JAQf3ZF0x8b2h6Xww.png" /></figure><p>綜合以上 3 點，最後 YOLOv4 選擇使用 <strong>CSPDarknet53</strong> 做為 Backbone。用了 Additional Block: <strong>SPP-Block</strong> 還有 Path-Aggregation Neck: <strong>PANet，</strong>Head 則是選擇 YOLOv3 的 Head。架構圖如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Om9OdCjk2ohhEcts" /><figcaption><a href="https://img-blog.csdnimg.cn/2020071916244978.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaTY2NmFp,size_16,color_FFFFFF,t_70">圖片來源</a></figcaption></figure><p>CSPDarknet53 是在 Yolov3 主幹網絡 Darknet53 的基礎上，借鑑 CSPNet 產生的 Backbone 架構，其中包含了5個 CSP 模塊，所以接著要來介紹的是 CSPNet。</p><h4>CSPNet:</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*D-eT9CbYEZMf7jK7.jpg" /></figure><p>如上圖所示，CSPNet 會先把輸入的一部分拆開來(X0&#39;&#39;)做卷積，做完卷積後再和做卷積前的輸入的一部分(X0&#39;’) Concatenate 在一起然後輸出到下一層的輸入，接下來就反覆地做下去直到最後一層的輸出會和一開始輸入的另外一部分沒有處理到的(X0&#39;) 做 Concatenate。而 CSPNet 實際上可以有效減緩梯度消失問題，可以更加深網路的層數，不用擔心梯度消失問題。</p><h4><strong>CSPDarknet53:</strong></h4><p>所以最後 Darknet53 加上 CSP 的架構就變成了下圖。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/744/1*O6YwP2uHC7f1ZZJidAfM0Q.png" /></figure><p>接著要介紹的就是 YOLOv4 Neck 的部分。</p><h4>SPP (Spatial Pyramid Pooling Layer):</h4><p>SPP 網絡用在 YOLOv4 中的目的是增加網絡的感受野，而在 YOLOv4 的 SPP 模塊中，使用 Kernel Size K = { 1x1, 5x5, 9x9, 13x13} 的 Maxpool 方式，最後將不同尺度的特徵圖進行 Concat 操作，如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CUpedd2Rnl2wSqbE5IvO8w.jpeg" /></figure><h4>PAN:</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BSIU8bRYssNrjnw9MeBsAw.png" /></figure><p>上圖為 PAN 的架構，而 YOLOv4 則是有稍微修改一下 PAN 的方法，如下圖所示，原本的 PANet 網絡的 PAN結構 中，兩個特徵圖結合是採用 Shortcut 操作，而 Yolov4 中則採用 Concatenate 操作，特徵圖融合後的尺寸發生了變化。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FetZle4Md4HjogBKwAAGyg.png" /></figure><p>而完整的輸出圖如下所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/278/0*jsO-2jNrzE6_Iglf.png" /></figure><h3>Bag of Freebies(BOF) for Backbone:</h3><p>接著介紹一下作者在 Backboe 上使用哪些 BOF 的方法。</p><h4>Data Augmentation:</h4><p><strong>Cutmix:</strong></p><p>CutMix 的處理方式就是對一對圖片做操作， 隨機生成一個裁剪框，裁剪掉 A 圖的相應位置，然後用 B 圖片相應位置的 ROI 放到A圖中被裁剪的區域形成新的樣本，計算損失時同樣採用加權求和的方式進行求解，如下圖最右邊所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*NBsEDB_FnsBurvbs" /></figure><p><strong>Mosaic:</strong></p><p>Mosaic 數據增強則而Mosaic數據增強則採用了4張圖片，每一張圖片都有其對應的 Bbox，利用隨機縮放、隨機裁剪、隨機排布的方式進行拼接，將四張圖片拼接之後就獲得一張新的圖片，同時也獲得這張圖片對應的框。如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/656/1*iqA4ECBvwdUVB87szZRZvQ.jpeg" /></figure><p>而這麼做的好處是可以增加檢測數據集的豐富程度，可以讓網路的 Robustness 更好。還有可以減少 GPU ，作者考慮到只有一個 GPU 的情況下，因此 Mosaic 增強訓練時，可以直接計算 4 張圖片的數據，使得 Mini-Batch 大小並不需要很大，一個 GPU 就可以達到比較好的效果。</p><h4>Regularization:</h4><p><strong>DropBlock:</strong></p><p>DropBlock 與 Dropout 功能類似，也是避免 Overfitting 的一種正則化方法，而原本 DropOut 是隨機 Drop 特徵，這一點對於 FC 層是有效的，但在卷積層是無效的，因為網路仍可以從相鄰的激活單元學習到相同信息，信息仍能傳送到下一層，則無法避免 Overfitting。所以 YOLOv4 採用一塊一塊的去Dropout 叫做 Dropblock，如下圖所示，中間是 DropOut 右邊是 DropBlock，一個 Feature Map 連續的部分就會被 Drop ，那麼模型為了擬合數據網絡就會往別處看以尋找新的證據。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eNKH4DzJ7KFMnVdfoSOCBQ.png" /></figure><p><strong>Label Smoothing:</strong></p><p>Label Smoothing 是一個非常有名的 Regularization 方法，可以將標籤的確定性減弱防止 Overfitting，基本上是對 Label 進行 Soft 操作，不要只有 0 或者 1 的標籤，而是有一個偏移量。公式如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/639/1*C7XkW5fjJHrpJFKBKgx9JA.png" /><figcaption><a href="https://drive.google.com/file/d/1So0cMmDGgwhxRiWkLZqq9Y9i_K2FJ-4O/view">圖片出處</a></figcaption></figure><p>Y 是原本 One-Hot 編碼的標籤，可以看到經過公式計算 Label Smoothing 後，One-Hot 編碼的標不再只有 0 或 1。</p><h3>Bag of Specials(BOS) for Backbone:</h3><p>接著介紹一下作者在 Backboe 上使用哪些 BOS 的方法。</p><h4>Activation Function:</h4><p><strong>Mish:</strong></p><p>Mish 是連續可微分的非單調、上無界、有下界的激活函數，Mish 的梯度更平滑，可以穩定網路梯度流，具有更好的泛化能力。但是作者只在 BackBone 使用 Mish，後面的網路還是使用 Leakey-Relu。</p><p>以下為 Mish 的公式。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/561/1*MpSczTuoz4671zN2biYjBQ.jpeg" /></figure><h4>Skip Connections:</h4><p><strong>CSP(Cross Stage Partial Connections):</strong></p><p>這部分上面已經詳細介紹過了，這邊就不再贅述。</p><p><strong>MiWRC(Multi-input Weighted Residual Connections):</strong></p><p>物件偵測模型如何連接層變得更加重要，YOLOv4 參考了 EfficientDet 的架構方式，使用了多輸入加權的殘差連接 (MiWRC)。而 EfficientDet 是使用 EfficientNet 來當作 BackBone，Neck 為 BiFPN，如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*p_xf3ZZQ6PvyR1iu.png" /></figure><p>下面的圖表是 EfficientNet 的架構，該架構建立在由逆殘差塊(Inverted Residual Block) 組成的 MBConv 層(MobileNetV2的捲積模塊)上。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*7fvoclyCs6df7nrh.png" /></figure><p>原本的 Residual Block 是經過一個 1x1 的卷積層，把 Feature Map 的通道數降下來，再經過 3x3 的卷積層還有 1x1 的卷積層，將 Feature Map 的通道數再升上去，而 Inverted Residual Block 就是先升高通道數再降低通道數，主要是為了能夠提取更多通道訊息和特徵信息，如下圖所示，左邊是 Residual Block 右邊是 Inverted Residual Block。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/0*QZ1nOpkcq7-pPhXZ.png" /></figure><p>至於 BiFPN 則是在 PANet 上做一些改進，如下圖所示。作者認為如果一個結點只有一個輸入，沒有特徵融合，認為是相對沒那麼重要的，所以就刪掉。添加跳躍連接，如果原始輸入和輸出節點處於同一 Level，則在原始輸入和輸出節點之間添加一條額外的邊，以便在不增加成本的情況下融合更多特徵。不像 PANet 只有一個 Top-down 和一個 Bottom-up 路徑，EfficientNet 將這個組合作為一個基本 Block，可重複多次來獲得更高層次的特徵融合。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/679/1*WOLjaW0SF5fsinLXxev7Ew.png" /></figure><h3>Bag of Freebies(BOF) for Detector:</h3><h4>Data Augmentation:</h4><p><strong>Mosaic:</strong></p><p>此方法上面介紹過了，這邊也就不重覆介紹。</p><p><strong>SAT(Self-Adversarial Training ):</strong></p><p>SAT 為一種創新的數據增強方式，分為兩階段。</p><ol><li>神經網絡改變原始圖像而不是網絡的權重。藉由此方式，神經網絡對其自身進行一種對抗式的攻擊，改變原始圖像，製造圖像上沒有目標的假象，增加樣本的訓練難度。</li><li>使用這修改過的圖片對模型進行訓練。</li></ol><h4>Normalization:</h4><p><strong>CmBN (Cross mini-Batch Normalization):</strong></p><p>BN 是對當前 mini-batch 進行正規化，當 Batch Size 比較小時候，BN 在 Batch 採樣不均勻會導致準確率下降。</p><p>CBN 的主要精神在於將前 K-1 個 Iteration 的樣本參與當前均值和方差的計算，實現擴大 Batch Size 的作用。</p><p>在 YOLOv4 中還提出改進版 CmBN 是基於 CBN 去做修改，在每個 Batch 中只統計四個 mini-batches 的數據，並在第四個 mini-batch 後才更新權重，尺度縮放和偏移。</p><p>實際流程為下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/911/1*0i8viVIlWs0eCug6MNv0fg.png" /></figure><h4>Loss of Bbox Regression:</h4><p><strong>CIOU Loss:</strong></p><p>再介紹 CIOU Loss 之前要先介紹一下其他 IOU Loss 的缺點和演進。</p><p>IOU Loss: IOU 的計算方式如下圖所示，交集除以聯集。而 IOU Loss 就是 1 - IOU。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/0*BliyilkcaDqMbq1Z.jpg" /></figure><p>而如果把 IOU 當作 Loss 來訓練會有以下 2 點問題。</p><p>如果兩個框框沒有相交，那麼根據 IOU 公式定義，IOU = 0，不能反映出兩個框框之間的距離，而 Loss 也為 0 沒有梯度就不能訓練更新，優化參數。</p><p>第二點則是 IOU 無法精確的反應兩個框框間重合度大小。如下圖所示，三張圖 IOU 都相等，但是重合程度看得出來不一樣的，左邊的圖比較好，右邊的圖最差。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*mCNSE_93ZRLqOpUy" /></figure><p>GIOU Loss: GIOU 為了解決無重疊情況的梯度消失問題，因此在 IOU Loss 的基礎上增加一個懲罰項，比 IOU 更能反應兩個框的接近程度和重合度。</p><p>公式如下圖所示，C 是 A, B 兩個框框可以圍出的最小的封閉矩形。可以看到左右兩張圖都沒相交，但是因為左邊的圖 A 和 B 距離比較短，所以 Loss 比較低。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sTMbItmqsqTEK9Gyy-s6lA.png" /><figcaption><a href="https://drive.google.com/file/d/1So0cMmDGgwhxRiWkLZqq9Y9i_K2FJ-4O/view">圖片來源</a></figcaption></figure><p>但是 GIOU Loss 也有問題，如下圖所示，此時 IOU 和 GIOU 的 Loss 都是一樣的值，但是顯然最左邊的預測是比較好的預測框，問題就是出在中心點的距離 d 沒辦法去縮小。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/951/1*NMX1DsMKq548W7JZ6lfSsw.png" /></figure><p>GIOU Loss 還有一個問題，如下圖所示，在訓練過程中，GIOU 會傾向先增大Predict Bbox(下圖 B 框框) 的大小，為了要和 Ground Truth 重疊，下圖 Maximize 框框中的公式所示，如此一來才能計算 IOU loss，這樣會導致收斂速度變很慢，會很花費時間，像是下圖到第 400 個 Iteration 才快要收斂完成。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/941/1*Ee9NVJUGE_aY4Tfniwp1aw.png" /></figure><p>DIOU Loss:無論是 IOU 還是 GIOU 都只考慮了重疊面積。因此提出的 DIoU 中考慮了中心點距離，要去 Minimize 兩點中心的距離，增加了一個懲罰項用於最小化兩個框的中心點距離，公式如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/931/1*yPGq42YpFUWr-fe2UZj6WA.png" /></figure><p>DIOU Loss 優化兩個框的距離收，因此斂速度也比 GIOU Loss 快很多，如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/634/1*vJiPjxuyjwnCqc0_hO7nxQ.png" /></figure><p>剛剛提到的 GIOU Loss 問題之一，當預測框在目標框內時，GIOU Loss 與 IOU Loss 值相同，此時 GIOU 無法區分其相對位置，而DIOU Loss 的則是都不一樣，所以可以更好地去解決這個問題。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/628/1*-SDSOvBl7KBSiaL8fSe1WA.png" /></figure><p>但是這樣還不夠，所以 YOLOv4 就用了 CIOU Loss，如下圖所示，一個好的 Bbox Regression 的 Loss 需要包含重疊區域和中心點，這兩點在 DIOU 已經有了，而 CIOU 則是新增一個寬高比，αv 的部分。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/970/1*TPzYOnO5lqo4DAuuTTb8Ng.png" /><figcaption><a href="https://drive.google.com/file/d/1So0cMmDGgwhxRiWkLZqq9Y9i_K2FJ-4O/view">圖片來源</a></figcaption></figure><p>至於為什麼要 α 分母要有一個 1 - IOU，以下圖的例子來說，IOU 為 0 的情況下，α 計算出來會很小，此時會比較專注於把兩個框框的距離先拉近，先不會去管寬高比，而拉近的過程中 IOU 也會變大，同時再去調整計算 α。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/980/1*5qaNQyb2i9shBleiakAO3A.png" /><figcaption><a href="https://drive.google.com/file/d/1So0cMmDGgwhxRiWkLZqq9Y9i_K2FJ-4O/view">圖片來源</a></figcaption></figure><h4>Regularization:</h4><p><strong>DropBlock:</strong></p><p>這邊在上面的內容已經涵蓋了，這邊也不重複。</p><h4>Others:</h4><p><strong>Cosine Annealing Scheduler:</strong></p><p>使用餘弦退火(Cosine annealing scheduler)進行學習率下降，神經網絡越來越接近 Loss 值的全局最小值，學習率應該變得更小來使得模型儘可能接近這一點。餘弦退火（Cosine annealing）利用餘弦函數來降低學習率，進而解決這個問題。公式如下圖。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/890/1*mRKyhG1Fmr4e7lnkN99R4w.png" /></figure><p>通過上述公式我們可以看到 lr 會呈類餘弦曲線下降，如下圖所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*0WUGwaVpx7hdyHgL.png" /></figure><p><strong>Multiple Anchors for A Single GT:</strong></p><p>在 YOLOv3 只會取 IOU 值最大的 Anchor Box 當作此物體的正例負責預測這個目標，但是在 YOLOv4 只要 IOU &gt; IOU Threshold 就都可以拿來進行預測。</p><p><strong>Eliminate Grid Sensitivity:</strong></p><p>如下圖所示，作者發現物體中心點在網格的邊緣是比較難被偵測到的，下圖的貓從左移動到右邊，可以看到靠近邊緣的地方比較難被偵測到。原因是因為原本計算位置的公式是使用 Sigmoid 函數，如下圖上面的 Bx 公式，這樣如果物體的中心點靠近網格邊緣的話，tx 會需要比較大的正值或負值，會比較難訓練達到。所以 YOLOv4 就針對公式做了以下調整，先乘以一個縮放量 s(下圖的綠色線)，然後在減掉一個平移量，就會變成下圖的紛紅色線，可以看到粉紅色線 0 到 1 的 tx 值不會到大(橘色線)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/910/1*jIb2nUq9V8hJs-fuEemclw.png" /></figure><p><strong>Random Training Shapes:</strong></p><p>許多 One-Stage 目標檢測器是在固定的輸入圖像形狀下訓練的。為了提高泛化效果，隨機調整輸入的圖像大小，實現 Multiscale Training。</p><h3>Bag of Specials(BOS) for Detector:</h3><h4>Attention Mechanism:</h4><p><strong>Modified SAM:</strong></p><p>SAM 是源自於 CBAM(Convolutional Block Attention Module) 論文，提供了兩種注意力機制的技巧，分別是空間注意力機制和通道注意力機制，而 SAM就是其中的空間注意力機制，使得不會因為網路的加深而忘記前面的訊息。如下圖所示，先分別進行 1×1 的 Avg Pooling和 1×1 的 Max Pooling 得到兩個 H×W×1 的通道，並將這兩個描述按照通道 Concatenate 在一起。然後經過一個 7×7 的捲積層，激活函數為Sigmoid，得到權重係數 Ms。最後，拿權重係數和特徵 F’ 相乘即可得到縮放後的新特徵。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Z6hsihSd8vsx3ePc.png" /></figure><p>至於 YOLOv4 將 SAM 從空間注意力機制(spatial-wise attention) 修改為點注意力機制(point-wise attention)，如下圖b 所示，沒有使用 Pooling 而是直接使用 7x7 的卷積層。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/515/0*Cx7IlSuv01PvMzxM.png" /></figure><h4>Post-Processing:</h4><p><strong>DIOU NMS:</strong></p><p>YOLOv4 使用 DIOU 替換原始 NMS 中的 IOU，原本 NMS 中，IOU 是唯一考量的因素，得分最高的檢測框和其它檢測框逐一算出一個對應的 IOU 值，並將該值超過 NMS Threshold 的框全部過濾掉。但這樣當兩個不同的物體靠得很近時，由於 IOU 值比較大，往往經過 NMS 處理後，只會剩下一個檢測框，導致可能有漏檢的錯誤情況發生。</p><p>因此，DIOU NMS 就不僅僅考慮 IOU，還考慮兩個框中心點之間的距離。如果兩個框之間 IOU 比較大，但是兩個框的距離比較大時，可能會認為是不同兩個物體的檢測框而不會被過濾掉。 其公式如下圖所示。Si 是分類的置信度， M 為最高置信度的檢測框，ε 為 NMS Threshold。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/588/0*iGpS1pOCU_u2-xC1.png" /></figure><p>最高置信度的檢測框 M 和其它框 Bi 的（IOU-DIOU）值比較小時，Bi 的置信度分數 Si 仍然保持，否則，當（IOU-DIOU）大於 NMS threshold 值時，Si值就設成 0 了，即被過濾掉。</p><h4>Enlarging Receptive Filed:</h4><p><strong>SPP:</strong></p><p>這部分在前面也介紹過了。</p><h4>Feature Integration:</h4><p><strong>Modified PAN:</strong></p><p>這部分在前面也介紹過了。</p><h4>Activation Function:</h4><p><strong>Mish:</strong></p><p>這部分在前面也介紹過了。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c47a9cff40c6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[YOLOv3 詳細解讀]]></title>
            <link>https://medium.com/@_Xing_Chen_/yolov3-%E8%A9%B3%E7%B4%B0%E8%A7%A3%E8%AE%80-bcefc5c0ec29?source=rss-302ca3b868d1------2</link>
            <guid isPermaLink="false">https://medium.com/p/bcefc5c0ec29</guid>
            <category><![CDATA[yolov3]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[paper]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[object-detection]]></category>
            <dc:creator><![CDATA[Steven Meng]]></dc:creator>
            <pubDate>Thu, 26 Aug 2021 09:44:32 GMT</pubDate>
            <atom:updated>2021-08-26T09:44:32.467Z</atom:updated>
            <content:encoded><![CDATA[<p>YOLOv3 並沒有太多的創新，而是參考其他的論文然後對本身的模型做優化，效果十分顯著。</p><h3>New Network : Darknet-53</h3><p>YOLOv3 提出新的 Backbone: Darknet-53，YOLOv3 和 YOLOv2一樣下採樣的總步長為 32，Backbone 都會將輸出特徵圖縮小到輸入的 32 分之一。所以，通常都要求輸入圖片是 32 的倍數。</p><p>Darknet-53 總共有 53 層捲積層，YOLOv2 中對於 Feature Map 尺寸變換，都是透過 Maxpooling 層，而 YOLOv2 是通過卷積層，如下圖紅色框框所示。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/920/1*yu6ZIkxnemXTc8lQIhUgcw.png" /></figure><p>Darknet-53 也增加了 Resnet 網路 (Residual Network)，來防止因為網路加深而造成的梯度消失和梯度爆炸問題，上圖黑色框框就是 Residual block，總共有 24 個。而 Residual block 大概就是將一個 捲積層的輸入連接到 Output，即增加了一個 Identical Mapping 如下圖，隨著網路加深對於梯度消失和梯度爆炸問題還有層與層之間的信息融合很有幫助。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/708/1*T2-sVUZb_f1j9ntbe82RGA.png" /></figure><p>再來可以觀察到下圖雖然使用 Darknet-53 做為 YOLOv3 的 Backbone 速度會掉將近 2 倍，但仍然是 Real-time 的，和原本的 Darknet-19 相比，準確率卻有提升，而且又比 ResNet-152 快很多。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/522/1*u03B05RkmKU-d4EeCs-T8A.png" /></figure><h3>Predictions Across Scales:</h3><p>YOLOv3 借鑒了特徵金字塔 (FPN) 的方法，採用多尺度的 Feature Map 對不同大小的物體進行檢測，如下圖所示，提升小物體預測能力，因為越精細的 Grid Cell 可以檢測出越精細的物體。</p><p>。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/616/0*0HWyzR5dVkNAmtFM.png" /><figcaption>FPN</figcaption></figure><p>而 YOLOv3 的架構圖如下，藍色輸出 Y1, Y2, Y3 就是特徵金字塔的輸出。會輸出三種尺度的特徵圖，每個特徵圖裡的每一個 Grid 會有 3 個 Anchor Box 去預測 Bbox，而每個 Bbox 會輸出 x, y, w, h, c 這 5 個值和分類機率(YOLOv3 是使用 COCO 資料集有 80 類)，因此以輸入大小 416x416 的圖片來說，總共會輸出 13x13x3x(5+80) + 26x26x3x(5+80) + 52x52x3x(5+80)，分別對應特徵金字塔 Y1, Y2, Y3 的輸出。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/0*9KkpLwmvRpSbOjZc.png" /><figcaption><a href="https://www.researchgate.net/profile/Dai-Wei-8/publication/348001479/figure/fig3/AS:974414304772108@1609329882943/YOLOv3-architecture-for-object-detection-Note-DBL-is-the-basic-component-of-Darknet53.png">圖片來源</a></figcaption></figure><p>YOLOv3 通過下採樣 32/16/8 倍得到 3 個不同尺度的 Feature Map<br>例如輸入 416x416 的圖片，則會得到 13x13 (416/32)、26x26 (416/16)、52x52 (416/8)這些 Feature Map，如下圖所示，尺度越大的代表網格越精細越適合檢測小物體，度越小則代表越適合檢測大物體。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/709/0*HNWf8pj180dHy5du.png" /></figure><h3>Anchor Box:</h3><p>每個尺度的 Feature Map 會預測出 3 個 Anchor Box 而 Anchor Box 的大小則 延續了 YOLOv2 的作法，採用 K-means 演算法進行聚類分析。在 COCO 數據集上，9 个聚類(Anchor box)分別是（10×13）,（16×30）,（33×23）,（30×61）,（62×45）,（59×119）,（116×90）,（156×198),（373×326）。</p><p>如上面提到的越精细的 Grid Cell 就可以檢測出越精细的物體，尺度越大代表感受野越小，對小物體越敏感，需要用小的 Anchor Box，所以每個尺度對應的 Anchor Box 為下 。</p><p>1 3×13 尺度的 Anchor Box【（116×90）, （156×198）,（373×326）】</p><p>26×26 尺度的 Anchor Box【（30×61）,（62×45）,（59×119）】</p><p>52×52 尺度的 Anchor Box【（10×13）,（16×30）,（33×23）】</p><h3>Bounding Box Prediction:</h3><p>YOLOv3 使用 Logistic Regression 為每個 Bounding Box 預測一個 Confidence (用來表示該 Bounding Box 是否有前景物的機率)</p><ol><li><strong>正例: </strong>首先先計算物體落在哪格 Cell 上，然後計算這格 Cell 上所有的Anchor Box）和 Ground Truth 的 IOU，取 IOU 值最大的 Anchor Box 當作此物體的正例負責預測這個目標。那麼下一個 Ground Truth， 就在剩下的檢測框中， 尋找 IOU 最大的檢測框作為正例。</li><li><strong>忽略樣例:</strong> 如果預測的 Bounding Box 不是最好的，但是和 Ground Truth IOU 也超過了一個閾值(這邊使用 0.5)，則忽略這個 Bounding Box 不去計算 Loss Gradient（不獎勵也不懲罰的機制）。</li><li><strong>負例:</strong> 如果如果預測的 Bounding Box 沒有被分配給 Ground Truth，那麼這個框對位置大小的回歸和類別預測沒有幫助，試圖減小他的Confidence，則在算 Loss的時候不會計算這個 Bounding Box 的 Coordinate 和 Class Predictions 的Loss，只會計算 Confidence Score Loss。</li></ol><p><strong>為什麼會有忽略樣例?</strong></p><p>由於 Yolov3 採用了多尺度檢測， 那麼再檢測時會有重複檢測現象，假如有一個真實物體，在訓練時被分配到的檢測框是特徵圖1 的第三個 Box 與該Ground Truth 的 IOU 為 0.98，此時特徵圖2 的第一個 Box 與的IOU 為 0.95，也檢測到了該 Ground Truth，如果此時給其置信度強行打 0 的標籤，網絡學習效果會不理想。</p><p>Anchor Box 的位置大小的偏移量計算方式則和 YOLOv2 一樣，這邊就不再介紹了。</p><h3>Class Prediction:</h3><p>原本是用 Softmax 去做預測每個 Bbox 的類別，但是有時候物體的輸出可能會不只有一個類別，像是人這個類別可能還會輸出男人這個類別，所以 YOLOv3 改用多個獨立的 Logistic Regression 分類器取代原本的 Softmax，可以對多個標籤預測，輸出不只一種類別，而 Loss Function 則是使用 Binary Cross-Entropy Loss，且準確率不會下降。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bcefc5c0ec29" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>