<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by shen on Medium]]></title>
        <description><![CDATA[Stories by shen on Medium]]></description>
        <link>https://medium.com/@lplpp163?source=rss-22df60ad6083------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*5r2gnQr3WBSBUICb</url>
            <title>Stories by shen on Medium</title>
            <link>https://medium.com/@lplpp163?source=rss-22df60ad6083------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 09:34:59 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@lplpp163/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[從火鍋到披薩，Transformer 決策晚餐，Attention 都亂了]]></title>
            <link>https://medium.com/@lplpp163/%E5%BE%9E%E7%81%AB%E9%8D%8B%E5%88%B0%E6%8A%AB%E8%96%A9-transformer-%E6%B1%BA%E7%AD%96%E6%99%9A%E9%A4%90-attention-%E9%83%BD%E4%BA%82%E4%BA%86-fd45564f01da?source=rss-22df60ad6083------2</link>
            <guid isPermaLink="false">https://medium.com/p/fd45564f01da</guid>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[attention-mechanism]]></category>
            <category><![CDATA[transformer-model]]></category>
            <dc:creator><![CDATA[shen]]></dc:creator>
            <pubDate>Sat, 05 Oct 2024 17:27:39 GMT</pubDate>
            <atom:updated>2024-10-05T17:28:44.325Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/911/1*F8p7aJPgKdYY5TaZkpr06Q.png" /><figcaption>Transformer架構意象圖</figcaption></figure><h3>Token Mixer：</h3><p>想像你和朋友們坐在一起開會討論今晚要吃什麼。每個人都代表一個 <strong>token</strong>，每個人帶來自己的晚餐建議，比如有人提議吃火鍋，有人說想吃壽司，有人喜歡吃披薩。</p><h3>Channel Mixer：</h3><p>當大家討論完各自的意見後，每個人會根據會議中的討論，回到自己的思維中，進行內部反思和調整。比如，某人原本堅持要吃壽司，但在聽了大家的討論後，他可能開始考慮其他選項，比如改吃天婦羅或者刺身。</p><h3>故事是這樣的</h3><h4>討論：</h4><p>有人提議吃火鍋，但其他人認為太油膩，於是這個人根據大家的意見，可能會轉向推薦麻辣鍋或者清湯鍋。這樣的過程就像是 <strong>token mixer</strong>，每個人（token）透過溝通和注意力機制來整合彼此的信息，了解全局需求。</p><h4>反思：</h4><p>你原本很想吃火鍋，但在聽完大家的討論後，你會思考：“好吧，今天可能不適合吃火鍋，不然我換成披薩吧。”這個過程就像 <strong>channel mixer</strong>，每個人（token）根據外界的信息對自身的偏好進行更新和強化。</p><h3>啟示</h3><h4>有效溝通：</h4><p>假設有一群人（token），每個人想吃的晚餐都不一樣，如何有效溝通達成共識很重要。在溝通過程中，可以設置小組討論（局部注意力），先讓一些偏好相近的人進行討論，然後將結果帶回到全局會議中進行總結。</p><h4>靈活調整：</h4><p>做人不能太固執，正如模型中的 token 不能總是保持原狀，而是要不斷根據上下文做出改變，才能適應變化多端的環境。可以引入多輪次的討論過程，每輪討論之後，每個人根據新的信息進行調整，然後再進入下一輪溝通。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fd45564f01da" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[論文筆記] 2022的卷積網路 A ConvNet for the 2020s]]></title>
            <link>https://medium.com/@lplpp163/%E8%AB%96%E6%96%87%E7%AD%86%E8%A8%98-2022%E7%9A%84%E5%8D%B7%E7%A9%8D%E7%B6%B2%E8%B7%AF-a-convnet-for-the-2020s-331b046a7eb9?source=rss-22df60ad6083------2</link>
            <guid isPermaLink="false">https://medium.com/p/331b046a7eb9</guid>
            <category><![CDATA[cnn]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[convolutional-network]]></category>
            <category><![CDATA[transformers]]></category>
            <dc:creator><![CDATA[shen]]></dc:creator>
            <pubDate>Sat, 17 Dec 2022 19:04:36 GMT</pubDate>
            <atom:updated>2022-12-17T19:09:30.076Z</atom:updated>
            <content:encoded><![CDATA[<p>paper link: <a href="https://arxiv.org/abs/2201.03545">https://arxiv.org/abs/2201.03545</a></p><h3>Intro.</h3><p>Transformer在NLP和CV都有優異的表現，但卷積就真的遜掉了嗎？</p><p>Swin Transformer(Swin-T)引用卷積的特性(locality)，那同樣的，卷積是不是也能引用Transformer的特性(self-attention)與之抗衡？</p><p>作者逐步魔改Resnet-50，打敗Swin-T。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/470/1*IxsqztugogAnjKx86pFO7A.png" /></figure><h3>Related Work</h3><ul><li>Conv Prior to ViT</li><li><a href="https://jingdongwang2017.github.io/Pubs/Demystify_Local_Attention.pdf">MSA替換成depth-wise</a></li></ul><h3>ConvNext</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kjurJhrEEozTEpjGg3dZng.png" /><figcaption>RoadMap</figcaption></figure><h4>訓練技巧</h4><ul><li>參考Swin調整優化器、epoch</li><li>資料增強、隨機深度、標籤平滑</li><li>76.1% → 78.8% (+2.7)</li></ul><h4>宏觀設計</h4><p>調整stage block數量 (下圖紅框)</p><ul><li>參考Swin加重第三階block數量</li><li>從3:4:<strong>6</strong>:3 → 3:3:<strong>9</strong>:3</li><li>78.8% → 79.4% (+0.6)</li></ul><p>模擬切片 (下圖綠框)</p><ul><li>參考Swin切片化</li><li>設4x4且步伐4的kernel</li><li>79.4% → 79.5% (+0.1)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6KzEKfIMdk3bX3llnSKVAQ.png" /></figure><h4>模擬MSA</h4><ul><li>研究指出depthwise與self-attention特性類似，還能<strong>降低運算</strong>量</li><li>一個kernel只對一個map運算，<strong>不跨通道</strong></li><li>79.5% → 78.3% (-1.2)</li><li>降低運算後再用<strong>group convolution</strong>增加寬度，<strong>提高精度</strong></li><li>78.3% → 80.5% (+2.2)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/655/1*e18UFNRhkVQXdgIHmFDNmw.png" /><figcaption>depthwise示意圖</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*D8tyCOKvJjzQFae0CoZdjQ.png" /><figcaption>group convolution示意圖</figcaption></figure><h4>顛倒瓶頸層</h4><ul><li>原本block兩端通道數多中間少，如沙漏</li><li>改成中間多兩端少，<strong>降低運算量</strong></li><li>80.5% → 80.6% (+0.1)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/783/1*NTGDpkpffsACBLla7YRS0A.png" /><figcaption>Inverted bottleneck</figcaption></figure><h4>調大kernel</h4><ul><li>先上拉depthwise層，模擬Swin的<strong>MSA</strong>在MLP前面</li><li>降低運算量</li><li>80.6 → 79.9 (-0.7)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/712/1*l_jdNJJa09NwJlZZeFy8Pw.png" /></figure><ul><li>kernel從3x3調大至7x7飽和，往上無益</li><li>79.9% → 80.6% (+0.7)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/892/1*Zb7-PNYnptGa8qz1fbvY2g.png" /></figure><h4>微觀設計</h4><ul><li>RELU → GELU (+0)</li><li>降低激活函數量 (+0.7)</li><li>降低正則化數量 (+0.1)</li><li>BN → LN (+0.1)</li><li>參考Swin，獨立出降維層 (+0.5)</li><li>80.6% → 82% (+1.4) &gt;&gt; 81.3% (Swin)</li></ul><h3>結果</h3><ul><li>在分類任務贏過SOTA</li><li>圓圈越大，運算量越大</li><li>過去網路套用新的訓練技巧可能並駕齊驅</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/688/1*cGsa3TsGaBo6gSo9K5cexw.png" /><figcaption>comparison</figcaption></figure><h3>結論</h3><ul><li>在各任務<strong>贏過</strong>Swin-T，其吞吐量和訓練記憶體也優於Swin-T</li><li>本質還是卷積網路，結構<strong>簡單</strong></li><li>卷積網路仍然<strong>重要</strong></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=331b046a7eb9" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[論文筆記] RANet & BIRANet 雷達相機融合]]></title>
            <link>https://medium.com/@lplpp163/%E8%AB%96%E6%96%87%E7%AD%86%E8%A8%98-ranet-biranet-%E9%9B%B7%E9%81%94%E7%9B%B8%E6%A9%9F%E8%9E%8D%E5%90%88-b667086ef8a8?source=rss-22df60ad6083------2</link>
            <guid isPermaLink="false">https://medium.com/p/b667086ef8a8</guid>
            <category><![CDATA[cnn]]></category>
            <category><![CDATA[multimodal]]></category>
            <category><![CDATA[computer-vision]]></category>
            <category><![CDATA[radar]]></category>
            <dc:creator><![CDATA[shen]]></dc:creator>
            <pubDate>Thu, 14 Jul 2022 12:46:10 GMT</pubDate>
            <atom:updated>2022-08-13T09:58:38.055Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/855/1*_Eyf9PEEPx6wJjryBLOYbw.png" /><figcaption>參考論文</figcaption></figure><h3>Intro.</h3><p>雷達更適合長距離，可應用於大車，因需要更多時間減速來避開障礙物。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/510/1*TxjPxlJ6sk9fMhzBiR39ug.png" /><figcaption>LIDAR vs. RADAR</figcaption></figure><p>介紹兩種架構變體RANet &amp; BIRANet，融合雷達相機數據，即使在雨、灰塵、霧等<strong>可變天氣條件</strong>下，該網路也能高效運作。</p><ul><li>雷達數據在<strong>特徵層</strong>融合</li><li>雷達用於生成<a href="https://arxiv.org/abs/1901.03278"><strong>Guided anchor</strong></a></li><li>改進RPN(Region Proposal Network)生成目標方法</li></ul><p>BIRANet 性能優於<a href="https://arxiv.org/abs/1612.03144">Faster-RCNN with Feature pyramid network</a>(FFPN)，RANet &amp; BIRANet均被評估為<strong>穩健(Robust)</strong>。</p><h3>物件偵測網路</h3><ul><li>RANet使用基於雷達的anchors</li><li>BIRANet<strong>再加上</strong>類FFPN生成的anchors</li><li>兩者皆遵循相同架構</li><li>BIRANet使用不同的RPN目標生成方法 — ”Best of Two”</li></ul><h4>雷達特徵提取</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/622/1*Wgp6nZdI4L0UO_dVjdYZBg.png" /><figcaption>雷達特徵提取器</figcaption></figure><ul><li>雷達點(x,y,z)，z值為感測器到目標的距離，不存在的點z=0</li><li>雷達點映射到相機座標，調整大小，並轉為與圖像匹配的特徵圖</li><li>雷達特徵圖只有一個通道</li><li>引用<strong>ResNet</strong>概念，使用一個<strong>ConvBlock</strong>，兩個<strong>Identity Block</strong></li></ul><h4>雷達相機融合</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/821/1*qWhwwF992S13xKegBycBOw.png" /><figcaption>雷達相機融合</figcaption></figure><ul><li>element-wise addition： 對應元素相加 (FPN的紫色原點)</li><li>RGB特徵提取網路為ResNet</li><li>雷達和RGB<strong>第二階段</strong>輸出的特徵融合</li></ul><h4>Attentive FPN</h4><ul><li>引入attention機制，關注重點，並命名為注意力FPN</li><li>使用<a href="https://arxiv.org/abs/1803.02579">Concurrent Spatial and Channel Squeeze &amp; Excitation(scSE)</a> blocks，應用於雷達特徵圖，<strong>激活雷達點區域</strong>；抑制其他區域。</li></ul><h3>Faster RCNN</h3><ul><li>作者基於Faster RCNN with FPN做改進</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/520/1*motsQdiiXIEBm9Uu3Kf-zQ.png" /><figcaption>Faster RCNN</figcaption></figure><h4>基於雷達點的Anchors</h4><ul><li>雖然雷達不指向所有物體，但包含大部分及遠距離物體</li><li>好的區域提案(Region Proposal)，不能只考慮BBox中心的雷達點，還得考慮邊緣點，如top, down, left, right edge, and the center(TDLRC)</li><li>以3個比例(0.5, 1, 2)生成anchors</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/654/1*M_hGEH63kvtRvm4s15kFig.png" /><figcaption>基於雷達生成anchors</figcaption></figure><h4>RPN目標生成</h4><ul><li>輸入特徵圖；輸出候選框ROI</li><li>將anchors與ground-truth BBox比較，計算IOU(Intersection over Union)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/829/1*gyNXLoxNjgpdX9WRyetWDQ.png" /><figcaption>Intersection over union</figcaption></figure><ul><li>IOU &gt; 0.7標記<strong>正</strong>；IOU &lt; 0.3標記<strong>負</strong></li><li>選擇128個被標記正、負的anchors進一步處理</li><li>少數ground-truth BBox沒有對應的正anchor(IOU &gt; 0.7)，將IOU最大的anchor標記為正</li></ul><h4>Best of Two</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/643/1*gw-z9NJNIplp2gXRF057XQ.png" /><figcaption>Best of Two演算法</figcaption></figure><ul><li>將<strong><em>FFPN所有anchors</em></strong> + <strong><em>基於雷達的anchors</em></strong>應用於RPN目標生成</li><li>使用該演算法有兩種優點</li></ul><ol><li>可以用類FFPN的RGB anchors來偵測雷達無法偵測的目標</li><li>選擇更好的anchors來生成目標框</li></ol><h4>RoIAlign Layer</h4><ul><li>使用RoI Pooling生成的特徵圖會因為<strong>量化</strong>造成<strong>對齊</strong>問題</li><li>RoIAlign： RoI Pooling改進版，<strong>取消量化</strong>，提高準確率。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*h91HWwnxUwSsK3OHZ0cqCg.png" /><figcaption>RoI Pooling vs. RoI Align</figcaption></figure><h3>結果</h3><ul><li>FFPN在每個像素生成anchors</li><li>RANet只應用基於雷達的anchors</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/661/1*3mOAWk_hpPVUEOgiz1XgxQ.png" /><figcaption>基於anchors的方法比較</figcaption></figure><ul><li>RANet性能低於FFPN ~5%，可以合理歸納出基於雷達點訓練的網路無法偵測<strong>沒有對應雷達點</strong>的目標</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OIkWXDNzTNccFiExzNDSBQ.png" /><figcaption>FFPN vs. BIRANet結果圖</figcaption></figure><ul><li>BIRANet優於FFPN，如上圖偵測到FFPN沒偵測到的目標</li><li>加入雜訊時，兩者變體架構與FFPN相比，性能降低幅度小，證明穩健性</li><li>如表2，低分辨率中比起FFPN更加穩健</li></ul><h3>結論</h3><ul><li>雷達數據能有效幫助在有雜訊的環境中更加穩健</li><li>與當時唯一將nuScenes的雷達相機數據用於目標偵測的RRPN性能更好</li><li>提出的方法基於FFPN網路實現，應用於SOTA偵測網路預期有類似效果</li></ul><p>論文網址：<a href="https://arxiv.org/abs/2008.13642">https://arxiv.org/abs/2008.13642</a></p><p>實作代碼：<a href="https://github.com/RituYadav92/Radar-RGB-Attentive-Multimodal-Object-Detection">https://github.com/RituYadav92/Radar-RGB-Attentive-Multimodal-Object-Detection</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b667086ef8a8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[論文筆記] CRF-Net 雷達相機融合]]></title>
            <link>https://medium.com/@lplpp163/%E8%AB%96%E6%96%87%E7%AD%86%E8%A8%98-crf-net-%E7%9B%B8%E6%A9%9F%E9%9B%B7%E9%81%94%E8%9E%8D%E5%90%88-988b8fa1aafd?source=rss-22df60ad6083------2</link>
            <guid isPermaLink="false">https://medium.com/p/988b8fa1aafd</guid>
            <category><![CDATA[radar]]></category>
            <category><![CDATA[multimodal-learning]]></category>
            <category><![CDATA[neural-networks]]></category>
            <category><![CDATA[computer-vision]]></category>
            <dc:creator><![CDATA[shen]]></dc:creator>
            <pubDate>Mon, 11 Jul 2022 11:48:40 GMT</pubDate>
            <atom:updated>2022-07-13T16:11:55.659Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PcZf9oLSPvNQquAwlvpQlw.png" /></figure><h3>Intro.</h3><p>因雨天、黑天增加感測器雜訊，本文方法融合相機、雷達雲點投影，增強2D目標偵測，提出BlackIn訓練策略(受Dropout啟發)，將訓練重點放在雷達數據。</p><h3>雷達數據預處理</h3><ul><li>模型輸入為圖像(3通道)+雷達(1通道)，雷達雲點投影至圖像</li><li>雷達沒高度訊息，論文假設為3公尺，將其點<strong>垂直延伸</strong>映射圖像</li><li>為解決雷達稀疏性，將約1秒(13個週期)的雷達數據<strong>共同映射</strong>到圖像</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/509/1*jF4qM_rfKBLPJnzh2Lrhiw.png" /><figcaption>雷達映射圖像</figcaption></figure><p>對雜訊有兩種過濾方式</p><ul><li>標記過濾器(AF — Annotation filter)</li><li>地面實況雷達過濾器(Ground-truth radar filter)</li></ul><p>兩種方式均應用nuScenes的實際的3D邊界框並關聯雷達雲點，AF將資料集僅保留被雷達偵測的物件，GRF過濾框外的點，其方法實際並不可行，僅展示融合概念的可行性。結果並不完美，原因可能為雷達、相機和nuScenes數據的<strong>時空錯位</strong>。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/545/1*Qer7BQgG9cs59-rnzMyAmw.png" /><figcaption>雷達映射圖像(基於真實3D框過濾)</figcaption></figure><h3>網路架構</h3><ul><li>基於RetinaNet，以VGG16為主幹網路(backbone)，輸入為增加雷達通道的四維圖像，輸出為回歸的邊框座標和分類分數。</li><li>左側分支將雷達數據池化(pooling)，傳至更深層網路。</li><li>以VGG16作為主要處理單元，每層進行融合，深層網路新增<a href="https://arxiv.org/abs/1612.03144">特徵金字塔網路(FPN)</a>，生成回歸結果</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/322/1*uUilVlAdvXCGK6cTb8H6pg.png" /><figcaption>CRF-Net架構</figcaption></figure><p>論文提出新的訓練策略，參照<a href="https://arxiv.org/abs/1511.06909">BlackOut</a>方法，並受到該網路最後一層Dropout啟發，對於20%的圖像數據<strong>捨棄</strong>其所有神經元，以利進行<strong>隨機訓練</strong>，目的是為了更依賴雷達數據。</p><h3>實驗結果</h3><ul><li>資料集：nuScenes, TUM(作者生成的資料集)</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/462/1*GJ93NfyhGV5bEY6yPWueDA.png" /><figcaption>資料集物件數量</figcaption></figure><ul><li>Baseline： RetinaNet</li><li>(AF) — Annotation filter，關聯3D框與雷達點，使nuScenes資料集只包含被雷達偵測的物件。</li><li>(GRF) — ground-truth radar filter，基於nuScenes真實框，過濾邊框外的雷達點。</li><li>(NRM) — No radar meta data，證明雷達數據重要性</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/602/1*dFvvI71ddiiBB7MUIJiz7Q.png" /><figcaption>評估指標結果 (NRM) — No radar meta data</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/527/1*ihbuuNHUCFN0CwAZCOI3OQ.png" /><figcaption>物件偵測比較</figcaption></figure><h3>結論</h3><p>提出CRF-Net架構融合雷達+相機，引入BlackIn訓練策略。論文表明該方法可以勝過物件偵測的SOTA(state-of-the-art)評估指標。計畫將雷達數據進行預處理，過濾雜訊提高偵測精度，未來仍需研究數據間的<strong>時空錯位</strong>校正。由論文得知，多模態(multi-modal)融合在惡劣天氣下的潛力越來越大。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=988b8fa1aafd" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[論文筆記] CenterFusion 雷達相機融合]]></title>
            <link>https://medium.com/@lplpp163/%E8%AB%96%E6%96%87%E7%AD%86%E8%A8%98-%E9%9B%B7%E9%81%94-%E7%9B%B8%E6%A9%9F%E8%9E%8D%E5%90%88-centerfusion-35e18c33d6f2?source=rss-22df60ad6083------2</link>
            <guid isPermaLink="false">https://medium.com/p/35e18c33d6f2</guid>
            <category><![CDATA[multimodal-learning]]></category>
            <category><![CDATA[computer-vision]]></category>
            <category><![CDATA[neural-networks]]></category>
            <category><![CDATA[radar]]></category>
            <dc:creator><![CDATA[shen]]></dc:creator>
            <pubDate>Sun, 03 Jul 2022 23:19:27 GMT</pubDate>
            <atom:updated>2022-07-13T16:11:28.317Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/796/0*SFIp4I1v9vuytcWy" /></figure><h3>Introduction</h3><p>提出雷達+相機融合的新演算法 — CenterFusion (CF)， 在3D目標檢測中結合雷達訊息。基於Frustum(視錐)準確的關聯雷達檢測點和對應目標，在3D空間中生成目標周圍的RoI視錐，過濾雜點，最近的點映射到圖像中心，並創建雷達特徵圖融合相機圖像檢測3D目標，該方法在nuScenes資料集上優於其他基於純圖像的目標檢測。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/195/1*1sd6EyLevTGg7xjp5j1CcQ.png" /><figcaption>Frustum (視錐)</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*h01b7BN90MUonCRHEr76Qg.png" /><figcaption>CF結構圖</figcaption></figure><h4>Lidar vs. Radar</h4><p>市場大多應用為Lidar+ Cam的應用，雷達的資料集甚少；但雷達對<strong>距離</strong>和<strong>速度</strong>較敏感，仍有應用價值。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/574/1*NA9QKfSG6Q8uuDYBs_l4Cw.png" /><figcaption>雷達、激光比較圖</figcaption></figure><h4>多感測器融合</h4><p>下圖展示不同層之融合，前端融合容易時空錯位；後端融合無法充分利用特徵<strong>潛在</strong>訊息，CenterFusion中間層之特徵融合達成平衡。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/996/0*2-aJ79q6xS5ARJzm.jpg" /><figcaption>取自 <a href="https://m.fx361.com/news/2019/1205/6079726.html">https://m.fx361.com/news/2019/1205/6079726.html</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/928/1*PfSzcccBZvnebUYa0-YjlA.png" /><figcaption>融合技術比較圖</figcaption></figure><h3>Related-Work</h3><p><strong>Sigle-Modality</strong></p><ul><li><a href="https://arxiv.org/abs/1904.07850?context=cs"><em>CenterNet </em></a>使用keypoints找到目標中心點，回歸目標屬性(如3D尺寸)</li></ul><p><strong>Fusion-based</strong></p><ul><li><a href="https://arxiv.org/abs/2007.14366"><em>RadarNet </em></a>Radar+Lidar 融合執行3D目標檢測，<strong>前端</strong>融合學習聯合特徵，<strong>後端</strong>融合利用雷達提升速度精度。</li><li><a href="https://arxiv.org/abs/2005.07431"><em>CRF-Net</em></a> 將雷達點視為<strong>垂直線</strong>融合圖像，在CNN檢測2D目標</li></ul><h3>Preliminary</h3><h4>雷達雲點</h4><p>測量目標位置、速度。通常在俯瞰圖中為2D雲點。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PDYyd8Y2NPiX3HU9Z1DW9Q.png" /><figcaption>雷達俯瞰圖</figcaption></figure><p>測量之徑向速度與目標速度不同，nuScenes資料集提供校正參數。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/524/1*KuAStnYuFdP0zm6cax8t2A.png" /><figcaption>雷達相對速度示意圖</figcaption></figure><h3>Centerfusion</h3><h4>中心點檢測</h4><p>圖像中心點特徵回歸圖像屬性，主幹網路：DLA (Hourglass精度更高，訓練慢，取捨後選擇DLA)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4MHDZd8_1mWCUatSuyoeIQ.png" /><figcaption>中心點檢測(橘框處)</figcaption></figure><h4>雷達關聯問題</h4><ul><li>非1-to-1，一個目標可能對應多個雷達點；雷達點可能對應空目標。</li><li>沒有高度(z)值，可能映射到2D框外</li><li>遮擋物的雷達點可能映射到目標區域</li></ul><h4>Frustum關聯</h4><ul><li>2D框 + 深度(預測值) + 大小 + 旋轉 → 3D RoI (Region of Interest) Frustum</li><li>縮小雷達點檢測範圍，<strong>過濾</strong>視錐外的點</li><li>RoI內若有多點，選擇<strong>最近</strong>的點</li><li>缺乏高度值的出框問題並無解決</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pozi0fU567vxoQa0njpojw.png" /><figcaption>Frustum關聯 (綠框處)</figcaption></figure><h4>Pillar Expansion</h4><p>預處理雷達雲點，<strong>擴展</strong>為固定大小柱狀，<strong>映射</strong>到圖像並使用Frustum關聯濾除不相關的點。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/961/1*X9lt--5zXhQF7PpDe1zB_w.png" /><figcaption>柱狀擴展</figcaption></figure><h4>Radar Feature Extraction</h4><p>將雷達的深度(d)、速度(v)生成d, vx, vy<strong>熱圖</strong>，作為雷達特徵圖，融合相機圖像特徵回歸目標深度、速度、旋轉、屬性。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*luMK9H_U9Sa4lr_Q0hU0_Q.png" /><figcaption>雷達特徵融合 (紅框處)</figcaption></figure><h3>Resulting</h3><p>NDS(nuScenes Detection Score 加權總合後的成績)較之前SOTA(CenterNet)提升12%</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/944/0*COe9M2o-SbAc1_lE" /><figcaption>基於nuScenes的3D物件偵測比較圖</figcaption></figure><p>在同主幹架構下的驗證集，作者的方法mAP提升最多。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/972/0*HXCw1UOpgAJ8uVkc" /></figure><p>CF(CenterFusion) 方法較CN(CenterNet)準確，針對遠距離更精準(圖2)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KdfHKRshV7fDMPVujyKiQQ.png" /><figcaption>CF vs. CN</figcaption></figure><h3>Ablation Study</h3><p>測試方法有效性，控制變量。將CN作為評價基準(Baseline)，研究Pillar expansion、frustum association 和 flip testing對結果的影響。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GSzGWWgltNbJdjv043FAKA.png" /><figcaption>消融研究</figcaption></figure><p>論文網址：<a href="https://arxiv.org/abs/2011.04841">https://arxiv.org/abs/2011.04841</a></p><p>專案網址：<a href="https://github.com/mrnabati/CenterFusion">https://github.com/mrnabati/CenterFusion</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=35e18c33d6f2" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>