<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by WenWei Kang on Medium]]></title>
        <description><![CDATA[Stories by WenWei Kang on Medium]]></description>
        <link>https://medium.com/@run963741?source=rss-2e0526cb3981------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*5lVWopfW5d0M8CgTf4KQ7g.jpeg</url>
            <title>Stories by WenWei Kang on Medium</title>
            <link>https://medium.com/@run963741?source=rss-2e0526cb3981------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 07:56:38 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@run963741/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[SuperGLUE 榜首: DeBERTa]]></title>
            <link>https://run963741.medium.com/superglue-%E6%A6%9C%E9%A6%96-deberta-4c3e6318131e?source=rss-2e0526cb3981------2</link>
            <guid isPermaLink="false">https://medium.com/p/4c3e6318131e</guid>
            <category><![CDATA[microsoft]]></category>
            <category><![CDATA[bert]]></category>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[mlm]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[WenWei Kang]]></dc:creator>
            <pubDate>Tue, 26 Jan 2021 12:45:16 GMT</pubDate>
            <atom:updated>2021-01-26T12:46:21.286Z</atom:updated>
            <content:encoded><![CDATA[<p>在今年年初 Microsoft 發佈了一篇論文 — <a href="https://arxiv.org/pdf/2006.03654.pdf">DeBERTa: Decoding-enhanced BERT with Disentangled Attention</a>，此模型 DeBERTa 在 SuperGLUE 排行榜上超越 Human Baselines，拿下了第一名。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*btZAbz8Nlu5c4eJTFccg4w.png" /><figcaption><a href="https://super.gluebenchmark.com/leaderboard">SuperGLUE Benchmark</a></figcaption></figure><p>直接說重點，原始 BERT 的做法主要是在 Input Layer 將 Token embeddings 與 Position embeddings 加在一起，接著在訓練 Masked Language Model，透過 Position embeddings 來強調詞與詞之間的絕對位置關係。但是這種加上去的方式有可能會破壞掉原始 Token embeddings 的關係。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9A0ldImdaVgSIMqTXFOzPA.png" /><figcaption><a href="https://arxiv.org/abs/1810.04805">BERT</a></figcaption></figure><p>DeBERTa 架構如下圖，主要是將 Sub-word embedding (這就是 Token embedding) 先通過幾層 Transformer 在與 Position embedding 加起來，接著再通過一層 Transformer，接下來就是使用 MLM (Masked Language Modeling) 的方式來訓練。圖中可以看到 Position embedding 還分成了 Absolute 與 Relative，Absolute 是原始 BERT，想法是強調詞的絕對位置，例如一個句子 1234，以位置來說，1 就是 1，2 就是 2；而 Relative 就是強調相對位置，同樣以一個句子 1234，對於 2 來說，1 就是 -1，3 就是 1；對於 3 來說，2 就是 -1，4 就是 1，這種在最後一層再強調絕對位置的方式蠻有趣的，在前面不去過度干涉模型學習 (Relative position embedding 是可學習的)，而是在最後一層才強調詞的絕對位置。</p><p>論文提到一個有趣的例子，假設有一句子<strong> “a new store opened beside the new mall” </strong>，假設 &lt;Mask&gt; 的詞為 <strong>store</strong> 與 <strong>mall</strong>，如果只有使用 Relative position embedding，那麼對於 <strong>new</strong> 這個詞來說 <strong>store</strong> 與 <strong>mall</strong> 就是同樣的位置，因為以相對位置來說是一樣的。但是以句子的主語來說是 <strong>store</strong> 而不是 <strong>mall</strong>，這種細微的差別取決於句子的絕對位置，所以才加上了 Absolute position embedding 來強調絕對位置。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8WoQg4lmesQ9MXqe9gziNA.jpeg" /><figcaption><a href="https://www.microsoft.com/en-us/research/blog/microsoft-deberta-surpasses-human-performance-on-the-superglue-benchmark/">DeBERTa</a></figcaption></figure><p>這種將 Token embedding 與 Position embedding 分開來的操作其實有很多種變形，例如 Token embedding 與 Position embedding 各自通過 Transformer 後再把兩組 hidden states 加起來，抑或是直接在 Input Layer 直接將兩者 Concatenate 在一起，表現也都比原始 BERT 還要好。</p><p>References:</p><p><a href="https://arxiv.org/abs/1810.04805">BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding</a></p><p><a href="https://arxiv.org/pdf/2006.03654.pdf">DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION</a></p><p><a href="https://arxiv.org/abs/1803.02155">Self-Attention with Relative Position Representations</a></p><p><a href="https://super.gluebenchmark.com/leaderboard">SuperGLUE Benchmark</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4c3e6318131e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[結合圖像(Video)的Word embedding預訓練架構：MUVE]]></title>
            <link>https://medium.com/ai-academy-taiwan/%E7%B5%90%E5%90%88%E5%9C%96%E5%83%8F-video-%E7%9A%84word-embedding%E9%A0%90%E8%A8%93%E7%B7%B4%E6%9E%B6%E6%A7%8B-muve-a26721fde831?source=rss-2e0526cb3981------2</link>
            <guid isPermaLink="false">https://medium.com/p/a26721fde831</guid>
            <category><![CDATA[unsupervised-learning]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[word-embeddings]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[WenWei Kang]]></dc:creator>
            <pubDate>Thu, 28 May 2020 04:34:17 GMT</pubDate>
            <atom:updated>2020-06-13T06:16:03.412Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*023GlRPzFTVz1t4MVz8ROw.png" /><figcaption><a href="https://arxiv.org/pdf/2003.05078.pdf">https://arxiv.org/pdf/2003.05078.pdf</a></figcaption></figure><p>這篇論文來自於DeepMind、Oxford以及CMU幾位學者共同發表，提出一個新穎的概念來訓練word embedding，之前大多數的架構都是純文字去訓練word embedding，例如ELMO[1], BERT[2], GPT[3], XLNet[4]等等，完全沒有影像的資訊，而這幾位作者提出結合圖像的訓練架構MUVE(Multilingual Unsupervised Visual Embeddings)，非常有趣的想法，最後也證實圖像與語言之間是能夠互相對應的，其動機如下：</p><p>假想嬰兒小時候在學習語言時，父母會教導嬰兒什麼東西該念什麼，例如父母會指著小狗說這是一隻小狗；會指著貓咪說這是一隻貓咪，小孩在學習講話的過程中其實是透過一個介質(Medium)來思考該用什麼樣的詞來表達。而在學習另一種語言的時候亦是如此，當我們要將Cat翻譯成貓咪時，一開始我們並不知道Cat對應的中文是貓咪，但是會去尋找Cat這個到底長什麼樣子，當你找到一堆Cat的圖片或是物件後，你心中就會了解到原來Cat是跟貓咪是一樣的意思，這樣兩個語言之間的翻譯就能間接地透過介質來完成。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/464/1*rJtS8ZMD3Y0RTECbkDi9xQ.png" /></figure><p>世界上大多數的語言都能透過介質來進行比對與翻譯，像是下面這隻小狗在不同與語言下的對應，這篇論文的目標就聚焦在如何透過影像去學習各種語言的對應。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/661/1*OXXZoYEkIu8qhYLJmhbZZQ.png" /></figure><h3>論文架構</h3><p>下面是MUVE架構圖，首先作者從Youtube蒐集影片，每部影片都會透過Youtube API ASR(Automatic Speech Recognition)來獲得影片中講者的文字，這樣就能夠形成一個Pair(X,Z)，而作者蒐集了4個國家(En,Fr,Ko,Ja)的影片當作資料集，接著每次隨機挑兩部影片丟進模型，接著介紹下面的流程：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*F48ocPXH40u6KD5Kw6-umQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eCcDqfNubir9M-SSH5V2uw.png" /><figcaption>f(.)、g(.)：從左邊Text形成向量的過程</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RkrfnSaxIx4Mp4RzvbZb_Q.png" /><figcaption>h(.)：從右邊Video形成向量的過程</figcaption></figure><blockquote><em>大致上來說就是將Text與Video想辦法轉成向量，然後再計算向量之間的Loss(中間兩根黑色長條分別表示Text embedding與Video embedding)</em></blockquote><p>Text轉向量的方法百百種，這邊作者選擇使用最簡單的全連接層來實現，其中直得注意得是，兩種語言(X,Y)和影片(Z,Z’)在進行轉換的過程中是共享權重的，這表示模型必須用同樣的腦袋(參數)來理解兩種語言與影片的對應關係，而第二種語言在轉換向量時會使用AdaptLayer這個轉換矩陣(方陣)，加這個東西的目的在於希望第二種語言在轉換時可以接近第一種語言，這個意思在下面介紹Loss function時會提到，而另一邊影片(Z,Z’)轉向量的方式就使用最常用的3D convolution模型I3D[5]，最後就能夠計算兩個向量之間的Loss。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cSfF4q6_0vJTnnihRgZElg.png" /><figcaption>Loss function 細項拆解</figcaption></figure><p>接下來介紹Loss function，共分為三個部分：</p><ul><li>第一種語言Language X：這個Loss是在計算Text embedding與Video embedding的過程，而又能夠拆解成Metric-learning Loss，這個Metric-learning Loss跟Cross entropy非常相似，差別在於Cross entropy有一邊是One-hot encoding，所以1的位置需要計算Loss，而Metric-learning Loss兩邊都是向量，所以就是在計算向量每個位置i=1~n的entropy，接著還能再拆解出NCE(Noise Contrastive Estimation)，NCE跟Softmax非常相似，計算的是Positive pair與Negative pair之間的大小比值，Positive指得是內積f(x)^Th(z)，Negative pair指的是f(x’)^Th(z’)，而Negative pair又是從N中進行加總，N的產生方式是固定Positive pair中的Text，接著從其餘Pair中隨機抽Video當成數個Negative pairs，模型整體訓練的方向就是希望Positive pair的值能夠越高越好，這樣整體NCE才會低。</li><li>第二種語言Language Y：與Language X一樣，只是換了一種語言。</li><li>AdaptLayer Penalty：W表示AdaptLayer Layer，作者使用WW^T來轉換成一個方陣，然後扣掉單位矩陣I，目的是為了希望AdaptLayer在模型訓練的過程中變成單位矩陣(Loss變小)，而WW^T若等於單位矩陣，則表示W^T就是W的反矩陣，那麼W就是一個正交矩陣(orthogonal matrix)，表示列向量與行向量皆為正交之單位向量，這樣做的目的應該是要防止W變成零矩陣(若對角線為0，則行列式值為0)，若變成0矩陣，則Language Y乘上去就沒有值了。</li></ul><h3>實驗結果</h3><p>接下來作者要驗證這種訓練方式確實能夠透過Video來對應不同種語言，下圖作者首先拿一部影片(Retrieved Video)來轉換成向量，接著使用此向量去跟兩種語言的Text embedding計算Euclidean Similiarity，例如說下圖第一row，作者用找一部海邊的影片，然後找到的英文詞彙為Beach，而法文的詞彙為Plage(Beach)，這顯示模型在高維坐標系中確實有學習到這三個向量之間的關係，其餘得例子相信讀者也能夠輕易了解。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/681/1*0YXWoEOmB2zI_e6co94Ujg.png" /></figure><p>第二個實驗是純文字之間的對應，中間不透過Video來做橋樑，作者將ㄧ段英文句子透過模型轉換成向量，然後去尋找最接近的法文向量，雖然看兩種語言的意思好像不太一樣，但是讀者如果可以想像有一張圖片，這張圖片同時有英文與法文句子想表達的畫面，或許就能夠聯繫他們的關係。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/681/1*bCK-QBvQNYtvAbvhe4Jj4A.png" /></figure><h3>結論</h3><p>此篇論文探討一個全新的訓練模式，讓影像也參與word embedding的訓練過程，簡單的全連結層加上I3D就能有如此有趣的現象，說不定在未來大部分的Text-based任務加上影像的特徵之後，在單一語言就不需要那麼多的資料集，例如說某種語言資料集非常少，但是英文的資料集很多，若能訓練一個對應的hybrid模型，說不定只需要透過影像，就能直接從英文翻譯到另一種語言，不用困擾某種語言資料集非常少的問題。</p><p>[1] Peters, Matthew E., et al. “Deep contextualized word representations.” <em>arXiv preprint arXiv:1802.05365</em> (2018).</p><p>[2] Devlin, Jacob, et al. “Bert: Pre-training of deep bidirectional transformers for language understanding.” <em>arXiv preprint arXiv:1810.04805</em> (2018).</p><p>[3] Radford, Alec, et al. “Improving language understanding by generative pre-training.” <em>URL </em><a href="https://s3-us-west-2./"><em>https://s3-us-west-2.</em></a><em> amazonaws. com/openai assets/researchcovers/languageunsupervised/language understanding paper. pdf</em> (2018).</p><p>[4] Yang, Zhilin, et al. “Xlnet: Generalized autoregressive pretraining for language understanding.” <em>Advances in neural information processing systems</em>. 2019.</p><p>[5] Carreira, Joao, and Andrew Zisserman. “Quo vadis, action recognition? a new model and the kinetics dataset.” <em>proceedings of the IEEE Conference on Computer Vision and Pattern Recognition</em>. 2017.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a26721fde831" width="1" height="1" alt=""><hr><p><a href="https://medium.com/ai-academy-taiwan/%E7%B5%90%E5%90%88%E5%9C%96%E5%83%8F-video-%E7%9A%84word-embedding%E9%A0%90%E8%A8%93%E7%B7%B4%E6%9E%B6%E6%A7%8B-muve-a26721fde831">結合圖像(Video)的Word embedding預訓練架構：MUVE</a> was originally published in <a href="https://medium.com/ai-academy-taiwan">Taiwan AI Academy</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[mBART：預訓練的機器翻譯模型]]></title>
            <link>https://medium.com/ai-academy-taiwan/mbart-%E9%A0%90%E8%A8%93%E7%B7%B4%E7%9A%84%E6%A9%9F%E5%99%A8%E7%BF%BB%E8%AD%AF%E6%A8%A1%E5%9E%8B-741b3213c48a?source=rss-2e0526cb3981------2</link>
            <guid isPermaLink="false">https://medium.com/p/741b3213c48a</guid>
            <category><![CDATA[neural-networks]]></category>
            <category><![CDATA[transformers]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[machine-translation]]></category>
            <dc:creator><![CDATA[WenWei Kang]]></dc:creator>
            <pubDate>Thu, 19 Mar 2020 10:41:01 GMT</pubDate>
            <atom:updated>2020-04-09T10:19:35.478Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AD_xyWxQcoxzo0W7T5TxWg.png" /></figure><p>論文連接：<a href="https://arxiv.org/abs/2001.08210">https://arxiv.org/abs/2001.08210</a></p><h3>1. Introduction</h3><p>在這篇論文提出之前，大部分的機器翻譯模型都是以”一組語言搭配一個模型”的方式來訓練模型，例如：</p><p>中文翻譯成英文，訓練第一個模型 model1</p><p>英文翻譯成中文，訓練第二個模型 model2</p><p>以此類推…</p><p>當換了一組語言時，就需要重新訓練一個新的模型；當語言位置互換時，也需要重新訓練一個新的模型，所以當要翻譯全世界前10大常用的語言時，就必須訓練90個模型(10×9)才能夠讓這10種語言互相翻譯，當然這不是一個良好的辦法，所以本篇論文提出一個預訓練的機器翻譯模型，簡單來說就是希望pretrained模型可以同時適用多種語言，當遇到新的語言需要翻譯時，只需要在新的語言上進行finetune即可，就是本篇論文提出的mBART。</p><p>2. Related work</p><p>首先，我們回憶一下提出Transformer的論文 — <a href="https://arxiv.org/abs/1706.03762"><strong>Attention is all you need</strong></a><strong>，</strong>這篇論文是首篇使用非RNN的架構來進行翻譯任務，而且當時表現遠超於過去的SOTA，但這篇進行翻譯的方式也是一組語言訓練一個模型，現在我們複習一下Transformer。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/447/1*EYNhxwvbKVXZBxoiXoCF-A.png" /><figcaption><strong>Transformer</strong></figcaption></figure><p>Transformer的結構如上圖，左半邊為Encoder，右半邊為Decoder，這邊我將Encoder輸入Inputs的句子稱為source，Decoder輸入Outputs的句子稱為target：</p><ul><li>Encoder：如下圖，負責將source進行self-attention並獲得句子上每個token之間相關性，接著輸出每個token位置上的representation，最經典的Encoder架構就是BERT，透過Masked Language Model(MLM)來學習詞之間的關係，另外還有XLNet, RoBERTa, ALBERT, DistilBERT等等。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/422/1*7__YPKTa_Unk6rn3yE3KGw.png" /></figure><ul><li>Decoder：如下圖，輸入與輸出之間差一個位置，主要是模擬在Inference時，不能夠讓模型看到未來的字，這種方式稱為AutoRegressive，常見的基於Decoder的模型通常是用來做文字生成的，例如說GPT, CTRL等等。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/450/1*OwKp-xT12qD7YcfG89PYtQ.png" /></figure><p>將這兩者合在一起就是稱為Transformer架構，其實Transformer最重要的核心是self-attention，self-attention不管在Encoder或是Decoder都有出現，目前大多數的Paper不管是基於Encoder還是Decoder都可以叫做Transformer，只要記住其核心以及想法即可。</p><p>而兩者合在一起後，就能當成一種Seq2seq模型，進行翻譯任務。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/784/1*iUjkZQAas093yqJH5oEnmQ.png" /></figure><h3>2. Pre-train and finetune strategy</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*83ex1hOkXFAN_vocstxCdA.png" /><figcaption>Strategy</figcaption></figure><p>上圖是這篇論文進行Pre-training和Fine-tuning的方式，有趣的是Pre-training的地方：</p><ul><li>Pre-training：這個階段只需要一種語言即可，Encoder的輸入為Masked token，Decoder的輸入為Sentences permutation，每個句子結尾都加上end token&lt;/s&gt;，並希望這個Transformer能夠順利還原所有的Masked token以及原始句子順序 ，其中在句子前後還添加了Language ID作為模型翻譯時的Start token，Masked的做法類似BERT，Sentences permutation的做法類似ALBERT中的Sentence Order Prediction(SOP)，原始BERT使用的Next Sentence Prediction(NSP)經RoBERTa的作者們實驗表現不好，所以之後基於BERT進行改進的模型都不使用NSP，另外，Language ID的做法類似CTRL，告知模型接下來預測的目標是什麼，總之就是融合了各Paper的優點過來。</li><li>Fine-tuning：這個階段就是用來finetune下游各種語言之間效果，作者分為Sentence以及Document的翻譯，這兩個任務差別只在於文本長短而已，當然在Document的翻譯會相對困難。</li></ul><h3>3. Data Overview</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/410/1*iA0ALsZ98L1HVBToFr2JvA.png" /></figure><p>左表表示在Pre-train使用的資料集，共有25種語言，vocabluary約有250,000個tokens，其中為了處理imbalance的問題，作者使用的upsampling以及downsampling，其他的前處理方式基本上跟原始Transformer差不多。</p><p>另外，訓練時使用256張V100，訓練500k次，只能說真不愧是Facebook AI….。</p><h3>4. Evaluation</h3><p>接下來，作者比較不同語言對於英文的finetune效果，下表表示英文與18種語言的效果，Low/Medium Resource分別表示句子數量小於1M以及介於1~10M，mBART25表示作者在25種語言上進行pretrain的模型；Random表示不使用pretrain模型，直接在該語言任務上進行訓練，可以發現不管是哪種翻譯方向，mBART25表現都是最好的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*V-lS-W6U-jYuU85UnL0kOQ.png" /></figure><p>接下來，作者在High Resource(&gt;10M)上進行finetune，共有6種語言，有趣的是，當資料量大於一定程度時(表上顯示25M以上)，單獨使用自己的資料集反而表現比較好一點，相較於mBART25提升的幅度不多。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*eEGZOQ8v9XiG4g8D0WmKQg.png" /></figure><p>接下來我們介紹作者所使用的data augmentation技巧 — Back-translation，如下圖(a)，這個方式被實驗證明有助於提升模型的表現，主要的想法是說在訓練時將一種語言輸入模型得到另一種語言的預測句子，接著把預測的句子原封不動丟回給模型，並產生原始語言的翻譯並計算Loss，這種做法只需要一種語言就能夠進行訓練，而且還能讓模型學習到自己的錯誤在哪裏，想到這個做法的人真的厲害。</p><p>另外下圖(b)的部分是本篇論文進行trasnfer的示意圖。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*h_FoUTlEIIho4tM5OvoYDg.png" /></figure><p>接下來，作者測試一個有趣的方向，首先作者finetune 12種語言翻譯到英文(X軸, X-En)，接著直接無差別地在各個語言上互相翻譯(Y軸, Zh-Zh, Zh-Ja,…)，有趣的是，除了自己翻譯自己表現最好之外(對角線)，表現次好的語言都是同一個語系的(灰色大區塊)，這表示同一個語系內的語言確實有共通的特徵能夠輔助翻譯，另外還有一個有趣的地方，Romanian(Ro)翻譯到Czech(Cs)得表現反而比Czech(Cs)翻譯回自己的表現還要好…(23.0&gt;21.6)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wA9i_7iW7Fr5qrKdNmkACg.png" /></figure><h3>5. Conclusion</h3><p>這篇論文針對翻譯任務提供了一個有趣的架構，融合了各個知名模型pre-train策略，還能透過翻譯效果夠間接觀察到語系之間的共通性。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=741b3213c48a" width="1" height="1" alt=""><hr><p><a href="https://medium.com/ai-academy-taiwan/mbart-%E9%A0%90%E8%A8%93%E7%B7%B4%E7%9A%84%E6%A9%9F%E5%99%A8%E7%BF%BB%E8%AD%AF%E6%A8%A1%E5%9E%8B-741b3213c48a">mBART：預訓練的機器翻譯模型</a> was originally published in <a href="https://medium.com/ai-academy-taiwan">Taiwan AI Academy</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[2019-NLP最強模型: XLNet]]></title>
            <link>https://medium.com/ai-academy-taiwan/2019-nlp%E6%9C%80%E5%BC%B7%E6%A8%A1%E5%9E%8B-xlnet-ac728b400de3?source=rss-2e0526cb3981------2</link>
            <guid isPermaLink="false">https://medium.com/p/ac728b400de3</guid>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[word-embeddings]]></category>
            <category><![CDATA[deep-learning]]></category>
            <dc:creator><![CDATA[WenWei Kang]]></dc:creator>
            <pubDate>Mon, 08 Jul 2019 12:41:11 GMT</pubDate>
            <atom:updated>2019-08-15T08:25:24.259Z</atom:updated>
            <content:encoded><![CDATA[<p>在2019年6月中旬Google提出一個NLP模型<a href="https://arxiv.org/abs/1906.08237">XLNet</a>，在眾多NLP任務包括<a href="http://www.qizhexie.com/data/RACE_leaderboard">RACE</a>, <a href="https://gluebenchmark.com/leaderboard">GLUE Benchmark</a>以及許多Text-classification上輾壓眾生，尤其是在號稱最困難的大型閱讀理解QA任務RACE足足超越<a href="https://arxiv.org/abs/1810.04805">BERT</a> 6~9個百分點，其中XLNet模型改善了<a href="https://arxiv.org/abs/1802.05365">ELMo</a>, <a href="https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf">GPT</a>, BERT的缺點，有ELMo, GPT的AR性質，又有跟BERT一樣，使用AE性質能夠捕捉bidirectional context的訊息，最後再把Transformer-XL能夠訓練大型文本的架構拿來用，比我家的貓還愛吃。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rsRzZfCmVAs-7fge3YNcuw.png" /></figure><p>目前NLP的發展趨勢越來越靠近Pre-train model+Downstream(transfer learning)，即先訓練一個夠generalize的模型，接著依照下游任務的需求去更改結構並Finetune模型，真正重要的其實是Pre-train model token之間依賴關係，即word embedding，有良好的word embedding基本上效果也會不錯，而目前在Pre-train word embedding的方式都是預測Sequence本身的單詞，即依賴上下文來預測單詞，著名的模型如ELMo, GPT, BERT, ERNIE。</p><p>本篇文章會從基本NLP在Pre-train時會使用的AR以及AE模型性質開始討論，接著帶入XLNet的細節，介紹XLNet如何把這兩種性質同時實現:</p><h4>AutoRegressive(AR):</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/698/1*0sRnaXnOvV2oFzrJYL6hJA.png" /><figcaption>Eq.1</figcaption></figure><p>又稱自迴歸，即給定一段Sequence {x1,x2,…,xt}, 在Pre-train時使用{x1}預測x2,接著使用{x1,x2}預測x3,直到最後使用{x1,…,xt-1}預測xt，這種性質的模型往往都認為下一個字的出現依賴於上文，也就是找出一個參數θ最大化{x1,x2,…,xt}的log-likelihood (Eq.1)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*v1YbFxEvkZH3FrPLdmGWKw.png" /><figcaption>Fig.1</figcaption></figure><p>目前在NLP使用到AR的模型如Fig.1，GPT使用Transformer搭配Mask來實現AR，而比較特別的是ELMo這個模型，ELMo使用Bi-LSTM，Foward與Backward兩部分各產生一個hidden state，接著把兩個hidden state concatenate，其實只是把資料反過來(Reverse)再訓練一次，兩個方向的LSTM在訓練過程中仍然是互相獨立的，講簡單一點就是一次訓練兩個AR，本質上還是一個AR模型。這種AR模型的缺點在於一個詞通常是要上下文一起判斷的，AR的思想就是一個詞只能從上文或者下文任一個方向來判斷。</p><h4>AutoEncoding(AE):</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/709/1*ljtg3-Nr94PkrxqqmNUwlQ.png" /><figcaption>Eq.2</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/558/1*HAcJPQ7YNUPb2oeEjJXD3Q.png" /><figcaption>Fig.2</figcaption></figure><p>又稱自編碼，這種模型的早期的提出是為了降維，後來出現許多種變形，例如Denosing AE(DAE)的提出是為了降噪，而常見的降噪例如說音訊雜質或是圖片的污點等等，而在Pre-train模型中首次有使用到DAE的模型就是BERT的<strong>MLM</strong>(Masked Language Model)，即Eq.2的log-likelihood，做法是Pre-train時隨機把所有句子中15%的token使用<strong>&lt;Mask&gt;</strong> token來替代，然後在預測時將<strong>&lt;Mask&gt;</strong> token的位置預測成原來的字，把替換成<strong>&lt;Mask&gt;</strong>然後再還原的作法可以視為一種DAE，這種作法可以幫助預測<strong>&lt;Mask&gt;</strong>時充分運用到上下文的資訊，但是作者認為<strong>&lt;Mask&gt;</strong>只有在Pre-train時會用到，在Finetune時就完全不會用到，這會造成Pre-train和Finetune之間資訊不對稱的問題(Input noise)，而這也是XLNet想要解決的方向，Fig.3假想是BERT在self-attention時的權重矩陣，橘點為attention的位置，能夠明顯觀察到BERT在Pre-train與Finetune時的差別。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/406/1*XpT9Vs8uLNmEbmfwW_1_Ag.png" /><figcaption>Fig.3</figcaption></figure><p>另外BERT隨機將15%的token使用<strong>&lt;Mask&gt;</strong>，若當一個Sequence要預測的<strong>&lt;Mask&gt;</strong>有兩個以上時，以BERT的訓練方式是同時輸出<strong>&lt;Mask&gt;</strong>的位置，這會造成<strong>&lt;Mask&gt;</strong>之間相互獨立的現象(Independence Assumption)，示意圖如Fig.4，x3與x4之間是有依賴關係的，但是在BERT的訓練方式則是用{x1,x2,x5}來一起預測{x3,x4}，如Eq.4，所以說為了解決這個情況，必須套用AR的想法，先預測x3再預測x4。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/709/1*ljtg3-Nr94PkrxqqmNUwlQ.png" /><figcaption>Eq.3</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/288/1*cqdfIUVmQ62sn6FjKy2Alw.png" /><figcaption>Fig.4</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/335/1*lSkcubUSlWI25Atml8ndkQ.png" /><figcaption>Eq.4</figcaption></figure><h3>Permutation Language Modeling</h3><p>XLNet的想法就是要使用AR的方式來預測單詞，又要能在不使用<strong>&lt;Mask&gt; </strong>token的前提下學習到上下文的資訊，所以XLNet提出的Permutation Language Modeling(PLM)，即使用permutation實現上下文對於單詞的預測，其實訓練方式還是transfomer的self-attention，只是對輸入與attention matrix進行一點修飾。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/520/1*91gq5QUjeR9PzkDkKC53Fw.png" /><figcaption>Fig.5</figcaption></figure><p>Fig.5是PLM的實現想法，假設有一Sequence{x1,x2,x3,x4}，則一開始先對Sequence做permutation，得到一個新Sequence{x2,x4,x3,x1}，接著再隨機選擇一個target作為預測目標，以Fig.5的例子是x3的位置，這時你會發現新Sequence的排列方式不僅能夠讓x3 attend上文x2，也能夠attend下文x4，這就是PLM的核心思想，其中mem⁰是Transformer-XL的memory架構，先不討論，最後得到的Attention matrix會像下圖，橘點代表說token之間是否有互相attention，發現x3可以往後attend到{x3,x2,x4}，x4往後attend到{x4,x2}，x2則是attend到自己，而空白的部分則是被Mask起來(softmax(x-e30))。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/400/1*qfVbDXMKpkSy5e4ejMzpBQ.png" /><figcaption>Fig.6</figcaption></figure><p>PLM很容易的讓target去利用上下文來幫助預測，但是在細節實現中不太可能這麼做，因為每當你排列一次，都要記錄當前的排列前後的對照，然後在預測完後依照dictionary排回來，所以作者選擇在不更動原始Sequence順序的前提下，使用mask實現AR+permutation。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/364/1*2v8k4Cd4hRJ3ftD5Zr3awQ.png" /><figcaption>Fig.7</figcaption></figure><p>這裡一樣假設有一Sequence{x1,x2,x3,x4}，排列新Sequence為{x1,x4,x2,x3}，這時target若為x3，則x3可以attend{x1,x4,x2},x2可以attend{x1,x4,x2},x4可以attend{x1,x4}，x1則attend{x1}，真正在實現時不會動到attention matrix的兩軸原始順序，而是依照排列後所有的token中，各自往後attend的tokens，如Fig.8右邊就是兩軸原始順序的attention matrix，橘點就是有attention的位置。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1016/1*fiCarUndRFVf7ynqzkldeQ.png" /><figcaption>Fig.8</figcaption></figure><p>以上PLM就是XLNet如何確保使用AR又能夠同時捕捉到上下文的作法，但筆者一開始看到PLM時，心中一開始的想法是若把Sequence原始順序打亂不就失去token之間的順序關係了嗎？不過事後想想如果這種方法若有效的話，是不是代表在token之間只需要attention來判斷，而不需要順序的概念了？</p><h3>Two-Stream Self-Attention</h3><p>筆者前面介紹了PLM如何捕捉上下文，但是還沒解決如何取代<strong>&lt;Mask&gt;</strong>這個token，在BERT中，<strong>&lt;Mask&gt;</strong>告訴了模型要預測的<strong>單詞位置</strong>還有<strong>前後文關係</strong>，而在XLNet則是用Two-Stream Self-Attention來實現這兩種目的，分別是Conten stream以及Query stream:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/938/1*zEv1zQY7HXu5qDFqFBT1lg.png" /><figcaption>Fig.9</figcaption></figure><p>整個XLNet在Pre-train時分為兩個stream，Content stream負責學習上下文，而Query stream這個角色就是用來代替<strong>&lt;Mask&gt;</strong>token，其負責把Content stream產生的representation拿來做預測，如同BERT的<strong>&lt;Mask&gt;</strong>一樣，Query stream只有在Pre-train時預測單詞會用到，到了Finetune時就不會用到了，以下介紹這兩個stream的作法:</p><h4>Content Stream</h4><p>Content Stream是一個標準的self-attention(Eq.5)，附圖Fig.10表示h1在進行Attention時會使用到QKV， h1作為Q，h1~4作為K與V，意思就是h1與h1~4進行attention，最後得到Attention weight，接著再與V相乘得到h1在第二層的representation。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/349/1*3P5cDbHxZMv2sbZWQvfLBA.png" /><figcaption>Fig.10</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/427/1*2e6PZ4G9XjI3dsro_8oyXg.png" /><figcaption>Eq.5</figcaption></figure><p>真正計算時是所有h1~4一次計算完，如附圖Fig.11，這邊的Sequence排列順序是{x3,x2,x4,x1}，橘點一樣表示每個token是否有往前attention，紅框則是上圖Fig.10在計算h1的位置。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/698/1*nRWgQPAWdj_m1R5VA2tOfQ.png" /><figcaption>Fig.11</figcaption></figure><h4>Query Stream</h4><p>Query Stream負責在Pre-train擔任預測單詞的作用，因為在預測單詞時不允許模型看到當前的token是什麼，所以作者在這邊另外設置一個representation g來去attend其他位置，以Fig.12來說，就是用g1去attend h1~4(嚴格來說是h2~4，因為之後會把h1 mask掉)，計算Attention公式如Eq.6，可以從紅底線的位置發現Eq.5和Eq.6之間的差別，Query stream會把當前t位置的attention weight mask掉。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/336/1*mtfXIuN33a9URy1O5wLimw.png" /><figcaption>Fig.12</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/426/1*bkFL3UnqMJpGrth9psZ9Gw.png" /><figcaption>Eq.6</figcaption></figure><p>如附圖Fig.13，各位會發現Query Stream為了防止模型看到當前的token，會把對角線的attention weight mask掉，紅框表示Fig.12的g1位置，g1只能attend h2~4。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/698/1*VBHuFHpJzn-BLHyoRr9d_Q.png" /><figcaption>Fig.13</figcaption></figure><p>針對Query stream有一個需要注意的地方，也就是PLM會造成預測一對多的情形，例子如下圖Fig.14，第一次排列後順序為{3,2,4,1}並預測4，以及第二次排列順序為{3,2,1,4}並預測1，會發線兩者的KV長得一模一樣，這是因為我們沒有告知模型預測<strong>token真正的位置</strong>，所以在計算時會告知模型預測位置，如公式Eq.7中的zt，而這個zt在實現中是一個one-hot vector。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/541/1*9aPiDBEwbfBaJVonD2OONQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/541/1*wVCgFaPFKQvWA_WcQKeyGA.png" /><figcaption>Fig.14</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/427/1*hekB1mGpnUpO4sspIAaZIw.png" /><figcaption>Eq.7</figcaption></figure><h3>Long Text Understanding</h3><p>在XLNet中，作者為了讓模型有大型文本的學習能力，借鑑<a href="https://arxiv.org/abs/1901.02860">Transformer-XL</a>的Segment recurrence mechanism和Relative positional encoding的方法，簡單來說就是讓不同Segment之間互相Attention，公式如Eq.8，h上方波浪符表示上一個Segment所有的hidden representation 。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/779/1*EpCnsBY3Wwshs3BbiqlBXA.png" /><figcaption>Eq.8</figcaption></figure><p>從公式就知道是用當前Segment與兩者Segment concatenate的結果進行Attention，詳細的運作方式如Fig.15，Q是當前Segment，K是上一個Segment與當前Segment的concatenation，兩個矩陣相乘後就得到右邊的長方形Attetnion matrix，因為沒有舉例要Permutation的位置，筆者這裡隨便舉一個Sequence出來，重點是排列後的Sequence{z5,z7,z6,z8}，並把z6當成Target去把Attention matrix沒有attend的位置mask掉。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/964/1*gPlap6WhRdxfQhbjmA2SbA.png" /></figure><p>XLNet重要的架構差不多都介紹完了，另外會在句子中使用[CLS]這個token輔助finetune的預測任務，其餘參數細節跟BERT都差不多，各項任務表現也請讀者自行查閱論文。</p><h3>Conclusion</h3><p>XLNet最主要的貢獻在於使用PLM讓AR和learning bidirectional contexts共存，並另外使用一個Query stream來代替BERT的<strong>&lt;Mask&gt;</strong>，接著借鑑Transformer-XL實現大型文本學習，其中最令筆者驚嘆和在意的還是PLM與AR之間的衝突，因為PLM會隨機把單詞順序打亂，而AR的預測方式是有順序性的，所以表示XLNet是用AR的方式來實現PLM，單詞順序在XLNet眼前感覺根本沒必要，只需要Attention搭配預測Target，就能夠無視單詞順序之間的關係，真的太厲害了，偉哉XLNet。</p><h3>References</h3><ol><li>Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. <em>arXiv preprint arXiv:1810.04805</em>, 2018.</li><li>Matthew E Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Ken- ton Lee, and Luke Zettlemoyer. Deep contextualized word representations. <em>arXiv preprint arXiv:1802.05365</em>, 2018.</li><li>Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. <em>URL </em><a href="https://s3-us-west-2./"><em>https://s3-us-west-2.</em></a><em> amazonaws. com/openai- assets/research-covers/languageunsupervised/language understanding paper. pdf</em>, 2018.</li><li>Zihang Dai, Zhilin Yang, Yiming Yang, William W Cohen, Jaime Carbonell, Quoc V Le, and Ruslan Salakhutdinov. Transformer-xl: Attentive language models beyond a fixed-length context. <em>arXiv preprint arXiv:1901.02860</em>, 2019.</li><li>YANG, Zhilin, et al. XLNet: Generalized Autoregressive Pretraining for Language Understanding. <em>arXiv preprint arXiv:1906.08237</em>, 2019.</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ac728b400de3" width="1" height="1" alt=""><hr><p><a href="https://medium.com/ai-academy-taiwan/2019-nlp%E6%9C%80%E5%BC%B7%E6%A8%A1%E5%9E%8B-xlnet-ac728b400de3">2019-NLP最強模型: XLNet</a> was originally published in <a href="https://medium.com/ai-academy-taiwan">Taiwan AI Academy</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Attention Mechanism]]></title>
            <link>https://medium.com/ai-academy-taiwan/attention-mechanism-fad735db3c2c?source=rss-2e0526cb3981------2</link>
            <guid isPermaLink="false">https://medium.com/p/fad735db3c2c</guid>
            <category><![CDATA[attention-mechanism]]></category>
            <category><![CDATA[encoding-decoding]]></category>
            <category><![CDATA[neural-networks]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[seq2seq]]></category>
            <dc:creator><![CDATA[WenWei Kang]]></dc:creator>
            <pubDate>Fri, 29 Mar 2019 08:00:25 GMT</pubDate>
            <atom:updated>2019-04-10T05:28:59.631Z</atom:updated>
            <content:encoded><![CDATA[<p>在本文中，筆者會以自己的角度與想法來介紹Attention mechanism，包括一開始發跡的<a href="https://arxiv.org/abs/1409.0473"><strong>論文</strong></a>、架構與想法與廣泛的應用層面。</p><p>在閱讀本文前，希望讀者有兩個基礎模型的先備知識，下面也會簡單的介紹這兩個模型，之後的主軸會在討論Attention mechanism：</p><ol><li>Recurrent Neural Network (RNN)</li><li>Sequence to sequence (seq2seq)</li></ol><h3>1. RNN</h3><p>中文稱為遞歸神經網路，這個模型主要用於解決序列問題，給予模型一個序列，接著進行預測，常見的序列問題在自然語言處理領域如Text classification等等，除此之外還有如股價預測等等，只要有跟時間序列有關的任務都可以嘗試使用RNN來預測。</p><p>之後有名的RNN系列如LSTM, GRU的提出都是為了解決RNN的長序列問題，LSTM如Fig.1，這裡需要記住的重點是，不管是哪種RNN，在每個timestep中一定都會產生一個hidden state，每個time step的hidden state包含了過去time step的資訊。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/962/1*PxsymN7e2nD1GpXUJyeq8A.png" /><figcaption>Fig.1</figcaption></figure><h3>2. Seq2seq</h3><p>Seq2seq是一種用序列來預測序列的架構，簡單來說就是模型的輸出輸入都是序列，著名的任務如Neural Machine Translation(NMT)、Speech Recognition、Name Entity Recognition(NER)等等，最近小弟研究的東西也是以這個為基底。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*svpHOVsdfKOnkua-PXtmag.png" /><figcaption>Fig.2 Image source: <a href="https://jeddy92.github.io/JEddy92.github.io/ts_seq2seq_intro/">https://jeddy92.github.io/JEddy92.github.io/ts_seq2seq_intro/</a></figcaption></figure><p>Seq2seq分為Encoder與Decoder，以Fig.2來說，兩個分別都是GRU，Encoder負責接收輸入序列，Decoder負責預測輸出序列，不妨可以想像成現在在做NMT任務，一段中文句子丟入Encoder之後，在最後一個timestep產生Encoder state(hidden state)，Decoder拿到Encoder state並將其作為initial state，接著輸出一段英文句子，第一篇<a href="https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf">論文</a>將Seq2seq應用在NMT，之後的研究基本上都圍繞在Encoder與Decoder之間如何做串接對應，著名的架構就是Attention，接下來開始介紹Attention mechanism。</p><h3>Neural Machine Translation</h3><p>第一個提出Attention這個想法的<a href="https://arxiv.org/abs/1409.0473">論文</a>就是應用在NMT任務上，之後許多論文其實仔細看的話，會發現計算方式非常相似：</p><blockquote><a href="https://arxiv.org/abs/1409.0473">NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE</a></blockquote><p>網路上的seq2seq有許多種型式，為了之後介紹順利，接下來用Fig.3的seq2seq來介紹一些符號，這個seq2seq是最常見的：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*v8fqarXVePtOmTJ7Z812wQ.png" /><figcaption>Fig.3</figcaption></figure><p>上下紅框各為Encoder與Decoder，都是RNN：</p><ul><li>Encoder：輸入Source_sequence分為S₀~Sn，你可以想像成一個中文句子有n+1個字，每個字作為RNN的一個timestep去輸入，經過了n+1個timesteps之後，輸出最後一個timestep的hidden_state En，En會作為context vector C，這個C我們可以認為是整個Source_sequence的representation，而在每個timestep中，都會產生一個hidden_state (E₀~En)，<strong>以最基礎的seq2seq而言，就是拿En作為context vector C</strong>。</li><li>Decoder：接收到Encoder傳來的context vector C之後，C會作為Decoder的initial state繼續RNN的訓練，在Decoder的部分稍微特殊一點，我們需要把Decoder分成Training與Inference來討論，以Fig.4輔助說明：</li></ul><ol><li>Training：訓練階段時，Decoder的RNN前一個timestep的輸出不會作為下一個timestep的輸入，而是直接拿正確答案進去輸入，這個技巧叫做teacher forcing，以Fig.4來說，藍色句子原始為(y1,y2,…,yn)，輸入為(&lt;SOS&gt;,y1,y2,…,yn)，輸出為(y1,y2,…,yn,&lt;EOS&gt;)，第一個timestep t0的輸入為起始信號&lt;SOS&gt;，接著下一個timestep t1的輸入會不管上一個timestep t0的輸出正確與否，直接在t1輸入正確答案y1，這個做法是為了確保Decoder不會一直一錯再錯，如果在t0輸出錯誤答案，那以以往RNN的做法是直接把錯誤答案輸入t1，為了避免這個現象，才有teacher forcing的做法。</li><li>Inference：在Inference階段，我們因為沒有正確答案輸入給Decoder，所以就遵循以往RNN的做法，t0的輸出會作為t1的輸入。</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fwv47uVe_5G5jypDH5GQ4A.png" /><figcaption>Fig.4</figcaption></figure><p>接下來討論原始的seq2seq中會有什麼問題，之後衍伸出attention的想法：</p><ul><li>Seq2seq中Encoder與Decoder之間串接的只有一個context vector C，這意味著不管輸入給Encoder的source_sequence長度多寡，都會被一個固定維度的向量C給限制住。</li><li>不管RNN還是其餘系列(LSTM, GRU)，其實都避免不了Long-Term Dependence的問題，一旦輸入序列拉長，越早輸入的Token就會越容易失去影響能力，更何況以seq2seq拿最後一個timestep作為context vector C的做法，同理，在Decoder是在第一個timestep接收到context vector C，一旦要預測的序列變長了，越後面timestep的預測值就越不受C控制，也就是跟Encoder越來越沒關係。</li></ul><p>為了解決以上兩個問題而有了attention想法，attention的想法是說，有沒有辦法為Decoder中的每個timestep都設計一個context vector C？如Fig.5，在Decoder的第二個timestep準備進行預測T1時，就去計算屬於T1自己的context vector，這就是attention mechanism的核心思想。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gTnjLDbB03ZFOL-u2g9Ukw.png" /><figcaption>Fig.5</figcaption></figure><h3>Attention Mechanism</h3><p>“計算屬於每個timestep自己的context vector”，這句話已經闡述了attention的想法，接下來會以上面提到的論文為主，介紹一開始最基礎的attention架構應用在NMT任務上。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/623/1*FDYC7h1RRW1Ju0mhsSmvzg.png" /><figcaption>Fig.6</figcaption></figure><p>Fig.6是這篇論文的主體，接下來會以藍線分為Encoder與Decoder個別介紹：</p><h4>Encoder</h4><p>相信讀者看到Encoder時已經有一點頭緒了，Encoder部分中作者使用Bidirectional GRU，在Forward與Backward階段都有一個GRU在處理，而Forward與Backward的差別在於輸入的序列順序相反，因為處理的是NMT任務，所以作者這樣做的目的是希望Encoder可以更好的學習句子的上下文關係，接著Forward與Backward各產生hidden state之後，這篇論文的做法是將兩個hidden states進行concatenation，作為Encoder的輸出。</p><blockquote>也有其他做法來處理兩個hidden states，例如直接相加、通過一層全連接層、element-wise multiplication、取平均等等…</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*P6x7saN3lC2ipqNeeRsKqQ.png" /><figcaption>Fig.7</figcaption></figure><h4>Decoder</h4><p>當Decoder獲得了從Encoder的hidden state後，這時Decoder最重要目的在於如何利用這T個hidden state，對於Decoder來說，這T個hidden state有些重要而有些不重要，也就是說必須設計一個機制讓Decoder能有判別的能力，也就是讓Decoder能夠知道取捨。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/320/1*cCdDr8RMxFTsjpqzHc2JEQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/320/1*LddcLwvzEUmj6I-PgBprYA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/320/1*weCOnqI4iA64c5Y4USkV0g.png" /><figcaption>Fig.8</figcaption></figure><p>這篇論文使用一層NN來計算t-1時Decoder對於所有Encoder的attention的值eᵢⱼ，這每一個e就代表著Decoder的hidden state St-1對於Decoder所有hidden state h的重要程度。</p><blockquote>計算attention的方法不只有使用一層NN，還有直接用內積、concat之後丟NN、linear transform等等，最終都是用一個值來表示attention的程度。</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/442/1*Rr8s9_4g3di0htI6DBitEA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/354/1*S7NXLm1XkfkHxxhJD5GJBQ.png" /><figcaption>Fig.9</figcaption></figure><p>得到e後，接下來較為普遍的作法是通過softmax，將每個e進行normalize得到a，每個a值介於0~1之間且總和為1，並視為attention weight，接著將attention weight與hidden state進行線性組合，得到最終的context vector c。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/824/1*P5f4sPc497sxjqwzfIAORQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/544/1*BENI0h6lZ2nNrdn68jTvjg.png" /><figcaption>Fig.10</figcaption></figure><p>接著如何利用這個c就有許多版本了，以這篇論文來說是將c視為GRU另外一個輸入，得到這個時間點的hidden state s，另外還有其他種做法，例如：</p><ul><li>將s與c進行concate，然後通過一層NN輸出vocabulary的概率</li><li>將embedding word Ey與c進行concate，然後通過GRU得到s，然後再通過一層NN輸出vocabulary的概率</li></ul><p>以筆者的觀察，通常都是concatenation的效果比較好，用加的會把資訊互相抵銷，很多論文都是以concatenation的方式達到該任務的SOTA。</p><h3>Conclusion</h3><p>介紹到這邊，我們了解到attention mechanism的核心理念，之後許多論文都圍繞在Encoder與Decoder之間如何去attention，當然attention的應用不只有NMT任務，還有image caption、video caption等等，以image caption來說，就是生成caption時，讓每個timestep都去決定要attend圖片中哪些位置，基本上許多論文都有類似的想法。</p><p>除此之外，在2017年6月google發表了一篇paper: <em>Attention is all you need.，</em>該論文不管在Encoder還是Decoder都沒用到RNN或CNN系列的架構，從頭到尾就使用全連接層NN來實現Attention，並達到當時NMT的SOTA，實在令人驚嘆。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fad735db3c2c" width="1" height="1" alt=""><hr><p><a href="https://medium.com/ai-academy-taiwan/attention-mechanism-fad735db3c2c">Attention Mechanism</a> was originally published in <a href="https://medium.com/ai-academy-taiwan">Taiwan AI Academy</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Back-propagation]]></title>
            <link>https://medium.com/ai-academy-taiwan/back-propagation-3946e8ed8c55?source=rss-2e0526cb3981------2</link>
            <guid isPermaLink="false">https://medium.com/p/3946e8ed8c55</guid>
            <category><![CDATA[backpropagation]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[neural-networks]]></category>
            <category><![CDATA[gradient-descent]]></category>
            <dc:creator><![CDATA[WenWei Kang]]></dc:creator>
            <pubDate>Thu, 14 Mar 2019 09:22:52 GMT</pubDate>
            <atom:updated>2020-08-25T02:54:04.767Z</atom:updated>
            <content:encoded><![CDATA[<p>Back-propagation(BP)是目前深度學習大多數NN(Neural Network)模型更新梯度的方式，在本文中，會從NN的Forward、Backword逐一介紹推導。</p><p>在本章中，您可以認識到：</p><ol><li>基礎NN的運算方式</li><li>Back-propagation (DNN版本)</li><li>Gradient Problem</li></ol><p>你想得到的模型基本上都是用BP的方式在更新梯度，基本原理是一樣的，只是隨著模型設計上的不同，導致梯度會往不同的方向前進，本文只介紹DNN的更新方式，之後再來寫RNN的更新方式。</p><p>先回想一下NN中forward方式：</p><p>輸入向量，經過NN模型輸出預測值，接著預測值與Label計算Loss，這個Loss表達的是模型與真實之間的距離，我們當然希望這個Loss愈小愈好，可以搭配下面Notation中的圖來理解。</p><p>Input Vector → NN → Prediction ↔ Label</p><p>可以想像成NN中的權重得到這個Loss，現在我們想知道這些權重對於Loss的影響程度，也就是Gradient，參數與Gradient影響著Loss的大小，BP的核心理念就是產生這個Gradient方式與更新方式。</p><h3>Notation</h3><p>在開始之前，先來介紹一下推導中會使用到的數學符號，這裡以3層NN為例子：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5Jy9zkWik5qk6eApiKDfEw.png" /><figcaption><strong>Fig.1</strong></figcaption></figure><p>因為Medium的限制，顯示上無法把上標和下標擺在同一個位置。</p><ul><li>W¹₁₁：<strong>Fig.1</strong>以3層NN(Layer1, Layer2, Output layer)為例，W₁₁¹中上標w¹表示Layer1，下標W₁₁表示Layer1的第一個Neuron連結到Input layer的第一個Input。</li><li>z¹₁：上標z¹表示Layer1，下標z₁表示Layer1的第一個Neuron，z¹₁表示第一層activation function的輸入(z¹₁=x₁w¹₁₁+x₂w¹₁₂)。</li><li>a¹₁：上下標意義與z¹₁同義，差別這個是activation function的輸出(a¹₁=f(z¹₁))。</li></ul><p>以上是3層NN的運作方式，若是更深且更多Neuron的NN模型想當然爾也容易想像。</p><h3>Operation</h3><p>接下來介紹BP中會使用到的原理與公式：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-8fEiOVgBYnDbFmwzQ0_hg.png" /><figcaption><strong>Fig.2</strong></figcaption></figure><ul><li>Chain rule：中文又稱連鎖率，可以說是BP的核心，主要是在探討複合函數𝑔○𝑓(𝑥)、𝑓(𝑔(𝑡),h(𝑡))中，透過微分，了解變數對於輸出的影響程度。</li><li>Loss function：量測模型預測與標籤之間的距離公式，為了後面推導方便，這裡使用最簡單的MSE，其中分母多乘上2的目的是為了微分方便。</li><li>Sigmoid function：這是其中一種常用的activation function。</li><li>Derivative：這裡以sigmoid的微分為例子，這也是為了後面推導方便。</li></ul><h3>Back-Propagation</h3><p>這裡一樣以3層迴歸NN為例子，這邊用w¹₁₁的梯度下降為範例，其餘參數的更新方式依樣畫葫蘆，只是乘多乘少而已，順序關係可以歸納為以下：</p><p>𝑥 → 𝑧→ 𝑎→ 𝑧 → 𝑎 → ….</p><p>𝑥與𝑧之間的關係是權重，𝑧與𝑎之間的關係是activation function的輸入與輸出。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qPSxhbRaTt8udlC2qLQZjQ.png" /><figcaption><strong>Fig.3</strong></figcaption></figure><p>以<strong>Fig.3</strong>而言，我們現在想要知道w¹₁₁的Gradient(上圖右上紅虛框)，然後使用這個Gradient搭配Learning rate進行Gradient Descent(整個式子)，而在NN中，紅色箭頭表示w¹₁₁之後會影響到的路徑，這些路徑給了我們一點方向，w¹₁₁只能透過這些路徑影響Loss，也就是說，Loss也只能透過這些路徑影響w¹₁₁，我們有了這個想法後，使用chain rule來把這些路徑展開。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/661/1*wuEVxCuZu4BM5_9oLskdDA.png" /><figcaption>Fig.4</figcaption></figure><p><strong>Fig.4</strong>是計算w¹₁₁的Gradient，這裡將式子分成3個部分(1., 2., 3.)討論， 1~3的順序關係可以想成從output layer慢慢往Input layer移動：</p><ol><li>對於z³₁的微分：因為是迴歸問題，所以z³₁就是輸出值，而對MSE中的輸出值進行微分得到上式。</li><li>這個部分會看到∑這個符號，這是因為w¹₁₁會影響到兩條路徑，可以搭配<strong>Fig.3</strong>來看，分別影響到Layer2的第一個Neuron和第二個Neuron，而這裡以上面的Neuron a²₁為例子進行微分，微分後發現其實就是Layer3的權重w³₁₁。</li><li>接下來是對z²₁進行微分，z與a之間的關係就是activation function，對z微分就是對activation function進行微分。</li></ol><p>介紹到這裡，以上面的規則，相信讀者已經可以套用到其餘所有的權重w，這裡作者將其餘的推導結果全部列出來：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/815/1*tJW10ZdBGqGmnlS6EXGmNQ.png" /><figcaption>Fig.5</figcaption></figure><p>相信各位一定會觀察到這些權重的Gradient展開式有不少重複計算的地方 ，以<strong>Fig.6</strong>為例，同時連結到Layer1的第一個Neuron的權重有兩個，而這兩個的Gradient就有87%相似的地方，不同只有最後的x₁與x₂，我們可以利用這個關係，歸納之後計算Gradient的規則：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/622/1*KiCRDRN7gB63Zu2Djt9yJg.png" /><figcaption>Fig.6</figcaption></figure><h3>Gradient Problem</h3><p>我們有了Gradient的公式後，接下來探討NN中常見的問題，Gradient Vanishing與Exploding：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/799/1*bgMx-7uEuZtJ9jc8vAq02g.png" /><figcaption>Fig.7</figcaption></figure><p>拿w¹₁₁來討論影響Gradient的因素，分成3個部分：</p><ol><li>(Prediction-Label)：預測值減掉標籤值，基本上這一項對於Gradient不會有太大的影響，他只會出現在第一項，之後就不會再出現了。</li><li>w：即網路權重，這個取決於你的初始化權重，常見的初始化策略例如：Normal、Uniform、Truncated_norm等等，有許多論文在探討初始化方式，這時的w是由上一次更新後的w所決定，所以只要在初始化時設定的妥當，就不會有什麼問題，而且之後若正常更新，這個w是可以自由變化的，不會受限於最大最小值。</li><li>σ’(z)：即activation function的微分，這項是為什麼會發生Gradient Vanishing的原因，若activation function是sigmoid，則微分後如<strong>Fig.7</strong>右下圖，微分後的上限只有0.25，以這3層NN而言，對於w¹₁₁的Gradient我就需要乘上2個σ’(z)(0.25²=0.0625)，整個Gradient就被強制減少將近9成5的值，何況是動輒多層的NN，那計算後的Gradient一定更小，這也是為什麼會使用Sigmoid function發生Gradient vanishing的原因。</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/495/1*79qPzy0P8YJiIhVIAUa1cQ.png" /><figcaption>Fig.8</figcaption></figure><p>到這裡，相信各位已經理解梯度消失的原因，而目前梯度消失解決方式有幾個：</p><ol><li>Activation function改用Relu (微分後只有0,1，不容易發生梯度消失)</li><li>搭配ResNet和Batch normalization(BN)服用</li><li>NN不要那麼深</li><li>試試看其餘機器學習方法(視任務而定)</li></ol><blockquote>在2019/1有發表一篇<a href="https://arxiv.org/abs/1901.09321"><strong>論文</strong></a>探討透過特殊的初始化策略可以建立一個超深的NN模型，捨棄傳統的NN在中間穿插BN的方式，透過名為`Fixup`的初始化方式來達成，有興趣的可以看看。</blockquote><p>到這裡，我們了解到Gradient Vanishing發生的原因，那Gradient Exploding呢? 在DNN中，Gradient Exploding會發生的原因通常是初始化權重w設置的不好，這會導致越靠近Input layer的權重變化越大，進而發生Gradient Exploding的現象，目前鮮少有人討論Gradient Exploding，因為這個問題可以用比較粗暴的方式來解決，如下：</p><p>tf.clip_by_value(gradient, 1, -1)</p><p>上式用白話來講，若gradient大於1，就令為1，若小於-1，就令為-1，透過這簡單的想法防止梯度爆炸。</p><h3>Conclusion</h3><p>在本文中主要介紹NN的BP的原理，以這個方向延伸出許多研究如何使梯度更自然的更新，盡量讓梯度不受到函數的限制。當然DNN是所有NN中最基礎的模型，之後還有RNN、CNN的延伸，之後會找時間來寫BPTT。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3946e8ed8c55" width="1" height="1" alt=""><hr><p><a href="https://medium.com/ai-academy-taiwan/back-propagation-3946e8ed8c55">Back-propagation</a> was originally published in <a href="https://medium.com/ai-academy-taiwan">Taiwan AI Academy</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>