PinnedInTaiwan AI AcademybyWenWei Kang·Mar 14, 2019Back-propagationBack-propagation(BP)是目前深度學習大多數NN(Neural Network)模型更新梯度的方式,在本文中,會從NN的Forward、Backword逐一介紹推導。A response icon2A response icon2
WenWei Kang·Jan 26, 2021SuperGLUE 榜首: DeBERTa在今年年初 Microsoft 發佈了一篇論文 — DeBERTa: Decoding-enhanced BERT with Disentangled Attention,此模型 DeBERTa 在 SuperGLUE 排行榜上超越 Human…
InTaiwan AI AcademybyWenWei Kang·May 28, 2020結合圖像(Video)的Word embedding預訓練架構:MUVE這篇論文來自於DeepMind、Oxford以及CMU幾位學者共同發表,提出一個新穎的概念來訓練word embedding,之前大多數的架構都是純文字去訓練word embedding,例如ELMO[1], BERT[2], GPT[3]…
InTaiwan AI AcademybyWenWei Kang·Jul 8, 20192019-NLP最強模型: XLNet在2019年6月中旬Google提出一個NLP模型XLNet,在眾多NLP任務包括RACE, GLUE Benchmark以及許多Text-classification上輾壓眾生,尤其是在號稱最困難的大型閱讀理解QA任務RACE足足超越BERT…A response icon3A response icon3
InTaiwan AI AcademybyWenWei Kang·Mar 29, 2019Attention Mechanism在本文中,筆者會以自己的角度與想法來介紹Attention mechanism,包括一開始發跡的論文、架構與想法與廣泛的應用層面。