<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Gary Hsu on Medium]]></title>
        <description><![CDATA[Stories by Gary Hsu on Medium]]></description>
        <link>https://medium.com/@sfhsu29?source=rss-b1ba19a272b8------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*z1Ivpc3-WqMvekzZe9pFsQ.png</url>
            <title>Stories by Gary Hsu on Medium</title>
            <link>https://medium.com/@sfhsu29?source=rss-b1ba19a272b8------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 05:39:39 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@sfhsu29/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[NLP 入門 (2) Text Classification (Sentiment Analysis) — 進階情感分類器 Word2Vec + RNN (GRU)]]></title>
            <link>https://sfhsu29.medium.com/nlp-%E5%85%A5%E9%96%80-2-text-classification-sentiment-analysis-%E9%80%B2%E9%9A%8E%E6%83%85%E6%84%9F%E5%88%86%E9%A1%9E%E5%99%A8-word2vec-rnn-gru-1979f48d47b?source=rss-b1ba19a272b8------2</link>
            <guid isPermaLink="false">https://medium.com/p/1979f48d47b</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[sentiment-analysis]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[word2vec]]></category>
            <category><![CDATA[deep-learning]]></category>
            <dc:creator><![CDATA[Gary Hsu]]></dc:creator>
            <pubDate>Sun, 27 Dec 2020 11:26:30 GMT</pubDate>
            <atom:updated>2020-12-27T11:28:09.271Z</atom:updated>
            <content:encoded><![CDATA[<h3>NLP 入門 (2) Text Classification (Sentiment Analysis) — 進階情感分類器 Word2Vec + RNN (GRU)</h3><p>所使用到的函式庫： gensim, scikit-learn, tensorflow (keras), pandas</p><p>如果已經知道 Word2Vec 相關的概念，想要直接瞭解怎麼活使用 Word2Vec 來實作文章分類可以直接搜尋並跳到：</p><blockquote><strong>Word2Vec Baseline Prediction Model (使用 Support Vector Classifier)</strong></blockquote><blockquote>或 <strong>Word2Vec Advanced Prediction Model (使用 GRU 來建立神經網路)</strong></blockquote><h3>前言：</h3><p>之前寫了好幾篇關於 NLP 的文章來<a href="https://sfhsu29.medium.com/nlp%E5%B0%88%E6%AC%84-1-%E6%B7%BA%E8%AB%87word2vec-3775c7f7d5ba">介紹 Word2Vec</a>，以及<a href="https://sfhsu29.medium.com/nlp-%E5%B0%88%E6%AC%84-1-2-%E5%A6%82%E4%BD%95%E8%A8%93%E7%B7%B4%E8%87%AA%E5%B7%B1%E7%9A%84-word2vec-5a0754c5cb09">怎麼訓練自己的Word2Vec</a>，如果有興趣的話不妨從那兩篇當作學習 Word2Vec 的開頭。</p><p>在之前介紹 <a href="https://sfhsu29.medium.com/nlp-%E5%85%A5%E9%96%80-1-text-classification-sentiment-analysis-%E6%A5%B5%E7%B0%A1%E6%98%93%E6%83%85%E6%84%9F%E5%88%86%E9%A1%9E%E5%99%A8-bag-of-words-naive-bayes-e40d61de9a7f">Bag of word + Naive Bayes 的文章</a>之中，最後將學到的建模技巧應用在<a href="http://ai.stanford.edu/~amaas/data/sentiment/aclImdb_v1.tar.gz">IMDB影評</a>的資料集上得到了 <strong>0.867</strong> 的驗證正確率(validation accuracy)。那接下來就來和大家分享怎麼使用 Word2Vec 來進行遷移學習 (transfer learning) 並應用在相同的資料集上 (IMDB影評)，並看看能不能得到更高的正確率(<strong>最後得到 0.92 左右的驗證正確率</strong>)。</p><h3>Bag of words簡介</h3><p>Bag of words的方法會將每個單詞使用一個 one-hot vector 來表示。缺點就是 每個單詞之間的相關性無法被保留。所以當使用 bag of words 時：狗就是狗，貓就是貓，飛機是飛機，無法知道狗和貓都屬於動物。</p><blockquote>單詞和單詞之間的距離不能代表相關性。</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*08z2sOklqMqOGiy2V2c_TQ.png" /><figcaption>Bag of words</figcaption></figure><p>上圖的例子使用歐幾里得距離 (Euclidean distance)會得到：</p><p>Distance (狗, 貓) = sqrt((0–0)² + (1–0)² + (0–1)²) = sqrt 2 ~= 1.414..</p><p>Distance (狗, 飛機) = sqrt((1–0)² + (0–0)² + (0–1)²) = sqrt 2 ~= 1.414..</p><p>Distance (貓, 飛機) = sqrt((1–0)² + (0–1)² + (0–0)²) = sqrt 2 ~= 1.414..</p><blockquote>無法從距離來得出「狗」和「貓」是更為相似的詞。</blockquote><h3>Word2Vec 簡介</h3><p>Word2Vec 則是藉由 self-supervised learning 的方式，作者提出了兩種模型架構:</p><h4>1. Skip-Gram: 使用當前單詞來預測上下文</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/772/1*4wAp_sP5OuiTEdKh2j4cyg.png" /></figure><h4>2. CBOW: 使用上下文來預測當前單詞</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/856/1*YCkKn6ZN1C4oQeR-H8H-Hw.png" /></figure><p>在<a href="https://arxiv.org/pdf/1301.3781.pdf">原 Word2Vec 論文</a>之中，作者對兩種模型架構進行了詳細的比較，發現在不同的任務上，模型架構各有所長，但差異不大。</p><p>如果想要更多有關 Word2Vec 的介紹，請參考我另一篇Blog: <a href="https://sfhsu29.medium.com/nlp%E5%B0%88%E6%AC%84-1-%E6%B7%BA%E8%AB%87word2vec-3775c7f7d5ba">NLP專欄(1) — 詳解 Word2vec</a> ，簡而言之，我覺得 Word2Vec 本身最大的優點是：</p><ol><li>使用 Self-supervised Learning 的方式，克服的訓練資料不足的問題，因為不管是 CBOW 或是 Skip-gram，訓練資料都是「文章本身」，不管是給定上下文來預測當前單字 (CBOW)，或是給定當前單字來預測上下文(Skip-gram)，上下文和當前單詞都不需要再另外人工標注 ，不論是維基百科或者是新聞文章，都可以直接拿來訓練。</li><li>在 Deep Learning 準備大行其道的時候(2013)，採用了「Shallow Learning」，使用相對簡單的單層Perceptron 架構可加快訓練速度，在同樣的時間內可以相對地訓練更多資料。</li></ol><p>可以想像「狗」和「貓」，相比於「狗」和 「飛機」 會有更類似的上下文，這種模型的架構以及訓練方式，會使得「狗」和「貓」有更相近的 word embeddings。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*feN6WcjXNCUt9wFxzc9Qhw.png" /><figcaption>Word2Vec 範例（非真實訓練結果）</figcaption></figure><p>使用歐幾里得距離 (Euclidean distance) 就會得出「狗」和「貓」更為相近的結論。</p><blockquote>Distance (狗, 貓) = sqrt((0.9–0.8)² + (0.1–0.2)² + (0.7–1)²) ~= <strong>0.33</strong>..</blockquote><blockquote>Distance (狗, 飛機) = sqrt((1.7–0.8)² + (1.5–0.2)² + (1.3–1)²) ~= 1.61..</blockquote><blockquote>Distance (貓, 飛機) = sqrt((1.7–0.9)² + (1.5–0.1)² + (1.3–0.7)²) ~= 1.72..</blockquote><blockquote>此外 Word2Vec 訓練之後，作者還發現了一個特性，vector(“King”) — vector(“man”) + vector(“woman”) ~= vector(“queen”)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/662/0*Jtf1wtyCgbSRxZID" /><figcaption><a href="https://www.ed.ac.uk/informatics/news-events/stories/2019/king-man-woman-queen-the-hidden-algebraic-struct">https://www.ed.ac.uk/informatics/news-events/stories/2019/king-man-woman-queen-the-hidden-algebraic-struct</a></figcaption></figure><p>有了這些 word embeddings 之後，就可以進行遷移學習 (transfer learning)。</p><p>(註: word embeddings, word vector, word representation 都是同義詞)</p><h4>遷移學習 (transfer learning)：</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*cmSgAA4Wi9OGmNZcBy5CGA.png" /></figure><p>我們從小常常會聽到一句話：「站在巨人的肩膀上」，就是遷移學習最好的詮釋。</p><p>當我們手邊有一個任務，但是並沒有很多標注的資料時，往往很難學習出一個高效的模型。</p><p>那聰明的機器學習先輩們，就想到了這樣的一個方法：我們先在大量的未標注的資料上完成一個學習任務 (pre-trained)，將學習到的知識應用到另外只有少數標注資料的目標任務 (fine-tune)。</p><p>這種 pre-trained + fine-tune 的架構可以讓我們在有限的數據集上也得到很不錯的效果。不論是 Word2Vec 還是後來的 ULMFiT，甚至是大名鼎鼎的 BERT 都將遷移學習進一步的發揚光大。</p><p>本文接下來的重點就是站在 Word2Vec 這個巨人的肩膀上 （完成了 14 GB 維基百科的訓練）， 來預測 IMDB 影評的情感 (sentiment)。</p><h3>Word2Vec Model 應用:</h3><p><a href="https://colab.research.google.com/drive/10BWNJuHE2NMKN-EUbgMyrgNWT0KSWk-l?usp=sharing">點擊這裏連結到我的colab 範例</a></p><p>下面例子為這次任務的縮影，我們給機器一段影評，然後它要幫我們分類出這段影片是屬於正面或是負面。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/16ffdf3f620a6ccd0fee0abd9eee851e/href">https://medium.com/media/16ffdf3f620a6ccd0fee0abd9eee851e/href</a></iframe><p>這邊我想花一點篇幅來介紹 Gesim word2vec Model 的用法:</p><pre># 如果你使用 pip 的話<br>$ pip install gensim</pre><pre># 如果你使用 conda 的話<br>$ conda install -c anaconda gensim</pre><blockquote>如果想還不知道要怎麼訓練自己的word2vec請參考我<a href="https://sfhsu29.medium.com/nlp-%E5%B0%88%E6%AC%84-1-2-%E5%A6%82%E4%BD%95%E8%A8%93%E7%B7%B4%E8%87%AA%E5%B7%B1%E7%9A%84-word2vec-5a0754c5cb09">這篇blog</a></blockquote><blockquote>如果只想使用但自己懶得訓練word2vec，可以直接下載<a href="https://docs.google.com/u/0/uc?export=download&amp;confirm=8s0o&amp;id=17ThJchrSwnOy1HEKX1HT79vpl1y4UH2L">我幫你訓練好的參數</a></blockquote><p>解壓縮我訓練好的參數，然後把檔案放到當前執行程式的資料夾</p><p><strong>使用 gensim 讀取 Word2Vec 模型：</strong></p><pre>from gensim.models import Word2Vec</pre><pre>model = Word2Vec.load(&#39;wiki-lemma-100D-phrase&#39;)</pre><pre>print(model.wv[&#39;machine_learning])<br># [-2.929788  , -0.83070016,  2.1403034 , ..., -0.03268742]  <br># (100D array)</pre><p>至此，我們就可以藉由 model.wv 來獲得單詞或片語相關的 word embedding.</p><h4><strong>Word2Vec Baseline Prediction Model</strong>: 將每個單詞的詞向量取平均，在使用 Support Vector Classifier 來分類 (0.802 accuracy)：</h4><p>(如果只想得到最好的accuracy，請直接跳到下一章節 Word2Vec Advanced)</p><p>libraries: gensim, spaCy, scikit-learn</p><ol><li>將影評之中的 word vector 取平均當成 sentence vector</li></ol><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/87dd7b0194ddeaac92d81d36244e6ce8/href">https://medium.com/media/87dd7b0194ddeaac92d81d36244e6ce8/href</a></iframe><p>2. 然後使用傳統的 Machine Learning (Support Vector Classifier)解決：</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0ff81152574a9367da46b6b9eda6d36c/href">https://medium.com/media/0ff81152574a9367da46b6b9eda6d36c/href</a></iframe><p>最後得到了0.802的 validation accuracy。</p><p><a href="https://colab.research.google.com/drive/10BWNJuHE2NMKN-EUbgMyrgNWT0KSWk-l?usp=sharing">詳細的 code 再麻煩到我的 colab 查看。</a></p><h4><strong>Word2Vec Advanced Prediction Model</strong>:：直接將每個詞向量當作 Deep Learning (GRU) 的輸入，在使用 Sigmoid當激活函數(0.9 accuracy):</h4><p>最後在安麗一次：<a href="https://colab.research.google.com/drive/10BWNJuHE2NMKN-EUbgMyrgNWT0KSWk-l?usp=sharing">詳細的 code 再麻煩到我的 colab 查看。</a></p><pre># 由於我們在之前下載的 word2vec model 是專門給 gensim 用的，如果我們要給 keras 使用，我們要先將model儲存成不同的格式</pre><pre>model.wv.save_word2vec_format(&#39;keras_word2vec.txt&#39;, binary=False)</pre><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b37d06ab4fbca1a926ffcaaf6d18c746/href">https://medium.com/media/b37d06ab4fbca1a926ffcaaf6d18c746/href</a></iframe><p>因為在訓練 Word2Vec 的時候，我 lammatize 了所有單詞，所以要確保我也對 IMDB 資料集做了相同的預處理(pre-processing)：</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/374257c81c4a2c95a0229f451c8fecd7/href">https://medium.com/media/374257c81c4a2c95a0229f451c8fecd7/href</a></iframe><p>將預處理完成的資料轉換成 2D tensor:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6850d71a843eeed8c05829a49f84cd1c/href">https://medium.com/media/6850d71a843eeed8c05829a49f84cd1c/href</a></iframe><p>根據上面 tokenizer 的結果，來建立一個查詢表格 (look up table)：</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0e1d5c68f8071bfd94ee06b69dd2c5df/href">https://medium.com/media/0e1d5c68f8071bfd94ee06b69dd2c5df/href</a></iframe><p>在上面將文字轉換成 2D tensor 的時候，</p><p>「This is a great move」 會被轉換成: [11, 3213, 7, 77, 18, 0, 0, 0, …., 0] -&gt; 長度為512 (512 是可調整的參數)的列表，每一個數字就代表該單詞的位置。</p><p>因此我們要建立一個這樣的 embedding maxtrix：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/276/1*vyVEf_0OB4TAl1MnPqONoA.png" /><figcaption>embedding_matrix</figcaption></figure><p>然後就使用這個 embedding matrix 來初始化 keras embedding layer的參數：</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/462aea1e9205ccebc38d828a3013c8ef/href">https://medium.com/media/462aea1e9205ccebc38d828a3013c8ef/href</a></iframe><p>至此，就完成了所有的前置步驟，讓我們來開始訓練 model 吧！</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/949d0bf01e3631166dd9551c3d7dd12a/href">https://medium.com/media/949d0bf01e3631166dd9551c3d7dd12a/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1021/1*QCUo8tlpIifEXp2hEmj76g.png" /><figcaption>Word2Vec pre-trained</figcaption></figure><p>最後我們在第 8 epoch 的時候得到了最高的驗證正確率: 0.9196，但是在第 10 epoch 時驗證正確率又掉到了 0.8408。</p><p>在實務的時候可以使用 early stopping，當驗證正確率連續下降幾個 epochs時，我們就停止訓練。這樣就可以讓我們的驗證正確率維持在一個較高的水準。</p><p><strong>在進入結論之前我還做了以下兩個小實驗：</strong></p><h4>實驗一：</h4><p>如果我們不使用 Word2Vec 訓練的成果來初始化 embedding layer 的參數，轉而使用隨機的參數當作初始值的話：</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e02ae82be80f6407bb1d7d90c7eb2273/href">https://medium.com/media/e02ae82be80f6407bb1d7d90c7eb2273/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4ytbkZJNUYILpNzBSo9jbg.png" /><figcaption>Random Intialization</figcaption></figure><p>我們藉由模型的正確率可以發現，我們採用相同的模型架構之下，有使用 Word2Vec 當作 embedding layer 初始值，比起隨機初始值的模型好上許多。 這也證明了我們成功的站在巨人的肩膀上！</p><h4>實驗二：</h4><p>我們直接在 IMDB 的資料集上訓練 embedding layer （細心的你可以找到 code在哪裡不一樣嗎？）</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0674df6a10f0411813f4a32abafdfb4f/href">https://medium.com/media/0674df6a10f0411813f4a32abafdfb4f/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Qgsz8S9zdz41wPO0mLDhbA.png" /></figure><p>藉由觀察 acc (訓練正確率) 和 val_acc (驗證正確率)，可以發現模型在訓練三個 epochs 之後就過度擬合了！依然證明了 Word2Vec 這個巨人的確讓我們看的更高更遠！</p><h3>結語</h3><p>我們總共做了四個實驗來證明， 如果我們把 Word2Vec 的結果「使用得當」，它的確可以顯著的提升 IMDB 情感分類器的正確率，但你是否會有幾個疑問：</p><blockquote><strong>在實驗二之中我們也得到了不錯的驗證正確率，那我們是否可以不使用 pre-trained ，而直接在 IMDB 資料集上重新訓練呢？</strong></blockquote><p>藉由觀察訓練的正確率，可以發現： 直接在 IMDB 重新訓練的模型在訓練 3 個 epochs 之後就開始過度擬合了。 而使用 pre-trained 的例子則是還有繼續訓練的潛力（訓練正確率還沒有偏離驗證正確率太多) ，如果可以的話，先在大量資料上 pre-trained 的效果還是更好。</p><blockquote><strong>Word2Vec 有什麼缺陷嗎？</strong></blockquote><p>再不論是英文或者中文都有一字多義的情況:</p><p>英文：bank 既可以代表銀行，也可以代表河岸。</p><p>中文：我幫我的老闆「背黑鍋」。 可以是指真正的黑色鍋子，也可以指承擔別人犯下的錯誤。</p><p>但是 Word2Vec 只會將一個單詞產生一個 word embedding，所以這種情況下可能無法很精確的表達一詞多義。</p><p>在我之後介紹 BERT/ULMFiT 都會使用語言模型 (Language Model) 來替換 word embedding。</p><p>如果覺得我的文章有幫助，再麻煩多幫我拍幾次手囉！有什麼疑問也都歡迎 Email: sfhsu29@gmail.com 來和我討論！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1979f48d47b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Data Science 入門：Selenium 初體驗 — Data Scientist, Machine Learning Engineer 不專業薪情分析]]></title>
            <link>https://sfhsu29.medium.com/data-science-%E5%85%A5%E9%96%80-selenium-%E5%88%9D%E9%AB%94%E9%A9%97-data-scientist-machine-learning-engineer-%E4%B8%8D%E5%B0%88%E6%A5%AD%E8%96%AA%E6%83%85%E5%88%86%E6%9E%90-457e0c14c85c?source=rss-b1ba19a272b8------2</link>
            <guid isPermaLink="false">https://medium.com/p/457e0c14c85c</guid>
            <category><![CDATA[data-scientist]]></category>
            <category><![CDATA[salary]]></category>
            <category><![CDATA[machine-learning-engineer]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[selenium]]></category>
            <dc:creator><![CDATA[Gary Hsu]]></dc:creator>
            <pubDate>Sat, 23 May 2020 08:20:33 GMT</pubDate>
            <atom:updated>2020-06-21T07:59:13.537Z</atom:updated>
            <content:encoded><![CDATA[<h3>Data Science 入門：Selenium 初體驗 — Data Scientist, Machine Learning Engineer 不專業薪情分析</h3><h4>前言</h4><p>最近剛好跟朋友談到 Data Scientist 在台灣的薪水，但手邊一直沒有相關的統計數據，於是把腦筋動到了 <a href="https://www.yourator.co/jobs?category[]=8">Yourator</a> 上，但發現用<em>傳統 python 的 requests 似乎會被 yourator 拒絕存取</em>，就摸索了一下 Selenium，成功透過 Selenium 騙過 yourator 獲取到我想要的資料。這篇文章就像是一個小的 Data Science Project，希望能幫助到一些想要入門 Data Science 的人！</p><h4>一、安裝會用到的libraries:</h4><p>Seleium, BeautifulSoup, pandas, re (regular expression)</p><p>Conda版本：</p><pre>conda install -c conda-forge selenium</pre><pre>conda install -c conda-forge pandas</pre><pre>conda install -c anaconda beautifulsoup4</pre><p>Pip 版本：</p><pre>pip install selenium</pre><pre>pip install pandas</pre><pre>pip install beautifulsoup4</pre><p>如果你跟我一樣使用firefox：<a href="https://github.com/mozilla/geckodriver/releases">請下載這個driver</a>。<br>如果你是使用Google Chrome：<a href="https://chromedriver.chromium.org/downloads">請下載這個driver</a>。</p><p>安裝完之後，請確保自己的瀏覽器是目前最新的版本，</p><h4>二、Data Extracting: 開始抓資料 (selenium)：</h4><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f8bd3621c13f28a2f1f0ed0d38b0dede/href">https://medium.com/media/f8bd3621c13f28a2f1f0ed0d38b0dede/href</a></iframe><p>selenium 會開啟你的 browser 然後將資訊從 driver.page_source 存到 web_content，這時候我們就可以透過這個 web_content 來獲得我們要的資訊。</p><h4>三、Data Parsing: 開始解析資料 (Beautiful soup)：</h4><p>這邊就不多做介紹了，因為我本身對 Beautiful Soup 也不是特別熟稔，總之就是找出所有 class 為 y-card y-card-horizontal 的地方，在找出裡面的 職稱、公司名稱、薪資：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5pAlFTOPpWK5lMmf5XUSIg.png" /><figcaption>class = y-card y-card-horizontal</figcaption></figure><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9363c9624441979ee5f4572dab32a04d/href">https://medium.com/media/9363c9624441979ee5f4572dab32a04d/href</a></iframe><h4>(二) + (三)：因為 Machine Learning, Data Science 的職缺有三頁，因此我就寫了一個loop 版本的，一次把資訊都抓下來</h4><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4f66c1847051ed3fc92ccf4e900fcc13/href">https://medium.com/media/4f66c1847051ed3fc92ccf4e900fcc13/href</a></iframe><p>titles:</p><pre>商業資料分析師(Business Data Analyst),<br>深度 / 機器學習,<br>風控模型算法工程師...（省略）</pre><p>companies:</p><pre>UrCosme (@cosme TAIWAN),<br>PEZZALoan by GDP,<br>PEZZALoan by GDP... （省略）</pre><p>salaries:</p><pre>面議（經常性薪資達4萬元）,<br>NT$ 1,000,000 - 2,000,000 (年薪),<br>NT$ 1,000,000 - 1,500,000 (年薪)... （省略）</pre><h4>四、Data Preprocessing 資料預處理 (pandas, re):</h4><pre>import pandas as pd</pre><pre># Assemble what we just get!<br>df = pd.DataFrame(zip(titles, companies, salaries))<br>df.columns = [&#39;job_title&#39;, &#39;company_name&#39;, &#39;salary&#39;]<br>df</pre><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ebcc1708f811a5096e6f92dbc90795ce/href">https://medium.com/media/ebcc1708f811a5096e6f92dbc90795ce/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e765783281164ed79757f7d1bcd6ce79/href">https://medium.com/media/e765783281164ed79757f7d1bcd6ce79/href</a></iframe><h4>五、結果:</h4><p>因為 Pandas 預設顯示float的方式會轉換成科學記號 (例如：3e10之類的)所以要轉換成我們比較好讀的格式：</p><p>至於第二行，因為我的朋友很厲害，我覺得年薪一百萬以下的工作他可能不會考慮，所以就幫他 drop 掉了。</p><pre>pd.options.display.float_format = &#39;{:.2f}&#39;.format<br>df_high = df[df[&#39;month_salary_high&#39;] &gt;= 1000000]<br>df_high</pre><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d2613b3b9f508594a78fd371387d9708/href">https://medium.com/media/d2613b3b9f508594a78fd371387d9708/href</a></iframe><p>太多了太多了，我朋友說他時間寶貴，他想要知道所有這些工作的總數，lower/upper bound 的平均數、標準差、四分位數！</p><pre>df_high.describe()</pre><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3521f3b91447ab2acd149a44eae82328/href">https://medium.com/media/3521f3b91447ab2acd149a44eae82328/href</a></iframe><p>describe會將所有數值的資料，做這些計算一次全部列出來，所以這些工作總共有24個，lower bound 平均數: 98萬多，upper bound 平均數 175萬多。</p><p>你可能會疑惑，column: salary_low、salary_high也是數值，為什麼沒有跑出來，因為他們其實是string。</p><h4>結語：</h4><p>其實這就像是一個小型 Data Science 更準確地來說會被歸類在 Data Engineering 的 Project（可能會有人不認同），從獲得數據（selenium）、再將數據清理乾淨(BeautifulSoup，regular expression)、獲得我想要的薪資資訊（pandas），其實 data science 沒那麼複雜沒那麼難，只是在大型的專案中，獲得數據、清理數據、分析數據、獲取資訊都會有更深入一些的作法，如果你跟我一樣對於花半個小時來寫 code ，然後對最後得到的這些簡單統計資訊感到開心的話，恭喜你！趕快和我一起加入 Data science 吧！</p><p>參考資料：</p><ol><li>Selenium相關的資訊: <a href="https://freelancerlife.info/zh/blog/python%E7%B6%B2%E8%B7%AF%E7%88%AC%E8%9F%B2%E6%95%99%E5%AD%B8-selenium%E5%9F%BA%E6%9C%AC%E6%93%8D%E4%BD%9C/">https://freelancerlife.info/zh/blog/python%E7%B6%B2%E8%B7%AF%E7%88%AC%E8%9F%B2%E6%95%99%E5%AD%B8-selenium%E5%9F%BA%E6%9C%AC%E6%93%8D%E4%BD%9C/</a></li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=457e0c14c85c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[NLP 專欄 (1–2) — 如何訓練自己的 word2vec]]></title>
            <link>https://sfhsu29.medium.com/nlp-%E5%B0%88%E6%AC%84-1-2-%E5%A6%82%E4%BD%95%E8%A8%93%E7%B7%B4%E8%87%AA%E5%B7%B1%E7%9A%84-word2vec-5a0754c5cb09?source=rss-b1ba19a272b8------2</link>
            <guid isPermaLink="false">https://medium.com/p/5a0754c5cb09</guid>
            <category><![CDATA[word2vec]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[word2vecs-gensim]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <dc:creator><![CDATA[Gary Hsu]]></dc:creator>
            <pubDate>Sun, 08 Mar 2020 11:42:09 GMT</pubDate>
            <atom:updated>2020-06-21T08:03:51.393Z</atom:updated>
            <content:encoded><![CDATA[<h3>NLP 專欄 (1–2) — 如何訓練自己的 word2vec</h3><p>如果只想使用最新的 Word2Vec trained on Wikipedia with Phrase (100d)的話，請直接點擊 -&gt; <a href="https://drive.google.com/file/d/17ThJchrSwnOy1HEKX1HT79vpl1y4UH2L/view?usp=sharing">2020.02.19 Wikipedia Word2Vec weights 下載網址</a>。</p><h3>前言</h3><p>在前一篇 <a href="https://medium.com/@sfhsu29/nlp%E5%B0%88%E6%AC%84-1-%E6%B7%BA%E8%AB%87word2vec-3775c7f7d5ba">NLP專欄(1) — 詳解 Word2vec</a> 介紹了 Word2Vec 的運作原理之後，但不管是 <a href="https://code.google.com/archive/p/word2vec/">Google 的 Word2Vec</a> 或者是<a href="https://nlp.stanford.edu/projects/glove/"> Stanford 的 Glove</a>，距今也都有個六、七年之久，那時 windows 7 還是 Microsoft 最流行的作業系統，關於 AI、Machine Learning 的介紹也甚少，很幸運的是 Gensim 幫我們實作 Word2Vec 的訓練，所以我們可以用很簡單的幾行 code 就訓練出自己最新的 word embeddings。</p><p>在本文之中，除了使用最新 Wikipedia （英文）的資料來訓練我們的 word2vec 之外，還提供了一些範例來說明要如何訓練一個可以認識片語 (Phrase) 的模型。</p><h4>步驟一：資料準備</h4><p>到維基百科的頁面下載資料 <a href="https://dumps.wikimedia.org/enwiki/latest/">https://dumps.wikimedia.org/enwiki/latest/</a>，我下載了檔名為 enwiki-latest-pages-articles.xml.bz2的資料(作者下載日期為2020.02.19，檔案大小為16.88GB)。</p><h4>步驟二：函式庫安裝</h4><pre># 如果你使用 pip 的話<br>$ pip install gensim</pre><pre># 如果你使用 conda 的話<br>$ conda install -c anaconda gensim</pre><h3>步驟三：Preprocessing the wikipedia data，根據不同的需求選擇不同的Preprocessor：</h3><h4>步驟三（一）：新建一個 Jupyter notebook/python file 並將 wikipedia 預處理(Preprocessing)：</h4><p>這一步驟在我的Macbook Pro上面執行大約花了一個半小時。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6d9887488a36eb46f99b7e8f001c22d6/href">https://medium.com/media/6d9887488a36eb46f99b7e8f001c22d6/href</a></iframe><p>值得一提的是：在宣告 <a href="https://radimrehurek.com/gensim/corpora/wikicorpus.html">WikiCorpus</a> 的時候，默認會將輸入文字全部轉成小寫，如果在你的例子之中，需要有大小寫的區分，務必加上 lower = False。</p><h4>步驟三（二）：如果需要使用到 lemmatize的話，可以使用spaCy 來達成目標：</h4><p>如果你還不是很清楚什麼是 lemmatize 的話可以參考：<a href="http://www.zmonster.me/2016/01/21/lemmatization-survey.html">詞形還原工具對比</a>。因為要lemmatize的關係，這一步大約要花四個小時。</p><p>安裝spaCy:</p><pre># 如果你使用 pip 的話<br>$ pip install -U spacy</pre><pre># 如果你使用 conda<br>$ conda install -c conda-forge spacy</pre><p>安裝spaCy Model (必要):</p><pre># spaCy 本身一個空殼，我們要幫這個殼裝上它的心臟<br>python -m spacy download en_core_web_md</pre><p>和剛剛的非常類似，只是加上了三行：</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/df97fa3be5b7f1da26581ce8b7c58c3f/href">https://medium.com/media/df97fa3be5b7f1da26581ce8b7c58c3f/href</a></iframe><h3>步驟四：Train Your Own Word Vectors（步驟四（二））才有支援片語（Phrase）</h3><h4>步驟四（一）：將 wiki-preprocessed-lemma.txt 拿來訓練我們的 word vectors</h4><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/77ecaeaecf20e319497bc0743f629312/href">https://medium.com/media/77ecaeaecf20e319497bc0743f629312/href</a></iframe><h4>步驟四（二）：訓練一個讀得懂「片語」的 word2vec</h4><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a963e478b183de255a8ef49dca11588a/href">https://medium.com/media/a963e478b183de255a8ef49dca11588a/href</a></iframe><p>到這邊就大功告成啦，可以直接使用：</p><pre>print(model.wv.most_similar(&#39;machine_learning&#39;)) # Phrase 中間的空格要用 _ 代替，而且只有步驟四（二）才支援 Phrase</pre><p>結果為：</p><pre>[(&#39;machine_learn&#39;, 0.9530839920043945),<br> (&#39;deep_learning&#39;, 0.9144971966743469),<br> (&#39;datum_mining&#39;, 0.8860416412353516),<br> (&#39;parallel_computing&#39;, 0.8649201393127441),<br> (&#39;scientific_computing&#39;, 0.8539735078811646),<br> (&#39;data_analysis&#39;, 0.8473660945892334),<br> (&#39;pattern_recognition&#39;, 0.8465429544448853),<br> (&#39;datum_analysis&#39;, 0.843416154384613),<br> (&#39;computer_vision&#39;, 0.8426181077957153),<br> (&#39;neural_network&#39;, 0.8414143323898315)]</pre><p>希望能夠幫助到想要學習如何用 gensim 來創造自己最新詞向量的人！如果覺得這篇文章有幫助的話，也麻煩幫我鼓掌囉！謝謝！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5a0754c5cb09" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[NLP專欄(1) — 淺談Word2vec]]></title>
            <link>https://sfhsu29.medium.com/nlp%E5%B0%88%E6%AC%84-1-%E6%B7%BA%E8%AB%87word2vec-3775c7f7d5ba?source=rss-b1ba19a272b8------2</link>
            <guid isPermaLink="false">https://medium.com/p/3775c7f7d5ba</guid>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[neural-networks]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[word2vec]]></category>
            <dc:creator><![CDATA[Gary Hsu]]></dc:creator>
            <pubDate>Sat, 08 Feb 2020 04:10:09 GMT</pubDate>
            <atom:updated>2021-01-30T09:20:45.621Z</atom:updated>
            <content:encoded><![CDATA[<h3>NLP專欄(1) — 詳解 Word2vec</h3><p>本文適合：NLP 新手、曾經聽過、使用過 word2vec，但對 word2vec 概念不是很了解的人。</p><p>本文不適合：已經對 word2vec 有基本的了解，甚至曾經看過word2vec兩篇論文的大神，我覺得這篇文章並不能讓你更上一層樓。</p><p>如果想要看看怎麼訓練自己的 Word2Vec 。請參考：<a href="https://medium.com/p/5a0754c5cb09?source=post_stats_page---------------------------">NLP 專欄 (1–2) — 如何訓練自己的 word2vec</a></p><p>如果想要了解 Word2Vec 的實際應用，而不是聽我天方夜譚。請參考：<a href="https://medium.com/p/1979f48d47b?source=post_stats_page-------------------------------------">NLP 入門 (2) Text Classification (Sentiment Analysis) — 進階情感分類器 Word2Vec + RNN (GRU)</a></p><p>如果想直接看Word2Vec 請跳過下一節直接到下面 Word2Vec 的部分 （直接跳到更下面的三個點處）。</p><h3>在電腦中，如何表達詞的「意義」</h3><h3>1. Wordnet (方法一)：</h3><p>wordnet 是普林斯頓大學開發的一套英語字典，可以藉由nltk來使用：</p><pre>import nltk<br>from nltk.corpus import wordnet as wn<br>nltk.download(&#39;wordnet&#39;)<br>poses = {&#39;n&#39;:&#39;Noun&#39;, <br> &#39;v&#39;:&#39;Verb&#39;, <br> &#39;s&#39;:&#39;Adj (s)&#39;, <br> &#39;a&#39;:&#39;Adj&#39;, <br> &#39;r&#39;:&#39;Adv&#39;}<br>for synset in wn.synsets(&#39;good&#39;):<br> print(&quot;{}: Synonyms: ({}), Definition: {}&quot;.format(poses[synset.pos()],&quot;, &quot;.join([l.name() for l in synset.lemmas()]), synset.definition()))</pre><p>輸出（擷取部分輸出）：</p><pre>Adj (s): Synonyms: (adept, expert, good, practiced, proficient, skillful, skilful), Definition: having or showing knowledge and skill and aptitude</pre><h4>1.2 wordnet缺少了什麼？</h4><ol><li>缺少細節的差異：在 good 的同義詞裡面包括了 proficient ，但這個不是所有的情況下都成立</li><li>缺少了新詞的更新：wicked, badass, ninja 這些詞在 wordnet 裡面都是查不到的，字典開發的速度很難跟上我們發明詞的速度</li><li>帶有主觀性</li><li>需要人為的標記及調整</li><li>無法精確計算詞之間的相似度</li></ol><h3>2. 用離散(One-hot)的方式表示詞 (方法二)：</h3><p>在傳統的NLP之中，用離散符號來表示詞（word）是最常見的，單詞可以用<a href="https://en.wikipedia.org/wiki/One-hot">one-hot vector</a> 的方式來被表示：</p><p>motel = [0, 0, 0, 1, 0, 0]</p><p>hotel = [0, 0, 1, 0, 0, 0]</p><p>這個 one-hot vector 的維度就是所有詞彙 (vocabulary) 的數量。如果我們要表達五萬 (50,000) 個單詞，那麼這個 one-hot vector 就會是五萬維 (50,000 d) 的向量。</p><h4>2.2 用離散(one-hot) vector的壞處：</h4><p>在搜尋 ”Seattle hotel” (西雅圖酒店)的時候，我們也會希望找到 “Seattle motel” (西雅圖汽車旅館)，但由於這兩個詞使用 one-hot encoding 所產生的向量 (vector) 是正交的 (orthogonal) ，因此 one-hot vector 和 wordnet 一樣，無法精確的計算詞之間的相似度（任兩不同詞的相似度都會為0）</p><h3>3. 用上下文 (Word2Vec) 的方式表示詞 (方法三)：</h3><p>核心概念就是：<strong>分布語意</strong>，<strong><em>一個詞的語意是被其他鄰近且一起出現的詞所定義</em></strong>，這個概念奠定了現代NLP。</p><p>當一個詞出現的時候，它的上下文就是一定距離內的詞。（這個距離又被稱為 window size）</p><p>一個詞會出現在不同的上下文之中，所以用這很多不同的上下文，來定義當前的詞 w:</p><blockquote>… in the family pension system, five-day <strong>banking</strong>, allocation of staff welfare fund based on operating profits …</blockquote><blockquote>Europe’s main <strong>banking</strong> regulator is trying to clear the path for mergers between…</blockquote><p>有了這個概念以後，我們就可以用banking的上下文來代表banking。</p><h4>3.2 詞向量(word vector/embedding)</h4><p>我們會為單詞建立一個向量，因為建構的方式是依照“上下文”，因此較為類似的上下文，就會產生較為相似的詞向量。</p><p>banking = [0.286, 0.792, -0.177, 0.109, -0.542, 0.349, 0.271]</p><p>註：word vector 又被稱為 word embedding 或者 word representation，它們是“分佈式”的表達方法 ( one-hot vector 是離散式 )</p><h3>Word2Vec</h3><p><a href="https://arxiv.org/abs/1301.3781">Word2Vec</a>是2013年所提出，一套學習詞向量的框架。</p><h4>核心概念 (這邊看不懂沒關係，下面會有更詳細的例子說明)：</h4><ol><li>我們有大量的語料 (corpus)</li><li>每個單詞都被用一個向量 (vector) 來表示</li><li>迭代所有的位置 t 的詞，這個 t 有一個中心詞 c (banking)和一堆外圍上下文 o (turning, into, crises, as).</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/883/0*lQ5NvZctaVCasvyR.png" /><figcaption>Word2Vec 核心概念(3)示意圖</figcaption></figure><p>4. 用詞向量的相似度來計算</p><p>4.1 給定中心詞 c，特定距離內出現上下文 o 的機率(skip-gram)</p><p>4.2 也可以計算給定特定上下文 o， 中心詞 c 出現的機率(continuous bag of words, cbow)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/227/1*AUPJc90FV93STQq91nR3Iw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/278/1*30sVKBTv9n336MjJSvu9bQ.png" /><figcaption>Word2Vec 核心概念(4) <a href="https://arxiv.org/pdf/1301.3781.pdf">https://arxiv.org/pdf/1301.3781.pdf</a></figcaption></figure><p>上述的(1), (2)可能都不難理解，但是(3)可能需要額外的說明: 迭代所有的位置 t 的詞，這個 t 有一個中心詞 c (banking)和一堆外圍上下文 o (turning, into, crises, as).</p><p>當 into 為中心詞，window size = 2時，problems, turning, banking, crises就是上下文 o</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/812/1*CyV29OYwBTP-6Hhuubr6qA.png" /><figcaption>Center word = into, Window size = 2 (Skip-gram)</figcaption></figure><p>當 t = t + 1，中心詞從 into 變為 banking，turning, into, crises, as 就是上下文o</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/853/1*R2eHMB2q_v9BZLmxeNd25w.png" /><figcaption>Center word = banking, Window size = 2 (Skip-gram)</figcaption></figure><p>聽起來很美好，上面這個用 center word 來預測上下文就是 Word2Vec 核心概念(4)所提到的 Skip-Gram，如果反過來用上下文來預測 center word 就是 <br>B̵E̵R̵T̵ ，不對，是 Continuous Bag of Words (CBOW)。</p><h3>Skip-Gram</h3><p>由於 CBOW 和 skip-gram 的原理非常類似（回顧一下：skip-gram 是利用當前單詞，來預測上下文， CBOW 則是利用上下文來預測當前單詞），所以接下來的篇幅只會探討 skip-gram。對於沒有心力看 Word2Vec 原始 paper 的人，如果英文能力夠的話，非常推薦<a href="http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/">這篇blog</a>。</p><p>相較於訓練 Skip-gram 所提出的技巧 (tricks)， Skip-gram 本身是一個相對簡單的model架構 (和 BERT, XLNET 等最新的NLP model 相比而言)，它的原理其實和 autoencoder 有點類似，autoencoder的補充：</p><h4>什麼是 Autoencoder?</h4><p>Autoencoder 常常會在影像處理中被用到，(自己對影像處理比較不熟，是透過李宏毅老師的<a href="https://www.youtube.com/watch?v=Tk5B4seA-AU">這個影片</a>才有粗淺的理解)。Autoencoder 是一種 unsupervised learning 的方法，可以檢驗你的 network 有沒有學到好的 feature ，簡而言之就是將輸入資料(input data)， 經過 encoder encoding 之後（在影像處理中 encoder 和 decoder 通常是卷積神經網路(CNN)）壓縮成一個 code，再把這個 code 餵給 decoder 去 decode，而輸入和輸出越接近，代表你的 encoder 有學到好的 feature。且通常 hidden layer (Code)的維度會比 input layer 小得多，因而達到降維(dimension reduction)和學習特徵的效果。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/724/0*LEiOslPsAKaGyYUd.PNG" /><figcaption><a href="https://towardsdatascience.com/applied-deep-learning-part-3-autoencoders-1c083af4d798">Autoencoder</a></figcaption></figure><h4>Skip-Gram 是要完成什麼樣的任務？</h4><p>這個任務是這樣的：給定一個句子中的單詞， Skip-gram 要回答我們，我們如果從靠近該單詞的上下文隨機選一個詞，它的分布機率應該長什麼樣子？</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/598/0*053CiXPGdNNyYgsl" /><figcaption><a href="http://mccormickml.com/assets/word2vec/skip_gram_net_arch.png">Skip-gram 架構</a></figcaption></figure><blockquote>那麼這樣的一個網路架構，到底要怎麼訓練呢？輸入和輸出要是什麼才能學習到好的參數？</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/0*QR15uznaSQLGPrU6.png" /><figcaption><a href="http://mccormickml.com/assets/word2vec/training_data.png">Skip-gram training data preparation (Windows size = 2)</a></figcaption></figure><p>假設我們今天有一句子： The quick brown fox jumps over the lazy dog. 我們可以將這個句子處理，然後產生右手邊的 training samples。再把這些 samples 丟給 model 訓練，我們可以想見的是在我們有大量資料的時候 Soviet (蘇維埃) 會較常跟 Union (聯合) 一起出現（蘇聯），而不是跟像 banana 這類較不相關的單字一起出現，所以 skip-gram 預測出來的機率分佈就會如下。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PaKy0MNNTx6zaqDlA_tyhA.png" /><figcaption>Skip-gram 架構範例</figcaption></figure><h4>Skip-gram 細節：</h4><p>如果到這裡都還算理解的話，我覺得你對 Word2Vec 已經有最初步的理解了，將注重在更多細節的部分，所以如果覺得比較晦澀難懂，請原諒我文字表達的能力。首先，我們知道 neural network 是不能直接拿文字 (text) 來訓練的，必須要是數值的資料，為了方便說明，我將採用 one-hot encoding 的方式將文字轉成向量(vector)<em>（我在cs224的課程筆記中是寫，利用random weights，在原始 paper 我也沒看到究竟是使用 one-hot encoding還是 random weights，有待看過 word2vec C 版本的大神解惑）。</em></p><p>以 one-hot encoding來說，如果我們有 10,000 個單字，我們就就要用 10,000維的向量來表示所有的單詞：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*W2hK8yX-67c-jgMfbwQn8g.png" /><figcaption><a href="http://mccormickml.com/assets/word2vec/skip_gram_net_arch.png">Skip-gram 架構</a></figcaption></figure><p>假設今天我們要使用的 hidden layer 有 300 個神經元（這個參數是可以調整的），可以想像我們是要用這300個特徵（feautre）來學習詞向量（word vectors）。</p><p>我們都知道 neural network之中， weighs 的數量就是前一層的數量乘以後一層的數量，所以 Input Vector 和 Hidden Layer Linear Neurons 之間共有 10000 * 300 個參數，你有兩個角度可以來看這三百萬個參數：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/782/0*T6VOW34X3XQKcvQ8.png" /></figure><p>這三百萬個參數，可以是 input layer 到 hidden layer 的 weights（以column 來看的話），也可以是 input layer 的 word vector 的查詢表格或是 feature（以 row 來看的話）。我自己本身在這個地方卡了大約十分鐘，好好的想清楚 neural network 運算的規則，你就可以過關了！</p><p>過關了以後，還有一件事情我們漏掉了，剛剛有提到我們的輸入是 one-hot encoding 的結果：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/621/0*mrFvrP_X5qEXsRNd.png" /><figcaption><a href="http://mccormickml.com/assets/word2vec/matrix_mult_w_one_hot.png">One-hot vector calculation</a></figcaption></figure><p>對照上面的 10,000 * 300 大矩陣來看，我們 input layer 到 hidden layer 真的只是查詢大矩陣某一 row 的值而已。hidden layer 的輸出就是 input layer 的 “word vectors”。那這個 word vectors 到底是怎麼學習到的？參數是怎麼更新的？別急我們先看看 output layer!</p><h4>Output Layer的細節</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*n8y_H_6PtdQl4So0wf-zXg.png" /><figcaption><a href="http://mccormickml.com/assets/word2vec/skip_gram_net_arch.png">Skip-gram 架構</a></figcaption></figure><p>假設我們的 input 是 10,000 維的 one-hot vector “ant”， 經由 hidden layer 之後會被轉化為300維的 word vector，最後的 softmax 只是把這 300 維的 word vector 轉換成 0~1 之間的數值，且所有的 output neuron的值相加為 1 。</p><h3>模型參數計算：</h3><p>Input layer -&gt; Hidden layer= 10, 000 * 300 = 3,000,000</p><p>Hidden layer -&gt; Output layer = 10,000 * 300 = 3,000,000</p><p>當輸入 10,000 個單詞，中間層 (Hidden layer) 有 300 個 neuron 時，總共的參數就有六百萬 (6,000,000) 個。雖然這個參數在現在看起來沒有特別的離譜，以 BERT 來說， BERT-base 有著 110,000,000 個參數，但在 Word2Vec 提出的時空背景下，我們依舊覺得電腦不可能比人類更會下圍棋，當時最新的顯示卡是 GTX 780。而且這僅僅是納入了 10,000 個單詞去訓練，skip-gram 參數的數量也會隨著單詞量的增加而呈線性成長。</p><p>在 Word2Vec 原始論文 <a href="https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf/"><em>Distributed Representations of Words and Phrases<br>and their Compositionality</em></a><em> </em>之中，提出了兩種方法來減少訓練的參數</p><ol><li>Hierarchical Softmax： 其中又利用到了 Huffman tree 的一些概念，且最後實驗結果是 Negative sampling 有著更好的結果，所以我就不多做闡述，有興趣的人可以參考<a href="http://cpmarkchang.logdown.com/posts/276263--hierarchical-probabilistic-neural-networks-neural-network-language-model">這篇文章</a>。</li><li>Negative Sampling：</li></ol><h4>Negative sampling:</h4><p>回想一下為什麼參數會這麼多，因為假設今天我們有一組訓練資料 (Soviet, Union) 來訓練 skip-gram，input 為 Soviet，output 為 Union 的 那格 neuron 會被期望要輸出為 1 ，以上述的例子來說我們有 10,000 個單字，所以其他 9999 個單詞的參數也要被更新（期望輸出為 0），這樣的更新很直觀，但真的太耗時了，為什麼我們不挑幾個出來更新就好呢？我們可以想像成參數更新可以切成兩個部分：</p><p>第一部分：Positive 的參數更新</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iO3v_cjAzs3vnVl1uHoDJQ.png" /><figcaption>Positive 參數更新</figcaption></figure><p>第二部分 ：Negative 的參數更新（全部更新）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-_gOlHwk8ALyPVczejw13g.png" /><figcaption>（原始）Negative 參數更新</figcaption></figure><p>第二部分進階版：Negative 的參數更新（抽樣更新）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CYCu5VR_ms9FK-DH7Unwig.png" /><figcaption>(Sampled) Negative 參數更新</figcaption></figure><p>但可以藉由抽樣 (sampling) 來大大減少參數的更新，只更新那些被抽到的單字 (上圖為 ability)。</p><p>補充一下：這些參數更新的機制叫做<a href="https://zh.wikipedia.org/wiki/%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E7%AE%97%E6%B3%95">反向傳播 ( Backpropagation )</a>，如果還不是很清楚 Backpropagation，<a href="https://www.youtube.com/watch?v=Ilg3gGewQ5U">這個youtube影片</a>做了非常棒的視覺化效果，希望能夠幫助你理解。</p><p>在原始論文中提到，在較小資料集 (dataset) 時，通常會 sampled 5 ~ 20 個反例 (negative sample)，如果擁有較大的資料集， 3~5 個反例也許是不錯的選擇，至於這些反例則是從單詞的分佈來抽樣，就是根據該單詞<em>出現的頻率</em>，<em>高頻的單字也相對容易被抽中</em>，<a href="https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf">論文中</a>(p.4中段)有提出具體的公式，我在這裡就不再贅述。</p><h4>其他訓練 Word2Vec 的 tricks</h4><p>其實到現在我們算是理解了整套的 Word2Vec 訓練流程，剩下的技巧我認為都只是錦上添花，讓這個模型學得更好而已。</p><ol><li>Subsampling of Frequent Words (對常見單詞進行向下採樣)：減少高頻單詞出現的頻率，可以讓整個模型學得更好、更均衡。</li><li>Learning Phrases （學習片語）：將常見片語 (Artificial Intelligence) 組合成一個 token，就可以學到 Artificial Intelligence 的詞向量 (word vector)。</li></ol><h3>總結</h3><p>藉由訓練 Skip-gram 或是 CBOW 這樣的模型，竟然可以得到中間副產品 (word vector) ，驚不驚喜？意不意外！</p><p>假設現在有「兩個」擁有類似上下文的單詞 ，我們的 skip-gram 模型就要有類似的輸出，有一種方法可以迫使模型產生類似的輸出：</p><blockquote>模型對這兩個單詞產生類似的 word vector</blockquote><p>你可以預期到，聰明跟聰慧會有著非常類似的上下文，所們他們將有著類似的 word vector，在英文之中 ant 和 ants 也通常會有著類似的上下文，所以 word2vec 還可以學習到 <a href="https://zh.wikipedia.org/wiki/%E8%AF%8D%E5%B9%B2%E6%8F%90%E5%8F%96">stemming</a> (超出本文範圍)。</p><p>感謝您願意花寶貴的時間來閱讀，接下來我會再寫一篇有關 word2vec的應用，來看看這個玩意兒可以在哪些地方發揮巧妙的用處！</p><h4>延伸閱讀：</h4><h4><a href="https://medium.com/p/5a0754c5cb09?source=post_stats_page---------------------------">NLP 專欄 (1–2) — 如何訓練自己的 word2vec</a>,</h4><h4><a href="https://medium.com/p/1979f48d47b?source=post_stats_page-------------------------------------">NLP 入門 (2) Text Classification (Sentiment Analysis) — 進階情感分類器 Word2Vec + RNN (GRU)</a></h4><p>參考資料</p><ol><li>Stanford CS224N 講義 (關於 word vectors)：<a href="http://web.stanford.edu/class/cs224n/slides/cs224n-2020-lecture01-wordvecs1.pdf">http://web.stanford.edu/class/cs224n/slides/cs224n-2020-lecture01-wordvecs1.pdf</a></li><li>關於 Word2Vec介紹的 Blog (英文): <a href="http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/">http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/</a></li><li>Stanford CS224N 課程影片 (關於 word vectors)：<br><a href="https://www.youtube.com/watch?v=8rXD5-xhemo&amp;list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z">https://www.youtube.com/watch?v=8rXD5-xhemo&amp;list=PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z</a></li><li>Word2Vec 第一篇主論文：<a href="https://arxiv.org/pdf/1301.3781.pdf">https://arxiv.org/pdf/1301.3781.pdf</a></li></ol><p>如果覺得這篇文章有幫助的話，請幫我鼓掌囉！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3775c7f7d5ba" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[NLP 入門(1–2) Stop words]]></title>
            <link>https://sfhsu29.medium.com/nlp-%E5%85%A5%E9%96%80-1-2-stop-words-da3d311d29bc?source=rss-b1ba19a272b8------2</link>
            <guid isPermaLink="false">https://medium.com/p/da3d311d29bc</guid>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[stop-word]]></category>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[bag-of-words]]></category>
            <dc:creator><![CDATA[Gary Hsu]]></dc:creator>
            <pubDate>Fri, 02 Aug 2019 12:48:51 GMT</pubDate>
            <atom:updated>2022-04-01T02:06:39.993Z</atom:updated>
            <content:encoded><![CDATA[<p>本篇文章的<a href="https://colab.research.google.com/drive/1YJilDpeTi8TOo12BkT_FkuU-CKjhWmw7">colab 連結</a>在這</p><h4>前言：</h4><p>繼上一篇: <a href="https://medium.com/@sfhsu29/nlp-%E5%85%A5%E9%96%80-1-text-classification-sentiment-analysis-%E6%A5%B5%E7%B0%A1%E6%98%93%E6%83%85%E6%84%9F%E5%88%86%E9%A1%9E%E5%99%A8-bag-of-words-naive-bayes-e40d61de9a7f">NLP入門 Bag of words + Naive Bayes Classifier</a>，文中我有提到一些可以增進 NLP model 的效能的方法，由於篇幅的關係我就拆來這一篇講，希望能幫助大家更了解NLP，如果對 bag of words (詞袋) 沒有那麼熟悉的話，建議可以回到<a href="https://medium.com/@sfhsu29/nlp-%E5%85%A5%E9%96%80-1-text-classification-sentiment-analysis-%E6%A5%B5%E7%B0%A1%E6%98%93%E6%83%85%E6%84%9F%E5%88%86%E9%A1%9E%E5%99%A8-bag-of-words-naive-bayes-e40d61de9a7f">第一篇文章</a>（看前半部就好，Naive Bayes 的細節不會在這篇出現）</p><h3>Stop words</h3><p>講到 Stop words 時我們不妨從這個 bag of words (bow) 的例子來看看，其中我們可以發現（下圖）右手邊中出現了諸如 the, who, and, it, to, a, for 這些單字，可以推測的是，在每篇文章中這些單字（定冠詞、介系詞、代名詞）都會是高頻單字，因此似乎沒什麼必要保留這些不「太」帶有資訊的單詞。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t09Tx19wKCNOHFFgCY_YoQ.png" /><figcaption>Bag of words (Bow)</figcaption></figure><h3>有哪些stop words?</h3><p>在NLP 兩大library: spaCy 和 NLTK之中都各自提供了stop words的列表，取得的方法分別是：</p><h3>spaCy:</h3><p>如果尚未安裝 spaCy:</p><pre># 利用 conda 安裝 spaCy<br>conda install -c conda-forge spacy</pre><pre># spaCy 安裝完是一個空殼，要用它 model 裡面的功能必須先下載 model<br>python -m spacy download en_core_web_sm</pre><ol><li>spaCy 本身是一個空殼，直到 load model 之後才能存取 model 的內容（更多spaCy的細節: <a href="https://spacy.io/usage/models">https://spacy.io/usage/models</a>）</li><li>將spaCy model之中，英文的stop words抓出來：</li></ol><pre>import spacy<br><br>nlp = spacy.load(&#39;en_core_web_sm&#39;)<br>spacy_stopwords = spacy.lang.en.stop_words.STOP_WORDS<br>print(&#39;spaCy has {} stop words&#39;.format(len(spacy_stopwords)))<br>print(&#39;The first five stop words are {}&#39;.format(list(spacy_stopwords)[:5]))</pre><h4>結果：</h4><pre>spaCy has 326 stop words <br>The first five stop words are [‘if’, ‘put’, ‘’ve’, ‘how’, ‘all’]</pre><h3>NLTK</h3><p>如果尚未安裝 NLTK:</p><pre>conda install -c anaconda nltk</pre><ol><li>NLTK 在第一次存取 stop words 時，也需要下載</li><li>下載完之後，就可以取得NLTK提供的 stop words 列表, 更多關於 NLTK stop words 的細節 <a href="https://gist.github.com/sebleier/554280">https://gist.github.com/sebleier/554280</a></li></ol><pre>import nltk</pre><pre>nltk.download(&#39;stopwords&#39;)</pre><pre>nltk_stopwords = nltk.corpus.stopwords.words(&#39;english&#39;)</pre><pre>print(&#39;NLTK has {} stop words&#39;.format(len(nltk_stopwords)))</pre><pre>print(&#39;The first five stop words are {}&#39;.format(list(nltk_stopwords)[:5]))</pre><h4>結果</h4><pre>NLTK has 179 stop words <br>The first five stop words are [‘i’, ‘me’, ‘my’, ‘myself’, ‘we’]</pre><p>可以發現，在不同library之中會有不同的stop words，現在就來把<a href="https://colab.research.google.com/drive/1YJilDpeTi8TOo12BkT_FkuU-CKjhWmw7#scrollTo=6X9lncieoY0_&amp;line=2&amp;uniqifier=1">stop words 從IMDB的例子之中移出吧(Colab link)</a>！</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/824/1*4qQs5LZ60_bpTc8GYJE4jg.png" /><figcaption>整理之後的 IMDB Dataset</figcaption></figure><p>我將提供兩種實作方法，並且比較兩種方法的性能。</p><h4>1. 平鋪直敘的寫法:</h4><pre>1. 將整個dataframe iterate一遍<br>2. 當前這一列(row)的 text 取出，並使用word_tokenize來將整段文章轉換成 list of words<br>3. 如果這個 word 不在 spacy_stopwords裡面，就append進list之中<br>4. 利用 ‘ ‘.join(word list) 將 word list 轉換回string<br>5. 在 imdb_df 之中建立一個新的column，並把剛剛的結果assign給這個新的column</pre><pre>import nltk, time<br>from nltk import word_tokenize</pre><pre>nltk.download(‘punkt’)<br>start = time.time()<br>spacy_rmsw_result = []</pre><pre>for index, row in list(imdb_df.iterrows()): # 1<br>    word_vector = []<br>    for word in word_tokenize(row[‘text’]): # 2<br>        if word not in spacy_stopwords: # 3<br>            word_vector.append(word)<br>    spacy_rmsw_result.append(‘ ‘.join(word_vector)) # 4</pre><pre>imdb_df[‘spacy_rmsw_text’] = spacy_rmsw_result # 5<br>print(“Finish remove stop words from {} example in {} seconds “.format(len(imdb_df), time.time() — start))</pre><h4>結果：</h4><pre>Finish remove stop words from 25000 example in 56.4 seconds</pre><h4>2. 使用dataframe之中apply的寫法:</h4><pre>1. imdb_df[&#39;text&#39;].apply將每個row的text值分別取出</pre><pre>2. apply(lambda x: rmsw_function(x, spacy_stopwords)) 這邊可以拆解成<br>    - 將imdb_df[&#39;text&#39;] 取出，當作lambda function的 x<br>    - 然後丟進 rmsw_function 得到ruturn的值<br>    - 然後放到 imdb[&#39;spacy_rmsw_text_fancy&#39;]之中</pre><pre>import time <br>from nltk.tokenize import word_tokenize<br>start = time.time()</pre><pre>def rmsw_function(text, stopword_list):<br>    return &#39; &#39;.join([word for word in word_tokenize(text) if word not in stopword_list])</pre><pre>imdb_df[&#39;spacy_rmsw_text_fancy&#39;] = imdb_df[&#39;text&#39;].apply(lambda x: rmsw_function(x, spacy_stopwords))</pre><pre>print(&quot;Finish remove stop words from {} example in {} seconds&quot;.format(len(imdb_df), time.time() - start))</pre><h4>結果：</h4><pre>Finish remove stop words from 25000 example in 51.26 seconds</pre><p>雖然和上面平鋪直敘的方式寫起來效能沒有差很多（5秒，約10%），但我認為有三個理由會讓 data scientist 想把這 “pythonic” 的方式學起來：</p><ul><li>可以不用再有額外的list [spacy_rmsw_result] 來儲存結果</li><li>可以加快10%的速度</li><li><strong>最重要的一點：很潮、很潮、很潮</strong></li></ul><h4>3. 殺手鐧：使用sklearn內建的功能</h4><p>如果覺得自己一列一列把 stop words 取出來很麻煩，有一個小訣竅就是使用 Sklearn 之中 <a href="https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html">CountVectorizer</a>(stop_words=’english’)，偉哉sklearn：</p><pre>from sklearn.feature_extraction.text import CountVectorizer</pre><pre>vectorizer_rmsw = CountVectorizer(stop_words=&#39;english&#39;)</pre><pre>raw_sklearn_text = vectorizer_rmsw.fit_transform(imdb_df[&#39;text&#39;])</pre><p>上面那些 fancy 不 fancy 的方法都沒有這個 fancy，但別急著罵髒話，後面的例子會告訴你，根據不同 library (spaCy, NLTK, sklearn)提供的 stop words 列表，也會影響我們 model 的效能（一點點）！</p><h3>來測試一下 Stop words是否對效能有影響吧？</h3><h4>1. 首先我們要像<a href="https://medium.com/@sfhsu29/nlp-%E5%85%A5%E9%96%80-1-text-classification-sentiment-analysis-%E6%A5%B5%E7%B0%A1%E6%98%93%E6%83%85%E6%84%9F%E5%88%86%E9%A1%9E%E5%99%A8-bag-of-words-naive-bayes-e40d61de9a7f">上篇</a>一樣，使用 bag of words (詞袋)的方式來將文字轉換成 Machine learning model 可讀的「數值」：</h4><pre>from sklearn.feature_extraction.text import CountVectorizer<br>vectorizer = CountVectorizer()</pre><pre>raw_text = vectorizer.fit_transform(imdb_df[&#39;text&#39;])<br>rmsw_text = vectorizer.fit_transform(imdb_df[&#39;spacy_rmsw_text&#39;])</pre><h4>2. 再將 raw text 餵給我們貪吃的 Naive Bayes Model：</h4><p>（這邊我使用了 cross validation，之後會再寫一篇來補充，總之就是將data 切分成 training data, validation data, 然後 cv = 4 代表做四次， n_jobs = -1 代表使用所有處理器）</p><pre>from sklearn.model_selection import cross_val_score<br>from sklearn.naive_bayes import MultinomialNB<br>import numpy as np</pre><pre>MNB = MultinomialNB()</pre><pre>score_raw = cross_val_score(MNB, raw_text, imdb_df[&#39;label&#39;], cv = 4, n_jobs = -1)</pre><pre>print(&#39;The average accuracy &quot;without&quot; remove stop words is {}&#39;.format(np.mean(score_raw)))</pre><h4>結果:</h4><pre>The average accuracy &quot;without&quot; remove stop words is 0.8488</pre><h4>3. 也將 rmsw_text （remove stop words) 餵給同樣的 Naive Bayes Model:</h4><pre>from sklearn.model_selection import cross_val_score<br>from sklearn.naive_bayes import MultinomialNB<br>import numpy as np</pre><pre>MNB = MultinomialNB()</pre><pre>score_rmsw = cross_val_score(MNB, rmsw_text, imdb_df[&#39;label&#39;], cv = 4, n_jobs = -1)</pre><pre>print(&#39;The mean accuracy &quot;with&quot; remove stop words from &quot;spaCy&quot; is {}&#39;.format(np.mean(score_rmsw)))</pre><h4>結果:</h4><pre>The mean accuracy &quot;with&quot; remove stop words from &quot;spaCy&quot; is 0.86<br>The mean accuracy &quot;with&quot; remove stop words from &quot;NLTK&quot; is 0.8591<br>The mean accuracy &quot;with&quot; remove stop words from &quot;sklearn&quot; is 0.8574</pre><p>發現最好的結果（使用 spaCy stop words 列表）增加了1.12%的正確率。</p><h3>結語</h3><p>至於有一些觀點說明 remove stop words 會影響效能，例如：</p><pre>This is not a great movie (negative)<br>This is a great movie (positive)</pre><p>由於 This, is, not, a 都是 stop words 所以這兩句話會變成</p><pre>great movie (positive)<br>great movie (positive)</pre><p>也許這是一個極端的例子，大部分的情況 remove stop words 會讓 model 更專注在訊息量較大的單詞，那究竟要不要 remove stop words 呢？我個人的建議是交給資料（data）來決定吧！如果這個例子之中 remove stop words是有提升 model 正確率的話，何必跟正確率過不去。</p><p>如果覺得這篇文章對你有幫助的話，再麻煩幫我鼓掌囉！如果有什麼疑問也歡迎留言或者 E-mail 我討論: sfhsu29@gmail.com</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=da3d311d29bc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[NLP 入門 (1) — Text Classification (Sentiment Analysis) — 極簡易情感分類器 Bag of words + Naive Bayes]]></title>
            <link>https://sfhsu29.medium.com/nlp-%E5%85%A5%E9%96%80-1-text-classification-sentiment-analysis-%E6%A5%B5%E7%B0%A1%E6%98%93%E6%83%85%E6%84%9F%E5%88%86%E9%A1%9E%E5%99%A8-bag-of-words-naive-bayes-e40d61de9a7f?source=rss-b1ba19a272b8------2</link>
            <guid isPermaLink="false">https://medium.com/p/e40d61de9a7f</guid>
            <category><![CDATA[naive-bayes]]></category>
            <category><![CDATA[sentiment-analysis]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[bag-of-words]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[Gary Hsu]]></dc:creator>
            <pubDate>Sat, 27 Jul 2019 13:06:01 GMT</pubDate>
            <atom:updated>2020-08-19T02:07:29.351Z</atom:updated>
            <content:encoded><![CDATA[<h3>NLP 入門 (1) — Text Classification (Sentiment Analysis) — 極簡易情感分類器 Bag of words + Naive Bayes</h3><p>使用到的函式庫(Libraries): pandas, scikit-learn.</p><h3><strong>碎念：</strong></h3><p>因為最近從 ULMFiT, BERT, XLNet 論文地獄中解救出來，就不禁想起當初是怎麼接觸到Natural Language Processing (NLP)的，適逢 NLP 的 model 們有逐漸統一的趨向，從以前的百家爭鳴到現在 Language Model + Fine-tuning 的大架構逐漸完整 (現在不知道Language Model 這些是什麼沒關係)，我認為現在是入門NLP最好的時機，因為相對來說，要讀的論文從2017年的<a href="https://arxiv.org/abs/1706.03762">Attention Is All You Need</a> 開始就好， 所以幾篇論文的進度就可以讓你成為現在很棒的NLP專家。因此我的文章將會從最簡單的 bag-of-words 談論到最近2019.06才提出的XLNet，藉由把自己的理解寫下來，如果有讀者有任何疑問的地方也都歡迎隨時提出交流。</p><p>我當初入門NLP是在就讀研究所時修了Machine Learning的課，當時老師介紹了Naive Bayes 這個 model 糊裡糊塗地實作了一個 spam classifier (垃圾郵件分類器)，當初覺得自己的分類器可以達到 95.2% 的準確率就很厲害，後來學了現在的model基本上都是直接碾壓…，廢話不多說直接切入正題吧。</p><h3><strong>什麼是詞袋(Bag-of-words)?</strong></h3><p>如果我們要讓機器學習如何對<strong>影評</strong>，或者<strong>餐廳評論</strong>做分類（正面、負面），第一個出現在我們眼前的問題是：</p><p>機器要怎麼看懂文字？ ”這部電影真好看“，“這部電影甘納賽(像大便)”，這類文字要怎麼轉成機器可讀的模式呢？「快樂」、「難過」在機器眼中不過是0101的ASCII組合。</p><p>第一種方法就是詞袋(Bag of words)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ns1YWa4cU78B2bpkSOky7w.png" /><figcaption>詞袋：Bag-of-words</figcaption></figure><h4><strong>詞袋的特性：</strong></h4><blockquote>所有下面的程式碼都在我的<a href="https://colab.research.google.com/drive/14HcWVXEQ8OwUuNLcYWg0ZDT1RtpMVl7b#forceEdit=true&amp;offline=true&amp;sandboxMode=true&amp;scrollTo=TYy3vLk2FJqB">colab</a></blockquote><p>一、每篇文章/評論，會用一個一維的vector來表示，每個vector的長度就是全部詞彙的總數（有點抽象沒關係，等等會有程式碼來幫你釐清觀念）</p><p>二、文字之間的順序在詞袋之中無法被保存。</p><p>三、文字之間的「意義」沒有被保存，「貓」和「狗」以及「貓」和「飛機」，貓和狗應該是較為相似的，但在詞袋之中也沒辦法體現這種「距離」的概念（到下一篇word-embedding就會提到解決方法）。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/ba16130872f941aa5ddd95983599e842/href">https://medium.com/media/ba16130872f941aa5ddd95983599e842/href</a></iframe><p>Features: （總共單字的數量，也會是文字向量的長度）</p><pre>[‘and’, ‘document’, ‘first’, ‘is’, ‘one’, ‘second’, ‘the’, ‘third’, ‘this’]</pre><p>Values:</p><pre>#原句：&#39;This is the first document.&#39;<br>[[0 1 1 1 0 0 1 0 1]# document, first, is, the, this</pre><pre>#原句：&#39;This document is the second document.&#39;<br>[0 2 0 1 0 1 1 0 1] # document*2, is, second, the ,this</pre><pre>#原句：&#39;And this is the third one.&#39;<br>[1 0 0 1 1 0 1 1 1] # and, is, one, the, third, this</pre><pre>#原句：&#39;Is this the first document?&#39;<br>[0 1 1 1 0 0 1 0 1]]# document, first, is, the, this</pre><p>在<a href="https://colab.research.google.com/drive/14HcWVXEQ8OwUuNLcYWg0ZDT1RtpMVl7b#scrollTo=wN2taWylhhrw">Colab</a>之中我也寫了很簡短的code(炫技)，來轉成pandas中的Dataframe。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/970/1*7ulGaaYKbaTvuqbhApYrLA.png" /></figure><p>值得注意的是第一個句子和第二個句子開頭的This 都是大寫，但這邊<a href="https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html">Countvectorizer</a> 已經自動把它們小寫化了，經過查文件以後發現Countvectorizer有一個參數是lowercase，默認值是True，如果有認為大小寫會影響的效能的話，只要在CountVectorizer初始化時多放一個參數lowercase=False就搞定啦，還希望大家可以自己多做實驗來比較效能，因為很多情況都是根據個案的效能而做調整的。</p><p>在進入Naive Bayes之前，再複習一下詞袋的特性：</p><p>一、每篇文章/評論/句子 （你可以任意切分）都被用一維的vector來表示，每個vector的index就代表特定的單字。</p><p>二、文字之間的順序經由詞袋之後就無法保存了，也許這也是為什麼循環神經網路(RNN)，「曾經」在 Natural Language Processing (NLP)叱吒風雲。（這邊我埋了兩個伏筆一個是RNN，最快會在下一篇blog講到，其次是「曾經」，最快會在第四篇(BERT)的時候講到）</p><p>三、文字之間的「距離」無法被體現，詞袋出來的結果只會是該單字出現幾次，僅此而已。</p><blockquote>「錢，不是問題」、「不，錢是問題」會被轉換成完全相同的 vector。</blockquote><p>詞袋到這邊算是簡單的告一個段落了，我們已經將純文字轉換成這些0101的詞向量(word vector)features，有了features之後下一步是什麼呢？<strong>丟到model，丟到model，丟到model。</strong></p><h3>什麼是Naive Bayes?</h3><p>將文字向量化(Vectorize)之後，下一步就是開心地丟到gradient boosting???（在做kaggle的練習的時候，常常不知道該選擇什麼model，就會胡亂選boosting類的model），但這邊要介紹的是除了詞袋（bag of words）之外，這篇文章第二個主角 Naive Bayes classifier(單純貝氏分類器)，在介紹這個model怎麼使用之前，我覺得還是有必要介紹一下什麼是貝氏定理：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/218/0*Stj7mNazeEwL7qjR" /><figcaption>貝氏定理<a href="https://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86">轉自wikipedia</a></figcaption></figure><p>用白話文分解這個公式：</p><p><em>P : 機率</em></p><p><em>A|B : 已知 B發生的情況下，發生 A</em></p><p><em>P(A|B): 已知 B發生的情況下，發生 A 的條件機率</em></p><p><em>P(B|A): 已知 A發生的情況下，發生 B 的條件機率</em></p><p>從條件機率的定義中我們可以知道：</p><p>(1)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/170/0*wQba5NQ6TDo9nVkE" /><figcaption>條件機率<a href="https://zh.wikipedia.org/wiki/%E6%9D%A1%E4%BB%B6%E6%A6%82%E7%8E%87">轉自wikipedia</a></figcaption></figure><p><em>P (A ∩ B)： A 和 B 同時發生的機率</em></p><p>(2) 相反也成立：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/174/0*zFoKQ7h-Y_htk1Jz" /><figcaption>條件機率<a href="https://zh.wikipedia.org/wiki/%E6%9D%A1%E4%BB%B6%E6%A6%82%E7%8E%87">轉自wikipedia</a></figcaption></figure><p>首先把 (1) 同乘以 P(B):</p><p>P(A | B) * P(B) = <em>P (A ∩ B)</em> …(3)</p><p>接著把 (2) 同乘以 P(A)</p><p>P(B | A) * P(A) = <em>P (A ∩ B)</em>…(4)</p><p>把 (3) (4) 合併</p><p>P(A | B) * P(B) = <em>P (A ∩ B) = </em>P(B | A) * P(A)</p><p>保留最左邊和最右邊：</p><p>P(A | B) * P(B) = P(B | A) * P(A)</p><p>同除以 P(B) 就得到貝氏定理的公式：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/218/0*Stj7mNazeEwL7qjR" /><figcaption>貝氏定理<a href="https://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86">轉自wikipedia</a></figcaption></figure><p>如果對機率有更多興趣，都請參考<a href="https://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86">wikipedia</a>, 還有<a href="https://www.idomaths.com/zh-Hant/probability5.php">這篇</a>很棒的文章。</p><h3><strong>Naive Bayes Classifier真實應用：</strong></h3><p>假設今天我們要分析影評的評價，讓機器告訴我們這則影評究竟是正面(positive)或者是負面(negative)，這個貝氏定理要怎麼幫助我們呢？以下例子的說明我都盡量用中文來方便說明，但是最後的<a href="https://colab.research.google.com/drive/14HcWVXEQ8OwUuNLcYWg0ZDT1RtpMVl7b">colab程式實作</a>我仍會以英文<a href="http://ai.stanford.edu/~amaas/data/sentiment/aclImdb_v1.tar.gz">IMDB影評</a>這個資料集來做分析。</p><p>假設我們今天有3筆被標籤過的影評資料，我們想預測第四筆未知的影評，一起來在腦中建立一個 Naive Bayes Classifer吧！</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/66fe05c7aef9f9ad90a0e38e0217f8c3/href">https://medium.com/media/66fe05c7aef9f9ad90a0e38e0217f8c3/href</a></iframe><h4>根據貝氏定理：</h4><p>從上面三個有標記的訓練資料我們可以得到以下的：</p><p>P(正面 | 這): 在出現”這”以後，影評是”正面”的條件機率，</p><p>P(正面 | 一部): 在出現”一部”以後，影評是”正面”的條件機率，</p><p>這些有什麼用呢？</p><p>Naive Bayes 就是建立在一個”Naive”的假設之下，它假設所有的詞出現的機率，彼此之間是獨立的（很重要，如果沒有這個假設 Naive Bayes 就不成立），所以今天我們想根據已有標籤的資料，來預測「我覺得這部電影真的很好看」是屬於正面還是反面的評論：</p><ol><li>P(正面 |我覺得這部電影真的很好看) ＝ P(正面 | 我)<strong> *</strong> P(正面 | 覺得) <strong>*</strong> P(正面 | 這部) <strong>*</strong> P(正面 | 電影) <strong>*</strong> P(正面 | 真的) <strong>*</strong> P(正面 | 很) <strong>*</strong> P(正面 | 好看)</li><li>P(負面 |我覺得這部電影真的很好看) ＝ P(負面 | 我) <strong>*</strong> P(負面 | 覺得) <strong>*</strong> P(負面 | 這部) <strong>*</strong> P(負面 | 電影) <strong>*</strong> P(負面 | 真的) <strong>*</strong> P(負面 | 很) <strong>*</strong> P(負面 | 好看)</li></ol><p>因為詞之間出現的機率彼此之間是獨立的，才能用相乘。藉由比較 (1), (2) 我們就可以判斷究竟「我覺得這部電影真的很好看」是正面的評價，還是負面的評價。那麼問題就來了，等號後面那一長串要怎麼求呢？ 根據貝氏定理我們知道：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/400/1*2MdFVrS1doqE6rC0QmXFaw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/400/1*JjVRgusVEWawaV7wID_E1A.png" /></figure><p><strong>Naive Bayes</strong>在實作的時候有<strong>兩個細節</strong>需要注意，原本只是想介紹比較粗略的概念，沒想到這裡也碰到了這個問題。</p><p>一、在預測的時候發現到在training data<strong>沒有出現過的單字/詞</strong>：</p><p>複習一下我們的資料集：</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/66fe05c7aef9f9ad90a0e38e0217f8c3/href">https://medium.com/media/66fe05c7aef9f9ad90a0e38e0217f8c3/href</a></iframe><p>仔細觀察可以發現，「<strong>我</strong>」這個字/詞 並沒有出現在任何正面和負面的例子中。（只有在要預測的例子之中出現）</p><p>P(我 | 正面) 會讓整串條件機率都為0 ( 0 * P(正面 | 覺得) * P(正面 | 這部) * P(正面 | 電影) * P(正面 | 真的) * P(正面 | 很) * P(正面 | 好看) = 0)所以整串文字屬於正面和負面的機率會一樣。</p><p>很顯然的這不是我們想要的結果，因為除了這個我們沒有遇過的單字之外，這串影評還有很多有用的信息，可是卻被一顆老鼠屎毀了。要怎麼解決這問題呢？其實也很簡單，就是使用smoothing，<strong>假設這個字/詞至少出現了1次</strong>，(<a href="https://en.wikipedia.org/wiki/Additive_smoothing">更多smoothing細節</a>，下文也會有更完整的說明)，當然這些處理細節在sklearn實作的時候，都已經幫我們處理掉了。偉哉sklearn！</p><p>二、在長文件的時候會出現<strong>underflow</strong>的現象：</p><p>機率的定義就是 0 ≤ P ≤ 1，因此在文章很長的時候，會出現很多小於1的數值相乘，造成的結果會是一個很小很小的數字，甚至有可能小於電腦浮點數運算的最小時，也就會等於0，也可以在python 視窗試試看這個運算0.1 ** 500 看看答案是多少 (0)。 很直觀的解決方法就是取log，</p><p>在我看來可以取log來解決這個問題有兩個原因，其一：log 0 的地方也被我們 smooth 巧妙的避免了，所以不會有無法定義的地方 （log 0 = undefined）。再者：在 0 &lt; X ≤ 1，X 和 log X 有著相同的趨勢（突然忘了數學特別的名詞）， X 越大 log X 也越大， X 越小 log X也越小。</p><p>記得在取log之後，運算時機率之間的相乘要記得改成相加，才能真正有效避免underflow。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/225/0*JCpWwCh7V_L0kZw_" /><figcaption>Log和差公式，<a href="https://zh.wikipedia.org/wiki/%E5%AF%B9%E6%95%B0">取自維基百科</a></figcaption></figure><p>會遇到的問題都解決了那就開始來建一個人腦Naive Bayes Classifier吧！</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/66fe05c7aef9f9ad90a0e38e0217f8c3/href">https://medium.com/media/66fe05c7aef9f9ad90a0e38e0217f8c3/href</a></iframe><p>所有屬於正面的詞：（這）、（真的）、（是）、（一部）、（好看）、（的）、（電影）、（好看）、（的）、（電影）、（你）、（絕對）、（不會）、（想）、（錯過）</p><p>總共有15個詞</p><p>所有屬於負面的詞：（爛透）、（的）、（電影）、（不要）、（浪費）、（你）、（的）、（時間）</p><p>總共有8個詞</p><p>要比較的是：</p><p>(1) P(正面 | 我覺得這部電影真的很好看) =</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*XkmiFPJ535gU0eMADPpESA.png" /></figure><p>(2) P(負面｜我覺得這部電影真的很好看) =</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*RmiCpTY_Gsh0cPGiNEqvsA.png" /></figure><p>畫紅線是因為，我們最終目的只是要比較 (1) (2)，他們有同樣的分母，所以可以同乘以 P(我) * P(覺得) * …. * P(好看) 來把它們消掉。</p><p>先算正面的機率： P(正面 | 我覺得這部電影真的很好看) =</p><p>P(我 | 正面) * P(覺得 | 正面) * P(這部 | 正面) * P(電影 | 正面) * P(真的 | 正面) * P(很 | 正面) * (好看 | 正面) * P(正面)⁷</p><pre>= P(我 | 正面) = 0 + 1/ 15 + 1 = 原本出現0次，smooth之後分子變成1次，原本正面的單詞總共有15的smooth之後分母也+1 所以就是 1/16</pre><pre>P(覺得 | 正面) = 0 + 1 / 15 + 1 = 1/16 *</pre><pre>P(這部 | 正面) = 0 + 1 / 15 + 1 = 1/16 *</pre><pre>P(電影 | 正面) = 2 + 1 / 15 + 1 = 3/16 *</pre><pre>P(真的 | 正面) = 1 + 1 / 15 + 1 = 2/16 *</pre><pre>P(很 | 正面) = 0 + 1 / 15 + 1 = 1/16 *</pre><pre>P(好看 | 正面) = 2 + 1 / 15 + 1 = 3/16 *</pre><pre>P(正面)⁷ = (2/3)⁷ = 0.0585</pre><pre>= 0.000016075102881</pre><pre>= 1.6075102881e-05</pre><p>再算正面的機率： P(負面 | 我覺得這部電影真的很好看) =</p><p>P(我 | 負面) * P(覺得 | 負面) * P(這部 | 負面) * P(電影 | 負面) * P(真的 | 負面) * P(很 | 負面) * (好看 | 負面) * (1/3)⁷ =</p><pre>P(我 | 負面) = 0 + 1/ 8 + 1 = 1/9</pre><pre>P(覺得 | 負面) = 0 + 1 / 8 + 1 = 1/9 *</pre><pre>P(這部 | 負面) = 0 + 1 / 8 + 1 = 1/9 *</pre><pre>P(電影 | 負面) = 1 + 1 / 8 + 1 = 2/9 *</pre><pre>P(真的 | 負面) = 0 + 1 / 8 + 1 = 1/9 *</pre><pre>P(很 | 負面) = 0 + 1 / 8 + 1 = 1/9 *</pre><pre>P(好看 | 負面) = 0 + 1 / 8 + 1 = 1/9 *</pre><pre>P(負面)⁷ = (1/3)⁷= 0.000457247370828</pre><pre>= 0.000000001720783</pre><pre>= 1.720783e-09</pre><h3>結果：</h3><p>可以比較正面與反面的機率，得到1.6075102881e-05 &gt; 1.720783e-09的結論，所以機器會認為「我覺得這部電影真的很好看。」屬於正面！從這個例子之中也可以觀察到，正面和負面的訓練資料只分別有16和9個詞，可是計算出來的機率已經非常小，當今天訓練資料上萬筆的時候，<strong>underflow</strong>(小到被電腦誤以為是0)是不可避免的，因此再來計算一次log的版本，看看是不是能得到一樣的結果（正面機率 &gt; 負面機率）？</p><p>log(P(正面 | 我覺得這部電影真的很好看) ) = log(P(我 | 正面) )+…+log(P(好看 | 正面))</p><p>= log(1/16) + log(1/16) + log(1/16) + log(3/16) + log(2/16) + log(1/16) + log(3/16) + 7*log(2/3)</p><p>= -8.40620</p><p>log(P(負面| 我覺得這部電影真的很好看) ) = log(P(我 | 負面) )+…+log(P(好看 | 負面))</p><p>= log(1/9) +log(1/9) + log(1/9) + log(2/9) + log(1/9) + log(1/9) + log(1/9) + 7 * log(1/3)</p><p>= -9.71851</p><p>可得到相同的結論，Naive Bayes 在實作上來說非常簡單，只要把詞袋的結果再丟給Sklearn 內建的Naive Bayes模型就好：基本上四行code就搞定：</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/37da98af2229202a0428ddac1ac516ed/href">https://medium.com/media/37da98af2229202a0428ddac1ac516ed/href</a></iframe><p>可以發現Naive Bayes的計算我們以人腦都能完成，電腦再處理25,000則 IMDB影評也在很短的時間內就完成。</p><p>下圖比較了 Naive Bayes (記作MNB)與其他接下來文章會提到的 Models 在IMDB、Yelp-2、Yelp-5資料集上的效能比較，和其他的Models相比，Naive Bayes的運算速度真的很快，效能也遠比 Support Vector Machine和 Gradient boosting 好得多，但離最先進(State-of-the-art, SOTA) 的Model還是有一定的落差。（接下來的文章就會順著這幾個model的脈絡走下去）</p><p>可以注意到的是MNB有 (rmsw -&gt; Remove Stop words), (TF-IDF 另外一種取代 bag-of-word 的方式)，但由於篇幅關係，我應該會再寫一篇文章來補充關於 Stop words 和 TF-IDF，第一次寫這種文章希望不會太難消化，有什麼問題都歡迎在底下留言或者Email我討論 (sfhsu29@gmail.com)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FUgbW1m7sWjIMF7COiso7A.png" /></figure><p>補充篇: <a href="https://medium.com/@sfhsu29/nlp-%E5%85%A5%E9%96%80-1-2-stop-words-da3d311d29bc">NLP 入門(1–2) Stop words</a></p><p>如果喜歡的話再麻煩幫我鼓掌囉！</p><p>第二篇：<a href="https://medium.com/@sfhsu29/nlp%E5%B0%88%E6%AC%84-1-%E6%B7%BA%E8%AB%87word2vec-3775c7f7d5ba">Word Vector/Word Embedding，如何保留詞之間的相關性</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e40d61de9a7f" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>