<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[數據領航員 - Medium]]></title>
        <description><![CDATA[深入淺出，從綜觀數據、機器學習到深度學習、文字探勘，成為你在數據分析這條道路上的領航員，帶你依序瞭解數據分析的步驟與技巧！ - Medium]]></description>
        <link>https://medium.com/data-science-navigator?source=rss----310560a98483---4</link>
        <image>
            <url>https://cdn-images-1.medium.com/proxy/1*TGH72Nnw24QL3iV9IOm4VA.png</url>
            <title>數據領航員 - Medium</title>
            <link>https://medium.com/data-science-navigator?source=rss----310560a98483---4</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 05:42:16 GMT</lastBuildDate>
        <atom:link href="https://medium.com/feed/data-science-navigator" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Variational Autoencoder]]></title>
            <link>https://medium.com/data-science-navigator/variational-autoencoder-6ec2342e7ad4?source=rss----310560a98483---4</link>
            <guid isPermaLink="false">https://medium.com/p/6ec2342e7ad4</guid>
            <category><![CDATA[autoencoder]]></category>
            <category><![CDATA[variational-autoencoder]]></category>
            <category><![CDATA[vae]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[generative-model]]></category>
            <dc:creator><![CDATA[Yasmine Cheng]]></dc:creator>
            <pubDate>Fri, 07 Jul 2023 09:11:02 GMT</pubDate>
            <atom:updated>2023-07-07T09:11:02.465Z</atom:updated>
            <content:encoded><![CDATA[<p><em>主編／</em><a href="https://medium.com/@yascheng"><em>鄭雅綿</em></a><em> ；校稿／</em><a href="https://medium.com/@xs950179"><em>王常在</em></a></p><h4>目錄</h4><p>◈ <a href="#b8a9">前言</a><br>◈ <a href="#3e99">Autoencoder介紹</a><br>◈ <a href="#0238">Variational Autoencoder介紹</a><br>◈ <a href="#5b44">參考資料</a></p><h4>前言</h4><p>Variational Autoencoder（VAE）主要是由Autoencoder（AE）變形而來，而AE也還有許多一系列的變化，例如Sparse Autoencoder（SAE）、Denoising Autoencoder（DAE）、Variational Graph Autoencoder（VGAE）等，筆者有找到一篇滿詳細的<a href="#8459">差別介紹文</a>，會放在參考文章中的第一篇，讀者若有興趣可以參考。</p><p>總之大方向的概念就是<strong>AE會嘗試將資料壓縮，保留較具特徵點的部分，並再從中解壓縮，讓輸出盡可能的接近原始輸入</strong>。</p><p>本篇著重在介紹概念，帶讀者瞭解基本的模型建構。VAE在<a href="https://keras.io/examples/generative/vae/">Keras的官網上</a>也有介紹，並一起附上<a href="https://arxiv.org/pdf/1906.02691.pdf">論文著作</a>讓讀者可以參閱～～</p><h4>Autoencoders介紹</h4><p>首先，本篇文章要介紹的重點VAE是由AE模型所奠定出來的，因此先帶讀者理解什麼是AE。</p><p>AE是一種非監督式的多層深度神經網絡演算法，主要的目的是會對輸入的資料進行表徵學習（representation learning），並且讓output跟input具有相同的意義。</p><p>✏︎表徵學習（representation learning）：減少對於特徵工程的依賴，而是增加自動化特徵萃取的功能。可以理解為並非找到要預測的答案，而是找到一個預測、表達的方法。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Bx0alTbFDZYisVTHDR0hrA.jpeg" /><figcaption><a href="https://alu2019.home.blog/2021/05/07/math-ai-variational-autoencoder-vae-bian-fen-zi-b/">Math AI — Variational Autoencoder (VAE) 變分自編碼器</a></figcaption></figure><p>由上圖所示，AE可分成Encoder（編碼器）及Decoder（解碼器）兩神經網絡，Encoder需要壓縮資料，並盡可能地保持最完整的訊息量 ; Decoder則是進行解壓縮，並最小化解壓縮時的重構誤差。</p><p>而好的AE是需要對input夠敏感，幫助最後的資料重構（讓output越接近input），同時又不能讓input過度敏感，最後只記得趨勢又會造成overfitting的問題。</p><h4>Variational Autoencoders介紹</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*laJhnm5JgRepz_QG4SPt7Q.jpeg" /><figcaption><a href="https://alu2019.home.blog/2021/05/07/math-ai-variational-autoencoder-vae-bian-fen-zi-b/">Math AI — Variational Autoencoder (VAE) 變分自編碼器</a></figcaption></figure><p>讀者可以比較一下兩模型的架構，其實差別就只有VAE在Encoder的部分增加了一些數學運算，而這樣的處理是為了達到最後模型的生成遵從高斯分佈，也就是說AE無法達到最後資料生成的效果，但VAE可以。我們也可以說VAE其實就是AE的正規化版本，可以避免overfitting的狀況。</p><p>從數學運算的式子中，可以發現input會在Encoder時進行兩部分的運算，一是進行平均數，二者是進行標準差後再經過指數函數，最後再將兩者進行相加。</p><p>也因為VAE有在Encoder上加入這些數學運算，讓VAE及AE的Encoder/Decoder有類型上的不同，VAE是屬於probabilistic的（概率的） ; AE是屬於deterministic的（確定的）。可以想像成是數值型與類別型的差異，例如同樣是表達天氣狀況，probabilistic會表示今日下雨的機率是70%，deterministic會表示今日是雨天。</p><p>至於為什麼VAE具有生成資料的功能呢？是因為VAE 可以解讀隱含向量中的每一個維度代表的意思，因此理想上是可以調整想要生成的資料。下圖是<a href="https://arxiv.org/pdf/1906.02691.pdf">An Introduction to Variational Autoencoders</a>論文中提到的生成圖片例子，輸入了某位女性微笑的照片後，產出了其他五張更開心或是相對不悅的表情。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iuA1oV-V46W7VzCek3nGNw.png" /><figcaption><a href="https://arxiv.org/pdf/1906.02691.pdf">An Introduction to Variational Autoencoders</a></figcaption></figure><p>生成資料時，會從latent space中（圖中紅色的部分）隨機採樣來生成，生成數據的質量與相關性是取決於latent space的規律性：</p><ol><li>input的分佈</li><li>latent space的維度</li><li>encoder的架構</li></ol><p>以上就是VAE模型架構、原理的介紹~希望大家對其概念有初步的了解了~</p><h4>參考資料</h4><ul><li><a href="https://iq.opengenus.org/types-of-autoencoder/">Different types of Autoencoders</a></li><li><a href="https://alu2019.home.blog/2021/05/07/math-ai-variational-autoencoder-vae-bian-fen-zi-b/">Math AI - Variational Autoencoder (VAE) 變分自編碼器</a></li><li><a href="https://towardsdatascience.com/understanding-variational-autoencoders-vaes-f70510919f73">Understanding Variational Autoencoders (VAEs)</a></li><li><a href="https://www.jeremyjordan.me/variational-autoencoders/">Variational autoencoders.</a></li><li><a href="https://www.jeremyjordan.me/autoencoders/">Introduction to autoencoders.</a></li><li><a href="https://zeotap.com/blog/probabilistic-vs-deterministic/">Probabilistic vs Deterministic Data: What&#39;s the Difference?</a></li></ul><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊： <a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6ec2342e7ad4" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/variational-autoencoder-6ec2342e7ad4">Variational Autoencoder</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[0集成學習-Ensemble Learning]]></title>
            <link>https://medium.com/data-science-navigator/0%E9%9B%86%E6%88%90%E5%AD%B8%E7%BF%92-ensemble-learning-f575461889bd?source=rss----310560a98483---4</link>
            <guid isPermaLink="false">https://medium.com/p/f575461889bd</guid>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Po-Kai Huang]]></dc:creator>
            <pubDate>Fri, 24 Mar 2023 09:19:25 GMT</pubDate>
            <atom:updated>2023-03-24T09:50:33.356Z</atom:updated>
            <content:encoded><![CDATA[<h3>集成學習-Ensemble Learning</h3><p><em>主編 / 黃柏愷 ; 共同編寫 / </em><a href="https://medium.com/@yascheng"><em>鄭雅綿</em></a></p><p>目錄<br><strong>◎</strong><a href="#962c">甚麼是 Ensemble Learning ?</a><br><strong>◎</strong> <a href="#37bf">Bagging (Bootstrapped Aggregation) 自助重抽總合法</a><br><strong>◎</strong> <a href="#74a8">Boosting 推升法</a><br><strong>◎</strong> <a href="#d30b">Stacking 堆疊法</a><br><strong>◎</strong> <a href="#1518">Patch Learning 區域學習</a><br><strong>◎</strong> <a href="#2948">結語</a><br><strong>◎</strong> <a href="#23ad">參考文章</a></p><h4>甚麼是 Ensemble Learning ?</h4><p>在機器學習中，模型單獨運行的成效可能不佳，這時候我們可能就得更多個模型來協助完成任務。集成學習 (<em>Ensemble Learning</em>) 又稱為整體學習、整合學學習，是以一種有系統的方式將多個監督式模型結合在一起，希望透過多個模型產出更強大的一個模型。在很多情況下，集成學習模型能非常有效提高準確率。</p><p>根據集成的方式不同，主要可以分成以下四類。</p><ol><li><em>Bagging (Bootstrapped Aggregation)</em></li><li><em>Boosting</em></li><li><em>Stacking</em></li><li><em>Patch Learning</em></li></ol><h4>Bagging (Bootstrapped Aggregation) 自助重抽總合法</h4><p>Bagging 指的是我們將訓練資料進行隨機抽樣以產生多組不同的訓練資料，並且使用多個模型進行預測，如下圖為 Bagging 之架構。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/454/0*KmjDM3SIkF2pPJLc.png" /></figure><p>大多時候我們會傾向使用多個同樣的機器學習模型，尤其是未經過整理的 Decision tree (決策樹) ，並將先前切分好的訓練資料丟進模型裡面，最後由所有模型進行投票或是平均來產生結果。</p><h4>Boosting 推升法</h4><p>Boosting 主要是想透過更多的機器學習模型，來修正已訓練模型的結果。例如第二個模型會修改第一個模型的預測結果，而第三個模型則會修改第二個模型的預測結果。</p><p>在 Boosting 方法進行中，訓練資料會保持相同，並運用預測結果對特定資料進行增加或減少權重後放入下一個模型當中。目標是希望訓練後，新的模型在遇到這些較難預測的資料時可以表現得更好。我們會不斷的重複這些步驟，不斷地增加模型，並且新的模型會將過去表現不好的地方改善。</p><p>Boosting 中每一個模型都是有關聯的，將每一個模型預測完成後才會有下一個模型的生成。代表的方法有 AdaBoost, Gradient Boosting 以及 XGBoost，這些方法都是產生非常多棵的樹，但每棵都是簡單的 Decision Tree，最終將所有 Decision Tree 的樹結合在一起才能產出最後的預測。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/498/0*CSHVaQ6WVIQXF1Uy.png" /></figure><h4>Stacking 堆疊法</h4><p>Stacking 一樣是由多個模型組成，但是與 Boosting 和 Bagging 不同的地方是，每個模型可以選擇相同或不同的演算法，例如第一個模型選擇的演算法為 Logistic Regression 而第二個模型為選擇的演算法為 Decision Tree。訓練完多個模型後，我們要將這些模型合併在一起。合併的方式是另外訓練一個模型，這個模型把前面所有模型的輸出當成輸入，並產生出最終預測結果。</p><p>常見的方法有 Stacked Models (canonical stacking)， Blending 以及 Super Ensemble，下圖為 Stacking 之架構。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/450/0*ftW6-iNLMQRh424l.png" /></figure><h4>Patch Learning 區域學習</h4><p>Patch Learning 能夠有效的掌握表現不佳的區間，經過訓練一個全域的模型後透過一個機器學習模型找出誤差大的 Patch，透過多個斷點的學習我們會得到 Global Model，Patch 1 Model，Patch 2 Model … Patch n Model。</p><p>Patch Learning 主要包括三個部分</p><p>給定 Patch Model 要被訓練的次數 L</p><ol><li>使用所有訓練資料訓練一個初始的全域模型</li><li>挑出較難預測的資料，再放入個別 Patch (總共會有一開始給定的訓練次數 L 個)進行區域訓練</li><li>從訓練資料中移除放入個別 Patch 的訓練資料，再用剩下的訓練資料來更新全域模型</li></ol><p>當輸入資料時，先判斷這個輸入是不是在 Patch 模型中，是則執行 Patch 模型，不是則執行更新後的全域模型，以下是 Patch Learning 的架構圖。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/568/1*fDcSrIcEKuJo5SbbN1AbHQ.png" /></figure><h4>結語</h4><p>當你建立單獨運行模型成效不好時，可以考慮使用 Ensemble Learning，將多個模型組合在一起，由多個模型進行投票或是取平均產出的結果往往能提升預測成效，文中提及的方法是目前主要使用的幾種 Ensemble Learning 的方法，選擇哪一個方法還需要視實際情況而定！</p><h4>參考資料</h4><p><a href="https://machinelearningmastery.com/tour-of-ensemble-learning-algorithms/">A Gentle Introduction to Ensemble Learning Algorithms — MachineLearningMastery.com</a></p><p>Patch Learning 論文 : <a href="https://arxiv.org/pdf/1906.00158.pdf">1906.00158.pdf (arxiv.org)</a></p><p><a href="https://ithelp.ithome.com.tw/articles/10271882">[Day 13] 整體學習 (Ensemble Learning) — iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天 (ithome.com.tw)</a></p><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊：<a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f575461889bd" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/0%E9%9B%86%E6%88%90%E5%AD%B8%E7%BF%92-ensemble-learning-f575461889bd">0集成學習-Ensemble Learning</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[模型評估指標：迴歸]]></title>
            <link>https://medium.com/data-science-navigator/%E6%A8%A1%E5%9E%8B%E8%A9%95%E4%BC%B0%E6%8C%87%E6%A8%99-%E8%BF%B4%E6%AD%B8-cbe1fa5561b6?source=rss----310560a98483---4</link>
            <guid isPermaLink="false">https://medium.com/p/cbe1fa5561b6</guid>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[linear-regression]]></category>
            <category><![CDATA[summarization]]></category>
            <category><![CDATA[evaluation]]></category>
            <dc:creator><![CDATA[Yasmine Cheng]]></dc:creator>
            <pubDate>Fri, 24 Mar 2023 09:18:44 GMT</pubDate>
            <atom:updated>2023-03-24T09:18:44.389Z</atom:updated>
            <content:encoded><![CDATA[<p><em>主編／</em><a href="https://medium.com/@yaszh"><em>鄭雅綿 </em></a><em>；校稿／</em><a href="https://medium.com/@xs950179"><em>王常在</em></a></p><h4>目錄</h4><p>◎ <a href="#8046">前言</a><br>◎ <a href="#51e8">為什麼有那麼多評估指標？</a><br>◎ <a href="http://#d15a">驗證指標介紹</a><br> ◉ <a href="#e22a">MAE 平均絕對誤差</a><br> ◉ <a href="#4d1e">MAPE 平均絕對百分比誤差</a><br> ◉ <a href="#2508">MSE 均方誤差</a><br> ◉ <a href="#8bf7">MSLE 均方對數誤差</a><br> ◉ <a href="#d826">RMSE 均方根誤差</a><br> ◉ <a href="#bee9">RMSLE 均方根對數誤差</a><br> ◉ <a href="#4344">R² R平方</a><br> ◉ <a href="#e293">SSE 殘差平方和</a><br> ◉ <a href="#1e56">SSR 迴歸平方和</a><br> ◉ <a href="#c950">TSS 總平方和</a><br>◎ <a href="#038e">結語</a><br>◎ <a href="#90bc">參考文章</a></p><h3>前言</h3><p>在『任務分類、訓練測試集』的文章中我們有提到機器學習的任務是如何分類的，包含監督及非監督式學習，另外監督式學習又可再分成迴歸及分類的任務 ; 而『模型評估指標：分類』的文章中介紹了監督式學習中分類任務常使用的評估指標。此篇文章主要著重在監督式學習的另一種任務 — 迴歸常使用的評估指標。</p><h3>為什麼有那麼多評估指標？</h3><p>在分類任務中時常會使用的指標有Accuracy準確率、Recall召回率及Precision精確率來評斷模型的好壞，但迴歸任務不使用這些指標的原因是預測出的結果為<strong>連續型的數值</strong>，相對離散型預測並不適用。在分類任務中，只要<strong>預測出的結果和真實值相同的比例越高</strong>，模型的表現被認為越好 ; 在迴歸模型中，<strong>預測出的結果和真實值的差異越低，兩者越接近</strong>，模型的表現被認為越好。</p><p>迴歸任務中也會因真實使用場域有所不同，可依據定義出的問題決定使用何種驗證指標更為合適。</p><h3>驗證指標介紹</h3><p>以下將介紹常用的迴歸模型指標公式及特點。</p><h4>MAE 平均絕對誤差(Mean Absolute Error)</h4><pre>        1      n<br>MAE = ----- *  Σ  |Yi - Ŷi|<br>        n     i=1</pre><p>✑ 說明：預測值和實際值之間的絕對誤差的平均值。與平均誤差相比，平均絕對誤差會因為誤差被絕對值化，不會出現正負相抵消的情況，因此，平均絕對誤差相較平均誤差能更好地反映預測值誤差的實際情況。</p><p>✑ 缺點：較易受資料點的值大小分佈所影響，無法直接從指標值判斷預測結果的好壞。</p><p>✑ 範圍：&gt;= 0，0表最好狀況。</p><pre>from sklearn.metrics import mean_absolute_error<br>y_true = [3, 0.5, 2, 7]<br>y_pred = [2.5, 0.0, 2, 8]<br>print(&quot;mae：&quot;, mean_absolute_error(y_true, y_pred))<br>&gt;&gt;&gt; 0.5</pre><h4>MAPE 平均絕對百分比誤差(Mean Absolute Percentage Error)</h4><pre>         1      n<br>MAPE = ----- *  Σ  |(Yi - Ŷi)/Yi|*100<br>         n     i=1</pre><p>✑ 說明：實際值和預測值間百分比誤差的絕對值，並對值進行平均。指標值越低的值表示預測越精確。因已取過百分比，並不會因為資料點的直大小分佈所影響，判斷預測結果較易(判斷優劣的尺度相同)。</p><p>✑ 缺點：</p><ol><li>在誤差的懲罰上是有偏見的，因有絕對值得關係，對負的懲罰會大於對正的懲罰。</li><li>需考慮分母可能為0的狀況，會導致某資料點的懲罰無法納入考量。</li></ol><p>✑ 範圍：正常為0~1間，0表最好狀況，但指標也有可能超過1，表示預測狀況極差。</p><pre>from sklearn.metrics import mean_absolute_percentage_error<br>y_true = [3, 0.5, 2, 7]<br>y_pred = [2.5, 0.0, 2, 8]<br>print(&quot;mape：&quot;, mean_absolute_percentage_error(y_true, y_pred))<br>&gt;&gt;&gt; 0.3273809523809524</pre><h4>MSE 均方誤差(Mean Square Error)</h4><pre>       1     n<br>MSE = --- *  Σ  (Yi - Ŷi)²<br>       n    i=1</pre><p>✑ 說明：實際值和預測值之間差的平方和取平均。因有平方， 若預測值與真實質誤差太大，懲罰也會相對嚴重(e.g.離群值…)， 因此適合梯度計算。也因為是平方的計算，並不會考慮誤差的方向。</p><p>※梯度下降法：往局部最小值靠近，透過不斷調整方向求出最佳解。缺點為局部最小值不一定為全局最小值，且求導效能不佳。若想閱讀更詳細的教學文章，可參考<a href="https://medium.com/data-science-navigator/%E6%A8%A1%E5%9E%8B%E8%A9%95%E4%BC%B0%E6%8C%87%E6%A8%99-%E5%88%86%E9%A1%9E-568b62b10671">模型評估指標：分類</a>。</p><p>✑ 缺點：</p><ol><li>和MAE有相同的問題，較易受資料點的值大小分佈所影響，無法直接從指標值判斷預測結果的好壞。</li><li>若模型預測時，在少數資料點上的預測表現極差，因平方效果會放大該錯誤，但實際情況我們可能不是這麼在意這些極端值，甚至會直接做排除。</li></ol><p>✑ 範圍：&gt;= 0，0表最好狀況。</p><pre>from sklearn.metrics import mean_squared_error<br>y_true = [3, 0.5, 2, 7]<br>y_pred = [2.5, 0.0, 2, 8]<br>print(&quot;mse：&quot;, mean_squared_error(y_true, y_pred))<br>&gt;&gt;&gt; 0.375</pre><h4>MSLE 均方誤差(Mean Square Log Error)</h4><pre>        1  n<br>MSLE = -  Σ (log (yi + 1) − log (ŷi + 1))²<br>        n i=1</pre><p>✑ 說明：對數轉換後的實際值和預測值之間差的平方和取平均。預測值和實際值都先+1的是為避免0會無法取對數。因將預測值和實際值都取自然對數後，MSLE能夠對預測值和實際值之間的相對誤差進行更為敏感的評估。相較於MSE，MSLE更能夠有效地反映模型對於大錯誤的敏感度。MSLE 只關心對數轉換後的實際值和預測值之間的百分比差異，不易受到資料點的大小分布影響，小的實際值和預測值之間的小差異視為與大的實際值和預測值之間的大差異大致相同。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x3Q71FETj131GK5NOhc_mg.png" /><figcaption>圖片取自<a href="https://insideaiml.com/blog/MeanSquared-Logarithmic-Error-Loss-1035">Mean Squared Logarithmic Error Loss</a></figcaption></figure><p>✑ 缺點：</p><p>在誤差的懲罰上是有偏見的，指標計算時對預測不足的估計之懲罰會大於預測過高的估計。通常會使用於預測目標呈指數增長的狀況下。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4Dv1u6EQK5bBj0xFYVHhnA.png" /><figcaption>圖片取自<a href="https://insideaiml.com/blog/MeanSquared-Logarithmic-Error-Loss-1035">Mean Squared Logarithmic Error Loss</a></figcaption></figure><p>✑ 範圍：&gt;= 0，0表最好狀況。</p><pre>from sklearn.metrics import mean_squared_log_error<br>y_true = [3, 0.5, 2, 7]<br>y_pred = [2.5, 0.0, 2, 8]<br>print(&quot;msle：&quot;, mean_squared_log_error(y_true, y_pred, squared=True))<br>&gt;&gt;&gt; 0.0490263575494607</pre><h4>RMSE 均方根誤差(Root Mean Squared Error)</h4><pre>           ______________________<br>         /  1      n<br>RMSE =  / ----- *  Σ  (Yi - Ŷi)²)<br>       √    n     i=1</pre><p>✑ 說明：RMSE是透過MSE取平方根獲得，好理解。因為有平方根，不會像MSE懲罰錯誤這麼嚴重。</p><p>✑ 缺點：</p><ol><li>因採實際值與預測值之間差的平方，對於離群職的懲罰還是非常大，但實際情況我們可能不是這麼在意這些極端值，甚至會直接做排除。</li><li>和MSE有相同的問題，較易受資料點的值大小分佈所影響，無法直接從指標值判斷預測結果的好壞。</li></ol><p>✑ 範圍：&gt;=0，0表最好狀況。</p><h4>RMSLE 均方根對數誤差(Root Mean Squared Logarithmic Error)</h4><pre>           ____________________________________<br>          / 1  n<br>RMSLE =  /  -  Σ (log (yi + 1) − log (ŷi + 1))²<br>        √   n i=1</pre><p>✑ 說明：RMSLE是MSLE取平方根獲得。</p><p>✑ 缺點：(和MSLE大同小異)</p><ol><li>因採實際值與預測值之間差的平方，對於離群職的懲罰還是非常大，但實際情況我們可能不是這麼在意這些極端值，甚至會直接做排除。</li><li>和MSE有相同的問題，較易受資料點的值大小分佈所影響，無法直接從指標值判斷預測結果的好壞。特別的地方是 有多MSLE做了平方根，可以稍微解決這個問題。</li></ol><p>✑ 範圍：&gt;= 0，0表最好狀況。</p><pre>from sklearn.metrics import mean_squared_log_error<br>y_true = [3, 0.5, 2, 7]<br>y_pred = [2.5, 0.0, 2, 8]<br>print(&quot;rmsle：&quot;, mean_squared_log_error(y_true, y_pred, squared=False))<br>&gt;&gt;&gt; 0.2214189638433454</pre><h4>R² R平方(R-squared)</h4><pre>     SSR       SSE<br>R² = --- = 1 - ---<br>     TSS       SST</pre><p>✑ 說明：計算實際值的平均變化與預測值誤差的平方之間差。也可應用於模型上，表示模型中因變數的變異有多少部份可以由自變數的變異來解釋，判斷模型的總變異中可被解釋之百分比， 數值越大表示模型的配適度越好，但若數值太高，需特別注意是否有自變數與因變數相似性過高的問題，這樣的模型在預測上 公用並不大。</p><p>✑ 缺點：如果有增加資料點(自變量)的話，判斷係數也會一起增加。資料點的增加也會讓R平方隨之變高，產生模型預測效果好像很好的假象，也因此才出現了Adjusted-R平方。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/710/0*yi69aSVKjFr_SJKh.png" /><figcaption>圖片取自<a href="https://medium.com/qiubingcheng/%E5%9B%9E%E6%AD%B8%E5%88%86%E6%9E%90-regression-analysis-%E7%9A%84r%E5%B9%B3%E6%96%B9-r-squared-%E8%88%87%E8%AA%BF%E6%95%B4%E5%BE%8Cr%E5%B9%B3%E6%96%B9-adjusted-r-squared-f38ad733bc4e">回歸分析(Regression analysis)的R平方(R squared)與調整後R平方(Adjusted R squared)</a></figcaption></figure><p>✑ 範圍：-1&lt;=x&lt;=1，越接近1表預測效果越好，常數模型會得到 0.0。</p><pre>r_square = ssr / sst<br># r_square = 1 - sse / sst<br>print(&quot;r_square：&quot;, r_square)<br>&gt;&gt;&gt; 0.38945888966971187</pre><h4>SSE 和方差、誤差平方和(Error Sum of Squares)</h4><pre>      n    <br>SSE = Σ  (yi - ŷi)²<br>     i=1</pre><p>✑ 說明：殘差平方和是最佳線性函數並不會經過很多資料點，但此指標可以在所有資料點中表現出無法解釋的方差的平方和。</p><p>✑ 範圍：&gt;= 0，0表最好狀況。</p><pre>import numpy as np<br>import statistics<br><br>sse = np.sum(np.add(y_true, y_pred)**2)<br>print(&quot;sse：&quot;, sse)<br>&gt;&gt;&gt; 271.5</pre><h4>SSR 回歸平方和(SSR)</h4><pre>      n    <br>SSR = Σ  (ŷi- ȳ)²<br>     i=1</pre><p>✑ 說明：描述每個變量的預測值與均值之間的差異。</p><p>✑ 範圍：&gt;= 0，0表最好狀況。</p><pre>import numpy as np<br>import statistics<br><br>ssr = np.sum(np.add(y_true, statistics.mean(y_pred))**2)<br>print(&quot;ssr：&quot;, ssr)<br>&gt;&gt;&gt; 173.1875</pre><h4>TSS 總平方和(Total Sum of Squares)</h4><pre>TSS = SSR + SSE = (yi - ȳ)²</pre><p>✑ 說明：計算每個變量與均值之間的平方差。可以得出每變量在平均數附近的變異。總平方和可以輔助評估殘差平方和和迴歸平方和。</p><p>✑ 範圍：&gt;= 0，0表最好狀況。</p><pre>tss = ssr + sse<br>print(&quot;tss：&quot;, tss)<br>&gt;&gt;&gt; 444.6875</pre><h4>結語</h4><p>本篇文章共介紹了10個常用的迴歸模型評估指標，但還是有少許沒提到的部分，只舉例說明較常見的。指標間很多都是相互改良、攪和而成的(? 可評估使用的場合選用適合的。同系列中也有介紹到分類模型的評估指標，若有興趣也可一起閱讀~~</p><h4>參考文章</h4><ul><li><a href="https://www.enjoyalgorithms.com/blog/evaluation-metrics-regression-models">Evaluation Metrics for Regression Models</a></li><li><a href="https://chwang12341.medium.com/machine-learning-%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92%E7%AD%86%E8%A8%98-%E8%A9%95%E4%BC%B0%E8%BF%B4%E6%AD%B8%E6%A8%A1%E5%9E%8B%E7%9A%84%E9%87%8D%E8%A6%81%E6%8C%87%E6%A8%99-%E7%9F%A5%E5%B7%B1%E7%9F%A5%E5%BD%BC%E6%89%8D%E8%83%BD%E6%A7%8B%E5%BB%BA%E5%87%BA%E6%9C%80%E5%A5%BD%E7%9A%84%E8%BF%B4%E6%AD%B8%E6%A8%A1%E5%9E%8B-sse-mse-rmse-r-square-mae-mspe-a9dc8816bb00">Machine Learning — 機器學習筆記 — 評估迴歸模型的重要指標 — 知己知彼才能構建出最好的迴歸模型 — SSE、MSE、RMSE、R-Square、MAE 、MSPE 、…</a></li><li><a href="https://insideaiml.com/blog/MeanSquared-Logarithmic-Error-Loss-1035">Mean Squared Logarithmic Error Loss - InsideAIML</a></li></ul><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊： <a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cbe1fa5561b6" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/%E6%A8%A1%E5%9E%8B%E8%A9%95%E4%BC%B0%E6%8C%87%E6%A8%99-%E8%BF%B4%E6%AD%B8-cbe1fa5561b6">模型評估指標：迴歸</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Linear Regression 線性回歸是什麼?]]></title>
            <link>https://medium.com/data-science-navigator/linear-regression-%E7%B7%9A%E6%80%A7%E5%9B%9E%E6%AD%B8%E6%98%AF%E4%BB%80%E9%BA%BC-4246935eec91?source=rss----310560a98483---4</link>
            <guid isPermaLink="false">https://medium.com/p/4246935eec91</guid>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Benny]]></dc:creator>
            <pubDate>Fri, 24 Mar 2023 09:17:37 GMT</pubDate>
            <atom:updated>2023-03-24T09:17:37.173Z</atom:updated>
            <content:encoded><![CDATA[<pre><strong>目錄<br></strong><a href="#90dd"><strong>一、線性回歸分析簡介</strong></a><strong><br></strong><a href="#8003"><strong>二、實作</strong></a><strong><br></strong><a href="#1a5c"><strong>三、結論</strong></a></pre><p><strong>一、線性回歸分析簡介</strong></p><p><strong>什麼是回歸分析?</strong></p><p>先來看看什麼是線性回歸</p><blockquote><em>Finding the curve that best fits your data is called regression, and when that curve is a straight line, it’s called linear regression.找出符合資料規律的直線，就叫線性迴歸。</em></blockquote><p>回歸分析是一種預測建模技術，它可以被用來研究應變數Y（目標）和自變數X（預測）之間的關係，常見於預測建模、時間序列建模和查找變數間關係等應用。舉個例子，透過回歸分析，我們能得出司機超速駕駛和發生交通事故次數之間的關係。</p><p>它是建模和資料分析的重要工具。回歸分析在圖像上表示為一條努力擬合所有數據點的曲線/線段，它的目標是使資料點和直線間的距離最小化。</p><p>以下面這張圖為範例，這是一張散點圖，上面藍色的點是我們的資料，而紅色那條就是我們的回歸線。y = ax+b則是我們的方程式。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/527/1*i6zV6vH8ujIpSwkId5ku7Q.png" /><figcaption>取自<a href="https://ithelp.ithome.com.tw/articles/10268453">https://ithelp.ithome.com.tw/articles/10268453</a></figcaption></figure><p><strong>為什麼要用回歸分析?</strong></p><p>假設某公司想根據當前的公司狀況估算銷售增長率，而有一份資料表顯示財務增長率會影響銷售增長率。在此基礎上，這間公司就能用資料表的各項資訊預測公司未來銷售狀況。</p><p>除此之外，回歸分析還能揭示同一個變數帶來的不同影響，如價格變動幅度和促銷活動效益有多少。它為市場研究人員/資料分析師/資料科學家構建預測模型提供了評估所用的各種重要變數。</p><p><strong>幾種常見的回歸分析方法</strong></p><p>除了線性回歸之外，其實還有許多不同的回歸種類，像是<strong>線性回歸</strong>、<strong>Logistic回歸、多項式回歸</strong></p><p><strong>1.線性回歸</strong></p><p>這是一種最常見的回歸模型，基本上自變數X是離散型或連續型的，應變數Y是連續型的。</p><p>在一元問題中，回歸線是一條直線，代表整體資料的趨勢。舉例來說，我們今天想用身高去預測體重，這時候我們的x就會是身高，而我們的y就會是體重，而透過這些身高的資料我們就能找到一條回歸線可以符合這些資料的趨勢。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/754/1*s1Q1f8BpEslggYgAvHJwdQ.png" /><figcaption>取自<a href="https://www.finereport.com/tw/data-analysis/7-huigui-ff.html#%E5%B9%BE%E7%A8%AE%E5%B8%B8%E8%A6%8B%E7%9A%84%E5%9B%9E%E6%AD%B8%E5%88%86%E6%9E%90%E6%96%B9%E6%B3%95">https://www.finereport.com/tw/data-analysis/7-huigui-ff.html#%E5%B9%BE%E7%A8%AE%E5%B8%B8%E8%A6%8B%E7%9A%84%E5%9B%9E%E6%AD%B8%E5%88%86%E6%9E%90%E6%96%B9%E6%B3%95</a></figcaption></figure><p><strong>2.Logistic回歸</strong></p><p>Logistic回歸一般用於判斷事件成功/失敗的概率，如果應變數Y是一個二分類（不是0就是1，代表真/假），這時我們就應該用Logistic回歸。此回歸常用於分類問題。舉例來說，現在有一些貓與狗的資料，這時候我們就可以使用logistic 回歸去判斷這是一隻貓(0)或是狗(1)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/794/1*7ImphgVwAGF__Gazs2mqXw.png" /><figcaption>取自<a href="https://www.finereport.com/tw/data-analysis/7-huigui-ff.html#%E5%B9%BE%E7%A8%AE%E5%B8%B8%E8%A6%8B%E7%9A%84%E5%9B%9E%E6%AD%B8%E5%88%86%E6%9E%90%E6%96%B9%E6%B3%95">https://www.finereport.com/tw/data-analysis/7-huigui-ff.html#%E5%B9%BE%E7%A8%AE%E5%B8%B8%E8%A6%8B%E7%9A%84%E5%9B%9E%E6%AD%B8%E5%88%86%E6%9E%90%E6%96%B9%E6%B3%95</a></figcaption></figure><p><strong>3.多項式回歸</strong></p><p>多項式回歸是對線性回歸的延伸。線性回歸是假設自變數和應變數之間存在線性關係y=ax+b，通常只會有一個自變數與應變數。而多項式回歸強調的則是資料間的非線性關係y = a + bx + cx² + … + nx^k，通常涵蓋多個自變量，但要注意的是儘管更高階的多項式回歸可以獲得更低的誤差，但它導致過擬合的可能性也更高。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/765/1*u0qAyq_-U02MTaslFEngHA.png" /><figcaption>取自<a href="https://www.finereport.com/tw/data-analysis/7-huigui-ff.html#%E5%B9%BE%E7%A8%AE%E5%B8%B8%E8%A6%8B%E7%9A%84%E5%9B%9E%E6%AD%B8%E5%88%86%E6%9E%90%E6%96%B9%E6%B3%95">https://www.finereport.com/tw/data-analysis/7-huigui-ff.html#%E5%B9%BE%E7%A8%AE%E5%B8%B8%E8%A6%8B%E7%9A%84%E5%9B%9E%E6%AD%B8%E5%88%86%E6%9E%90%E6%96%B9%E6%B3%95</a></figcaption></figure><pre>繼續閱讀｜<a href="#6dd7">回目錄</a></pre><p><strong>二、實作-使用Python建立線性迴歸資料與預測</strong></p><p>這次實作我們要利用工作經驗的年份去預測薪資，我們將會使用linear regression去做建模。</p><p><strong>準備訓練數據</strong></p><p>首先我們先取得一組工作經驗與薪資的對照表(salary.csv)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/332/1*HuV_18dqNlsfDrQWRtpJcg.png" /></figure><p><strong>匯入套件</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/684/1*gxqliAf1YFwmWS5MxIjAjw.png" /></figure><p><strong>拆分x,y資料</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/404/1*Bb6Hv9VQZ-HsPL8S0OfN0A.png" /></figure><p><strong>拆分訓練集與測試集</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1010/1*HRxzSUJ8JFOjcXoY_AwzTQ.png" /></figure><p><strong>導入線性模型</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/636/1*8GHO-iYJbzflFqDROkaa2w.png" /></figure><p><strong>用測試集資料檢測模型</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/803/1*OsLtkaS9I6HR3EeV3-vw6g.png" /></figure><p><strong>一些檢測模型好壞的指標</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/802/1*oEc8c3YxwjYxFeyxAGwLtw.png" /></figure><p>Coefficients (係數)也就是下方公式B1的部分</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/661/1*03MVRvCvw1Hq94tDMD0F1w.png" /></figure><p>MSE(均方差)通常是越小越好</p><p>Coefficient of determination(決定係數)通常在統計學上叫做R-square，代表x和y的相關性</p><p><strong>用圖說故事</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/679/1*zawNlArlBYRMH3B2pSDKyA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/737/1*lFO6W3Wybv-wXdQ15Xjdig.png" /></figure><p>由此圖可以看出工作經驗與薪水是呈現正相關的</p><pre>繼續閱讀｜<a href="#6dd7">回目錄</a></pre><p><strong>三、結論</strong></p><p>線性回歸分析是一種有效的預測工具，使用 Python 進行線性回歸分析非常簡單方便。</p><p>您可以使用簡單的線性迴歸來建模兩個變數之間的關係，例如：</p><ul><li>降雨量和作物產量</li><li>兒童的年齡和身高</li><li>溫度計中金屬汞的溫度和膨脹</li></ul><pre>繼續閱讀｜<a href="#6dd7">回目錄</a></pre><p><strong>參考資料</strong></p><ul><li><a href="https://medium.com/@gatorsquare/ml-simple-linear-regression-%E7%B0%A1%E5%96%AE%E7%B7%9A%E6%80%A7%E8%BF%B4%E6%AD%B8-59c627734668">Simple Linear Regression （簡單線性迴歸）</a></li><li><a href="https://aws.amazon.com/tw/what-is/linear-regression/">什麼是線性迴歸？ - 線性迴歸模型介紹 - AWS</a></li><li><a href="https://medium.com/%E6%95%B8%E6%93%9A%E5%88%86%E6%9E%90%E4%B8%8D%E6%98%AF%E5%80%8B%E4%BA%8B/%E7%B5%82%E6%96%BC%E6%9C%89%E4%BA%BA%E6%8A%8A%E7%B7%9A%E6%80%A7%E8%BF%B4%E6%AD%B8%E8%AC%9B%E6%98%8E%E7%99%BD%E4%BA%86-b99f4f3dbb5f">終於有人把線性迴歸講明白了！</a></li><li><a href="https://scikit-learn.org/stable/auto_examples/linear_model/plot_ols.html">Linear Regression Example</a></li></ul><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊： <a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4246935eec91" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/linear-regression-%E7%B7%9A%E6%80%A7%E5%9B%9E%E6%AD%B8%E6%98%AF%E4%BB%80%E9%BA%BC-4246935eec91">Linear Regression 線性回歸是什麼?</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[KNN ( classification )]]></title>
            <link>https://medium.com/data-science-navigator/knn-classification-56d3878f40c1?source=rss----310560a98483---4</link>
            <guid isPermaLink="false">https://medium.com/p/56d3878f40c1</guid>
            <category><![CDATA[knn-algorithm]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[knn]]></category>
            <dc:creator><![CDATA[張培莉 Peili]]></dc:creator>
            <pubDate>Fri, 24 Mar 2023 09:17:13 GMT</pubDate>
            <atom:updated>2023-03-24T09:17:13.506Z</atom:updated>
            <content:encoded><![CDATA[<p>K Nearest Neighbor</p><p>經由前面的文章瞭解到<a href="https://medium.com/@bigtree910917/568b62b10671">分類</a>與<a href="https://medium.com/@yascheng/cbe1fa5561b6">回歸</a>模型的評估指標有哪些，接著就讓我們進到機器學習模型的介紹吧！</p><pre><strong>目錄</strong><br>1. <a href="#f2a4">KNN介紹</a><br>2. <a href="#01ee">KNN演算法流程</a><br>  2.1 <a href="#baf4">決定 K 值</a><br>  2.2 <a href="#25d2">計算新樣本與鄰居間的距離</a><br>  2.3 <a href="#1242">新樣本類別預測</a><br>3. <a href="#aad0">參考資料</a></pre><h3>1. KNN 介紹</h3><p>本篇將介紹機器學習中相對單純的一種演算法－KNN ( K Nearest Neighbor, K-近鄰演算法)，KNN 屬於監督式學習並可用於分類及回歸問題上，這次主要會介紹 KNN 分類器的作法。</p><p>KNN 在分類時是基於<strong>特徵相似度</strong>來預測新加入樣本的類別，簡單來說，KNN 就是將一個新樣本加入後，去看附近大多數的人長怎樣就判定他是同一群的人，正所謂「物以類聚、人以群分」啊！</p><p>如 [圖1] 所示，一群已分類好的樣本群（Class A和 Class B）中加入了一個<strong>未知分類</strong>的紅色星星樣本，KNN 就會透過附近的鄰居們來判定紅色星星屬於類別 A 還是 B。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/489/1*riefbTWtSTaPYsOZggWetQ.png" /><figcaption>[圖1] 圖片來源：<a href="https://www.jcchouinard.com/k-nearest-neighbors/">k-Nearest Neighbors (KNN) in Python</a></figcaption></figure><p><strong>那接著就來講講 KNN 判定的流程吧！</strong></p><h3>2. KNN 演算法流程</h3><blockquote>用 KNN 做分類任務時，必定先擁有標記好的資料，因 KNN 的運算較簡易，可在訓練前先去除類別中的雜訊，以達到較好的分類結果。</blockquote><p>K Nearest Neighbor 意思為用新樣本的 K 個鄰近樣本來預測新樣本的所屬類別，因此首先需決定 K 值大小，如 [圖1] 所示：</p><ul><li>當 K = 3 時有「1 個藍點、2 個綠點」，<strong>紅色星星歸類至 Class B</strong></li><li>當 K = 6 時有「4 個藍點、2 個綠點」，<strong>紅色星星歸類至 Class A</strong></li></ul><h4>2.1 決定 K 值</h4><p>K 值為 KNN 中唯一需要調整的超參數，掌控著模型預測的準確度，因此在 K 值得選擇上可不能亂來啊！而該如何為不同的 Dataset 決定合適的 K 值並沒有一定的流程，但以下幾個是可以供大家參考的作法：</p><ol><li>使用總樣本數的平方根作為 K 值：sqart(n)</li><li>使用奇數：因偶數會有「同票」的情形，也就是不同類別數量相等導致決定不了的情況，所以可以盡量避免選擇偶數</li><li>多嘗試幾組 K 值並比較模型預測的準確率</li><li>避免選擇過大或過小的數值</li></ol><pre><br>過小的 K 值（如1）：噪點很大，且可能會將新樣本預測為異常值（Outlier）<br>過大的 K 值：會不斷的過濾掉較少樣本的類別</pre><blockquote>例：總共有 16 個樣本，平方根為 4 ，且要避免選擇偶數，則 K 值可為3 or 5</blockquote><p>除了以上較簡易的 K 值判斷方式之外，也能運用<strong>訓練誤差 (training error)以及驗證誤差 (Validation error) </strong>來觀察不同<strong> </strong>K 值的結果，透過<strong>驗證誤差曲線 (Validation error curve) 的最低點</strong>來找到理想的 K 值！</p><p>更詳細的內容可以參考這一篇文章來學習：<a href="https://medium.com/@ellery.leung/k-nearest-neighbors-%E7%B0%A1%E4%BB%8B-637f0b59c2df">K Nearest Neighbors — 簡介</a>。</p><h4>2.2 計算新樣本與鄰居間的距離</h4><p>因 KNN 是基於<strong>特徵相似度</strong>來預測新樣本的類別，在樣本空間中兩個樣本間的距離就代表著特徵的相似程度，距離越小相似程度越高 ; 反之，距離越大相似程度越低。</p><p>所以 KNN 會先計算所有樣本與新樣本之間的距離，這樣將距離由近排到遠就能得知新樣本周遭的樣本有哪些，同時也是特徵相似程度高的幾個樣本。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/650/1*LMJTYKRkAI4z_f0pey5Y3w.png" /><figcaption>[圖2] 圖片來源：<a href="https://medium.com/@rndayala/k-nearest-neighbors-a76d0831bab0">k-Nearest Neighbors</a></figcaption></figure><p>計算距離的方式通常會使用的是<strong>歐幾里得距離 ( Euclidean distance )</strong></p><pre><strong>歐幾里得距離 ( Euclidean distance )</strong><br>座標(x1,y1)、(x2,y2)兩點之間的距離：√[(x1-x2)²+(y1-y2)²]</pre><p>除此之外，還可使用<a href="https://ithelp.ithome.com.tw/articles/10274085?sc=iThelpR">閔可夫基斯距離 ( Minkowski Distance</a> )、<a href="https://ithelp.ithome.com.tw/articles/10274608">曼哈頓距離 ( Manhattan Distance</a> )</p><h4>2.3 新樣本類別預測</h4><p>當決定好 K 值，並計算好樣本之間的距離後，就能找到與新樣本最相近的 K 個樣本，最後進行類別的判定：</p><ol><li>看選定的 K 個鄰居中哪一種類別佔的數量最多，就會將新樣本判定為該類別。（因此前面 K 值選擇奇數可以避免很多同票的情況）</li><li>若還是遇到類別數同票時，我們則可選擇將新樣本歸類至其中一個類別中，或是<strong>直接選擇不歸類</strong></li></ol><p>知道了整個 KNN 的流程後，我們再來看一次前面這張圖，以及預測結果。</p><blockquote>當 K = 3 時有「1 個藍點、2 個綠點」，<strong>紅色星星歸類至 Class B</strong></blockquote><blockquote>當 K = 6 時有「4 個藍點、2 個綠點」，<strong>紅色星星歸類至 Class A</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/489/1*fj79H7SollOJZxlCp0oD4A.png" /></figure><p>大家有沒有發現，K 值的決定是會直接影響至預測結果的，因此決定 K 值一定要小心，最好反覆測試後再決定！</p><h3>3. 參考資料</h3><ol><li><a href="https://www.youtube.com/watch?v=HVXime0nQeI&amp;ab_channel=StatQuestwithJoshStarmer">StatQuest: K-nearest neighbors, Clearly Explained</a></li><li><a href="https://www.youtube.com/watch?v=4HKqjENq9OU&amp;ab_channel=Simplilearn">KNN Algorithm In Machine Learning | KNN Algorithm Using Python | K Nearest Neighbor | Simplilearn</a></li><li><a href="https://ithelp.ithome.com.tw/articles/10269826">[Day 10] 近朱者赤，近墨者黑 — KNN</a></li><li><a href="https://northbei.medium.com/machine-learning-knn%E5%88%86%E9%A1%9E%E6%BC%94%E7%AE%97%E6%B3%95-b3e9b5aea8df#:~:text=KNN%E4%B8%80%E8%88%AC%E7%94%A8%E4%BE%86%E5%81%9A,%E6%96%B0%E5%A2%9E%E5%8A%A0%E8%B3%87%E6%96%99%E7%9A%84%E5%88%86%E9%A1%9E%E3%80%82">[Machine Learning] kNN分類演算法</a></li><li><a href="https://medium.com/@ellery.leung/k-nearest-neighbors-%E7%B0%A1%E4%BB%8B-637f0b59c2df">K Nearest Neighbors — 簡介</a></li></ol><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊：<br><a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=56d3878f40c1" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/knn-classification-56d3878f40c1">KNN ( classification )</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[機器學習任務分類、訓練測試集]]></title>
            <link>https://medium.com/data-science-navigator/%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92%E4%BB%BB%E5%8B%99%E5%88%86%E9%A1%9E-%E8%A8%93%E7%B7%B4%E6%B8%AC%E8%A9%A6%E9%9B%86-b2ed3701e148?source=rss----310560a98483---4</link>
            <guid isPermaLink="false">https://medium.com/p/b2ed3701e148</guid>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[林紘宇]]></dc:creator>
            <pubDate>Sun, 19 Feb 2023 11:41:10 GMT</pubDate>
            <atom:updated>2023-02-19T11:41:10.671Z</atom:updated>
            <content:encoded><![CDATA[<h3>目錄</h3><p><a href="#e098">◎ 前言</a><br><a href="#e3e53">◎ 常見案例</a><br><a href="#3280">◎ 怎麼做資料切分? </a><br><a href="#c467">◎ 常見的4個分類模型 </a><br><a href="#9fla">◉ KNN</a><br><a href="#92a1">◉ SVM</a><br><a href="#64ed">◉ RandomForest</a><br><a href="#bbb9">◉ Decision Tree</a><br><a href="#21e0">◎ 常見的迴歸模型</a><br><a href="#5477">◉ 線性迴歸</a><br><a href="#a5c2">◉ 邏輯迴歸</a><br><a href="#5e83">◎ 參考資料</a></p><h3>前言</h3><p>傳統機器學習可以大致分為兩類，分別是監督式學習和非監督式學習。兩者最大的差異就是在於資料是否被標記，也可以理解為資料有沒有被定義，監督式學習又可分為『分類問題」和『迴歸問題』。兩個問題分別對應『離散資料」和『連續資料』。分類 (Classification) 方法會透過已被標記的離散型資料訓練模型，也就是人類給定分類的標籤和分類後的結果讓機器學習，目的是讓機器分析標籤與結果的關聯，訓練預測模型。<br><br>連續型資料則不能使用分類進行分析，試著想一下身高、體重、房屋價格，這些資料要怎麼進行分類呢，光用想的都覺得不太可能，因此當遇到連續型資料時我們會使用另外一種分析方法 - - 迴歸，常見的連續型資料除了上面提到的以外還有有股價、油價、房屋價格等會連續變化的數值。迴歸(Regression) 方法會透過已被標記的連續型資料訓練模型，預測一條理想的連續函數，所謂理想的意思是預測出的連續函數能盡量通過所有的點，目的是比較理想結果和實際數值的差異。</p><h3>常見案例</h3><p><strong>分類 (Classification)</strong></p><p>舉個簡單的分類案例 : 給機器看過 500 張貓狗的照片後，請機器判斷新照片是貓還是狗。<br>範例中的貓和狗即為標籤，照片就是我們要匯入的資料，機器在接收這些資料後分析貓和狗的特徵，再將標籤的特徵分類到我們選擇的類別中，用來當作判斷新圖片是貓或是狗的標準，這便是分類 (Classification) 的運行方法。<br>監督式學習所運用的數據就是來自這些被定義 (貓 or 狗) 的數據，而非監督式學習運用的資料不須被定義，數據裡的資料只有特徵，演算法僅能根據特徵區分出兩大類型，然而，我們卻無法得知哪一個類型分別為哪一種動物。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/0*fKK9Gsfpyy0VLfsp" /><figcaption>圖片來源:<a href="https://www.javatpoint.com/classification-algorithm-in-machine-learning/">https://www.javatpoint.com/classification-algorithm-in-machine-learning</a></figcaption></figure><p><strong>迴歸 (Regression)</strong></p><p>在我們的生活中就有個經典的案例:房價預測，我們要如何知道該區的理想房價呢?<br>上面說過，迴歸分析就是畫出一條盡量通過所有點的預測線，因此理所當然的我們必須先畫出一張散布圖，先選定 X 軸和 Y 軸的單位，這裡我們就以坪數作為 X 軸的單位，總價作為 Y 軸的單位， X 軸的數值當作特徵也可以理解為上面提到的標籤， Y 軸的數值則作為觀測值。如果我們將看房的目標鎖定在同樣坪數的物件，總價就可以很明顯的作為觀察值用來比較。做完散布圖後就可以繪製迴歸線啦，迴歸線當然不是簡單畫一條直線而已，之後的文章會詳細介紹這邊就不細講了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9YtKOAtjtyHAK-rF3VMddA.jpeg" /><figcaption>圖片來源:<a href="https://ithelp.ithome.com.tw/articles/10192810">https://ithelp.ithome.com.tw/articles/10192810</a></figcaption></figure><h3>怎麼做資料切分?</h3><p>對於監督式學習來說，我們必須使用被標註資料來做訓練，但蒐集到的資料並不能全部拿來做訓練，因為我們必須留一些做測試來驗證我們模型的準確度。<br>這些資料必須跟訓練資料是完全不同的，就像考題不能和答案寫在一起，對於機器學習來說也是一樣的道理。<br>所以最簡單的方式，我們會把我們的資料切分成測試集跟訓練集，通常會保留比較多當作訓練資料 (60%~80%)，其餘作測試資料。</p><pre>import numpy as np              #資料處理套件<br>import matplotlib.pyplot as plt #圖表製作套件<br>import pandas as pd             #資料處理套件<br><br>dataset = pd.read_csv(&#39;top_insta_influencers_data (1).csv&#39;) #匯入檔案<br>X = dataset.iloc[:,3:6].values <br>y = dataset.iloc[:,-8].values #選出想要的行和列<br>from sklearn.model_selection import train_test_split<br>X_train, X_test, y_train, y_test = train_test_split(X, y, test_size= 0.25,random_state=0) <br>#隨機切分資料，將測試集的比例抓在0.25</pre><p>這裡我們先導入必要的模型後，使用 pandas 套件將資料匯入，接著在資料表中選出我們所需要的行列，最後使用 sklearn.model_selection 中 import 切分模型的功能建立訓練集和測試集，將測試集的比例抓在 0.25，也就是說在資料中隨機切分訓練集和測試集，其比例為 3:1，利用隨機切分的測試集去驗證我們模型的精準度。</p><h3>常見的4個分類模型</h3><p>1.KNN (<strong>K-近鄰演算法)</strong></p><p>2.SVM (<strong>支持向量機</strong>)</p><p>3.RandomForest (<strong>隨機森林</strong>)</p><p>4.Decision Tree (<strong>決策樹</strong>)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*poftDgfslm5IrMio" /><figcaption>圖片來源:<a href="https://medium.com/%E8%AA%AA%E8%AA%AA5%E5%88%86%E9%90%98/%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92%E4%BB%BB%E5%8B%99-%E5%88%86%E9%A1%9E-%E8%BF%B4%E6%AD%B8-%E5%88%86%E7%BE%A4-ad1a3b56660b">https://medium.com/說說5分鐘/機器學習任務-分類-迴歸-分群-ad1a3b56660b</a></figcaption></figure><p>下面簡單介紹一下上面提到的四個模型:</p><h3>1.KNN</h3><p>KNN 的全名 K Nearest Neighbor (K-近鄰演算法)是監督式學習的其中一種模型，也就是 k 個最接近我們想要的分析結果鄰居。<br>在分類問題中 KNN 演算法利用 k 個最近的鄰居來判定新的資料是在哪一類。使用者先決定 k 的大小。接著計算新的資料與鄰近的資料間的距離。找出跟自己最近的 k 個鄰居，觀察哪一組鄰居數量最多，再決定分入哪一類。</p><ul><li><strong>KNN 與 k-means 不一樣</strong></li></ul><p>雖然兩者都有 k 值要設定但其實兩者無任何關聯。KNN 的 k 是設定鄰居的數量採多數決作為輸出的依據。而 K-means 的 k 是設定集群的類別中心點數量。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/874/0*zE8gBp_qUl907ny6" /><figcaption>圖片來源:<a href="https://ithelp.ithome.com.tw/articles/10269826/">https://ithelp.ithome.com.tw/articles/10269826</a></figcaption></figure><h3>2.SVM</h3><p>SVM 可分為以下兩種：</p><ul><li>線性可分支持向量機</li><li>非線性可分支持向量機</li></ul><p>支持向量機 (support vector machine, SVM) 是一種監督式演算法，透過找出一個最佳分類點，將兩個不同的集合分開。但在一般狀況下這個分隔線非常複雜且有很多種可能。然而 SVM 就是要在這很多種的可能當中找出最佳的解。簡而言之，SVM 就如繩圈，需要準確將兩種不同的集合劃分開來</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/0*HdbStoDPxPiQnkGf" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*WaweRAeaNxAV1Ynp" /></figure><h3>3.Decision Tree</h3><p>決策樹會根據訓練資料產生一棵樹，依據訓練出來的樹預測新樣本。Decision Tree可以使用不同的演算法來評估 Branch 的好壞，決策樹依據貪婪法則 (Greedy Method,是一種在每一步選擇中都採取在當前狀態下最好或最佳（即最有利）的選擇，從而希望導致結果是最好或最佳的演算法) 來決定每一層的問題，目標是分類過後每一群能夠很明顯的知道是屬於哪一種分類。依據訓練資料找出合適的規則，最終生成一棵樹來決策所有事情，其目的使每一個決策能夠使效益最大化。換句話說，就是用條件去篩選歸類出最佳的模型，生成最精準的預測模型。<br>一般來說，樹高越高會導致分類結果越接近。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ou69NYFmvEdFLTKv.png" /><figcaption>圖片來源:<a href="https://ithelp.ithome.com.tw/articles/10271143?sc=hot/">https://ithelp.ithome.com.tw/articles/10271143?sc=hot</a></figcaption></figure><h3>4.Random Forest</h3><p>隨機森林是由許多樹木組成，所謂的 Random Forest 就是由很多棵 Decision Tree 所組成。如上所說，當模型的樹高過高時，分類結果會太過接近。因此Random Forest 藉由多棵不同樹所組成，透過不同的分類標準讓結果比較不容易過度擬合，並使得預測能力更提升。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Rbhbk7UEBxOxghtt.png" /><figcaption>圖片來源:<a href="https://ithelp.ithome.com.tw/articles/10272586?sc=hot/">https://ithelp.ithome.com.tw/articles/10272586?sc=hot</a></figcaption></figure><h3>常見的迴歸模型</h3><p>1.<strong>線性迴歸 (Linear Regression)</strong></p><p>2.<strong>邏輯回歸 (Logistic Regression)</strong></p><h3>1.線性迴歸</h3><p>線性回歸是知名度最高的方法之一。線性回歸，它的因變數 (觀測值) 是連續的，自變數 (特徵) 則可以是連續的或是離散的。函數是一個或多個回歸係數的模型組成的線性組合。只有一個的情況稱為簡單線性回歸（Simple linear regression），大於一個自變量情況的叫做多元線性迴歸（multivariable linear regression）。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1hL1s8dm00ZiLo5coXk1hg.png" /><figcaption>圖片來源:<a href="https://zh.wikipedia.org/zh-hant/%E7%B7%9A%E6%80%A7%E5%9B%9E%E6%AD%B8/">https://zh.wikipedia.org/zh-hant/%E7%B7%9A%E6%80%A7%E5%9B%9E%E6%AD%B8</a></figcaption></figure><h3>2.邏輯迴歸</h3><p>邏輯迴歸一般用於判斷事件成功或失敗的概率，它可顯示不同特徵之間的關係，然後計算某個結果的發生機率。邏輯迴歸用於機器學習可幫助建立準確預測，它類似線性迴歸，不同的在於其目標變數是二元的，數值為 1 或 0。</p><p>odds = p/ (1-p) = 事件發生概率 / 事件未發生概率 ln(odds) = ln(p/(1-p)) logit(p) = ln(p/(1-p)) = b0+b1×1+b2×2+b3×3….+bk×k</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/533/1*1Q8U-Jd0sRKw1cImx7U_MQ.jpeg" /><figcaption>圖片來源:<a href="https://www.finereport.com/tw/data-analysis/7-huigui-ff.html/">https://www.finereport.com/tw/data-analysis/7-huigui-ff.html</a></figcaption></figure><p>以上是對迴歸和分類模型的簡單介紹，接下來我們還會有對這些模型使用方法和程式碼更加詳細的介紹，想了解更多或是對這類介紹有興趣的別忘記繼續關注我們哦!</p><h3>參考資料:</h3><p><a href="https://medium.com/%E8%AA%AA%E8%AA%AA5%E5%88%86%E9%90%98/%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92%E4%BB%BB%E5%8B%99-%E5%88%86%E9%A1%9E-%E8%BF%B4%E6%AD%B8-%E5%88%86%E7%BE%A4-ad1a3b56660b">https://medium.com/說說5分鐘/機器學習任務-分類-迴歸-分群-ad1a3b56660b</a></p><p><a href="https://ikala.cloud/supervised-learning-classification-regression/">https://ikala.cloud/supervised-learning-classification-regression</a></p><p><a href="https://ithelp.ithome.com.tw/articles/10216585">https://ithelp.ithome.com.tw/articles/1021658</a></p><p><a href="https://ithelp.ithome.com.tw/articles/10217849/">https://ithelp.ithome.com.tw/articles/10217849</a></p><p><a href="https://wiki.mbalib.com/zh-tw/%E7%A6%BB%E6%95%A3%E5%8F%98%E9%87%8F">https://wiki.mbalib.com/zh-tw/离散变量</a></p><p><a href="https://ithelp.ithome.com.tw/articles/10271143?sc=hot/">https://ithelp.ithome.com.tw/articles/10271143?sc=hot</a></p><p><a href="https://ithelp.ithome.com.tw/articles/10269826/">https://ithelp.ithome.com.tw/articles/10269826</a></p><p><a href="https://ithelp.ithome.com.tw/articles/10272586?sc=hot/">https://ithelp.ithome.com.tw/articles/10272586?sc=hot</a></p><p><a href="https://medium.com/jameslearningnote/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-%E7%AC%AC3-4%E8%AC%9B-%E6%94%AF%E6%8F%B4%E5%90%91%E9%87%8F%E6%A9%9F-support-vector-machine-%E4%BB%8B%E7%B4%B9-9c6c6925856b">https://medium.com/jameslearningnote/資料分析-機器學習-第3-4講-支援向量機-support-vector-machine-介紹-9c6c6925856b</a></p><p><a href="https://zh.wikipedia.org/zh-tw/%E8%B4%AA%E5%BF%83%E7%AE%97%E6%B3%95">https://zh.wikipedia.org/zh-tw/贪心算法</a></p><p><a href="https://ithelp.ithome.com.tw/articles/10192810/">https://ithelp.ithome.com.tw/articles/10192810</a></p><p><a href="https://zh.wikipedia.org/zh-hant/%E7%B7%9A%E6%80%A7%E5%9B%9E%E6%AD%B8/">https://zh.wikipedia.org/zh-hant/%E7%B7%9A%E6%80%A7%E5%9B%9E%E6%AD%B8</a></p><p><a href="https://www.finereport.com/tw/data-analysis/7-huigui-ff.html/">https://www.finereport.com/tw/data-analysis/7-huigui-ff.html</a></p><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊：<br><a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b2ed3701e148" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92%E4%BB%BB%E5%8B%99%E5%88%86%E9%A1%9E-%E8%A8%93%E7%B7%B4%E6%B8%AC%E8%A9%A6%E9%9B%86-b2ed3701e148">機器學習任務分類、訓練測試集</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[文字探勘(文字前處理、斷詞)]]></title>
            <link>https://medium.com/data-science-navigator/%E6%96%87%E5%AD%97%E6%8E%A2%E5%8B%98-%E6%96%87%E5%AD%97%E5%89%8D%E8%99%95%E7%90%86-%E6%96%B7%E8%A9%9E-33f06c0ee460?source=rss----310560a98483---4</link>
            <guid isPermaLink="false">https://medium.com/p/33f06c0ee460</guid>
            <category><![CDATA[data-mining]]></category>
            <dc:creator><![CDATA[Benny]]></dc:creator>
            <pubDate>Sat, 11 Feb 2023 04:14:12 GMT</pubDate>
            <atom:updated>2023-02-11T04:14:12.812Z</atom:updated>
            <content:encoded><![CDATA[<h3>什麼是文字探勘?</h3><h3>簡介</h3><p><strong>文字探勘</strong>就是從文章中萃取高品質資訊的過程，也可以稱為文字資料探勘、文字分析。常見的應用有<strong>詐騙偵測、獲取卓越商業情報、改善客戶服務、選情分析。</strong></p><h3>文字探勘 vs 資料探勘</h3><p>對於初次接觸資料科學領域的夥伴，很常會分不清文字探勘與資料探勘的差異。事實上以一張圖就能解釋這兩者的差異。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/854/1*UirXNDQF9ZWcgkVSTjxRHg.png" /></figure><p>簡單來說文字探勘是一項比資料探勘還要難的技術，因為通常非結構式的資料會比結構式的資料更髒更混亂，甚至是有時候因為語意上的問題，連人類也傷透腦筋。</p><p>舉例來說：請判斷以下這篇短文中，美女究竟是同意還是不同意？</p><blockquote>有人向一位認識的美女發了一段簡訊：「今晚滾床單嗎？」</blockquote><blockquote>美女回覆：「滾！」</blockquote><blockquote>接著又發：「那是去我家，還是去你家？」</blockquote><blockquote>美女回「去你的！」</blockquote><blockquote>…..真是開心！！</blockquote><blockquote><strong>作者：羅凱揚（台科大企管系博士）、蘇宇暉（台科大管研所博士候選人）</strong></blockquote><p>雖然文字探勘這項技術十分困難，但是目前拜文字探勘技術的進步、搜尋引擎的崛起、NLP技術的成長，目前網路上已經有許多現成的套件<strong>(本篇會以jieba作為範例</strong>)能讓我們做文字分析。歡呼🥳🥳🥳🥳</p><h3>文字探勘過程與步驟</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/902/1*EcYyw3aqNkhEQUic6OglRQ.png" /></figure><p>文字探勘的流程大概分為<strong>5步驟</strong></p><p><strong>第一步</strong>:資料蒐集 GATHER</p><p>簡單來說就是蒐集資料，資料來源通常來自公司的問卷、新聞、網頁、電子郵件、Word 檔案、PDF 檔案、部落格、社交媒體。</p><p><strong>第二步</strong>:資料預處理 PREPROCESS</p><p>整理來自多個資料來源的非結構化文字資料、從資料中提取並僅保留相關的資訊，以便幫助識別特定字詞的詞根、將預處理的內容轉換為適合分析的結構化格式。</p><p><strong>第三步</strong>:資料搜尋 INDEX</p><p>將資料以更輕量化的方式儲存，以便日後查找及搜尋。</p><p><strong>第四步</strong>:資料挖掘 MINING</p><p>這步驟包含資料檢索、資料提取、分群與分類。</p><p><strong>第五步</strong>:資料分析 ANALYSIS</p><p>常見的有預測性分析、詞彙分析、資料可視化。</p><h3>文字探勘優勢</h3><p>如今，世界各地的企業幾乎每分鐘都會產生大量資料，只要上網、在線上空間進行操作就會產生資料。這些資料來自多個來源，並儲存在資料倉儲和雲端平台上。傳統的方法和工具有時無法分析如此龐大的資料，而且這些資料每分鐘都呈指數增長，給公司帶來了重大挑戰。 以<strong>金融業</strong>為例子:</p><p>以公司<strong>防詐騙</strong>來看，</p><p>保險業與金融業持有大量的文字資料，若將這些資料結構化並使用文字探勘工具和技術對其進行文字分析，能有助於此類公司偵測和防止欺詐。文字探勘還可幫助公司更快地處理保固或保險理賠。</p><p>以公司獲取<strong>商業情報</strong>來看，</p><p>文字探勘技術能有效的幫助企業獲取卓越的商業情報，因為它可以讓公司深入洞察客戶/買家行為和市場趨勢，還能幫助組織對其自身業務及其競爭對手，進行優勢、劣勢、機會、威脅 (SWOT) 分析以便在市場中獲得優勢。</p><p>以公司<strong>改善客戶服務</strong>來看，</p><p>許多公司會用文字分析軟體查看來自客戶調查、意見回饋表、語音電話、電子郵件、聊天當中的文字資料。文字探勘和分析的目標是減少對客戶來電或查詢的回應時間，並使解決客戶投訴的週轉過程更快、更有效，這有利於留住客戶、減少客戶流失和更快解決投訴。</p><h3>文字前處理</h3><p>說了這麼多，我們直接進入實戰吧！要對非結構化的文字資料進行分析，第一件事情是對文字資料抽取結構化的量化數值特徵。除了用「文字探勘分析器」簡單分析字數、句數之外，最常見的分析方式就是斷詞和詞性分析。</p><p>而最常見的套件就是Jieba ，它不只可搭配「非結構化資料分析：文本分類」等機器學習來使用，更可以用在質性研究的內容分析、文本分析或敘說分析上。</p><h3>斷詞</h3><p>Step 1：首先記得要先在終端機輸入pip install jieba</p><p>Step 2 : 先用jieba.cut做斷詞，然後輸出結果為generator，所以需要在用for 迴圈將單個字輸出</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/844/1*QICiuuybz6IbTZZUVtA7LQ.png" /></figure><p>Step 3 :因為jieba 是中國的字典所以在做繁體中文的斷詞的時候，要從github下載對繁體中文表現較好的字典。指令如下：jieba.set_dictionary(&#39;./dict.txt.big&#39;)</p><p>Step 4 :因為有時候斷詞的結果不盡理想，所以我們會自己新增一個txt檔存放新字詞指令：jieba.load_userdict(&quot;userdict.txt&quot;)</p><p>Step 5 :動態加入新字jieba.add_word(&quot;國立台灣大學&quot;)</p><pre>import jieba<br>input_string = &#39;小明碩士畢業於國立臺灣大學,現在在日本東京大學進修深造&#39;<br>cutted_words = jieba.cut(input_string)<br>words = [word for word in cutted_words]<br>jieba.set_dictionary(&#39;./dict.txt.big&#39;)<br>jieba.load_userdict(&quot;userdict.txt&quot;)<br>jieba.add_word(&quot;國立台灣大學&quot;)<br><br><br>print(words)<br>[&#39;小明&#39;, &#39;碩士&#39;,&#39;畢業&#39;,&#39;於&#39;,&#39;國立臺灣大學&#39;, &#39;現在&#39;, &#39;在&#39;, &#39;日本&#39;,&#39;東京大學&#39;,&#39;進修&#39;,&#39;深造&#39;]</pre><h3>補充</h3><p>文字前處理的部分除了中文斷詞以外，還有英文的移除停用字（stopwords)、移除標點符號(punctuation)、移除常用字(frequent words)。</p><p><strong>舉例而言：</strong></p><blockquote><em>“Nick likes to play football, however he is not too fond of tennis.”</em></blockquote><blockquote>這句話的 to is too of 這幾個詞在分析上是沒有意義的，因此我們需要移除。</blockquote><blockquote><em>“Nick likes play football, however he not fond of tennis.”</em></blockquote><blockquote>接著我們要將 , . 移除。</blockquote><blockquote><em>“Nick likes play football however he not fond tennis”</em></blockquote><blockquote><em>“Nick likes play basketball however he not fond soccer”</em></blockquote><blockquote><em>“Ben hates to play basebsall”</em></blockquote><blockquote>當我們的句子變多時，就可以去計算有哪些字的出現頻率過高。通常頻率過高的重複字對於分析沒有意義，所以會將它移除。</blockquote><p>{Nick : 2 ,likes : 2 ,play : 3 ,however : 2 ,not fond : 2 ,he : 2}</p><blockquote><em>“football tennis”</em></blockquote><blockquote><em>“basketball soccer”</em></blockquote><blockquote><em>“Ben hates basebsall”</em></blockquote><blockquote>剩下我們主要要分析的目標。</blockquote><p><strong>參考資料</strong></p><ul><li><a href="https://medium.com/marketingdatascience/%E8%B3%87%E6%96%99%E6%8E%A2%E5%8B%98%E8%88%87%E6%96%87%E5%AD%97%E6%8E%A2%E5%8B%98%E4%B9%8B%E6%AF%94%E8%BC%83-4410964ded2e">資料探勘與文字探勘之比較</a></li><li><a href="https://www.tibco.com/zh-hant/reference-center/what-is-text-mining">什麼是文字探勘？</a></li><li><a href="https://ithelp.ithome.com.tw/articles/10193224">Day 13：『自然語言處理』(NLP) 概念介紹 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天</a></li></ul><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊： <a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=33f06c0ee460" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/%E6%96%87%E5%AD%97%E6%8E%A2%E5%8B%98-%E6%96%87%E5%AD%97%E5%89%8D%E8%99%95%E7%90%86-%E6%96%B7%E8%A9%9E-33f06c0ee460">文字探勘(文字前處理、斷詞)</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[模型評估指標：分類]]></title>
            <link>https://medium.com/data-science-navigator/%E6%A8%A1%E5%9E%8B%E8%A9%95%E4%BC%B0%E6%8C%87%E6%A8%99-%E5%88%86%E9%A1%9E-568b62b10671?source=rss----310560a98483---4</link>
            <guid isPermaLink="false">https://medium.com/p/568b62b10671</guid>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[BensonHsu]]></dc:creator>
            <pubDate>Sat, 11 Feb 2023 04:13:41 GMT</pubDate>
            <atom:updated>2023-02-11T04:13:41.710Z</atom:updated>
            <content:encoded><![CDATA[<p>在分類的機器學習模型中，當我們訓練完模型之後會得到一組預測值，但是我們卻無法確認這套訓練完的模型是否足以成熟到讓我們使用，所以這時候就需要有一些成效指標來去客觀的評估製作出來的模型。</p><p>眾多機器學習當中主要用來分類的模型有KNN/ SVM/ Logistic Regression/ Decision Tree等等，這些模型所預測出的值一定不可能百分之百正確，所以通常都會把預測結果總結出一張「混淆矩陣」來看出預測值和實際值得分布狀況。</p><p>在了解分類指標以前需要先了解混淆矩陣重要的四個象限: TP/ FP/ FN/ TN。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/604/1*6FN-V9QGPKBK93IXpwdqZQ.png" /></figure><p>TP: 模型預測為正確，且實際狀況也正確</p><p>FP: 模型預測為正確，但實際狀況是失敗</p><p>FN: 模型預測為失敗，但實際狀況是正確</p><p>TN: 模型預測為失敗，且實際狀況也失敗</p><p><strong>要畫出一個混淆矩陣，就是透過實際狀況和模型預測值去做資料的分佈視覺化，透過這樣的分佈比較再搭配以下各種指標的計算就可以達到客觀的分析模型好壞。</strong></p><p>在分類指標當中最常見的有以下指標：</p><h3>準確率( Accuracy)</h3><p>預測結果和實際狀況相同，其佔全部預測狀況的機率。</p><p>這項指標主要表示模型判斷正確的能力，不管實際狀況為正確或是失敗都可以被模型正確判斷出來。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/728/1*eDCpnbchMy7f4XfOWcyujQ.png" /></figure><p>圖片來源：<a href="https://medium.com/analytics-vidhya/confusion-matrix-accuracy-precision-recall-f1-score-ade299cf63cd">https://medium.com/analytics-vidhya/confusion-matrix-accuracy-precision-recall-f1-score-ade299cf63cd</a></p><h3>靈敏性（Recall)</h3><p>「實際」為正確的樣本中，被預測為正確結果的機率。</p><p>使用情境假設：比如現在我想知道在所有交易資料中，實際有洗錢行為的交易是哪幾筆。那要去判斷我們的模型好壞時就可以使用Recall來當作指標，當Recall愈高代表著模型可以精準地預測出是洗錢行為的交易，也就是說Recall 愈高，模型幾乎可以把資料集中的目標資料找出來。</p><p>（Recall = 實際狀況正確且預測為正確/ 實際狀況正確）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/543/1*uEjVtph7PVLTxU6u0XdqgQ.png" /></figure><p>圖片來源：<a href="https://medium.com/analytics-vidhya/confusion-matrix-accuracy-precision-recall-f1-score-ade299cf63cd">https://medium.com/analytics-vidhya/confusion-matrix-accuracy-precision-recall-f1-score-ade299cf63cd</a></p><p>註：FN代表實際為正確</p><h3>精確率( Precision)</h3><p>「所有被預測」為正確的資料，實際為正確結果的機率</p><p>此指標主要證明模型可以正確的分出「結果為正確」的資料。換句話說，這項指標主要是專注在模型判斷實際狀況為正確的能力。</p><p>（Precision = 實際狀況正確且預測為正確/ 預測為正確結果）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/598/1*OyzaYE0gZmU28YdRvy54qw.png" /></figure><p>圖片來源：<a href="https://medium.com/analytics-vidhya/confusion-matrix-accuracy-precision-recall-f1-score-ade299cf63cd">https://medium.com/analytics-vidhya/confusion-matrix-accuracy-precision-recall-f1-score-ade299cf63cd</a></p><p>註：FP代表實際為失敗，但被預測為正確</p><h4>小結：</h4><p>Recall 和 Precision非常的相似，兩者只差在分母使用的象限不一樣，但也因為使用的象限不一樣，要使用Recall還是Precision的時候就要看我們想要的使用狀況。第一，若是想要知道模型誤判成正確結果的狀況時，就需要使用Precision來判斷，當Precision值愈高就代表模型誤判程度比較低，相反地Precision值愈低，模型誤判的程度就比較高，因為FP筆數比較多。第二，若是想了解模型抓取目標資料的能力，那就可以使用Recall當作指標，Recall愈高就代表模型可以抓出比較多筆我們想要的目標資料，相反的，Recall愈低就表示模型抓不太出我們想要的目標。</p><h3>ROC 曲線</h3><p>X軸：False positive rate (FPR)= FP/ FP+TN</p><p>Y軸：True positive rate(TPR)= TP/ TP+FN</p><p>ROC曲線通常會畫出好幾條來去做比較，是透過在一種模型之下，不同閾值的設定得到的TPR和FPR所繪製的曲線。所以當我們想要知道哪一種模型比較適合我們的資料時，就要去找誤判率（也就是False positive rate）比較低的曲線，換句話說，在ROC圖上就要去找出哪一條曲線比較會往左上角移動，相反地，當ROC線基本上和對角線重疊，那就代表這條線對應的模型對於資料預測一點幫助都沒有。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/579/1*uQ9am6jJ4rPmiOxGUR-50g.png" /></figure><h3>AUC（Area Under Curve)</h3><p>這個方法算是輔助ROC曲線判斷模型好壞的工具，此方法是透過ROC曲線下的機率面積來表示，而AUC數值的範圍從0到1，數值愈大愈好。</p><p>AUC數值一般的判別規則：<br> AUC=0.5 (no discrimination 無鑑別力)，ROC剛好是對角線。<br> 0.7≦AUC≦0.8 (acceptable discrimination可接受的鑑別力)<br> 0.8≦AUC≦0.9 (excellent discrimination優良的鑑別力)<br> 0.9≦AUC≦1.0 (outstanding discrimination極佳的鑑別力)</p><h3>PR 曲線</h3><p>X軸：True positive rate( Recall) = TP/ TP+FN</p><p>Y軸：Positive predict rate( Precision) = TP/ TP+FP</p><p>PR曲線的畫法和ROC曲線非常相似，一樣可以透過不同模型和不同閾值的設定來找出比較適合的機器學習方式。而我們要找的就是Recall值愈高且Precision值愈高的曲線，也就是說要找到一條愈靠近右上角的曲線。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/763/1*meBjQryZPGA0NKokw6WVOw.png" /></figure><p>圖片來源：https://blog.csdn.net/weixin_43222937/article/details/90903905</p><h3><strong>F1分數</strong></h3><p>F-measure</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/408/1*0wHfbVlYM7LcKCnFJ7eTCQ.png" /></figure><p>F1-Score</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/382/1*NbNOGRYhdK7SkjgSXrFoXQ.png" /></figure><p>圖片來源：<a href="https://zh.m.wikipedia.org/zh-tw/F-score">https://zh.m.wikipedia.org/zh-tw/F-score</a></p><p>F1-Score是F-measure中的β參數設定為1，代表著我們假設Precision指標和Recall指標兩個權重相同，會使用到F1分數的情境大多都是發生在「PR曲線圖」難以用圖形來判斷哪一個模型狀況比較好，承接上一段所提到：我們要評估一個模型效果最好的狀況就是Precision值和Recall值都很高，套用到F1-Score公式時分數會介於0~1之間。</p><h3>Kappa</h3><p>這項指標通常會使用在資料分類超過二元的狀況下，再加上需要分類的資料量非常龐大，如果只以二元的觀點只去看整體的預測準確率，或者單一類別（像是實際為正確且預測也為正確）中預測的準確率，這樣都有可能會因為某一大類資料量特別大，那他的準確率自然就不會被一些錯誤預測給稀釋，此時再看整體正確率的時後就會有問題，因此Kappa指標就是為了要避免發生這種「大者恆大影響整體效果」。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/300/1*RBMPPd7A07KNhO60pI8oTA.png" /></figure><p>Po：預測結果和實際狀況相同的資料筆數/總資料筆數</p><p>Pe：Σ(實際為i類別佔整體資料筆數的比例＊預測為i類別佔據整體資料筆數的比例)</p><p>例子：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/648/1*MIEgRNAd6PCAOZWMc8NWjw.png" /><figcaption>總筆數：239+16+6+21+73+9+16+4+280=664</figcaption></figure><p>Po: 239+73+280/ 664 = 0.89</p><p>Pe:</p><p>[(239+16+6) / 664]*[(239+21+16)/ 664] + [(21+73+9)/ 664]*[(16+73+4)/ 664] + [(16+4+280)/ 664]*[(6+9+280)/ 664] = 0.3883</p><p>Kappa = 0.89–0.3883/ 1- 0.3883 = 0.8201</p><h4>總結：</h4><p>在以上眾多分類標準當中有些指標看起來會很相似，像是ROC曲線和PR 曲線就時常被拿來比較，ROC 比較適合使用正負樣本分佈較平均的數據，因為其X軸是使用False Positive Rate，所以當負樣本的數量太低，這樣算出來的False Positive Rate是無法和True Positive Rate互相抗衡，那這樣ROC曲線繪製出來自然而然會比較靠近左上角，但是PR曲線則都可以，畢竟XY軸主要專注在正確樣本的預測和實際互相比較。</p><p>總而言之，當我們難以用ROC曲線或PR曲線的圖形判斷模型之間的好壞時，我們就需要透過數值化也就是AUC搭配ROC曲線或是F1 Score搭配PR曲線來去判讀，那選用的關鍵就是需要考慮資料集正負樣本的分佈是否平均，所以在選用方法以前要盡量去了解資料集分佈會比較好。</p><p>參考資料：</p><p><a href="https://chingtien.medium.com/%E5%BF%83%E7%90%86%E5%AD%B8%E5%92%8C%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92%E4%B8%AD%E7%9A%84-accuracy-precision-recall-rate-%E5%92%8C-confusion-matrix-529d18abc3a">https://chingtien.medium.com/心理學和機器學習中的-accuracy-precision-recall-rate-和-confusion-matrix-529d18abc3a</a></p><p>https://baike.baidu.hk/item/kappa係數/9385025</p><p><a href="https://ycc.idv.tw/confusion-matrix.html">https://ycc.idv.tw/confusion-matrix.html</a></p><p><a href="https://zh.m.wikipedia.org/zh-tw/F-score">https://zh.m.wikipedia.org/zh-tw/F-score</a></p><p><a href="https://kknews.cc/zh-tw/tech/8g32go4.html">https://kknews.cc/zh-tw/tech/8g32go4.html</a></p><p><a href="https://chih-sheng-huang821.medium.com/%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-%E7%B5%B1%E8%A8%88%E6%96%B9%E6%B3%95-%E6%A8%A1%E5%9E%8B%E8%A9%95%E4%BC%B0-%E9%A9%97%E8%AD%89%E6%8C%87%E6%A8%99-b03825ff0814">https://chih-sheng-huang821.medium.com/機器學習-統計方法-模型評估-驗證指標-b03825ff0814</a></p><p><a href="https://medium.com/nlp-tsupei/precision-recall-f1-score%E7%B0%A1%E5%96%AE%E4%BB%8B%E7%B4%B9-f87baa82a47">https://medium.com/nlp-tsupei/precision-recall-f1-score簡單介紹-f87baa82a47</a></p><p>https://medium.com/nlp-tsupei/roc-pr-曲線-f3faa2231b8c</p><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊： <a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=568b62b10671" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/%E6%A8%A1%E5%9E%8B%E8%A9%95%E4%BC%B0%E6%8C%87%E6%A8%99-%E5%88%86%E9%A1%9E-568b62b10671">模型評估指標：分類</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[資料降維 — LDA 線性區別分析]]></title>
            <link>https://medium.com/data-science-navigator/%E8%B3%87%E6%96%99%E9%99%8D%E7%B6%AD-lda-%E7%B7%9A%E6%80%A7%E5%8D%80%E5%88%A5%E5%88%86%E6%9E%90-b8adb3df0e01?source=rss----310560a98483---4</link>
            <guid isPermaLink="false">https://medium.com/p/b8adb3df0e01</guid>
            <category><![CDATA[data-overview]]></category>
            <dc:creator><![CDATA[Katrina Yeh]]></dc:creator>
            <pubDate>Sat, 24 Sep 2022 07:16:01 GMT</pubDate>
            <atom:updated>2022-09-24T07:16:01.282Z</atom:updated>
            <content:encoded><![CDATA[<h3>資料降維 — LDA 線性區別分析</h3><p>當資料欄位數過多時會導致模型效果不佳、運算耗時等問題，因此需要將資料進行降維，找出有代表性的特徵或是透過將多個欄位組合成一個特徵欄位的方式來達成。</p><p>說到降維我們常聽見的都是 PCA 主成分分析，但是其實還有一個和 PCA 很像的降維方法 — LDA，在認識 LDA 之前大家可以先了解 PCA 的原理，這樣更能理解 LDA，接下來就和大家介紹 LDA 囉～～</p><h4><strong>🖋 <em>目錄</em></strong></h4><ul><li><a href="#a8be">Linear Discriminant Analysis ( LDA )</a></li><li><a href="#c8b5">LDA如何達到降維？</a></li><li><a href="#21a9">LDA 的優點 &amp; 限制</a></li></ul><h4>Linear Discriminant Analysis ( LDA )</h4><p>Linear Discriminant Analysis (線性區別分析)是一種監督式學習的降維演算法，除了用來降維，也可用於分類，在將資料從高維度映射到低維度的同時， LDA 會將「類別」納入考量當中，目的是為了讓降維後的資料點更容易被區分，希望類別和類別之間分得越開越好。</p><p><strong>LDA 和 PCA 有關嗎？</strong>🧐</p><p>答案是「有的」，LDA 和 PCA 很像，PCA 為非監督式學習演算法，而 LDA 則是監督式學習演算法，兩者主要都是透過將多個特徵合成一個特徵的方式進行降維，PCA 目的在保留特徵的最大變異，LDA 則會加入「類別」的概念，專注於最大化不同類別之間的區隔，希望以「組內差異小，組間差異大」來達到最大變異。</p><h4>LDA 如何達到降維？</h4><p>這邊簡單舉例說明，下圖中有兩個類別不同的樣本點（黃色和綠色），以及X 軸特徵一和 Y 軸特徵二，我們的目標是要將兩個特徵融合成一個特徵來達到降維</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/992/1*-2WORYEkxOziP_9Dbpk9Cw.png" /></figure><p>在 PCA 中，因為 PCA 是屬於非監督式學習，所以兩個類別的資料點都會被視為同一種，而 PCA 為了讓所有樣本的特徵保持最大變異，因此會畫出下圖 PCA 的映射曲線(紅線)，而圖中所有的資料點都會垂直映射(藍色虛線)到PCA 曲線上來達到降維，使這條線可以保留原本特徵的最大變異。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*ftxuci6E_9w0C2w0sRqwJQ.png" /></figure><p>在 LDA 中， LDA 屬於監督式學習，因為會考量「類別」，這邊用黃色和綠色來代表不同類別的樣本點，而 LDA 希望類別和類別之間的差異越大，類別內的差異越小，基於這樣的情況畫出下圖 LDA 的映射曲線(藍色實線)，而圖中所有的資料點都會垂直映射(藍色虛線)到 LDA 曲線上。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KVnQOPDseZpjLl5qBuqduw.png" /></figure><p>當所有點都映射到這條線上時，可以看到橘色類別點與綠色類別點的距離(紅線)拉開來了，同一類別的樣本點距離(紫圈)很緊密，而這就達到 LDA 降維的特色「組內差異小，組間差異大」。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/996/1*tvu08O0Xv3Y-JZYKW6ZZlQ.png" /></figure><p>當有兩種以上的特徵時，則會先找出類別間的中心點，接著以「組內差異小，組間差距大」去達到最大變異量。</p><p>詳細的 LDA 數學推導可以參考<a href="https://chih-sheng-huang821.medium.com/%E6%A9%9F%E5%99%A8%E5%AD%B8%E7%BF%92-%E9%99%8D%E7%B6%AD-dimension-reduction-%E7%B7%9A%E6%80%A7%E5%8D%80%E5%88%A5%E5%88%86%E6%9E%90-linear-discriminant-analysis-d4c40c4cf937">這篇</a>～</p><h4>LDA 的優點 &amp; 限制</h4><p>相較於 PCA ，LDA 的降維效果更好，因為 LDA 會考量「類別」，不過 LDA最多只能降維到類別數-1的維度。無論是 PCA 還是 LDA 當資料特徵符合常態分配時效果會比較好。</p><p>最後幫大家回顧一下，LDA 和 PCA 都是資料降維的方法，PCA 的目的為保留資料特徵的最大變異，而 LDA 則是專注於最大化不同類別別之間的區隔，可以根據使用情境選擇適合的處理方式～～</p><p>參考資料：<br><a href="https://pyecontech.com/2020/10/31/python_lda/">[機器學習二部曲] Python實作 — 特徵工程: 如何在考量標籤下進行降維? LDA!</a></p><p><a href="https://www.youtube.com/watch?v=julEqA2ozcA">Linear discriminant analysis (LDA) — simply explained</a></p><p><a href="https://www.youtube.com/watch?v=azXCzI57Yfc">StatQuest: Linear Discriminant Analysis (LDA) clearly explained.</a></p><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊：<a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b8adb3df0e01" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/%E8%B3%87%E6%96%99%E9%99%8D%E7%B6%AD-lda-%E7%B7%9A%E6%80%A7%E5%8D%80%E5%88%A5%E5%88%86%E6%9E%90-b8adb3df0e01">資料降維 — LDA 線性區別分析</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[資料降維 — t-SNE 降維與視覺化]]></title>
            <link>https://medium.com/data-science-navigator/%E8%B3%87%E6%96%99%E9%99%8D%E7%B6%AD-t-sne-%E9%99%8D%E7%B6%AD%E8%88%87%E8%A6%96%E8%A6%BA%E5%8C%96-36b4dcfc98d5?source=rss----310560a98483---4</link>
            <guid isPermaLink="false">https://medium.com/p/36b4dcfc98d5</guid>
            <category><![CDATA[manifold-learning]]></category>
            <category><![CDATA[dimensionality-reduction]]></category>
            <category><![CDATA[visualization]]></category>
            <category><![CDATA[data-overview]]></category>
            <dc:creator><![CDATA[littlemilk]]></dc:creator>
            <pubDate>Sat, 24 Sep 2022 07:15:46 GMT</pubDate>
            <atom:updated>2022-09-24T07:15:46.183Z</atom:updated>
            <content:encoded><![CDATA[<h3>資料降維 — t-SNE 降維與視覺化</h3><h3>目錄</h3><p><a href="#53ae">☉前言</a><br><a href="#3ef4">☉歐式距離無法獲得的資訊？</a><br><a href="#328c">☉降維的種類</a><br><a href="#d067">☉流型學習</a><br><a href="#f49b">☉t-SNA 演算法步驟</a><br><a href="#e3b7">☉困惑度 Perplexity</a><br><a href="#4429">☉總結</a><br><a href="#edc8">☉實作</a><br><a href="#b296">☉參考資料</a></p><h3>前言</h3><p>t-SNE 全名是 t-distributed Stochastic Neighbor Embedding，由 Hinton 等人在 2008 年<a href="https://www.jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf">發布</a>的一種非線性降維方法，大多將高維資料降至 2 維或 3 維，用於視覺化檢視資料的內容是否具有區別度，或著讓後續的模型任務（例如：分類）更容易達成。</p><h3>歐式距離無法獲得的資訊？</h3><p>先來看看一張圖</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eO4aApGkigBqdRzbsqW_Bg.png" /><figcaption>瑞士卷（Swiss Roll）<a href="https://yuehhua.github.io/slides/dimred-tsne-umap-gnn/#/4">來源</a></figcaption></figure><p>若照我們一般想要了解圖中兩個點的相關程度，我們通常會採用歐式距離（虛線）來計算，歐式距離越近的兩個點代表越相關。</p><p>但是在圖中我們可以很明顯的看出資料都散佈在一個扭曲的面上，所以我們若是去找到這兩個點在此面上的距離（實線），或許獲得的相關性會比較適用。</p><h3>降維的種類</h3><ul><li>線性方法：PCA, LDA</li><li>非線性方法：MDS, Isomap, t-SNE….</li></ul><p>主流的線性降維方法不多，主要就是 PCA, LDA 的兩種方法，在降維時線性地去轉換向量空間；而非線性方法則種類較多，不同的降維有不同的目的，有些是為了保留全域特徵（Global data structure），有些則是為了保留區域特徵（Local data structure）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/595/1*40t0yOiXszgmznvamOkX3w.jpeg" /><figcaption><a href="http://jbhuang0604.blogspot.com/2010/04/dimensionality-reduction.html">Source</a></figcaption></figure><h3>流型學習</h3><p>流型學習就是假設某種低維度的結構，被塞在了高維度的空間中，那我們就是要透過降維的方法，來重新學習或找到這些低維度的特徵。</p><p>非線性降維很常被拿來解決流型學習的資料，下圖左方是一個在三維空間中的立體 S 型，他其實可以順著 S 的趨勢，攤平成一個彩虹色階的二維資料。右方就是各種非線性降維方法套用後的效果。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x5wec_U8aYQVJr8RYjwjpA.png" /></figure><h3>t-SNE 演算法步驟</h3><h4>步驟一、將高維資料間轉換成以高斯分佈為相似度的條件機率。</h4><p>分子部分可以看成高斯分佈的機率密度函數，代表著以 Xi 為中心的高斯分佈下，Xj 的機率，機率越大，代表兩個距離越近。</p><p>分母部份則是作為 Normalization 的用途。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PoLWhmrI3WXlT00E035ZlA.png" /></figure><h4>步驟二、將要轉換成的低維資料使用 t 分佈為相似度的條件機率。</h4><p>分子部分可看成 t 分佈的機率密度函數（自由度為 1 ），代表以 yi 為中心的 t 分佈。</p><p>分母部份一樣是 Normalization 的用途。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CeP4b_7UIf75sr5J98iWxg.png" /></figure><h4>步驟三、為了將 1. 2. 之間的機率分佈最相近，最小化所有資料點間的 KL 散度</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8cp1v9ZUyooD0dGFebfWsw.png" /></figure><h4>步驟四、以 3. 作為成本函數（Cost Function），並使用隨機梯度下降法（Stochastic Gradient Decent）求最佳解</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/652/1*8sNqMYb0_sxmXpFMI4x6Dw.png" /></figure><h3>困惑度 Perplexity</h3><p>在高維度資料轉換為條件機率時，需要設定以 Xi 為中心分佈的標準差，調整方式就是設定困惑度這個超參數，t-SNE 會找到符合困惑度的 Pi 以及標準差。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/426/1*ESBVQZZM4jhQ3nuIMUBRZA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/602/1*LdKw6mTo6mXKX0j5Z1FLVA.png" /></figure><p>困惑度設定越大，此標準差就會越大，一般建議數值設定在 5 至 50 之間。</p><h3>總結</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9olJSDtRvcTiF1BFTpRRsg.png" /><figcaption>t-SNE on MNIST dataset</figcaption></figure><p>t-SNE 的特性</p><ol><li>非線性的降維方法</li><li>將資料點間關係以條件機率來表示，並進行降維，低維度下儘量保留同樣的條件機率。</li><li>可以找出空間中的局部特徵</li><li>常用於視覺化</li><li>隨機性-每次執行的結果都不同</li><li>比較兩群之間的距離是沒有意義的</li></ol><h3>實作</h3><p>使用 scikit-learn 可以直接實作</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4231a2aec1f9cb938df57b14edbf57cc/href">https://medium.com/media/4231a2aec1f9cb938df57b14edbf57cc/href</a></iframe><h3>參考資料</h3><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2F5d26dO5LVe0%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3D5d26dO5LVe0&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2F5d26dO5LVe0%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/5584640d1d36342a01f9b33172e47d9d/href">https://medium.com/media/5584640d1d36342a01f9b33172e47d9d/href</a></iframe><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FGBUEjkpoxXc%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DGBUEjkpoxXc&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FGBUEjkpoxXc%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="640" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/f603126012c03482681508a9663c76f3/href">https://medium.com/media/f603126012c03482681508a9663c76f3/href</a></iframe><ul><li><a href="https://mropengate.blogspot.com/2019/06/t-sne.html">資料降維與視覺化：t-SNE 理論與應用</a></li><li><a href="https://www.datatechnotes.com/2020/11/tsne-visualization-example-in-python.html">TSNE Visualization Example in Python</a></li></ul><p><strong>教育部補助大專院校STEM領域及女性研發人才培育計畫</strong>目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」，並規劃出符合此STEM教育領域的創新特色課程，以畢業前進入企業實習的方式，讓學生了解相關產業界所面對的問題，再輔以業界實作場域的教育訓練活動，共同帶領學生發展出動手做、判斷與解決問題的相關技能；本計畫也規劃讓學生以專題實作的組隊方式，跟業界協力領導學生對外參與智慧物聯技術的應用競賽，不僅可以累積學生實務開發的能力，更能激發其潛能來幫助企業解決所面臨的難題。</p><p><strong>Data Science Meetup 台灣資料科學</strong>社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值，如何處理好大數據並發掘其潛藏的商業價值，就要靠資料科學有效的應用。21世紀是資料科學決勝時代，我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略，並透過全球業界人士和學者幫助相關職業規劃與挑戰，社群活動包含</p><ul><li>台北實體版聚</li><li>線上版聚</li><li>Mentorship Program</li></ul><p>歡迎加入我們社團瞭解更多資訊：<a href="https://www.facebook.com/groups/datasciencemeetup/">https://www.facebook.com/groups/datasciencemeetup/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=36b4dcfc98d5" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-science-navigator/%E8%B3%87%E6%96%99%E9%99%8D%E7%B6%AD-t-sne-%E9%99%8D%E7%B6%AD%E8%88%87%E8%A6%96%E8%A6%BA%E5%8C%96-36b4dcfc98d5">資料降維 — t-SNE 降維與視覺化</a> was originally published in <a href="https://medium.com/data-science-navigator">數據領航員</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>