<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Yi-Ting Hsueh on Medium]]></title>
        <description><![CDATA[Stories by Yi-Ting Hsueh on Medium]]></description>
        <link>https://medium.com/@ayt.hsueh?source=rss-75a6eac991c5------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*QldBmBdbGTkd0nxr</url>
            <title>Stories by Yi-Ting Hsueh on Medium</title>
            <link>https://medium.com/@ayt.hsueh?source=rss-75a6eac991c5------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 05:31:00 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@ayt.hsueh/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[ML Project (2)- 海賊王真人版 IMDB 影評探索性資料分析]]></title>
            <link>https://medium.com/@ayt.hsueh/ml-project-2-%E6%B5%B7%E8%B3%8A%E7%8E%8B%E7%9C%9F%E4%BA%BA%E7%89%88-imdb-%E5%BD%B1%E8%A9%95%E6%8E%A2%E7%B4%A2%E6%80%A7%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-bd541ba078ee?source=rss-75a6eac991c5------2</link>
            <guid isPermaLink="false">https://medium.com/p/bd541ba078ee</guid>
            <category><![CDATA[eda]]></category>
            <category><![CDATA[imdb]]></category>
            <category><![CDATA[one-piece]]></category>
            <dc:creator><![CDATA[Yi-Ting Hsueh]]></dc:creator>
            <pubDate>Thu, 26 Oct 2023 01:50:39 GMT</pubDate>
            <atom:updated>2023-10-26T01:50:39.627Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/450/0*CEz4zeeRt6PgdWft.jpg" /></figure><p>當時動畫追到頂上戰爭，兩年後的劇情就沒再看了。Netflix 在真人版開播前的宣傳引起我的注意跟好奇。開播當天開追，一集一集的 binge watching 後，非常期待第二季！</p><p>我很喜歡這部影集，甚至因此去補完 big mom 一百多集的動畫（太好看了～），前幾天剛好看到 kaggle 上有相關數據，就下載來玩看看能怎麼分析 🚬</p><p>今天這篇很簡單我會介紹 EDA 探索性資料分析的結果跟圖，以及從中發現的insights。下一篇才會介紹我真正想做的文本情感分析（Sentiment Analysis）跟 ML 模型預測影評的態度。</p><h4>分析目標與問題</h4><p>想回答的問題有兩個：</p><ol><li><strong>海賊王真人版影集是否稱得上是商業成功？不滿意的觀眾是否多為原著粉？</strong></li><li>訓練一個分類的 ML 模型去預測每一則評論的主觀情感（正面、負面或中性的）及情緒。</li></ol><p>今天回答第一個問題。之前在網路上看大家討論，好像原著粉吐槽跟討厭影集比較多，那就來看看數據怎麼說</p><h4>分析方式</h4><ol><li>視覺化敘述統計 EDA<br>Numerical Data “Rating”- 長條圖 + 折線圖<br>Text Data “Reviews” &amp; “Title”- 文字雲</li><li>文本情感分析 + ML 模型 (Logistic Regression) 分類評論的主觀情感</li></ol><h4><a href="https://www.kaggle.com/datasets/itsnobita/one-piece-live-action-imdb-reviews">One Piece Live Action IMDB Reviews</a></h4><p><a href="https://www.kaggle.com/datasets/itsnobita/one-piece-live-action-imdb-reviews">kaggle</a></p><p>目前有 878 則評論</p><p>平均評分是 8.52 （數據清理後）</p><p>開播日 August 31, 2023</p><p>資料擷取到 October 10, 2023</p><p>遺漏值百分比 0.9%</p><h4>評分 Rating 分布</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1023/0*1IvpVuRL8UdNYUO3" /></figure><p>從評分的數量來看，有一半的評論給了10分滿分，20%的人給了9分，11%的人給了8分，~19%的人給低於8分</p><p>自開播日以來，在 IMDb 上每日的評論數量</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*o4b5824ct9bIb1Fl" /></figure><p>絕大多數的觀眾/ 評論者在開播後幾天內到 IMDb 網站留下評論</p><p>~第十天以後，每天的評論數量降至20則以下</p><p>不到一個月，每天僅有一兩則評論</p><p>insight: 電視劇的成敗很大程度取決於開播後短時間內的熱度</p><p>action: 開播前的宣傳最為重要，熱度過去後討論度下降的速度很快，此時的宣傳可能沒有開播前宣傳有效。</p><p>IMDb 評論的每日平均給分 + 給分的中位數</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FstEUPoWD0CuQK4wNM9Wig.png" /></figure><p>在 9/22 前，大多數的評論者給了十分的好評（median &gt; mean）</p><p>隨著時間的日平均有趣的地方在於，圖中有兩處低分</p><p>於是我去抓了這兩天的評論，一共三則</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*V6oKAXGrVsFh6JUjNVATbg.png" /></figure><p>任用了年齡較大的演員、沒看過原著看不懂、演員演技不好</p><p>接著，為了讓評分的趨勢更清楚，我將這三則評論視為outliers，drop掉再畫一次折線圖</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*F5PGXeT0_fEqEmMA" /></figure><p>Oops! 十月初開始平均評分看起來有往下掉的趨勢，即使如此，依然有8分左右的高分</p><p>需要再收集接下去日期的評論才能確定觀眾對海賊王真人版評價是否隨著時間下降</p><h4>文字雲 (Word Cloud)</h4><p>在文本分析以前，先做了文字雲大致看一下評論標題跟內容出現較多的字是什麼</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/794/0*DMdDVZRJWk5-V7WE" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/794/0*SfIJjskNNowb2lfA" /></figure><p>這次的描述統計差不多就這樣囉。</p><h3>心得</h3><p>這篇的 EDA 很快就畫好圖跟寫好解釋和 insights</p><p>難的地方是文本處理，那就下集待續～</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bd541ba078ee" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ML Project (1)- IBM HR 員工離職數據分析 with a 84% 準確率的 ML 模型]]></title>
            <link>https://medium.com/@ayt.hsueh/ibm-hr-%E5%93%A1%E5%B7%A5%E9%9B%A2%E8%81%B7%E6%95%B8%E6%93%9A%E5%88%86%E6%9E%90-with-a-84-%E6%BA%96%E7%A2%BA%E7%8E%87%E7%9A%84-ml-%E6%A8%A1%E5%9E%8B-0d0cdb2732f9?source=rss-75a6eac991c5------2</link>
            <guid isPermaLink="false">https://medium.com/p/0d0cdb2732f9</guid>
            <category><![CDATA[員工離職分析]]></category>
            <category><![CDATA[ibm-hr-analytics]]></category>
            <category><![CDATA[logistic-regression-model]]></category>
            <category><![CDATA[機器學習]]></category>
            <dc:creator><![CDATA[Yi-Ting Hsueh]]></dc:creator>
            <pubDate>Mon, 16 Oct 2023 01:45:49 GMT</pubDate>
            <atom:updated>2023-10-25T02:18:42.584Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BpQStYVLA7_ALg82KYEFEA.jpeg" /></figure><p>我處理了 numerical features 的正規化、categorical features 的轉換、選擇對模型有顯著貢獻的 features、處理資料不均衡的問題 etc…. 比較幾個 Binary Logistic Regression Models 後，最後得到一個分類離職或不離職的員工的準確率達 84% 的ML模型，在 Confusion Matrix and ROC 表現都還不錯，根據選擇的特徵在預測「離職員工」的敏感度達 83%</p><p>作為對比，如果沒有處理目標變數類別分佈不均衡，模型準確率甚至更高，有 87%，但預測「離職員工」的敏感度僅有 50%😢</p><p>目前的模型是第一個模型，之後可以透過其他演算法或更細緻的去處理變數試著提高模型準確度，或是選擇其他可能更適合的 ML 模型。</p><p>雖然目前的模型比較基礎，但依然可以成功地預測員工的離職。</p><h4>Pipeline</h4><p>Data Exploring, Data Cleaning</p><p>Descriptive Analysis<br> Visualization with histograms</p><p>Numeric Variables Scaled<br> Standardization</p><p>Categorical Encoding <br> Dummy encoding with first levels/dummies dropped</p><p>Compare models among imbalanced data handling algorithms<br> Over-sampling vs. Under-sampling vs. without any algorithms</p><p>Feature Selection<br> Recursive Feature Elimination (RFE)</p><h4>Confusion Matrix</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/533/1*hGlCJAsxxmnj3ncRbclYcg.png" /></figure><h4>ROC</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/721/1*RmBNWc6q30o3FkblSsfplw.png" /></figure><h4>途中發現其他人做的分析奇怪的點</h4><ol><li>categorical variables 不能直接跑相關性分析<br>I know heat maps are cool and fancy, but Pearson correlations between categorical variables are just hilarious. Use Chi-square Test instead if you really want to run the correlation analysis.</li><li>別人分享的 Logistic Regression pipeline 不能直接用，有不少統計上的錯誤，例如<br>- 在對 categorical variables 做 dummy encoding 時，要記得 drop first dummy ，以避免發生 perfect multicollinearity（完全的多重共線性）。multicollinearity：變數之間高度相關，模型的可靠度下降。<br>- 又或者，使用 Python 跑 Recursive Feature Elimination（遞歸特徵消除）時，要注意 categorical features 做相對應的處理 …. 題外話是 R 似乎會自己處理好 categorical features dummies 在 feature selection 的問題</li></ol><h4>或是自己遇到的問題，像是</h4><ol><li>模型不收斂</li><li>categorical features 怎麼做選擇</li></ol><h4>在解釋模型需要注意的地方</h4><ol><li>這個模型以及探索性資料分析 (Exploratory Data Analysis, EDA) 的結果，都只能使用在該公司的員工在離職與否的預測，或是可能潛在因素的解釋。無法應用在其他公司。</li><li>模型準確率越高當然是越好，但是要注意這個高準確度可能是「虛假的」，例如過度擬合 overfitting 的問題</li></ol><h4>Future Direction</h4><p>categorical variables 的處理可以更細緻。</p><p>特徵的選擇在跑遞歸特徵消除演算法的時候，亦須仰賴領域專業知識協助特徵的選擇，建好的 ML 模型才有實務上的意義。</p><p>詳細的模型訓練過程會放在我的網站。</p><h3>心得</h3><p>收集資料的過程非常重要，一個好的、乾淨的 dataset 可以讓後續的數據分析跟建模更漂亮。</p><p>其實這個分析在八月中就開始做了，一開始只想試著做描述性統計（i.e., EDA in ML world），一方面的確是覺得描述性統計跟做圖實在是太簡單了（我後來亦寫了個 function 叫電腦重複做這件事😊），一方面又發現這個數據集很適合拿來訓練分類的 ML 模型，於是重溫相關的統計概念跟自學 ML 相關的概念。然後就想起來我在 ASU 的統計課做過預測房價的模型，最後還拿了 A+ 呢。</p><p>九月因故在做另一件事，中斷了這個員工離職分析。十月初才有空把放置在一旁的數據分析拿回來做完，順便建一個機器學習模型。</p><p>於是，人生第一個 machine learning model 完成啦！！！！🎉</p><p>感謝收看。若有任何意見、看法或建議，歡迎留言指教。</p><h3>參考資料</h3><p>數據集<br><a href="https://www.kaggle.com/datasets/pavansubhasht/ibm-hr-analytics-attrition-dataset/data">IBM HR Analytics Employee Attrition &amp; Performance</a></p><p>這次沒有紀錄參考的資料來源，但大多是從以下幾個網站獲取的資訊：</p><p>GeeksforGeeks</p><p>Stack Overflow</p><p>iT邦幫忙</p><p>Wikipedia</p><p>etc.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0d0cdb2732f9" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[讀書心得- 失控的同理心]]></title>
            <link>https://medium.com/@ayt.hsueh/%E8%AE%80%E6%9B%B8%E5%BF%83%E5%BE%97-%E5%A4%B1%E6%8E%A7%E7%9A%84%E5%90%8C%E7%90%86%E5%BF%83-939023f1f42a?source=rss-75a6eac991c5------2</link>
            <guid isPermaLink="false">https://medium.com/p/939023f1f42a</guid>
            <category><![CDATA[同理心]]></category>
            <category><![CDATA[失控的同理心]]></category>
            <dc:creator><![CDATA[Yi-Ting Hsueh]]></dc:creator>
            <pubDate>Sat, 29 Jul 2023 03:18:03 GMT</pubDate>
            <atom:updated>2023-07-29T03:18:03.632Z</atom:updated>
            <content:encoded><![CDATA[<p>《失控的同理心︰道德判斷的偏誤與理性思考的價值》</p><p>原文書名：Against Empathy: The Case for Rational Compassion</p><p>作者：保羅‧布倫（Paul Bloom）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*va95NKjY_Uvi4ZXHcVhYXg.jpeg" /></figure><h4>關於作者</h4><p>一名心理學教授，耶魯大學的。</p><h4>有趣的想法</h4><p>突然看到書架上的這本書，就覺得我怎麼沒給它獨立一篇心得呢？</p><p>之前整本看完時，立刻上網查，果然沒有任何學者為之背書。我猜是因為反對同理心的主題具有爭議性。但我也是因為書名才對這本書感興趣就是了。</p><p><strong>作者反對的是「情緒同理心」，而非「認知同理心」。</strong></p><p>作者也在一開始就先講清楚他對這些概念的定義（果然是心理學家）。其實也可以說他反對的是「情緒感染」，或是去「感受別人的感受」，這些都是情緒同理心的範疇；他認為擁有或經歷或複製跟對方相同的感受並非必要的，但他讚揚「理解他人的感受」這個行為，也就是認知同理心。</p><h4>心得</h4><p>我認為情緒同理心豐富了我的精神狀態，使我不必真實經歷，就能有那些感受。但在個人生活以外，在職場上或國家政策上，的確認知同理心更為重要。</p><p>原始情感跟情緒使我們高估當下、低估末來，進而做出錯誤決策。他其實想提倡的是「<strong>理性</strong>」，理性才能使人類社會進步。</p><p>前三章對國家社會政策的反同理心論述的確是鏗鏘有力，有點冷血但認同，基本也跟我的觀念相符。但後半貶低人際關係中的同理心的論述則虛弱。</p><p>同理心就像聚光燈，聚光燈照亮的範圍很小。因此，在同理心運作中，注意力影響我們的判斷，我們内在的偏見aka過去記憶形塑的知識信仰也影響我們的注意力範圍。而這形成了作者反對同理心的主因。</p><p>另一個需要特別提到的是，作者支持憐憫跟關懷及助人行為，以及理性做出的政策。</p><p>認同他對神經科學的批判：神經科學結果本身沒有什麼嶄新之處，只是印證幾百年來科學家提出的見解，但對人類社會的知識增長依然十分寶貴 (p.89)。</p><p>認同他對問卷調查測量的批判（但他本身也有在使用就是了）：問卷結果是受試者心中想像的自己以及想展露給別人看見的形象。無法排除與同理心相關的其他變項。 (p.106)</p><h4>Quick notes</h4><p>p.38 「我知道你痛苦，但我沒有因此痛苦」為社會認知、社會智能、心智理論。</p><p>p.39 歐巴馬的演講提到同理心是個選擇。之後可以回來參考。</p><p>p.51 結果論 (consequentialism）</p><p>p.93 自我與他者的交疊或許是一種精明的演化策略。人類是社會性動物，理解其他個體的内在思維、精準猜測别人的想法、欲求與感受可以帶來很大好處。我們沒有心靈感應能力，只能透過感官取得資訊進行推理。</p><p>p.104 同理心本身無法自動轉化為善心。同理心使原本就善良的人更善良，因為善人不樂見苦痛，而同理心突顯了苦痛。（那要怎麼使原本就沒那麼善良的人做出善行呢？也許就是認知同理心。）</p><p>p.120 可辨識受害者效應 (identifiable victim effect)</p><p>p.134 作者對好人的定義是一方面關心他人，也就是希望解除他人痛苦、改善世界整體狀態；另一方面是要懂得理性思考評估最適合的做法。稱為有效利他主義 (Effective Altruism)</p><p>p.157 政治辯論中，立場衝突通常是因為關注焦點不同。也就是說大眾雖然選邊站，但分歧點不在於「應不應該同理？有沒有同理心？」，而是「應該同理誰」。</p><p>p.175.176 同理訓練增加了 insula &amp; ACC 的反應，而憐憫訓練則強化 mPFC &amp; ventral striatum</p><p>p.221 虛構人物多半為純粹的惡，與多數人一輩子都沾不上邊。</p><p>p.269 「雖然我尊重上面所述的社會心理學研究，但我不認同大部分人對研究結果的詮釋方式」懂說話。</p><p>p.281 亞當斯密認為對人類最有用的素質是「理性與理解力」和「自我控制」</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=939023f1f42a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Python Project (2)- 在 Google Colab 上寫 code 抓取靜態網頁數據]]></title>
            <link>https://medium.com/@ayt.hsueh/python-project-2-%E5%9C%A8-google-colab-%E4%B8%8A%E5%AF%AB-code-%E6%8A%93%E5%8F%96%E9%9D%9C%E6%85%8B%E7%B6%B2%E9%A0%81%E6%95%B8%E6%93%9A-48e86184dbd7?source=rss-75a6eac991c5------2</link>
            <guid isPermaLink="false">https://medium.com/p/48e86184dbd7</guid>
            <category><![CDATA[jrexile]]></category>
            <category><![CDATA[google-colab]]></category>
            <category><![CDATA[python-projects]]></category>
            <category><![CDATA[web-scraping]]></category>
            <category><![CDATA[網頁抓取]]></category>
            <dc:creator><![CDATA[Yi-Ting Hsueh]]></dc:creator>
            <pubDate>Fri, 28 Jul 2023 03:59:53 GMT</pubDate>
            <atom:updated>2023-07-28T03:59:53.643Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yMEBBZHW5UzhXVQ4qDzwcQ.jpeg" /></figure><p>第二個 Python 入門專案的起因相當簡單隨性，想練習靜態網頁爬蟲，選擇 LDH 官方網站做為練習的主因之一是因為他們網頁寫得很乾淨簡潔。另一個原因是想知道我喜歡的團出過哪些專輯、作品有哪些。</p><blockquote>敗家敗得很技術 😌 ….啊、是快樂學習啊！</blockquote><h4>專案目標</h4><p>從 LDH 官方網站抓取表演者資訊，並輸出 csv 檔。</p><p>決定抓取的資訊（資料框的欄位）有</p><ul><li>團體名稱</li><li>作品名稱</li><li>內容物</li><li>發行日</li><li>觀賞或購買連結</li></ul><h4>前置作業</h4><p>載入抓取靜態網站需要的套件。Google Colab 內建 requests 跟BeautifulSoup ，不需要再安裝，直接 import</p><pre>import requests # 請求存取頁面<br>from bs4 import BeautifulSoup<br><br>import pandas as pd<br>import numpy as np<br><br>from google.colab import drive<br>drive.mount(&#39;/drive&#39;)</pre><h4>從網頁上抓取名稱跟連結</h4><p>先在 MANAGEMENT 這頁抓取每一個 ARTIST 的名稱跟連結，連結是為了下一步抓取作品資訊做準備。</p><p>設定要抓取的網頁網址，並請求網頁內容</p><pre>url = &#39;https://www.ldh.co.jp/chh/management/&#39;<br>webPage = requests.get(url) </pre><p>取得內容後，用 lxml 解析 HTML 格式的數據（其他解析工具有 html.parser），出現例外的話，就 print 一個 error message 告訴我出了什麼問題。200 表示成功取得回應，其他 codes 包括熟悉的 404 Not Found 、 403 Forbidden 表示沒有存取資源的權限、500 內部伺服器錯誤。</p><pre>try: <br>  webPage = requests.get(url)<br>  webPage.raise_for_status()<br>  soup = BeautifulSoup(webPage.text, &#39;lxml&#39;)<br>except Exception:<br>  print(f&quot;Error! {webPage.status_code}&quot;)</pre><p>我本來用 if/else 條件式，但此時用 try/except 條件式效率較高。因為 99% 的請求大概是會回傳 ok 。</p><p>成功抓取解析頁面文本後，回到網站上，去查看想要的資訊放在哪些元素裡。一般來說直接右鍵 Inspect</p><p>那、鎖右鍵的網頁要怎麼檢查元素？</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5VuWuwrzE3s6KsfeVysGyQ.png" /></figure><p>發現 ARTIST 資訊獨立一個 section ，且 ul 的 class 是 artist cf ，等一下就可以直接定位只要這一塊的資訊。可以看到預計要抓取的 ARTIST 的名稱在 em 元素裡；連結則是在 a 元素裡。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YMfKclDUZtXOY2wW91tX5Q.png" /></figure><p>所以 code 長這樣</p><pre>artist_names = []<br>a_links =[]<br><br>ul_artist = soup.find_all(&#39;ul&#39;, class_=&#39;artist cf&#39;)[0]<br>artist_em = ul_artist.find_all(&#39;em&#39;)<br>artist_a = ul_artist.find_all(&#39;a&#39;) <br><br>for em in artist_em:<br>  artist_names.append(em.string)<br>for a in artist_a:<br>  a_links.append(a.get(&#39;href&#39;))<br><br>artists = {&#39;name&#39;: artist_names, &#39;link&#39;: a_links}<br>artists_df = pd.DataFrame(artists)<br>artists_df.to_csv(&#39;[your path]/webPages/artists.csv&#39;, index=False)</pre><h4>從網頁上抓取作品資訊</h4><p>想抓取的資訊有以下，先定義欄位名，資料型態為 list</p><ul><li>作品名稱</li><li>內容物</li><li>發行日</li><li>觀賞或購買連結</li></ul><pre>artist_name = []<br>work_title =[]<br>work_content =[]<br>released_date = []<br>buy_link = []</pre><p>只要 Jr.EXILE 五個團體的資訊作為練習（另一個原因是不想一次抓幾十個，可能會被判斷為濫用之類的 XD）</p><p>這邊 code 的重點是我想執行一次就抓完所有團體的所有資訊，這樣</p><p>所以等一下會直接從上一步的資料框中，使用迴圈取出每個團體的連結</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*c2uWVx49QSZNIkayqZm6VQ.png" /></figure><p>那觀察一下存下來的 link 發現沒有前面那串網址，所以先定義一個 url_ldh 字串，再跟每個團體的連結字串相加，即為需要的 url 。接著就可以請求頁面內容了</p><pre>url_ldh = &#39;https://www.ldh.co.jp&#39;<br>url = url_ldh+artists_df.at[i, &#39;artist_link&#39;] # i = 3, ..., 7<br>webPage = requests.get(url)</pre><p>作品資訊在 div，且 class 是 disc</p><p>連結在另一個 class 為 buy 的 div 裡面的 a 元素</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Jw6Ir6UExrcWnU_PogapJQ.png" /></figure><p>在找到 soup.find_all(‘div’, class_=’disc’) 之後發現裡面有不少空格跟換行，所以我用了 strip() 移除頭尾的空白後， 再用split(“\r\n”) 分割字串，就取得作品名稱、內容、跟發行日</p><pre>work = soup.find_all(&#39;div&#39;, class_=&#39;disc&#39;)<br><br>disc = work.text.strip().split(&quot;\r\n&quot;)<br>work_title.append(disc[0])<br>work_content.append(disc[1])<br>released_date.append(disc[2])<br>released_date_2.append(disc[3]) #多一欄放可能因格式跑掉的日期</pre><p>因為少數作品沒有附上任何 YouTube 或購買的連結，跑 work.find(‘div’, class_=’buy’).find(‘a’).get(‘href’) 會得到錯誤訊息 AttributeError: ‘NoneType’ object has no attribute ‘get’ ，所以這邊用一個 try/except （這個情境好像比較適合用 if/else 就是了）</p><p>完整的 code</p><pre>for i in range(3, 8):<br>  name = artists_df.at[i, &#39;artist_name&#39;]<br>  url = url_ldh+artists_df.at[i, &#39;artist_link&#39;]<br><br>  try:<br>    webPage = requests.get(url)<br>    webPage.raise_for_status()<br>    soup = BeautifulSoup(webPage.text, &#39;lxml&#39;)<br><br>    work = soup.find_all(&#39;div&#39;, class_=&#39;disc&#39;)<br>    for work in work:<br>      artist_name.append(name)<br>      disc = work.text.strip().split(&quot;\r\n&quot;)<br>      work_title.append(disc[0])<br>      work_content.append(disc[1])<br>      released_date.append(disc[2])<br>      released_date_2.append(disc[3])<br><br>      buy = work.find(&#39;div&#39;, class_=&#39;buy&#39;)<br>      try: <br>        link = buy.find(&#39;a&#39;).get(&#39;href&#39;)<br>        buy_link.append(link)<br>      except AttributeError:<br>        buy_link.append(&#39;NaN&#39;)<br><br>        work_dict = {&#39;artist_name&#39;: artist_name, &#39;work_title&#39;: work_title, &#39;work_content&#39;: work_content, &#39;released_date&#39;: released_date, &#39;released_date_2&#39;: released_date_2, &#39;buy_link&#39;: buy_link}<br>        work_df = pd.DataFrame(work_dict)<br>        work_df.to_csv(&#39;[your path]/webPages/works.csv&#39;, index=False)<br><br>  except Exception:<br>    print(f&quot;Error! {webPage.status_code}&quot;)</pre><p>到這邊資料就都爬下來了。而且也存成 csv 檔，如下示意圖</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*L_YoTaQNjvO8-BAD_MmHjw.png" /></figure><h4>數據整理 &amp; 數據清理</h4><p>看了下表格，有幾筆專輯資訊格式不一樣，所以沒有在 released_date 抓到正確的日期，例如，上圖的第 20 列，目前想到的解決方向有兩個：</p><ol><li>回去找爬下來的網頁內容，用不同的 split + 利用 if/else 條件式去分割 text</li><li>直接在現在的資料框做整理，用 search() + regex 或是 re.findall() 去抓文本中（aka released_date 和 released_date_2）符合日期格式的字串</li></ol><p>這次就先不清理數據了，畢竟這個資料我沒想到還能做什麼後續分析，就是拿來看誰在什麼時候出了什麼專輯而已 😌 然後 MV 有放到 YouTube 的話有連結這樣 😌 沒有 YouTube 連結的話，會是 iTunes 連結</p><h4>🎉</h4><p>結束第二個入門專案！加上寫文章差不多三天完工。</p><p>雖然是個簡短的小 project ，但也更熟悉網頁結構了。對網頁爬蟲的流程又更了解了一些。</p><p>不過「檢查元素」找資訊有一種在扒人家衣服的奇怪感覺 😳</p><p>另外就是我也有考慮過 ORICON 的銷售排行榜很適合爬蟲再作成表格，但是他們頁面資訊很多很雜，所以…. 下一個就爬它！😌</p><p>結果我要預告第三個專案是動態網頁爬蟲，這個遇到好多障礙，難產中（。</p><p>最後的最後，雖然寫文章可以學得更深更廣、觀念理解的更清楚、還會去找資料生怕自己散播了錯誤資料，真的好花時間好難寫啊哈啊哈哈啊…… 這麼菜雞的文章若能對其他也是爬蟲新手的人一點幫助跟信心那就太好了 💪</p><h4>參考資料</h4><p>這回每個教學都只參考一點，沒有找到可以完全照著做的範例，因為都跟我心目中想抓取的資訊都不太一樣。</p><p><a href="https://ithelp.ithome.com.tw/articles/10274293">https://ithelp.ithome.com.tw/articles/10274293</a></p><p><a href="https://ithelp.ithome.com.tw/articles/10249042">https://ithelp.ithome.com.tw/articles/10249042</a></p><p><a href="https://ithelp.ithome.com.tw/articles/10186119">https://ithelp.ithome.com.tw/articles/10186119</a></p><p><a href="https://www.youtube.com/watch?v=LCVSmkyB4v8">https://www.youtube.com/watch?v=LCVSmkyB4v8</a></p><p>Google!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=48e86184dbd7" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Python Project (1)- YouTube 播放清單的影片統計數據抓取+分析+視覺化 #5]]></title>
            <link>https://medium.com/@ayt.hsueh/python-project-1-youtube-%E6%92%AD%E6%94%BE%E6%B8%85%E5%96%AE%E7%9A%84%E5%BD%B1%E7%89%87%E7%B5%B1%E8%A8%88%E6%95%B8%E6%93%9A%E6%8A%93%E5%8F%96-%E5%88%86%E6%9E%90-%E8%A6%96%E8%A6%BA%E5%8C%96-5-4197881eb9e6?source=rss-75a6eac991c5------2</link>
            <guid isPermaLink="false">https://medium.com/p/4197881eb9e6</guid>
            <category><![CDATA[youtube-data-api]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[jrexile]]></category>
            <category><![CDATA[python-projects]]></category>
            <dc:creator><![CDATA[Yi-Ting Hsueh]]></dc:creator>
            <pubDate>Tue, 25 Jul 2023 14:36:59 GMT</pubDate>
            <atom:updated>2023-07-25T14:36:59.522Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yMEBBZHW5UzhXVQ4qDzwcQ.jpeg" /></figure><p>本篇接續處理上一篇發生的分類問題。</p><p>上次是在影片標題找關鍵字（例如，music video 或是 dance etc.），再做類別標籤，但因為 gene 頻道大多只放團體名跟歌名，所以沒有抓到影片類型。</p><p>今天直接到各頻道找他們自己放的播放清單。優點有二：</p><ul><li>官方分類好 Music Video, Live &amp; Stage, Dance Video etc.</li><li>抓得到其他頻道上傳的官方影片（主要是 avex）</li></ul><p>缺點只有一個，也很明顯，就官方沒放在播放清單就抓不到了。像是沒在更新播放清單，或是根本沒在經營這塊的….（就是在說你、 BBZ ）</p><p>方法跟之前大致一致，就不再紀錄過程啦。</p><p>那結果跟之前差滿多的，所以特地再寫一篇。</p><p>直接上結果！</p><h4>Music Video</h4><p>因為 Music Video 是最重要的作品，所以單獨分析每一個團體的 Music Video 播放清單。</p><p>gene</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*18bLXaH7ijfQZA6E58aegQ.png" /></figure><p>gene 的 Music Videos 主要是在唱片公司 avex 的 YouTube 頻道發佈（這也顯示了上一次分析的問題，不少影片不是在自己頻道上架）</p><p>有趣的是留言都集中在 gene 自己頻道發佈的影片</p><p>rmpg</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aoQb7YFJTVmJq7kysek5hw.png" /></figure><p>跟 gene 的 pattern 差不多，但自己頻道發佈的 Music Videos 也不少 likes</p><p>一首跟 gene 合作的 SHOOT IT OUT 表現亮眼</p><p>fanta</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xDQoo6CnPBdJLLsHsbFHsA.png" /></figure><p>fanta 最多 views and likes 的 Music Videos 中，有將近一半是跟 Jr.EXILE 其他團體的合作曲，甚至佔了 top 3 views</p><p>最多留言的影片中，前四支也太突出，跟後面的斷層看起來有點搞笑😂</p><p>bbz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CCTlRt5xOnfynKj0XtY1IA.png" /></figure><p>跟 fanta 類似，最多 views and likes 有三分之一是跟其他團體的合作曲</p><p>不過， bbz 的 top 3 都是自己的歌</p><p>pcf</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GpLZwZelcBpqnDjFxZBJ3w.png" /></figure><p>新團數據比較少，看不太出有趣的 pattern</p><h4>Jr.EXILE Top 10 Views/ Likes/ Comments Music Video</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*B0Pc8F3yuBqqNKxq-W8EtQ.png" /></figure><p>Music Video 幾乎是 gene 的歌有最多的 views and likes</p><p>comments 還是這麼有趣，又是 fanta 的影片獲得最多的留言</p><h4>Jr.EXILE Top 10 Views/ Likes/ Comments Live and Stage Video</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fPGppr2Q5aB8dQLD_n0XXg.png" /></figure><p>Live and Stage 的影片幾乎是 rmpg 有最多的 views and likes</p><p>comments 則是 gene 獲得較多的留言</p><h4>Jr.EXILE Top 10 Views/ Likes/ Comments Dance Video</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*F8YdUmGSbYIKyz1m-KexoA.png" /></figure><p>Dance 影片是 rmpg, gene, fanta 都有一定程度的 views, likes and comments</p><h4>小結</h4><p>直到這個分析才真正找到能回答我最初的問題的證據</p><blockquote>編舞難度最高的 fanta 上傳至 YouTube 的影片中，dance version 相對於其他類型的影片（i.e., music video, live, lyric video etc.）或相對於其他團體是否比較受歡迎？</blockquote><p>在所有舞蹈影片中， fanta 有較多支舞蹈影片獲得較多的觀看次數。白話來說， fanta 的確在舞蹈影片方面表現較自己其他種類的影片還要受關注。</p><p>對每個團的短評：</p><p>gene 在 music video 的觀看次數看起來很厲害。</p><p>rmpg 一如繼往在每個 YouTube 影片的指標分析皆表現亮眼。</p><p>fanta 沒有專屬自己的熱門歌曲，是一件有點可惜的事。</p><p>bbz 彷彿沒在認真經營 YouTube 頻道，抓不太到資料。</p><p>pcf 依然讓我覺得相當有潛力。</p><p>最後，讓 Jr.EXILE 彼此合作的企劃 BOT 很重要，帶後輩團的效果挺好的。</p><p>以上！</p><p>一樣的問題是沒有考慮團體出道時間跟影片發佈時間，因為我還沒想到怎麼放進分析啊哈哈🙇🏻‍♀️</p><p>那就加碼一個最新的 BOT 五個影片的 YouTube 影片統計數據！（2023/7/25）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/982/1*64hwcjpQNuQrbfpzxlGgmA.png" /></figure><p>rmpg 真的穩定的表現優異</p><p>居然也默默更新到第五篇了。</p><p>有任何問題可留言或來訊討論。</p><p>有緣下次 YouTube Data 專案見👋</p><blockquote>然後希望 HIRO桑可以 hire 我（突然的心裡話？），我很嚮往 LDH 的企業文化呢。</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4197881eb9e6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[我有自己的個人網站了]]></title>
            <link>https://medium.com/@ayt.hsueh/%E6%88%91%E6%9C%89%E8%87%AA%E5%B7%B1%E7%9A%84%E5%80%8B%E4%BA%BA%E7%B6%B2%E7%AB%99%E4%BA%86-7628325608fa?source=rss-75a6eac991c5------2</link>
            <guid isPermaLink="false">https://medium.com/p/7628325608fa</guid>
            <category><![CDATA[portfolio-website]]></category>
            <category><![CDATA[github-pages]]></category>
            <dc:creator><![CDATA[Yi-Ting Hsueh]]></dc:creator>
            <pubDate>Wed, 19 Jul 2023 13:20:32 GMT</pubDate>
            <atom:updated>2023-07-20T02:05:28.959Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*z-xJ3QFADOqscPbFUtGZ0g.png" /><figcaption>我的個人網站 yitinghsueh</figcaption></figure><p>起因是我想建立一個個人網站，放自己做過的專案、寫過的code、以及任何專業的成果。</p><p>Let’s build a portfolio website!</p><p>目標：做出一個簡單好看的靜態網站。</p><p>架設網站、裝飾跟設計都不是我有興趣的，所以，我要用最簡單快速的方式寫好，就要放到 GitHub 了，然後發布它！</p><p>目前這個較為簡單陽春的版本，從零到發布大概四天完工。</p><h4>免費模板</h4><p>我前陣子在 freeCodeCamp 上 Responsive Web Design 這個課程，最大的收穫是發現我對從程式碼開始設計網頁一點興趣也沒有。另一個大收穫是，了解網頁結構（HTML, CSS）讓我爬蟲學得比較順利！</p><p>所以建立網站的第一件事就是找免費模板。</p><p>HTML5 UP 提供一些免費模板。大家可以自行估狗。</p><p>最近喜歡灰粉色，一開始選了 Ethereal</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UtA2hI8lmMSLJ-0_CC6Oyg.png" /><figcaption>Ethereal</figcaption></figure><p>結果排版是橫式，不符合我的需求。</p><p>最後決定是 Strata 的模板 + Phantom 的功能 + Ethereal 的色調</p><p>(1) Strata：排版簡單、簡潔，且一格一格的排版放作品一目瞭然</p><p>(2) Phantom：首頁每一格點擊後，會連到新的一頁放詳細的專案內容</p><p>(3) Ethereal：最近真的很愛灰粉色 😂</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1002/1*BwflDFYFzh9gvu-SIpqrWA.png" /><figcaption>Strata</figcaption></figure><h4>下載 Visual Studio Code</h4><p>修改 code 用。</p><p>安裝 Live Server，才有辦法一邊改 code 一邊即時看網頁呈現的感覺。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VTcQCZnXw5IG9spE0EI6Gw.png" /><figcaption>找到 Live Server 並安裝。</figcaption></figure><p>雖說是使用模板，但懂一些 HTML 改起來會順很多，也能客製化讓網站更接近自己理想中的樣子。</p><p>我主要改了顏色，加上圖片，還有首頁的每一個作品都連到新的一頁，每一個專案都有一個獨立的頁面呈現專案細節。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RGgBB0Ff9sSCeAKoIrQIQQ.png" /><figcaption>改 code 的過程差不多是這種感覺。</figcaption></figure><p>接著把做過的數據相關專案一個一個放上去。大概花了兩天。</p><p>一些酷炫的網頁技巧我也寫不出來，依我對 HTML 跟 CSS 的知識來說，目前這個作品集網站已經相當滿意了！😂</p><p>完成後就準備發佈囉！</p><h4>GitHub Pages</h4><p>先在 GitHub 新增一個新的 repository</p><p>我找到的教學是直接拖曳檔案到 GitHub 網站。但這次我就當作複習怎麼透過 Terminal 上傳檔案到 GitHub 這樣</p><pre>remote: Support for password authentication was removed on August 13, 2021.<br>remote: Please see https://docs.github.com/en/get-started/getting-started-with-git/about-remote-repositories#cloning-with-https-urls for information on currently recommended modes of authentication.<br>fatal: Authentication failed for &#39;https://github.com/aythsueh/yitinghsueh.github.io.git/&#39;</pre><p>但畢竟我平常不會用到 GitHub，已生疏。要 push 到遠端一下子就遇到驗證的問題，根據官方文件現在要用 SSH Key 驗證，剛好我去年就自己設定好了一個未雨綢繆哈哈哈哈耶！（雖然但是當時有障礙的是分支的概念，總之直到今天才搞懂整個操作）</p><p>那原本是跑下面兩行 command push 上去</p><pre>git remote add origin git@github.com:user/repo.git<br>git push -u origin main</pre><p>但我剛剛已經新增一個 remote origin 了，要改遠端的網址為</p><pre>git remote set-url origin git@github.com:user/repo.git</pre><p>再 push ，應該就沒問題囉！</p><p>接著回到 GitHub ，找到專案裡面的 settings &gt; Pages</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OhPu0oG5ClojmPn99bH-xg.png" /></figure><p>選擇 main /(root) Save</p><p>就成功發布我的網站了！🎉</p><h4>學到的網頁設計知識</h4><p>雖然說對前端開發沒有興趣，但為了了解我改出來的東西，還是在網路上找了各種介紹的文章，像是：</p><p>div vs. span</p><p>article vs. section</p><p>一個網頁強烈建議只放一個h1</p><p>etc.</p><p>另一個花最多時間的事，是調整網站美感，怎麼改都不滿意～ 😮‍💨</p><p>不太意外我修改 code 還滿開心的！😂</p><p>這次參考的影片是：</p><p><a href="https://www.youtube.com/watch?v=ocdwh0KYeUs">https://www.youtube.com/watch?v=ocdwh0KYeUs</a></p><p>跟估狗！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7628325608fa" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[2023書單-2]]></title>
            <link>https://medium.com/@ayt.hsueh/2023%E6%9B%B8%E5%96%AE-2-da3b4d7c02fe?source=rss-75a6eac991c5------2</link>
            <guid isPermaLink="false">https://medium.com/p/da3b4d7c02fe</guid>
            <category><![CDATA[職場生存]]></category>
            <category><![CDATA[讀書心得]]></category>
            <category><![CDATA[心理學]]></category>
            <dc:creator><![CDATA[Yi-Ting Hsueh]]></dc:creator>
            <pubDate>Thu, 13 Jul 2023 07:21:03 GMT</pubDate>
            <atom:updated>2023-07-29T03:20:32.481Z</atom:updated>
            <content:encoded><![CDATA[<p>差不多在上完 SQL 課的時候，我迷上了 FANTASTICS from EXILE TRIBE，非常狂熱的那種愛上，我花了所有正事以外的時間在反覆觀看他們的 music video 跟 choreography ⋯⋯真的太喜歡了，風格、歌者歌聲、編舞、每一位表演者對舞的詮釋，我真的覺得在欣賞藝術。</p><blockquote>沈浸在藝術中對心靈有益🌞</blockquote><p>每天都要戴上耳機、打開 YouTube 看好幾支影片，真的是每天，持續了一個多月。</p><p>接著浪配的三vo 讓我非常驚艷</p><p>最近兩個禮拜則是愛上 gene高這個綜藝</p><p>對 BBZ 跟 PsyFe 比較無感</p><p>從我入fanta 坑到現在差不多兩個月了⋯⋯至今完全沒有一絲絲出坑的跡象。</p><p>也因此我已經好久沒有看書了。</p><p>試著拿起書（《心靈的傷，身體會記住》這本）來，我卻只想吐槽作者那些不完全正確的神經科學知識，看不下去啊。</p><p>剛剛久違的上網買了六本書，大多是跟職場相關的。目前需要數據、工作相關的知識。不過有兩本是心理學跟神經科學的書，看起來挺有趣的。</p><p>來發一篇文紀錄之前看過的書。</p><p>時間：2023年3月- 4月</p><p>紀錄：7本</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*av3-4qpyg03wWXOcdBZ7rA.jpeg" /></figure><h4>後悔的力量：全面剖析「悔恨」背後的行為科學，將「遺憾」化為高效行動力<br>The Power of Regret: How Looking Backward Moves Us Forward</h4><p>作者： 丹尼爾‧品克（Daniel H. Pink）</p><p>是超級推薦的一本！</p><p>之前寫過一篇心得，<a href="https://medium.com/@ayt.hsueh/%E8%AE%80%E6%9B%B8%E5%BF%83%E5%BE%97-%E5%BE%8C%E6%82%94%E7%9A%84%E5%8A%9B%E9%87%8F-b6897a45392b">在這</a>。</p><h4>因果革命：人工智慧的大未來（硬殼精裝）<br>The Book of Why: The New Science of Cause and Effect</h4><p>作者： 朱迪亞・珀爾, 達納・麥肯錫（Judea Pearl, Dana Mackenzie）</p><p>為了湊兩書75折買的。結果意外的喜歡。</p><p>不過以我的知識背景來看這本還是有點難懂，撐到第六章吧終於覺得後面應該完全看不懂了😂</p><p>簡單的說，作者討厭科學研究中的聖經 — 統計學，他認為因果圖可以表達甚至解決因果關係。然後他真的很討厭費雪😂</p><p>不過可以理解在實驗心理學裡，因果圖不重要，根本不需要，因為隨機對照試驗即能做出想要的結果，並推導因果關係。</p><p>所以問題在於無法做實驗操控的情境。差不多就是那個最近又開始熱門的AI。</p><h4>失控的同理心︰道德判斷的偏誤與理性思考的價值<br>Against Empathy:The Case for Rational Compassion</h4><p>作者： 保羅‧布倫（Paul Bloom）</p><p>推薦的原因：對於提倡理性的同理心的論述強而有力。</p><p><a href="https://medium.com/@ayt.hsueh/%E8%AE%80%E6%9B%B8%E5%BF%83%E5%BE%97-%E5%A4%B1%E6%8E%A7%E7%9A%84%E5%90%8C%E7%90%86%E5%BF%83-939023f1f42a">詳細心得在此</a>。</p><h4>惡意如何帶來正義？：被誤解的第四種行為，從心理學、腦科學重新解讀人性黑暗面的成因，及翻轉個人與社會的力量<br>Spite: The Upside of Your Dark Side</h4><p>作者： 賽門・麥卡錫－瓊斯（Simon McCarthy-Jones）</p><p>一直以為大多數心理學教授寫的書我都看得懂，但這本是個例外⋯⋯</p><p>大概是純粹的惡是我無法理解的範圍了吧。</p><p>每次一翻開就濃濃的睡意😂</p><p>在助眠方面很好用😌</p><h4>同事都是外星人：一掃職場壞心情的教戰手冊<br>同僚は宇宙人 ～職場のモヤモヤ一掃マニュアル～</h4><p>作者： 野澤幸司</p><p>網路推薦才買的。</p><p>大概是想避免未來在職場上被人討厭😂</p><h4>Deep Work深度工作力：淺薄時代，個人成功的關鍵能力<br>Deep Work: Rules for Focused Success in a Distracted World</h4><p>作者： 卡爾．紐波特（Cal Newport）</p><p>在台灣很受歡迎的一本書。看完也覺得的確也是滿推薦的。</p><p>「專注」 — — 一個單字總結。值得拜讀的地方在於提供了策略。有些是我本來就有在用的，維持進度的方式，像是固定時段做所謂深度工作的內容。</p><p>但減少分心在這個網際網路遍佈的時代，真的是相當的困難。但我成功的把每日滑手機時間從 7–8 小時減少到 4 小時左右⋯⋯以前真的太耍廢了。</p><p>適合知識工作者像是學術研究人員或程式設計師。但若是打工人就不適合，除非想運用工作以外的時間做需要專注的事，例如讀書上課申請拼職涯轉換之類的。</p><p>所以我昨天下單作者的另一本《深度職場力》，比較符合我目前的職涯規劃。</p><h4>勝算：賭的科學與決策智慧<br>The Perfect Bet: How Science and Math Are Taking the Luck Out of Gambling</h4><p>作者： 亞當・庫查司基（Adam Kucharski）</p><p>一開始應該是為了「人類決策」買的。</p><p>長話短說，我讀不下去。</p><p>數學、機率、模型、決策那些的我能理解，但大概我就反感賭博吧。要寫心得卻連書中一些小故事我都回想不起來（我最喜歡聽故事了耶）。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=da3b4d7c02fe" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Python Project (1)- 使用 YouTube Data API v3 影片統計數據- 分析+視覺化 #4]]></title>
            <link>https://medium.com/@ayt.hsueh/python-project-1-%E4%BD%BF%E7%94%A8-youtube-data-api-v3-%E5%BD%B1%E7%89%87%E7%B5%B1%E8%A8%88%E6%95%B8%E6%93%9A-%E5%88%86%E6%9E%90-%E8%A6%96%E8%A6%BA%E5%8C%96-4-5f8a94b5c906?source=rss-75a6eac991c5------2</link>
            <guid isPermaLink="false">https://medium.com/p/5f8a94b5c906</guid>
            <category><![CDATA[jrexile]]></category>
            <category><![CDATA[youtube-data-api]]></category>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[python-projects]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Yi-Ting Hsueh]]></dc:creator>
            <pubDate>Sun, 25 Jun 2023 08:32:20 GMT</pubDate>
            <atom:updated>2023-06-26T05:09:13.578Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2LAkM2qDyOr5f1i-H_iwMQ.jpeg" /></figure><p>上一篇寫了如何抓取頻道上傳的影片資訊跟統計數據，並準備好 data，這篇主要在分析跟做圖。也會記錄我怎麼解決在專案過程中遇到的一些問題。</p><p>這個 YouTube Data Python Project 系列分成三篇 — —</p><p>使用 YouTube Data API v3 頻道資訊- 抓取+分析+視覺化 #1<br>使用 YouTube Data API v3 頻道播放清單的影片資訊- 抓取 #2<br>使用 YouTube Data API v3 影片統計數據- 準備 #3<br><strong>使用 YouTube Data API v3 影片統計數據- 分析+視覺化 #4</strong></p><p>一些前情提要 — —</p><p>分析 YouTube 影片統計數據可大致分成兩個部分：</p><p><strong>Part 1.</strong> 在 Google Colab 上編寫 Python code，透過 YouTube Data API v3 抓取 YouTube data，步驟如下</p><ol><li>載入需要的套件</li><li>從 YouTube 取得所需的數據（分兩步驟：取得頻道所有影片的 video IDs 後，再抓影片統計數據）</li><li>數據處理</li></ol><p><strong>Part 2. 統計分析-&gt; 使用 Seaborn 做圖-&gt; 討論-&gt; 未來方向</strong></p><ol><li>找出 5 個團體所有影片中，views/ likes/ comments 數量前十多的影片；找出每個頻道中，views/ likes/ comments 數量前五多的影片</li><li>找出 5 種影片類型（i.e., music, dance, live, lyric, and other）各自的 views, likes, and comments，分析每個團體的可能強項</li></ol><p>本篇介紹 Part 2。圖多。</p><p>承上兩篇，我抓取跟分析的是日本 EXILE TRIBE 裡面 Jr.EXILE 五個團體的 YouTube data。</p><p>專案<strong>目標</strong>跟想回答的問題：</p><p>(1) 比較五個團體在 YouTube 的人氣</p><ul><li>分析跟結果在本系列的 #1</li></ul><p><strong>(2) 編舞難度最高的 FANTASTICS 上傳至 YouTube 的影片中，dance version 相對於其他類型的影片（i.e., music video, live, lyric video, and others）或相對於其他團體是否比較受歡迎？</strong></p><ul><li><strong>根據 YouTube 影片統計數據，我將比較五種影片類型的 views、likes 以及 comments 的數量做為受歡迎程度的測量。</strong></li><li><strong>針對其他團體，也將以相同方式分析每個團體的可能強項。</strong></li></ul><blockquote>特別聲明：純屬娛樂與練習，請看到這篇的粉絲手下留情🙇🏻‍♀️</blockquote><h3>Part 2. 分析+做圖</h3><p>根據分析需求，我主要還是用 Seaborn 製作多張長條圖，做描述性統計分析。</p><h4>第一個分析</h4><blockquote>找出 5 個團體所有影片中，views/ likes/ comments 數量前十多的影片</blockquote><h4>Jr.EXILE top 10 views/ likes/ comments</h4><p>先使用 sns.set_theme() 預設 style 跟 palette，以及為了在圖上顯示日文字，設定 font=”IPAexGothic” 。設定 font_scale 調大字體，看的比較清楚</p><p>調色盤預設是 Set2，但好的圖表要讓人一眼就看懂，所以我根據他們在 BATTLE OF TOKYO 中團體的代表色，為每個團體設定顏色</p><p>預計在畫布上做 3 張子圖</p><pre>sns.set_theme(palette=&#39;Set2&#39;, font=&quot;IPAexGothic&quot;, font_scale=1.2)<br>palette={&#39;generations&#39;: &#39;gold&#39;,<br>         &#39;the rampage&#39;: &#39;firebrick&#39;,<br>         &#39;fantastics&#39;: &#39;violet&#39;,<br>         &#39;ballistik boyz&#39;: &#39;royalblue&#39;,<br>         &#39;psychic fever&#39;: &#39;lightgreen&#39;}<br>fig, ax = plt.subplots(3, 1, figsize=(20, 25))</pre><p>顏色的選擇是根據 CSS Colors 的命名，在 <a href="https://matplotlib.org/stable/gallery/color/named_colors.html">matplotlib 的網站</a>也有提供一個這樣快速查顏色名的表</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/872/0*_SwpngQv3KjujbB-.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jZhmF346KE8OuJcxStYC2A.jpeg" /></figure><p>（私心又放了一次照片😂）</p><p>因為我會畫相同的長條圖好幾次，所以我直接定義一個 function ，讓 code 簡潔易讀一點</p><pre>def top10_barplot(data, ax, x, xlabel, title):<br>  sns.barplot(data=data, ax=ax, x=x, y=&#39;video_name&#39;, hue=&#39;channel&#39;,<br>              palette=palette, dodge=False, width=0.6, linewidth=0)<br>  ax.set_title(title)<br>  ax.set_xlabel(xlabel)<br>  ax.set_ylabel(&#39;&#39;)<br>  ax.legend(loc=&#39;center right&#39;, title=&#39;Group&#39;)<br>  for bars_group in ax.containers:<br>    ax.bar_label(bars_group, padding=3)<br>  ax.margins(x=0.1, y=0.02)</pre><p>我新學到的東西：</p><ul><li>dodge=False 可以讓 bar 不要跟著類別（aka group here）平移</li><li>for 迴圈將數據標籤到 bar 上</li><li>ax.margins(x=0.1, y=0.02) 調整上下左右的邊距</li></ul><p>依序將 top10_barplot(data, ax, x, xlabel, title) 的參數丟到裡面，呼叫 3 次 top10_barplot 後（僅用第一張子圖示意），自動調整子圖位置後，顯示圖</p><pre>top10_barplot(top10views_videos, ax[0], &#39;views_million&#39;, &#39;Views (millions)&#39;, &#39;Top 10 Views\&#39; Videos in Jr. EXILE&#39;)<br><br>plt.tight_layout()<br>plt.show()</pre><p>plt.tight_layout() 可以避免 subplot 之間重疊</p><p>output</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XCLFHK8ts22qSueJ-9UlZQ.png" /></figure><p>用官方代表色顯示每一個團體後，長條圖一目了然。views &amp; likes的前十多幾乎都是 THE RAMPAGE 的影片，相對較新的團也都有一支影片進前十，最有趣是 comments 前四名的影片都是 FANTASTICS 的。</p><p>結果挺有意思的</p><ul><li>首先，THE RAMPAGE 表現真的很好，不少 music video 的觀看次數跟被喜歡的次數常常是最多的這樣</li><li>GENERATIONS 表現穩定，在 views, likes, comments 都是</li><li>新團 PSYCHIC FEVER 歌雖少，但一首新歌觀看次數居然高達五百多萬</li><li>BALLISTIK BOYZ 也有一首新歌有四百多萬的觀看次數， 一支兩年前的 music video 得到 4 萬多的喜歡</li><li>最有趣的是 FANTASTICS 的結果，沒有單支影片進觀看次數或喜歡次數的前十，然而，影片下方的留言量遠遠超過其他團體</li></ul><blockquote>找出每個頻道中，views/ likes/ comments 數量前五多的影片</blockquote><h4>top 5 views/ likes/ comments in each group</h4><p>做圖一樣直接 def 再呼叫。這邊只放 views 的 code 當示意。</p><p>Views</p><pre>fig, ax = plt.subplots(5, 1, figsize=(20, 20))<br><br>def views_barplot(data, ax, color, title):<br>  sns.barplot(data=data, ax=ax, x=&#39;views_million&#39;, y=&#39;video_name&#39;,<br>              color=color, width=0.6, linewidth=0)<br>  ax.set_title(title)<br>  ax.set_xlabel(&#39;Views (millions)&#39;)<br>  ax.set_ylabel(&#39;&#39;)<br>  for bars_group in ax.containers:<br>    ax.bar_label(bars_group, padding=3)<br>  ax.margins(x=0.1)<br>  ax.margins(y=0.06)<br>  ax.set_xlim(0,12)<br><br><br>views_barplot(top5views_gene, ax[0], palette.get(&#39;generations&#39;), &#39;Top 5 Views\&#39; Video on Generations\&#39; Channel&#39;)<br>views_barplot(top5views_rampage, ax[1], palette.get(&#39;the rampage&#39;), &#39;Top 5 Views\&#39; Video on The Rampage\&#39; Channel&#39;)<br>views_barplot(top5views_fanta, ax[2], palette.get(&#39;fantastics&#39;), &#39;Top 5 Views\&#39; Video on Fantastics\&#39; Channel&#39;)<br>views_barplot(top5views_BBZ, ax[3], palette.get(&#39;ballistik boyz&#39;), &#39;Top 5 Views\&#39; Video on Ballitik Boyz\&#39; Channel&#39;)<br>views_barplot(top5views_PCF, ax[4], palette.get(&#39;psychic fever&#39;), &#39;Top 5 Views\&#39; Video on Psychic Fever\&#39; Channel&#39;)<br><br>plt.tight_layout()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*l8JylEkgHnRUA-BwGju0hw.png" /></figure><p>各團觀看次數最多的都是 music video</p><p>值得一提的地方是，THE RAMPAGE 影片的觀看次數最多，甚至有一支破千萬的影片（居然還是沒幾個月前才釋出的新歌）</p><p>FANTASTICS、BALLISTIK BOYZ 兩團看起來差不多，GENERATIONS 略多</p><p>PSYCHIC FEVER 雖然大多未到百萬觀看次數，但一首新歌的 music video 在短時間內有五百多萬的觀看次數，看起來是個潛力十足的新團。</p><p>然而，一個使用者可能貢獻大於一的觀看次數，而一個使用者只能按一次喜歡，接下來來看看 likes 數能給我們什麼 insights</p><p>Likes</p><p>Code 跟上一個一樣的，主要的改變是把 x=’views_million’ 換成 x=’likes’</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uXPPoQNECys9oHRGS1_7Dw.png" /></figure><p>大部分也都是 music video，少數 dance version 或 lyric video 在 likes 前五。</p><p>大致上，likes數在各組內還滿平均的，可能意味著按下 like 的使用者重疊性很高，像我一樣幾乎每一支 FANTASTICS 我都會按喜歡。YouTube 目前沒有公開查看使用者的 likes 數據，只能查看自己的或是授權使用者。以現有的數據，無法得知特定使用者的行為。</p><p>比較特別的是，各組內特別高的影片，例如 THE RAMPAGE from EXILE TRIBE / FEARS (MUSIC VIDEO) 跟 【Music Video】「Animal」 / BALLISTIK BOYZ from EXILE TRIBE 觸及到了較多的 YouTube 使用者，也就是可能吸引到了粉絲以外的路人觀眾。</p><p>Comments</p><p>x=’comments’</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zUUkqf7iTLLoiZfjZTw2JA.png" /></figure><p>觀眾最常留言的影片大多是 music videos</p><p>最有趣的是 FANTASTICS 影片的留言數量遠遠超過其他團體，可能有什麼特別的原因，但僅就留言數量無從得知。</p><p>以上是量化分析，數據能提供的更細節的資訊就要透過質化分析了，例如，影片下方的留言內容。</p><h4>小結</h4><p>現在找到的都是 music videos 居多，不清楚其他類型的相關影片的表現，所以接著做第二個分析。</p><h4>第二個分析</h4><blockquote>找出五種影片類型（i.e., music, dance, live, lyric, and other）各自的 views, likes, and comments，分析每個團體的可能強項</blockquote><h4>(1) 各團體的影片數量</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DTLJaGRy_jIEz3vDjQMo2Q.png" /></figure><p>很明顯 Other 這個類別在每個頻道都有最多的影片，例如 behind the scenes, teaser, reaction video etc.，但不是我主要要分析的目標。</p><p>其他 4 個類型在每個團體的 pattern 不太一樣。影片數量可能會影響之後的對 views/ likes/ comments 次數的分析</p><p>一個要注意的問題是 GENERATIONS 不一定把影片的類型放在標題，所以可能分類沒有很成功</p><h4>(2) 各種類型影片在頻道裡的 views, likes, and comments 所佔比例</h4><p>Views</p><pre>sns.set_theme(palette=&#39;Set2&#39;, font_scale=1.2)<br><br>def percViews_bar(df, y, title, ylabel):<br>  types_order = [&#39;Music Video&#39;, &#39;Dance Video&#39;, &#39;Live Video&#39;, &#39;Lyric Video&#39;, &#39;Behind The Scenes&#39;, &#39;Other&#39;]<br><br>  fig, ax = plt.subplots(figsize=(12, 10))<br><br>  sns.barplot(data=df, x=&#39;channel&#39;, y=y,<br>              hue=&#39;type_video&#39;, hue_order=types_order, <br>              width=0.6, linewidth=0)<br>  ax.set_title(title)<br>  ax.set_xlabel(&#39;&#39;)<br>  ax.set_ylabel(ylabel)<br>  ax.legend(loc=&#39;upper right&#39;, title=&#39;Types of Video&#39;)<br>  ax.set_ylim(0,100)<br>  ax.axhline(50, ls=&#39;--&#39;, color=&#39;gray&#39;)<br><br><br>percViews_bar(percViews_groupby_df, &#39;percentageViews&#39;, &#39;Percentage of Views for Video Types in Each Group&#39;, &#39;Percentage of Views&#39;)<br><br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1023/1*2-5aFFS2ihOXoUXYe8pGRA.png" /></figure><p>除了 music videos 一直是觀眾最喜歡看的，不同團體之間的差異滿明顯的</p><ul><li>GENERATIONS 的頻道在這個專案的分類方法真的分失敗了，可以看到大部分的觀看次數都跑到 Other 了</li><li>THE RAMPAGE 頻道的觀看次數超過一半在 music videos，約 28% 在 other， live videos 約 13%， dance &amp; lyric 相對稀少。THE RAMPAGE 的 live 挺強的，但我好奇的是哪些影片被分到 other 了？還佔了這麼高的觀看次數</li><li>FANTASTICS 頻道的觀看次數超過一半在 music videos，live videos 的觀看次數約 17%，dance 約 9%，lyric 相對稀少。看起來的確是重舞蹈跟現場表演的團體。</li><li>BALLISTIK BOYZ 頻道也是超過一半的觀看次數都在 music videos， live 跟純音樂的 lyric videos 皆約 14%， dance version 跟其他類型的 other 佔的觀看次數約 9%。感覺是平衡型團體。</li><li>PSYCHIC FEVER 頻道的觀看次數將近一半在 music videos，接著是 other, lyric, dance ， live 幾乎沒有。反而純音樂的 lyric videos 佔的觀看次數較多。</li></ul><p>Likes</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1023/1*hdpGJ_WKLg5eoBAULvcYWw.png" /></figure><p>likes 各類型影片所佔比例的 pattern 跟 views 相似。但整體沒有 views 極端</p><p>可以注意到的是，music videos 在 likes 數量的比例沒有像 views 有過半的（y=50 的那條虛線）。</p><p>我認為這兩個現象背後的可能因素類似，有兩種可能</p><ol><li>同一批使用者重複看相同的影片，但一個使用者只能按一次 like</li><li>另一種可能解釋是，某些 music videos 觸及到非常多使用者，而他們看了影片後，沒有按 like。目前的數據無法回答這個問題。</li></ol><p>Comments</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1023/1*AzgTfKGVhjenfApapmqkNA.png" /></figure><p>相較於 views 僅僅是被動的觀看，或是 likes 是按一下按鍵，comments 是主動的留下心得或心情，我認為是更粉絲取向的行為，也有一點想互動的傾向，會留下留言的這類粉絲也許更加忠誠（或狂熱？）。</p><p>那大多也是在 music videos 的留言最多。</p><p>很有趣的是，FANTASTICS 頻道數據分佈相當極端，九成留言都落在 music videos。作為平均顏值最高的團體（自我定位是聰明美麗😂），也許、可能顏粉比例不少，想知道留言的內容是否也是這類的留言居多？</p><p>THE RAMPAGE 頻道的 pattern 跟 FANTASTICS 的頻道很像，但分佈比較沒那麼極端，也還有約 16% 留言在 other 其他類型的影片</p><p>其他三個頻道 comments 的各類型影片所佔比例的 pattern 跟其他指標相似但更極端，就不再討論。</p><p>也有可能是不同團的粉絲行為就不同，或者就是不同特質的團體吸引到的粉絲不同（粉絲文化也是相當複雜的）</p><p>未來可能的 YouTube 專案的幾個可行的方向</p><ol><li>分析影片下方的留言內容：YouTube Data API 提供 youtube.comments().list()，可能可以拿來 request 影片或頻道的留言。<strong>文本情感分析（Sentiment Analysis）</strong>找出留言的使用者的態度、評價、情緒。感覺會是相當有趣的分析！</li><li>views/ likes/ comments 的數量都會隨著時間累積，僅計算總量可能不是一個好方式。為了控制發行時間長度對變項的影響，最簡單的方式是將除以發行後過去的月份，以<strong>每個月新增的 views/ likes/ comments</strong> 來分析討論。不過，這個方式的問題是，新歌可能會因為宣傳等因素，累積的數量很快，而隨著時間過去，舊歌的相關影片累積的速度趨緩。也許比較恰當的處理方式是，把發行後的天數做為共變量（Covariate）放進統計分析裡。</li><li>在第二個分析中，各個頻道的影片數量對 views/ likes/ comments 次數分析的影響應該要考慮進去，例如可以計算每個團體一支影片的平均觀看次數。然而，在此專案中，總量能作為<strong>整體表現</strong>的一個測量指標。</li><li>國際化的程度：我原本的設想是用影片的字幕（語言的數量之類的）作為測量指標，可能有時間下一個專案可以做。畢竟<strong>語言是想走向國際最重要的因素</strong>。</li><li>若是作為影片創作者，可以長期監測數據，找出比較受歡迎的題材、類型，作為點子發想。</li><li>區分粉絲類型：在行銷分析這塊，稱為消費者區隔（RFM analysis for Customer Segmentation），可以根據粉絲特質對粉絲做分群，針對不同群的粉絲使用不同的策略，經營公司或團體跟粉絲之間的關係。例如，也許可以分析使用者（aka粉絲）是否同時是兩個以上團體的粉絲，可以藉由粉絲在 YouTube 的使用者行為來判斷粉絲類型。</li></ol><h4>結案心得</h4><p>真是太好玩了這個！</p><p>看著整理好的資料框真的很療癒！看到數據漂亮簡潔的呈現出來的瞬間也好感動！</p><p>整個 YouTube Data 專案從搞懂 YouTube API 怎麼要求、怎麼整理 data，改 code 想寫出簡潔的 code，到做長條圖視覺化數據，到此刻完稿，總共做了三個禮拜呢。最花時間的其實是寫成文章，稿子看了很多遍，希望寫的還算清楚！🙇🏻‍♀️</p><p>雖然是私心很重的一個入門專案，寫文章難產到我都要脫粉了，一直在思考要寫得多細節，或是可以帶過就好，等等的。但作為小菜雞，真的學到了很多關於 Python 跟 YouTube 抓取數據的技術。</p><p>最後， YouTube Data API v3 提供很多資源，可以根據專案目標選擇適合的來使用。也許、可能、會有下一個 YouTube Data API 專案、吧？</p><p>那麼，大家、下次見👋</p><h3>參考網站</h3><p><a href="https://developers.google.com/youtube/v3/docs?hl=zh-tw">API Reference | YouTube Data API | Google for Developers</a></p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FSwSbnmqk3zY%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DSwSbnmqk3zY&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FSwSbnmqk3zY%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/a82009bab424885d1ef3d7c85d0a64ae/href">https://medium.com/media/a82009bab424885d1ef3d7c85d0a64ae/href</a></iframe><p>Google</p><p>Stack Overflow</p><p>ChatGPT</p><p><a href="https://www.ldh.co.jp/">LDH - LOVE + DREAM + HAPPINESS TO THE WORLD -</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5f8a94b5c906" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Python Project (1)- 使用 YouTube Data API v3 影片統計數據- 準備 #3]]></title>
            <link>https://medium.com/@ayt.hsueh/python-project-1-%E4%BD%BF%E7%94%A8-youtube-data-api-v3-%E5%BD%B1%E7%89%87%E7%B5%B1%E8%A8%88%E6%95%B8%E6%93%9A-%E6%BA%96%E5%82%99-3-652ed8b09ff5?source=rss-75a6eac991c5------2</link>
            <guid isPermaLink="false">https://medium.com/p/652ed8b09ff5</guid>
            <category><![CDATA[python-projects]]></category>
            <category><![CDATA[youtube-data-api]]></category>
            <category><![CDATA[jrexile]]></category>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Yi-Ting Hsueh]]></dc:creator>
            <pubDate>Fri, 23 Jun 2023 09:22:20 GMT</pubDate>
            <atom:updated>2023-06-26T05:09:24.740Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2LAkM2qDyOr5f1i-H_iwMQ.jpeg" /></figure><p>在上一篇已經將 YouTube 頻道上傳的影片 data 抓取下來了，這篇著重在整理跟準備 data。一樣會記錄我怎麼解決在專案過程中遇到的一些問題。</p><p>這個 YouTube Data Python Project 系列分成四篇 — —</p><p>使用 YouTube Data API v3 頻道資訊- 抓取+分析+視覺化 #1<br>使用 YouTube Data API v3 頻道播放清單的影片資訊- 抓取 #2<strong><br>使用 YouTube Data API v3 影片統計數據- 準備 #3</strong><br>使用 YouTube Data API v3 影片統計數據- 分析+視覺化 #4</p><p>一些前情提要 — —</p><p>分析 YouTube 影片統計數據可大致分成兩個部分：</p><p><strong>Part 1.</strong> 在 Google Colab 上編寫 Python code，透過 YouTube Data API v3 抓取 YouTube data，步驟如下</p><ol><li>載入需要的套件</li><li>從 YouTube 取得所需的數據（分兩步驟：取得頻道所有影片的 video IDs 後，再抓影片統計數據）</li><li><strong>數據處理</strong></li></ol><p><strong>Part 2. </strong>統計分析-&gt; 使用 Seaborn 做圖-&gt; 討論-&gt; 未來方向</p><ol><li>找出 5 個團體所有影片中，views/ likes/ comments 數量前十多的影片；找出每個頻道中，views/ likes/ comments 數量前五多的影片</li><li>找出 5 種影片類型（i.e., music, dance, live, lyric, and other）各自的 views, likes, and comments，分析每個團體的可能強項</li></ol><p>本篇主要介紹 Part 1 的 3. 數據處理</p><p>承上一篇，我抓取跟分析的是日本 EXILE TRIBE 裡面 Jr.EXILE 五個團體的 YouTube data。</p><p>專案<strong>目標</strong>跟想回答的問題：</p><p>(1) 比較五個團體在 YouTube 的人氣</p><ul><li>分析跟結果在本系列的 #1</li></ul><p><strong>(2) 編舞難度最高的 FANTASTICS 上傳至 YouTube 的影片中，dance version 相對於其他類型的影片（i.e., music video, live, lyric video, and others）或相對於其他團體是否比較受歡迎？</strong></p><ul><li><strong>根據 YouTube 影片統計數據，我將比較五種影片類型的 views、likes 以及 comments 的數量做為受歡迎程度的測量。</strong></li><li><strong>針對其他團體，也將以相同方式分析每個團體的可能強項。</strong></li></ul><blockquote>特別聲明：純屬娛樂與練習，請看到這篇的粉絲手下留情🙇🏻‍♀️</blockquote><h4>Step 4. 數據處理</h4><p>根據專案目標、易讀性、資料形態，我做了 6 件事。</p><p>4.1 我有用 .copy() 備份數據的習慣這樣</p><pre>videos_df_processing = videos_df.copy()</pre><p>4.2 處理團體名稱</p><p>跟在 #1 完全相同的處理</p><pre>videos_df_processing[&#39;channel&#39;] = videos_df_processing[&#39;channel&#39;].apply(lambda x: re.sub(r&#39;\sfrom EXILE TRIBE&#39;, &#39;&#39;, x)).str.lower()</pre><p>4.3 影片發布的日期</p><p>用 .date() 取得影片發布的日期，之後如果要分析影片的上傳月份時就可以用</p><pre>videos_df_processing[&#39;published_date&#39;] = pd.to_datetime(videos_df_processing[&#39;published_date&#39;]).dt.date</pre><p>4.4 資料型態</p><p>目前三項統計數據（views, likes, comments）的資料型態為 object ，轉換成數字等一下才有辦法做計算跟做圖。所以用 .astype(int)</p><p>並且將遺漏值填入數字0: .fillna(0)</p><pre>videos_df_processing[[&#39;views&#39;, &#39;likes&#39;, &#39;comments&#39;]] = videos_df_processing[[&#39;views&#39;, &#39;likes&#39;, &#39;comments&#39;]].apply(lambda x: x.fillna(0).astype(int))</pre><p>4.5 單位</p><p>為了讓等一下的圖比較容易閱讀，我將觀看次數的單位改成百萬次，並放在新增的欄位 views_million</p><pre>videos_df_processing = videos_df_processing.assign(views_million = lambda x: round(x.views/1000000, 2))</pre><p>4.6 透過影片長度篩選影片</p><p>篩掉直播跟 shorts 或是其他非目標影片的可能影片。我寫了個 def 用影片長度去做篩選</p><p>簡單說一下時間長度的格式 PT#M#S ，T跟M之間的數字是分鐘數，M跟S 之間的數字是秒數，我用這個邏輯去擷取影片以分鐘和秒鐘為單位的時間長度</p><p>影片超過一個小時的格式為 PT#H#M#S，所以只要在 duration 找到 H 這個字母就略過aka不紀錄分鐘數跟秒數（因為前面已經指定這兩欄為 np.nan）</p><p>影片長度超過一天的自然也不會是專案要分析的目標影片，此時值的格式為 P#DT#H#M#S，所以只記錄 PT 一起出現時的分鐘數跟秒數</p><pre>def get_minute_second(df):<br>  df_new = df.copy()<br>  df_new[&#39;duration_minute&#39;] = np.nan<br>  df_new[&#39;duration_second&#39;] = np.nan<br><br>  for i in range(len(df_new.loc[:, &#39;duration&#39;])):<br>    time = df_new.loc[i, &#39;duration&#39;]<br><br>    match_M = re.search(r&#39;PT(\d+)M&#39;, time)<br>    match_S = re.search(r&#39;(\d+)S&#39;, time)<br><br>    if (&#39;H&#39; not in time) &amp; (&#39;PT&#39; in time):<br>        if match_M:<br>          df_new.loc[i, &#39;duration_minute&#39;] = int(match_M.group(1))<br>        if match_S:<br>          df_new.loc[i, &#39;duration_second&#39;] = int(match_S.group(1))<br><br>  return df_new</pre><p>我篩選掉低於兩分鐘的影片（shorts），以及超過 15 分鐘的影片（直播）</p><pre>videos_df_cleaned = get_minute_second(videos_df_processing)<br>filter = (videos_df_cleaned[&#39;duration_minute&#39;] &gt;= 2) &amp; (videos_df_cleaned[&#39;duration_minute&#39;] &lt; 15)<br>videos_df_cleaned = videos_df_cleaned.loc[filter, :]</pre><p>只留下 626 支影片</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/704/1*NZHElIsVnQBLa0g3C-ADPw.png" /></figure><h4>Step 5. 分組跟分類影片</h4><p>根據分析目標，先做分組跟分類</p><p>5.1 不分團體，整個 Jr.EXILE 的 YouTube 影片 top 10 views/ likes/ comments</p><p>準備要做圖的資料框：用 .sort_values() 根據觀看次數排序資料框，將 ascending 指定為 False 讓觀看次數由多至少排序，指定 .head(10) 只要前十的影片，存到一個新的資料框。likes數跟留言量以同樣方式處理。</p><pre>top10views_videos = videos_df_cleaned.sort_values(by=&#39;views&#39;, ascending=False).head(10)</pre><p>5.2 每個團體各自的 top 5 views/ likes/ comments</p><p>為了進一步分析每個團體的特性，或者是說受歡迎的特質，例如舞蹈特別優異，我用 .groupby() 根據 channel 這欄將資料框分類</p><pre>videos_bygroup = videos_df_cleaned.groupby([&#39;channel&#39;], group_keys=False)</pre><p>再依次根據測量變項跟團體產生 3*5 =15 個資料框，#3 會有 15 張長條圖</p><p>code 會重複 15 行，因此這邊只放兩行示意</p><pre>top5views_gene = videos_bygroup.get_group(&#39;generations&#39;).sort_values(by=&#39;views&#39;, ascending=False).head()<br>top5views_rampage = videos_bygroup.get_group(&#39;the rampage&#39;).sort_values(by=&#39;views&#39;, ascending=False).head()</pre><p>舉例 FANTASTICS 的留言量最多的前五支影片來說，資料框如下</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/650/1*EnTa7j2YvfwqIsU-ED9_Fw.png" /></figure><p>乾淨整齊的資料框總是這麼療癒😌</p><p>5.3 每個頻道的影片數量</p><p>看一下每個頻道上傳的影片中，符合我篩選條件的影片有多少</p><p>用 .groupby() 搭配 .agg({‘views’: len})</p><pre>number_of_videos = videos_types_df.groupby(by=&#39;channel&#39;, sort=False).agg({&#39;views&#39;: len})<br>print(pd.DataFrame(number_of_videos).rename(columns={&#39;views&#39;: &#39;number_of_videos&#39;}))</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/761/1*SYlI3E6mwd-3rSayjrBFOA.png" /></figure><p>5.4 分類影片</p><p>我先在資料框新增一個空的欄位紀錄影片的類型，並預設一個值 videos_types_df[‘type_video’] = ‘Other’</p><p>找影片標題的關鍵字有兩種方式，re.search() 或是 .str.contains()，我是覺得目前想做的事滿簡單的，用 contains() 比較直覺，像下面這兩行寫個 4 遍就完成新欄位的紀錄了</p><p>case=False 表示不管大小寫都算找到，全都紀錄為 music video</p><pre>filter_music = videos_types_df[&#39;video_name&#39;].str.contains(&#39;music video|mv|vocal ver|recording&#39;, case=False)<br>videos_types_df.loc[filter_music, [&#39;type_video&#39;]] = &#39;Music Video&#39;</pre><p>但也可以使用 re.search() 搭配 group() 擷取想要的字串，並寫 function，寫完呼叫 function 4 遍這樣。當想要直接回傳找到的字串時，可以使用</p><p>re.I 表示不管大小寫都算找到</p><p>re.search() 沒找到會回傳 None，直接執行 group() 會出現 AttributeError，所以我寫了個 if statement</p><pre>def categorize (df, pattern):<br>  for i in range(len(df.loc[:, &#39;video_name&#39;])):<br>    title = df.loc[i, &#39;video_name&#39;]<br>    match_type = re.search(pattern, title, re.I)<br>    if match_type is not None:<br>      df.loc[i, &#39;type_video&#39;] = match_type.group(0)<br><br>  return df<br><br>videos_types_df = categorize(videos_types_df, r&#39;music video&#39;)</pre><p>要注意的是，用影片關鍵字去分類可能會分失敗，常見的狀況是影片沒有按照一致的命名規則，或是不同的關鍵字抓到同一支影片（尤其是 dance 很常抓到其他類型的影片），或是較早的影片則會使用日文而非英文，之後討論結果時要小心解釋。</p><p>[2023/6/26] 專案寫完才發現，有些頻道會建立自己的播放清單，例如，Music Video 或是 Live 等等的，從這個角度下去分析可能是個更好、更直接的方式。</p><p>用 .groupby() 搭配 .agg({‘views’: len}) 快速查看分類後，每個團體上傳了多少支不同種類的影片</p><pre>print(videos_types_df.groupby(by=[&#39;channel&#39;, &#39;type_video&#39;], sort=False).agg({&#39;views&#39;: len}))</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/372/1*ZfIfeQG2dIHIV2hQyMeg1g.png" /></figure><p>5.5 每個頻道上，不同種類的影片獲得的 views/ likes/ comments 佔多少百分比</p><p>我手動計算每個類別的百分比，取到小數點後第一位</p><pre>percViews_groupby = (videos_types_df.groupby(by=[&#39;channel&#39;, &#39;type_video&#39;], sort=False)[&#39;views_million&#39;].sum() / videos_types_df.groupby(by=&#39;channel&#39;, sort=False)[&#39;views_million&#39;].sum())*100<br>percViews_groupby_df = pd.DataFrame(percViews_groupby.round(1))<br>percViews_groupby_df.rename(columns={&#39;views_million&#39;: &#39;percentageViews&#39;}, inplace=True)<br>percViews_groupby_df.reset_index(inplace=True)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/318/1*gSc45fQ32GP0P1fYHkKdew.png" /></figure><p>到這一步，data 終於準備好可以直接分析跟做圖囉！🎉</p><p>下一篇終於可以視覺化結果了！</p><h3>參考網站</h3><p><a href="https://developers.google.com/youtube/v3/docs?hl=zh-tw">API Reference | YouTube Data API | Google for Developers</a></p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FSwSbnmqk3zY%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DSwSbnmqk3zY&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FSwSbnmqk3zY%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/a82009bab424885d1ef3d7c85d0a64ae/href">https://medium.com/media/a82009bab424885d1ef3d7c85d0a64ae/href</a></iframe><p>Google</p><p>Stack Overflow</p><p>ChatGPT</p><p><a href="https://www.ldh.co.jp/">LDH - LOVE + DREAM + HAPPINESS TO THE WORLD -</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=652ed8b09ff5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Python Project (1)- 使用 YouTube Data API v3 頻道播放清單的影片資訊- 抓取 #2]]></title>
            <link>https://medium.com/@ayt.hsueh/python-project-1-%E4%BD%BF%E7%94%A8-youtube-data-api-v3-%E9%A0%BB%E9%81%93%E6%92%AD%E6%94%BE%E6%B8%85%E5%96%AE%E7%9A%84%E5%BD%B1%E7%89%87%E8%B3%87%E8%A8%8A-%E6%8A%93%E5%8F%96-2-bf830e322619?source=rss-75a6eac991c5------2</link>
            <guid isPermaLink="false">https://medium.com/p/bf830e322619</guid>
            <category><![CDATA[python-projects]]></category>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[jrexile]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[youtube-data-api]]></category>
            <dc:creator><![CDATA[Yi-Ting Hsueh]]></dc:creator>
            <pubDate>Wed, 21 Jun 2023 12:36:24 GMT</pubDate>
            <atom:updated>2023-06-21T12:36:24.638Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2LAkM2qDyOr5f1i-H_iwMQ.jpeg" /></figure><p>上一篇寫了如何抓取 YouTube 頻道資訊，本篇介紹如何抓取<strong>頻道上傳的影片</strong> data。這篇也會記錄我怎麼解決在專案過程中遇到的一些問題。</p><p>這個 YouTube Data Python Project 系列分成四篇 — —</p><p>使用 YouTube Data API v3 頻道資訊- 抓取+分析+視覺化 #1<br><strong>使用 YouTube Data API v3 頻道播放清單的影片資訊- 抓取 #2<br></strong>使用 YouTube Data API v3 影片統計數據- 準備 #3<br>使用 YouTube Data API v3 影片統計數據- 分析+視覺化 #4</p><p>一些前情提要——</p><p>分析 YouTube 影片統計數據可大致分成兩個部分：</p><p><strong>Part 1.</strong> 在 Google Colab 上編寫 Python code，透過 YouTube Data API v3 抓取 YouTube data，步驟如下</p><ol><li><strong>載入需要的套件</strong></li><li><strong>從 YouTube 取得所需的數據（分兩步驟：取得頻道所有影片的 video IDs 後，再抓影片統計數據）</strong></li><li>數據處理</li></ol><p><strong>Part 2. </strong>統計分析-&gt; 使用 Seaborn 做圖-&gt; 討論-&gt; 未來方向</p><ol><li>找出 5 個團體所有影片中，views/ likes/ comments 數量前十多的影片；找出每個頻道中，views/ likes/ comments 數量前五多的影片</li><li>找出 5 種影片類型（i.e., music, dance, live, lyric, and other）各自的 views, likes, and comments，分析每個團體的可能強項</li></ol><p>本篇主要介紹 Part 1 的 2. YouTube Data API</p><p>承上一篇，我抓取跟分析的是日本 EXILE TRIBE 裡面 Jr.EXILE 五個團體的 YouTube data。</p><p>專案<strong>目標</strong>跟想回答的問題：</p><p>(1) 比較五個團體在 YouTube 的人氣</p><ul><li>分析跟結果在本系列的 #1</li></ul><p><strong>(2) 編舞難度最高的 FANTASTICS 上傳至 YouTube 的影片中，dance version 相對於其他類型的影片（i.e., music video, live, lyric video, and others）是否比較受歡迎？每個團體的可能強項是在哪個部分呢？</strong></p><ul><li><strong>根據 YouTube 影片統計數據，我將比較五種影片類型的 views、likes 以及 comments 的數量做為受歡迎程度的測量。</strong></li><li><strong>針對其他團體，也將以相同方式分析每個團體的可能強項。</strong></li></ul><blockquote>特別聲明：純屬娛樂與練習，請看到這篇的粉絲手下留情🙇🏻‍♀️</blockquote><p>本篇使用的 YouTube Data API request 為 youtube.playlistItems().list() 及 youtube.videos().list()</p><h3>Part 1. 從 YouTube 抓取數據下來</h3><h4>Step 1. 需要的套件和 YouTube API 跟 #1 是差不多的</h4><pre>import pandas as pd<br>import numpy as np<br>import datetime as dt<br>from datetime import date<br>import re<br><br>from google.colab import drive<br>drive.mount(&#39;/drive&#39;)<br>from googleapiclient.discovery import build<br>from googleapiclient.errors import HttpError<br>DEVELOPER_KEY = &#39;replace with your API key here&#39;<br>youtube = build(&#39;youtube&#39;, &#39;v3&#39;, developerKey=DEVELOPER_KEY)<br>print(youtube)</pre><p>關於 seaborn 作圖的前置設定，因為 matplotlib 沒有支援日文字型，所以每次要做有日文字的圖時都要先安裝跟載入<strong>日文化的 matplotlib</strong></p><pre>!pip install japanize_matplotlib<br><br>import matplotlib.pyplot as plt<br>import japanize_matplotlib<br>import seaborn as sns</pre><h4>Step 2. 抓取 YouTube 頻道上傳的每一個影片的 ID</h4><p>每一個頻道會有一個播放清單，裡面是使用者上傳到 YouTube 的所有影片（包括 shorts）。在 #1 抓頻道資訊時，已經先把播放清單 ID 存在資料框裡了</p><p>items/contentDetails/relatedPlaylists/uploads</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rztJ7ESqOJyoH3-AnQblHw.png" /><figcaption>抓取頻道資訊時，回傳的 data</figcaption></figure><p>所以我先抓頻道上傳到 YouTube 的每一個影片的 ID，之後可以用 video ID 抓影片統計數據。</p><p>把之前在抓頻道資訊抓到的 playlist_id 存成新的一個 series playlists_id_list</p><pre>playlists_id_list = channels_df_cleaned[&#39;playlist_id&#39;]</pre><p>def 定義一個抓取播放清單 video ID 的 function，有幾個頻道要抓取，就呼叫幾次的 function</p><p>為了存取 YouTube API，我寫的 code 長這樣</p><pre>response = youtube.playlistItems().list(part=&#39;contentDetails&#39;,<br>                                        fields=&#39;nextPageToken, items(contentDetails(videoId))&#39;,<br>                                        playlistId=id,<br>                                        maxResults=50).execute()</pre><p>一樣拆解來看：</p><p>request 的時候，資源名稱是 youtube.playlistItems()，方法名稱是 list()，且呼叫此方法的配額費用也是一次 1 單位（相較於每天 10,000 單位的上限還真是便宜）</p><p>參數有 part, playlistId, fields, maxResults</p><ul><li>part 是必要參數，指定你希望它回傳的 data 內容（aka資源屬性）</li><li>因為不想抓到用不到的數據，我用 fields 進一步篩選 API 回應。除了 part 指定資源屬性 contentDetails ，我用 fields 僅選取兩個欄位 contentDetails(videoId) 跟 nextPageToken。<a href="https://developers-dot-devsite-v2-prod.appspot.com/youtube/v3/getting-started?hl=zh-tw#partial">官方文件說明在這</a></li><li>playlistId 是篩選，指定播放清單 ID。之後呼叫時，我會從已經準備好的 playlists_id_list 丟每一個頻道的播放清單 ID 作為參數去 request</li><li>maxResults 預設是 5，表示一次 request 5 筆 data。上限是 50，就直接指定 50。如果播放清單裡面的影片超過 50 部，可以寫 while 迴圈一次抓 50 筆直到抓完所有 video ID</li></ul><p>.execute() 是執行上面這個 request</p><p>把傳回來的 data 存在response 這個變項。傳回來的資料型態為 dict</p><p>沒有指定 fields 跟 maxResults 的話，會回傳像下圖這樣的內容</p><p>要注意的地方是在 pageInfo 下可以看到我從 FANTASTICS from EXILE TRIBE 的頻道抓到 240 個結果，而在 #1 透過 youtube.channels().list() 抓頻道資訊時，只有 87 支影片。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_mhzzPJ-6w7w_bPPMfOggg.png" /></figure><p>我只要求 video ID，減少不必要的數據傳輸跟避免冗贅的儲存空間</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ry2LJus7SOuRuCNk0hrbzA.png" /></figure><p>傳回來的 dict 說明：</p><p>items 是一個 list，每一個 element 封裝一支影片的資訊</p><p>我只要求 nextPageToken 以及 contentDetails(videoId)</p><p>接著用 for 迴圈把回傳的每一個影片的 contentDetails(videoId) 存成 dict，直接 append 到 results</p><pre>for video in response[&#39;items&#39;]:<br>  results.append(dict(video_id = video[&#39;contentDetails&#39;][&#39;videoId&#39;]))</pre><p>關於 nextPageToken 要怎麼用</p><p>如果一次要求超過 50 筆 data，像是 maxResults=200 的話，雖然不會出現錯誤訊息，但 YouTube API 還是只會回傳 50 筆 data。maxResults=50 表示一頁最多是 50 支影片。</p><p>當播放清單的影片超過 50 支時，可以寫迴圈來處理。這時就需要使用 nextPageToken 來告訴 YouTube API 我要的是哪一頁這樣，叫它去抓下一頁的 results aka下個 50 筆。</p><p>我找到的迴圈邏輯有兩種，第一種是用 try+except+search+for+while 比較複雜，這邊直接使用第二種 techTFQ 簡潔的 code，感謝他🙇🏻‍♀️</p><p>我就直接把中文說明 comment 在 code 了</p><pre># 取得 nextPageToken<br>nextPageToken = response_videos_ids.get(&#39;nextPageToken&#39;)<br># 新增一個 morePages 變項作為迴圈邏輯的判斷<br>morePages = True<br><br># 上一行已經指定 morePages 為 True，就直接開始迴圈<br>while morePages:<br>  # 如果 YouTube 回傳內容沒有 nextPageToken(aka少於或等於50筆)時，get()會得到 None<br>  # 指定 morePages 為 False，這圈結束時離開迴圈 <br>  if nextPageToken is None:<br>    morePages = False<br><br>  # YouTube 回傳大於50筆時，會給我們一個 nextPageToken 讓我們去抓接下去的另一個 50筆<br>  # 因此，再使用一次 YouTube API，並指定 pageToken 為 nextPageToken<br>  else:<br>    response = youtube.playlistItems().list(part=&#39;contentDetails&#39;,<br>                                            fields=&#39;nextPageToken, items(contentDetails(videoId))&#39;,<br>                                            playlistId=id,<br>                                            pageToken=nextPageToken,<br>                                            maxResults=50).execute()<br>    for video in response[&#39;items&#39;]:<br>      results.append(dict(video_id = video[&#39;contentDetails&#39;][&#39;videoId&#39;]))<br><br>    # 再次取得 nextPageToken，沒有 nextPageToken 的話會在下一次的迴圈結束時離開迴圈<br>    nextPageToken = response.get(&#39;nextPageToken&#39;)</pre><p>完整的 function code</p><pre>def youtube_playlist_videos_ids(id, result_list):<br>  results = result_list<br>  response = youtube.playlistItems().list(part=&#39;contentDetails&#39;,<br>                                          fields=&#39;nextPageToken, items(contentDetails(videoId))&#39;,<br>                                          playlistId=id,<br>                                          maxResults=50).execute()<br><br>  for video in response[&#39;items&#39;]:<br>    results.append(dict(video_id = video[&#39;contentDetails&#39;][&#39;videoId&#39;]))<br><br>  nextPageToken = response.get(&#39;nextPageToken&#39;)<br>  morePages = True<br>  while morePages:<br>    if nextPageToken is None:<br>      morePages = False<br>    else:<br>      response = youtube.playlistItems().list(part=&#39;contentDetails&#39;,<br>                                              fields=&#39;nextPageToken, items(contentDetails(videoId))&#39;,<br>                                              playlistId=id,<br>                                              pageToken=nextPageToken,<br>                                              maxResults=50).execute()<br><br>      for video in response[&#39;items&#39;]:<br>        results.append(dict(video_id = video[&#39;contentDetails&#39;][&#39;videoId&#39;]))<br><br>      nextPageToken = response.get(&#39;nextPageToken&#39;)<br><br>  return results</pre><p>定義完準備呼叫！</p><p>先準備一個空的 list videos_ids_result= [] 準備放等一下抓取的 data</p><p>playlistItems().list() 沒辦法像 channels().list() 在參數id 那邊寫一個 list 一次抓完，只能一次抓一個頻道。所以我用一個 for 迴圈呼叫 youtube_playlist_videos_ids，一次抓一個頻道的播放清單</p><pre>for channel in playlists_id_list:<br>  youtube_playlist_videos_ids(channel, videos_ids_result)</pre><p>我將所有 video ID 不分頻道全都放在 videos_ids_result 並轉成資料框</p><pre>videos_ids_df = pd.DataFrame(videos_ids_result)</pre><p>videos_ids_df output 如下，5 個頻道總共抓到了 1367 部影片</p><pre>         video_id<br>0     _nMwrg4AHLA<br>1     283jiUxe7pE<br>2     PFaIO8ltLl8<br>3     ysCCFO73qEc<br>4     -Aj4n2tYZz4<br>...           ...<br>1362  PmMxzlrt1ws<br>1363  D-kr6VtwEJY<br>1364  gpDtPNQYcHg<br>1365  RUMQIaDGLjs<br>1366  W2QqNp2nj0s<br><br>[1367 rows x 1 columns]</pre><p>其他注意事項——</p><ul><li>playlistItems().list() 這個方法連直播跟 shorts 都會抓到，不是此專案的目標分析影片，之後會用影片長度（duration）篩掉直播跟 shorts</li></ul><p>準備好 video ID list 後，就可以進行抓取 YouTube data 的最後一步——抓影片統計數據囉！</p><h4>Step 3. 抓取影片統計數據</h4><p>一樣先準備好剛剛存的 video ID 們</p><pre>videos_id_list = videos_ids_df[&#39;video_id&#39;].tolist()</pre><p>一樣先 def定義一個抓取影片資訊跟統計數據的 function</p><p>再新增一個空的 list results = [] 準備放等一下抓取的 data</p><p>存取 YouTube API 的 code</p><pre>response = youtube.videos().list(part=&quot;id, snippet, contentDetails, statistics&quot;,<br>                                 fields=&#39;items(id, snippet(title, description, publishedAt, channelTitle), contentDetails(duration, caption), statistics(viewCount, likeCount, commentCount))&#39;,<br>                                 id=&#39;,&#39;.join(id_list)).execute()</pre><p>一樣拆解來看：</p><p>request 影片數據使用的方法是 youtube.videos().list()，呼叫此方法的配額費用是一次要求花費 1 單位，所以如果一次只抓一支影片資訊的話，1367 支影片應該是會用掉 1367 單位，所以這裡我一次要求 50 支影片的話，<strong>配額費用僅 28 單位</strong>！</p><p>參數有 part, id, fields</p><ul><li>part 跟 fields 一樣的東西就不再重複</li><li>id 是篩選，指定為 YouTube video ID list，以逗號分隔不同 ID，串成一個 string。所以這邊我指定 id=’,’.join(id_list)。另外，除了 video ID，也可以透過 chart 指定為mostPopular 傳回指定內容地區和影片類別中最熱門的影片。</li></ul><p>.execute() 執行 YouTube API request</p><p>執行就會得到下面這個 HttpError</p><pre>HttpError: &lt;HttpError 400 when requesting https://youtube.googleapis.com/youtube/v3/videos returned &quot;The request specifies an invalid filter parameter.&quot;. Details: &quot;[{&#39;message&#39;: &#39;The request specifies an invalid filter parameter.&#39;, &#39;domain&#39;: &#39;youtube.parameter&#39;, &#39;reason&#39;: &#39;invalidFilters&#39;, &#39;location&#39;: &#39;parameters.&#39;, &#39;locationType&#39;: &#39;other&#39;}]&quot;&gt;</pre><p>因為 YouTube 一次只處理 50 筆 data，還沒設定一次抓幾支影片的資訊。</p><p>所以指定 id=’,’.join(id_list[i:i+50])，並用一個 for 迴圈一次 request 50 部影片的 data</p><p>這裡的 code 也是參考 techTFQ，再次感謝他🙇🏻‍♀️</p><p>data 會以 dict 形態傳回來，items 這個 list 裡面會有至多 50 個 element，取決於 request 了幾支影片。</p><p>一個 element 存放一支影片的資訊，資料型態是 dict ，如下圖</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hkg1tyRjsV3sHSMoa0Mw-g.png" /></figure><p>影片統計數據我想要的變項比較多，有 4 個</p><ul><li>id 是 video ID（optional, again, I just wanted tot double check data）</li><li>snippet 提供了metadata，publishedAt 是影片發布時間；title 是影片標題；description 是影片說明； channelTitle 是上傳該影片的頻道名稱</li><li>contentDetails 我需要的有兩個，duration 是影片長度；caption 是是否提供字幕</li><li>statistics 是要分析的統計數據，目前 YouTube API 提供了觀看次數 viewCount、獲得的喜歡的數量 likeCount、留言的數量 commentCount</li></ul><p>接著我用一個 for 迴圈把回傳的每一個影片數據存成 dict，暫時放在 temp_data 變項，再 append 到 results</p><p>但這邊一執行會出現一個 KeyError: ‘commentCount’</p><p>大概是因為有些<strong>影片停用了留言功能</strong>，所以在 YouTube 回傳的 statistics 裡面找不到 commentCount 這個 key，為了成功把 API 回應存在 dict，我用一個 try+except 指定停用留言的影片的 comments 為 np.nan</p><pre>try:<br>  temp_data[&#39;comments&#39;] = video[&#39;statistics&#39;][&#39;commentCount&#39;]<br>except:<br>  temp_data[&#39;comments&#39;] = response_video.get(&#39;commentCount&#39;, np.nan)</pre><p>完整的 function code</p><pre>def youtube_video_stats(id_list):<br>  results = []<br><br>  for i in range(0, len(id_list), 50):<br>    response = youtube.videos().list(part=&quot;id, snippet, contentDetails, statistics&quot;,<br>                                     fields=&#39;items(id, snippet(title, description, publishedAt, channelTitle), contentDetails(duration, caption), statistics(viewCount, likeCount, commentCount))&#39;,<br>                                     id=&#39;,&#39;.join(id_list[i:i+50])).execute()<br><br>    for video in response[&#39;items&#39;]:<br>      temp_data = dict(video_id = video[&#39;id&#39;],<br>                       video_name = video[&#39;snippet&#39;][&#39;title&#39;],<br>                       published_date = video[&#39;snippet&#39;][&#39;publishedAt&#39;],<br>                       channel = video[&#39;snippet&#39;][&#39;channelTitle&#39;],<br>                       duration = video[&#39;contentDetails&#39;][&#39;duration&#39;],<br>                       caption = video[&#39;contentDetails&#39;][&#39;caption&#39;],<br>                       views = video[&#39;statistics&#39;][&#39;viewCount&#39;],<br>                       likes = video[&#39;statistics&#39;][&#39;likeCount&#39;])<br>      try:<br>        temp_data[&#39;comments&#39;] = video[&#39;statistics&#39;][&#39;commentCount&#39;]<br>      except:<br>        temp_data[&#39;comments&#39;] = response.get(&#39;commentCount&#39;, np.nan)<br><br>      results.append(temp_data)<br><br>  return results</pre><p>定義完把之前準備好的 video ID list 丟到 function，現在定義的這個 function 會一次 request 50 支影片，直至窮盡 list</p><pre>videos_df = pd.DataFrame(youtube_video_stats(videos_id_list))</pre><p>youtube_video_stats 轉成資料框後的 output 如下，5 個頻道總共 1367 支影片都成功的抓到了 data 囉！</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hof1OVSAq--zMwpjRUbZTg.png" /></figure><p>#2 的最後， .to_csv() 轉成 csv 並存檔在 Google Drive</p><p>終於抓完需要的影片統計數據了！準備處理數據！</p><p>我這次三個 request 花費的配額量</p><p>youtube.channels().list() — 1 單位</p><p>youtube.playlistItems().list() — 30單位</p><p>youtube.videos().list() — 28 單位</p><h3>參考網站</h3><p><a href="https://developers.google.com/youtube/v3/docs?hl=zh-tw">API Reference | YouTube Data API | Google for Developers</a></p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FSwSbnmqk3zY%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DSwSbnmqk3zY&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FSwSbnmqk3zY%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/a82009bab424885d1ef3d7c85d0a64ae/href">https://medium.com/media/a82009bab424885d1ef3d7c85d0a64ae/href</a></iframe><p>Google</p><p>Stack Overflow</p><p>ChatGPT</p><p><a href="https://www.ldh.co.jp/">LDH - LOVE + DREAM + HAPPINESS TO THE WORLD -</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bf830e322619" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>