Fast.ai 是基於 PyTorch 的深度學習函式庫，為深度學習應用提供統一的 API，使開發者更無痛上手

PyTorch 源碼牽涉一些底層程式，能夠自由修改但出錯機會也大，而 Fastai 提供統一的 API 調用 PyTorch 函式。本文將使用 fastai 及 BERT pretrained model 訓練多標籤文本分類模型。

本文任務‌

• 了解多標籤分類任務
• 認識 Fast.ai
• 使用 Fast.ai 進行文本多標籤分類任務

在開始前不免俗的…
．如果你喜歡這篇文章的選題，請幫我拍手👏 +5 下，讓我瞭解這是不是讀者所喜歡的方向
．如果這篇文章的整理對你有幫助，請幫我拍手👏 +20 下，讓我瞭解內容對讀者的幫助程度
．如果還希望有類似的知識點整理，請幫我拍手👏 +50 下，讓類似的內容可以繼續出現！

何謂多標籤分類‌？

和「二元分類」、「多類別分類」相比，「多標籤分類」是指每個樣本能夠被賦予多個 label，各個 label 是否標上樣本，由 sigmoid function 產生一個 0~1之間的機率、設定門檻後決定。

認識 Fast.ai‌

Fast.ai 是基於 PyTorch 的深度學習函式庫，為深度學習應用提供統一的 API，使開發者更無痛上手、加速深度學習應用開發。透過 Fast.ai 可以使用統一的架構進行影像辨識、文本、時間序列、協同過濾等應用。‌

• 官方文件：https://docs.fast.ai/
• 文件及影片教學：https://course.fast.ai/

使用 Fast.ai 進行文本多標籤分類任務

• 使用資料集‌：Toxic Comment Classification Challenge | Kaggle

此 Kaggle 比賽使用來自維基百科的留言資料，將留言標上 6 種代表負面情緒的標籤，分別是 toxic, severe_toxic, obscene, threat, insult, identity_hate，幫助平台判斷是否阻擋用戶的不當留言。

1. 安裝所需套件

!pip install pytorch-pretrained-bert

2. 引入所需套件

包含基本的 numpy, pandas, sklearn 的 train_test_split 及 pytorch, fastai套件，並自 pretrained model 提取 BERT Tokenizer 及 BERT 文本分類模型。

import numpy as np
import pandas as pd

from typing import *
from sklearn.model_selection import train_test_split

import torch
import torch.optim as optim

from fastai import *
from fastai.vision import *
from fastai.text import *
from fastai.callbacks import *

from pytorch_pretrained_bert import BertTokenizer
bert_tok = BertTokenizer.from_pretrained(config.bert_model_name)

from pytorch_pretrained_bert.modeling import BertForSequenceClassification
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=6)

3. 引入本任務訓練資料集

label_cols = ['toxic', 'severe_toxic', 'obscene', 'threat', 'insult', 'identity_hate']

train = pd.read_csv('train.csv', error_bad_lines=False, engine='python')
train['comment_text'] = train['comment_text'].str.replace('([“”"¨«»®´·º½¾¿¡§£₤‘’])', '')

test = pd.read_csv('test.csv', error_bad_lines=False, engine='python')
test['comment_text'] = test['comment_text'].str.replace('([“”"¨«»®´·º½¾¿¡§£₤‘’])', '')

train, val = train_test_split(train)

4. 創建所需的 BertTokenizer 及 Vocab

5. 調用 Fastai 的 TextClasDataBunch 方法，將資料集轉成可以丟進 Fastai 模型的格式

6. 產生多標籤模型架構

7. 設定指標評估 function 並建置模型

8. 測試模型效果

• 正面案例：沒有被標上任何負面情緒 label，機率分數也低於門檻很多

• 負面案例：被標上負面情緒 label = {‘toxic’, ‘threat’}，其他標籤的機率分數也更為接近門檻

9. 印出模型成效指標

以上是運用 Fast.ai 及 BERT 預訓練模型進行文本多標籤分類的實作案例，希望對你有幫助！

若想獲得完整代碼請至粉專貼文留言，Chatbot 會將連結火速送到你手中。

．如果你喜歡這篇文章的選題，請幫我拍手👏 +5 下，讓我瞭解這是不是讀者所喜歡的方向
．如果這篇文章的整理對你有幫助，請幫我拍手👏 +20 下，讓我瞭解內容對讀者的幫助程度
．如果還希望有類似的知識點整理，請幫我拍手👏 +50 下，讓類似的內容可以繼續出現！

【NLP 自然語言處理】BERT + Fast.ai — 多標籤分類模型實作 was originally published in 資料探員 Data Agent on Medium, where people are continuing the conversation by highlighting and responding to this story.

認識 Prophet

Prophet 是一個由 Facebook Core Data Science Team 發表的開源代碼庫，用於時間序列預測，基於 Python 和 R 語言。相較於自行訓練時間序列預測模型，Prophet 的一些優點如下：‌

1. 改善模型選擇和調參的時間成本：時間序列有許多經典算法如 AR, VAR, ARMA, ARIMA, 指數平滑法等，選擇模型和調參的過程可被自動化。
2. 提供讓分析師、領域專家能根據經驗法則設定的參數：例如歷史週期、特殊節日的日期等，不會因為寫成制式套件就失去自己手刻的好處。

其實英文版有不少 use cases，不過在安裝套件上只有官方文件的說明，如果對 conda 虛擬環境、套件管理不太熟悉可能會踩不少雷，因此這邊我把安裝重點步驟寫下來。

‌

安裝步驟

(0) 首先建議要用 conda 創建虛擬環境，避免不同套件版本產生不必要的衝突

(base) $ conda create -n env_name python=3.7

(base) $ conda activate env_name

(env_name) $

Mac OS

(1) 依照官方文件，由於 Prophet 程式庫中用到一個進行 Bayesian inference 的套件名為 pystan ，本身需要使用 C++ compiler 來運行，支援的有 gcc 及 clang。

關於編譯器的比較：GCC, LLVM & CLANG，請參見相關文章‌

Mac OS 預設的編譯器是 clang ，檢查一下版本基本上就沒問題。

(env_name) $ clang --version

Apple LLVM version 10.0.1 (clang-1001.0.46.4)
Target: x86_64-apple-darwin18.7.0
Thread model: posix
InstalledDir: /Library/Developer/CommandLineTools/usr/bin

Windows

而 Windows 的預設編譯器是 MSVC ，pystan 並不支援，因此需要額外安裝 Windows 版本的 gcc：mingw-w64 compiler

關於 mingw-w64 compiler 具體安裝了哪些東西，請看官方文件說明，這裡就不贅述

(env_name) $ conda install libpython m2w64-toolchain -c msys2

(2) 確認都有安裝好支援的 c++ compiler 後，記得先安裝 pystan 。以下都建議使用 conda install，不要用 pip install，虛擬環境下的 jupyter notebook 可能會 import 不到。

(env_name) $ conda install -c pystan conda-forge

(3) 接著安裝 prophet （注意：v1.0 後的版本套件名稱為 prophet，不再是 fbprophet，網路上很多教學文章還以舊稱，記得在 import 時調整即可）

(env_name) $ conda install -c prophet conda-forge

(4) 完成後確認版本號

import prophet
print(prophet.__version__)

> 1.0

單變量時間序列預測

本篇先以單變量時間序列預測為範例，相同資料集也在 Machine Learning Mastery 上也有教學。下一篇會實作一個多變量時間序列的案例來介紹 Prophet 的功能。

簡單版範例的完整代碼

預測結果

yhat 是預測值，yhat_upper 及 yhat_lower 是預測值的上下界。除此之外還有代表趨勢變化、週期性及其他泛化線性模型的參數。Prophet 其實是將多個時間序列預測的線性與非線性模型整合成一個泛化線性模型（Generalized Additive Model, GAM），以至於他能夠涵蓋了trend, seasonality, holidays & idiosyncratic changes 等時間序列的重要特徵在模型中。

預測分佈圖

黑點是資料集中的實際值，藍線是模型的預測值，藍底範圍則是模型估計的 95% 信賴區間，也就是模型有信心 95% 的實際值會落在此範圍。

參考資料：

• 支援 Python 與 R 語言！Facebook 開源大規模預測工具「Prophet」（Prophet 其實 2017 年就發表了，但中文教程較少）
• PyStan Documentation
• Prophet Github
• The Math of Prophet

【時間序列預測】使用 Facebook Prophet 開源套件構建單變量時間序列預測模型 was originally published in 資料探員 Data Agent on Medium, where people are continuing the conversation by highlighting and responding to this story.

用自己的話彙整多篇 Bert 教學，挑選能夠方便加在各式神經網絡架構的方法

起源與影響

BERT（Bidirectional Encoder Representations for Transformers）是由 Wikipedia（25億字）, BooksCorpus（8億字） 等未經標籤的大量文本資料作為 input，訓練而成的模型。由於他在廣泛的 NLP task 都有良好的表現（如 Question Answering (SQuAD v1.1), Natural Language Inference (MNLI)等）已在 ML 社群引起轟動並改變許多人建構 NLP 模型的方式，同時它也啟發了後續更多語言模型的出現（如 Google’s TransformerXL, OpenAI’s GPT-2, XLNet, ERNIE2.0, RoBERTa 等）

重點介紹

(1) BERT 的構造是由多個 Transformer encoders 相疊而成 (multi-layer bidirectional Transformer encoder)

• BERT base–12 layers (transformer), 12 attention heads, & 110 million parameters
• BERT Large–24 layers, 16 attention heads and, 340 million parameters

(2) BERT 與他的前代模型（OpenAI GPT）差異最大的部分是在於使用了 Bidirectional 的概念

• Bidirectional: BERT 的 self-attention layer 是雙向的，也就是訓練時會從 token（一個字符）的上、下文學習
• 上下文很重要是因為，同樣的字擺在不同的上下文位置，會有不同含意（contextual）

(3) Pre-training steps 對 BERT 的優異表現來說相當關鍵

文本前處理

文本資料在進入 BERT 模型做訓練前有先經過前處理：‌

(a) 句子開頭以 [CLS] 做標記、斷句時以 [SEP] 做標記

(b) Input Embedding 是 3 個部分的加總：Token, Segment, Position

• Token: 文字本身 WordPiece Token

使用 WordPiece Tokenization：以一個字作為單位，再反覆加入頻次高的組合字到模型中（ex: 音, 樂, 符, 音樂, 音符, 樂符, …）

• Segment: 文字屬於起頭句還是結尾句
• Position: 文字在句中的位置

Pre-training

在 pre-training 階段時是同時訓練兩個 task：

• Masked Language Model：把句子中的其中一個字蓋住，讓模型預測（最符合上下文語意）最可能是填入什麼字
• Next Sentence Prediction：給模型前一句，模型預測出下一句接續什麼最符合語意

使用 BERT 並在自己的模型中微調

Bert 可以用於以下任務：

1. 單句分類 Single Sequence Classification
2. 對句分類 Sequence Pair Classification
3. 問答任務 Question-Answering
4. 單句貼標 Single Sequence Tagging：對句中的每個文字都貼標，ex: NER (Named Entity Recognition)

Fine-tuning 時的注意事項：

1. 文本資料量大於 10 萬時，超參數的影響較小
2. 在資料量充足的情況下，pre-training steps 越多，精確度越好

將 Bert 加入 tf.Keras Model

接著呼叫寫好的 class：

可以看到將 Bert 加在 input layer 後的模型架構：

參考資料：

• BERT for Humans: Tutorial+Baseline
• NLP with Disaster Tweets — EDA, Cleaning and BERT

【NLP 自然語言處理】將 Bert 加入 tf.Keras Model 與 Bert 起源淺談 was originally published in 資料探員 Data Agent on Medium, where people are continuing the conversation by highlighting and responding to this story.

本期帶大家盤點 非監督式學習 的應用情境與算法，將網路上散佈的知識集中在這邊。

開始前……
如果你喜歡這篇文章的選題和動機，請幫我拍手👏 +5 下，讓我瞭解這是不是讀者妳/你所喜歡的方向喔

(1) 分群

聚合式階層分群法（Agglomerative Hierarchical Clustering）

1. 將每個樣本視為一個群聚，從樹狀結構底部不斷融合相近的樣本；假如生成的群數多於我們預期的群數，則反覆重複聚合最近距離的兩群的動作，直到群數降到條件範圍內。
2. 完成的分群會以樹狀結構呈現，稱作 dendrogram。
3. 若群內有多個樣本，該如何定義兩群間的距離？
   在階層式分群中常見的距離定義方式有：

• Single Linkage：群與群的距離為不同群中最接近兩點間的距離，容易產生大者恆大的分群結果。
• Average Linkage：群與群的距離為不同群中各點與各點間距離總和平均，相比 Single Linkage 則較容易產生齊頭並進、各群規模相近的分群結果。
• Complete Linkage：群與群的距離為不同群中最遠兩點間的距離
• Ward’s Method：將兩群合併後，各點到合併後的群中心的距離平方和

分割式分群（Partitional Clustering）：以 K-Means 演算法 為例

• 將 n 個點切分到 k 個群中，不斷重複調整群心、重新分群，最後達到每個點都隸屬於與其群心最近的聚類（群）中。

基於機率分佈的分群算法：以 高斯混合模型 為例

• 使用多個高斯機率密度函數來更精確地量化特徵的分佈，也就是將特徵分解為多個高斯機率密度函數的統計模型。

(2) 關聯規則

Apriori 演算法

• 一種逐層搜索的迭代方法。先找出出現頻次為 1 的項目集合，存為 L1；再用 L1 找出現頻次為 2 的項目集合 L2，L2 再用來找 L3，依此類推，直到不能找到更多頻次共同出現的項目集合。

(3) 異常檢測

LOF（Local Outlier Factor）

• 如果樣本點 p 的 LOF 得分接近 1，則表示 p 的局部密度與相鄰點差不多
  如果 p 的 LOF 得分小於 1，則表示 p 落在一個相對密集的區域，最不像是異常點
  如果 p 的 LOF 得分遠大於 1，則表示 p 跟其他樣本點相對疏遠，很有可能是異常點

(4) 降維

主成分分析（Principle Component Analysis, PCA）

• 對一系列可能相關的特徵進行線性轉換，將他們投影成另一系列「線性不相關」的特徵值，這些不相關特徵稱為「主成分」。

t-隨機鄰近嵌入法（t-Distributed Stochastic Neighbor Embedding, t-SNE）

• 使用機率分佈方法定義高維到低維的相似度轉換，優點是在保持局部結構的能力比 PCA 更佳，因此常被用於學術論文和競賽中的資料視覺化。

(5) 結構化資料分析

隱含狄利克雷分布（Latent Dirichlet Allocation, LDA）

• 事先定義好有限的主題，並透過觀察文件與朋友用詞來計算出主題之間的關聯，以及各個文件的主題分佈，如此一來，只要文件夠多，就可以有效的快速理解不同文件的主題分佈

以上是非監督式學習的應用情境與算法整理，希望對你有幫助！

．如果你喜歡這篇文章的選題和動機，請幫我拍手👏 +5 下，讓我瞭解這是不是讀者妳/你所喜歡的方向
．如果這篇文章的整理對你有幫助，請幫我拍手👏 +20 下，讓我瞭解內容對讀者妳/你的幫助程度
．如果還希望有類似的知識點整理，請幫我拍手👏 +50 下，讓類似的內容可以繼續出現！

資料來源：

• 聚合式階層分群法
• 高斯混合模型解釋及 Python 實作
• Apriori 演算法詳解及 Python實作
• 基於密度的經典異常偵測算法：LOF 算法詳解
• 資料降維與視覺化：t-SNE 理論與應用
• 主題模型與 LDA 概念理解

【機器學習知識點】非監督式學習的應用情境與演算法分類 was originally published in 資料探員 Data Agent on Medium, where people are continuing the conversation by highlighting and responding to this story.

工作上使用過 Google Analytics 的朋友想必對 Demo Account 都不陌生，今天的實戰分析案例，我們使用 Google Merchandise Store 的網站訪客數據，以 2021 年 5 月為資料區間，對網站現況和問題進行歸納盤點，並提供優化方向建議。

在正文開始前先和你介紹一下 Data Agent 資料探員：
Data Agent 是一個分享數據分析、資料科學概念、實作案例及自學資源的自媒體。除了原創內容分享，也偶爾以課程錄影、內訓教學、接案等方式和大家互動，主要平台管道有 Medium、Facebook 及 LinkedIn。現在你可以追蹤 Medium 專欄，有新文章更新時將會第一時間收到通知。

以下開始正文內容：

本分析案例大綱

1. 訂定分析目標
2. 資料集描述
3. 資料處理流程
4. 分析圖表與判讀
5. 推論歸納與決策建議

(1) 訂定分析目標

開始每個分析案例以前，都需要先大致確立分析目標，設定會希望獲得什麼成果。以下是我們希望從 Google Analytics 報表數據中獲得的洞察方向：

分析問題

1. 指標–維度相關程度：找出重點維度 / 指標〔註1〕 間的相關性，瞭解多維度、多指標下對不同目標值的影響程度。
2. 商品定位象限：了解 Google 自家電商目前的商品銷售情況，針對不同受眾的經營提出優化建議

可能的研究結果

決策者從分析報告了解到的洞察點，如何實質幫助決策？

1. 輔助行銷資源投入的優先決策（EX：透過商品定位象限，對不同客群重新規劃主打品項、要主力優化的指標、要開發新客的渠道或國家等）

〔註1〕維度：類別型屬性（如：來源媒介、國家、時段等） /
指標：數值型屬性（如使用者數、交易次數、收益等）

–

(2) 資料集描述

說明我們對資料集的認識如何影響研究目標

1. 資料來源：Google Merchandise Store（銷售 Google 品牌商品的電子商務網站）的 Google Analytics 官方示範帳戶
2. 資料區間：取用 2021/05/01–2021/05/31
3. 資料集涵蓋數十項維度及指標，本分析案例主要篩選兩類資料屬性：

(A) 流量指標區塊

多種維度下的流量指標數據，包含用戶數、平均停留時間、跳出率、交易次數、收益等

(B) 電子商務區塊

商品的各項瀏覽行為及銷售表現，包含主要漏斗事件，如瀏覽、加入購物車、購買等

–

(3) 資料處理流程

進入分析前進行的資料處理紀錄

資料擷取

1. Google Analytics (GA) Demo Account — Master View，自訂報表並匯出
2. 從 Google Data Studio 連結 GA 帳戶，選擇加入 Google Merchandise Store 資料源

資料合併

1. 因匯出限制，需另外將從 GA 匯出的資料表合併

資料屬性處理

1. 因匯出限制，需另外將 {時段} 拆分為 {日}, {小時}, {星期幾}
2. 資料格式清理（如：幣值、時間戳記、百分比等）

–

(4) 分析邏輯說明

先說明接下來會進行的探索分析脈絡、分析邏輯來由

Step1：先瞭解維度、指標之間的相關性

制定成效提升策略以前，需要瞭解哪些因素會直接或間接影響、相關程度排序，因素之間是否存在相依性等，使得策略方向符合實際情況。

Step2：根據業務場景模擬分析應用

除了都以全站為標的，業務上對不同用戶客群也需要制定經營策略，因此讓分析圖表或系統能夠抽換用戶變數同樣重要。

–

(5) 圖表判讀與分析

（A）指標間的相關性 — 「跳出率」

相關性圖表判讀結果歸納：

• 「跳出率」與其他指標間皆呈現負相關
• 特別觀察到，指標分成與「跳出率」負相關的 3 種強弱程度：

1. 停留時間類指標越大，跳出率最低、相關度最強
2. 瀏覽不重複品類或品牌數指標越高，跳出率越低
3. 造訪及交易指標越高，跳出率越低、但相關度最弱

• 其他指標之間則皆互為正相關

–

（A）指標間的相關性 — 「交易次數」、「平均訂單價值」

• 除了原本就呈正相關的交易指標，特別觀察到與「交易次數」、「平均訂單價值」相關程度較高的指標是「不重複瀏覽品類數」、「不重複事件」，大於「使用者」、「新使用者」、「人均停留時間」等指標，說明了：

若想要提升交易量和每單消費額，讓用戶多逛不同的品類、做到互相比較、考慮的效果可能比純粹導流來得更好。

–

你已閱讀 30%，休息一下…
如果這篇文章讓你認識了新的分析方法、洞察，想請你幫我拍手👏 至少 +5 下；
如果這篇文章給了你靈感、工作上的幫助，想請你幫我拍手👏 至少 +15 下；
如果你看到目前覺得收穫非常多，想請你幫我拍手👏 至少 +30 下，一下子吸收這麽久，也當作是給自己的鼓勵XD

–

（B）網站訪客 特徵歸納

相關性圖表判讀結果歸納：

• 星期幾：更傾向於週二造訪，最不傾向於週末造訪
• 小時：最傾向於 11–13 時造訪，不傾向於晚間 9 點後造訪
• 流量來源：多為直接流量，少部分廣告及聯盟流量
• 來源國家：以美國為首、印度次之，其餘國家比例低
• 瀏覽使用之作業系統：以 Macintosh, Chrome OS 為大宗

–

（C）網站新訪客〔註2〕 特徵歸納

• 星期幾：與同總體訪客相同，更傾向於週二造訪，最不傾向於週末造訪
• 小時：最傾向於 15 時、11–13 時造訪，不傾向於晚間 10 點後造訪
• 流量來源：與同總體訪客相同，多為直接流量，少部分廣告及聯盟流量
• 來源國家：與同總體訪客相同，以美國為首、印度次之，其餘國家比例低
• 瀏覽使用之作業系統：以 iOS 為首、Macintosh, Chrome OS 次之

〔註2〕新訪客：係指過去在網站無 cookie 紀錄，視為全新訪客

–

（D）訪客人均停留時間 特徵歸納

• 星期幾：相關程度較弱，週四造訪的停留時間最長
• 小時：相關程度較弱，也沒有隨著特定的時段有較長的停留時間
• 流量來源：直接流量和自然流量的停留時間越長，廣告流量則越短
• 來源國家：以瑞典最長、美國次之
• 瀏覽使用之作業系統：與同總體訪客相同，而 iOS 訪客之人均停留時間最低；根據前述 iOS 用戶多為新訪客，其停留時間較短。

–

（E）交易次數 特徵歸納

• 星期幾：相關程度較弱，週四下單次數最高
• 小時：用戶傾向集中在 10–15 時下單
• 流量來源：直接流量進站與下單次數呈正相關；廣告及聯盟流量呈負相關
• 來源國家：只有來源於美國的流量有達成交易
• 瀏覽使用之作業系統：Macintosh, Chrome OS 訪客與下單呈正相關，而 Windows, Android, iOS 訪客為負相關

–

（F）電子商務轉換率、收益 特徵歸納

• 星期幾：相關程度較弱，週二轉換率最高；週日最低
• 小時：13、17、20–21 時的轉換率較高
• 流量來源：直接造訪及未登入的訪客流量和轉換率呈正相關；自然流量及關鍵字廣告的轉換率則呈負相關；以曝光為目的〔註3〕 的廣告流量轉換率有最強負相關
• 來源國家：與交易次數的相關分佈相同
• 瀏覽使用之作業系統：以 Chrome OS 最高，BlackBerry, Linux, Mac OS 次之；Windows, Android, iOS 的轉換相關性最低

–

（G）平均訂單價值 特徵歸納

• 星期幾：相關程度較弱，週一的平均訂單價值最高；週日最低
• 小時：8、11–12、17、20–21 時的平均訂單價值較高
• 流量來源：與收益的相關分佈接近
• 來源國家：同上
• 瀏覽使用之作業系統：以 Chrome OS, Mac OS 訪客最高；Windows, Android, iOS 訪客最低

你已閱讀 65%！就快看完了！
如果這篇文章讓你認識了新的分析方法、洞察，想請你幫我拍手👏 至少 +5 下；
如果這篇文章給了你靈感、工作上的幫助，想請你幫我拍手👏 至少 +15 下；
如果你看到目前為止覺得收穫非常多，想請你幫我拍手👏 至少 +30 下，一下子吸收這麼多資訊，也當作是給自己的鼓勵XD

二、分析圖表與判讀：商品定位象限

商品瀏覽 Ｘ 收益定位圖 — 以前 20 % 為臨界點

以 5 月份的商品「總瀏覽次數」為 X 軸、「總收益」為 Y 軸，我們可以區隔出 4 塊象限，分別代表不同定位的商品。

4 個區隔象限說明如下：

1. 右上角「綠色區域」為「銷售主力品」，品項流量及收益是全站排名前20%。
   >> 維持瀏覽量
2. 左上角「藍色區域」為「銷售潛力品」，品項收益亦為全站排名前20%，可專注於提升流量，目標讓更多品項移往主力區。
   >> 集中提升商品瀏覽量
3. 右下角「黃色區域」的特色是「叫好不叫座」，品項流量為全站排名前20%，但總收益較不理想。
   需深入瞭解此區商品是否能夠間接讓用戶購買其他品項（是否有其存在必要）。
   >> 計算輔助轉換效益，調整首頁商品或推薦商品呈現的排序
4. 左下角「紅色區域」為「銷售長尾品」，近 8 成品項落在此處，是未來潛力、主力品的預備區。在提高用戶瀏覽品類數（總瀏覽次數）時，觀察後續落點，哪些商品能有相對更高的轉換率。
   >> 優先程度最後，等待前兩項優化做完後，計算商品的落點改變和輔助轉換效益

做個結論：

維持主力品流量、提升銷售潛力品流量；評估高流量低轉換商品之輔助轉換效益，長尾品保留觀察。

切換 GA 區隔，查看不同用戶分組當前的主力商品

前述我們觀察的是全站情況。
如果使用 Google Analytics 內建區隔或自訂區隔（Segments），也可以分別篩出該族群的主力銷售品、觀察瀏覽和消費在商品間的分佈情形。

這裡我們以「新訪客」 v. s. 「回訪客」兩種區隔來觀察，可發現新訪客的消費更相對集中於少部分熱門品；回訪客的消費則相對分散在不同商品上。

其中根據 Google Analytics 報表資料，5 月份 Google Merchandise Store 之新訪客特性：

• 新訪客佔 5 月所有訪客 82.6 %
• 新訪客貢獻網頁瀏覽量佔全站 60.4 %
• 新訪客貢獻收益佔全站 32.6 %
• 新訪客平均訂單價值（客單價）為 US$ 63.63，低於回訪客的 US$ 79.94
• 回訪客每人交易次數是新訪客的 7.87 倍

以增加全站收益為目標，提出兩種做法方向

1. 改善會員機制，提高新訪客再次回訪的比例：
   有鑒於回訪客貢獻近 7 成收益，且轉換率高於新訪客 4–5 倍；是否能透過回訪客偏好的活動、品類，主動吸引新訪客回流。
2. 針對回訪客偏好的商品種類，提高新訪客購買意願或吸引不同訪客族群：
   新訪客貢獻 6 成瀏覽量卻只有約 1% 訪客下單，有可能是新訪客所觸及的商品吸引力不足，或現有商品未精準觸及潛在受眾。

–

推論歸納與決策建議

歸納本次對 Google Merchandise Store 2021 年 5 月份網站數據分析之解讀、提出假設，並提供電商經營方向。

數據洞察歸納

1. 根據「交易次數與其他指標相關係數長條圖」顯示，與「交易次數」呈現正相關強度第二高為「不重複品類瀏覽數」，解讀為 若想要提升交易量和每單消費額，讓用戶多逛不同的品類、做到互相比較、考慮的效果可能比純粹導流來得更好
2. 根據各指標的特徵維度相關係數圖表，我們分為 3 個面向來統整：停留時間類（流量品質）、不重複事件類（訪客考慮程度）、造訪及交易紀錄類

• 停留時間類（流量品質）—『人均停留時間』『平均工作階段瀏覽頁數』『跳出率』：
  （i）直接流量及自然流量的停留時間最長；而關鍵字廣告停留傾向為負相關，建議需檢視其設定。
  （ii）iOS 訪客之人均停留時間最低，多為新訪客，應調整首頁配置，讓新訪客有機會停留更久。
• 不重複事件類（訪客考慮程度）—『不重複事件』『不重複瀏覽品牌數』『不重複瀏覽品類數』：
  （i）相關程度較弱，平均而言 10–15 時的訪客所瀏覽的品牌數及品類數較多；行銷資源應以此時段為優先。
• 造訪及交易紀錄類 —『使用者數』『新使用者數』『交易次數』『電子商務轉換率』『收益』『平均訂單價值』
  （i）總體描述：訪客傾向於 10–15 時造訪及購買，較不傾向於週末或晚間 9 點後造訪；以 Mac、Chrome OS 用戶為多數；新訪客則以 iOS 用戶為多數；收益、轉換率皆以週二最高、週日最低；平均訂單價值以週一最高、週日最低。
  （ii）流量及交易集中在美國，可深入探討城市差異。
  （iii）曝光廣告及關鍵字廣告流量轉換率呈負相關，需檢視其設定。

分析自家網站：索取你的網站分析示範

這次以 Google Analytics Demo Account 實作數據分析並歸納 Google Merchandise Store 目前的困境及建議方向。

如果你看了本次實戰案例內容，也想應用到自家網站上，歡迎提供你的網站 Google Analytics 帳戶，即可獲取一份我為你做的『網站健檢分析體驗版』報告（就像此份的架構）。

開始方法很簡單，只要兩步驟：

1. 來信簡介你的公司品牌、產業、目前經營的行銷渠道有哪些，並附上網址
2. 將您網站的 Google Analytics 檢視權限開通到以下信箱：martech.tw@gmail.com

有任何問題，同樣歡迎先來聊聊詢問，你可以透過以下方式聯絡到我：

• e-mail: martech.tw@gmail.com
• phone: 0989-960-615
• fanpage（私訊會於一個工作天內回覆）: https://www.facebook.com/MarketingDataAgent

恭喜你完成閱讀 100% ！
如果這篇文章讓你認識了新的分析方法、洞察，想請你幫我拍手👏 至少 +5 下；
如果這篇文章給了你靈感、工作上的幫助，想請你幫我拍手👏 至少 +15 下；
如果你看完了整篇文章，並覺得收穫非常多，想請你幫我拍手👏 至少 +30 下，也當作是給自己的鼓勵XD

P.S. 關掉這篇文章前，記得追蹤 Data Agent 資料探員 Medium 專欄唷！https://medium.com/datamixcontent-lab

【數據分析實戰案例】Google 官方電商網站分析 was originally published in 資料探員 Data Agent on Medium, where people are continuing the conversation by highlighting and responding to this story.

講解資料科學流程、機器學習經典四類演算法、交叉驗證概念及模型訓練優化心得。

前言

本次資料探員與 Finformation 合作擔任 政大數據分析社 社課講師，一共7週課程。第6堂課主題是【資料科學方法與流程入門】，後來考慮課程長度和難易度，調整為著重在「資料科學題目發展」、「資料科學流程重點」、「經典機器學習算法」。

本次課後也釋出課程錄影及上課簡報pdf，若想要索取，相關流程在這篇貼文可以找到。
你也可以前往觀賞我錄製的 課程Youtube影片（資訊欄有各節課綱的快捷秒數，可以跳著觀看），對你有幫助的話歡迎按讚留言分享，讓我收到一些你的回饋。

本次上課課綱

1. 從數據分析到資料科學
2. 資料科學技術範疇
3. 設定資料科學問題
4. 機器學習演算法運作概念
5. 機器學習演算法種類介紹
6. 如何選擇演算法
7. 了解演算法的成效：模型評估指標
8. 交叉驗證的必要性
9. 因應預測標籤不平衡問題
10. 心得總結：如何優化訓練後的模型

以下我們整理各節重點和相關參考連結，方便學員做複習：

＊資料科學流程

在開始前再次複習資料科學流程：

1. 資料擷取
2. 資料前處理
3. 資料視覺化與分析洞察
4. 模型選擇與建構
5. 模型訓練與成效指標比較
6. 特徵工程用於模型成效優化
7. 模型超參數調整

(I) 從數據分析到資料科學

1. 商業目標：改善現況 → 提前佈局：
   數據分析幫助我們了解現況、發現問題、提出改善方針；資料科學則是當我們有充足的數據量、資源能夠從改善現況，往前推進到提前佈局、節省成本或增加盈利時，透過建模流程和資料工程將整個從資料擷取到目標值預測的流程加以自動化，並將預測輸出直接運用到業務情境中，發揮資料的價值。
2. 數據分析的洞察用於訓練特徵篩選：
   數據分析和資料科學在流程上是相互銜接的，我們在進行數據分析時所繪製的視覺化圖表，展示特徵分佈、相關程度、解釋性等等，都會幫助我們在進行資料科學流程時的特徵篩選，有時也甚至會回頭去修改資料前處理的做法。
3. 模型演算法複雜度和業務需求需取得平衡，資料科學的本質為解決問題：
   機器學習算法大部分還是保留了特徵貢獻度、權重等輸出量，但在較為複雜的神經網絡中，如遞歸神經網絡、長短期記憶模型等牽涉到 time_steps 的模型，要如何同步解讀特徵權重和時間窗格權重則是深度學習所面臨的解釋性議題。

(II) 資料科學技術範疇

人工智慧、機器學習、深度學習、監督式學習、非監督式學習、強化學習等眾多名詞，彼此間的關係大致可用此圖來描述，在很多地方你也會看到類似的圖表呈現不同領域的關係。

以下是經過資料探員理解吸收後，以盡量白話好懂的方式解釋名詞。

• 人工智慧
  廣義的人工智慧泛指，運用電腦程式展現人類智能以解決問題。展現人類智能指的是在條件式規定以外，電腦程式能夠從中找到數學規律、最佳解的過程。理想化的情境是電腦能夠透過觀察周遭環境、經由超越條件式以外的判斷，做出行動以達到目標，舉例來說，自駕車、AlphaGo人工智慧棋手等。

• 機器學習
  其中一種解決人工智慧問題的手段，透過歷史資料及領域經驗，定義損失函數及預測評估指標，用以最佳化演算法成效表現。
• 深度學習
  機器學習的其中一個分支，特色在於在神經網絡架構中加入特徵學習。如圖像、影像、語音、文字等非結構化資料難以人工方式進行高效的特徵抽取，而透過多層的神經網絡結構，可以將特徵經由不同的抽象層次被抽取出來（例如理解為從不同面向對事物進行特徵描述）。
• 監督式學習
  指定目標預測值來讓演算法學習最小化預測與實際的誤差，如 是否購買、廣告花費、是否違規等。
• 非監督式學習
  在不指定目標預測值的情況下，利用演算法將更為相似的資料樣本歸納在一起，或找出隱藏在其中的關聯。
• 強化學習
  在不告訴機器預測目標值的情況下進行模型學習，每當機器做出一個行為，環境回饋一種狀態和回報給機器，使其透過狀態和回報的好壞往正確方向學習。

(III) 設定資料科學問題

有的時候我們會很直觀的想好要預測的目標值會是什麼，通常這樣的題目要不是已經被實作出來，就是往往因為標籤過少難以達到很好的成效。此時可以依照資料特性、業務情境調整資料科學問題。

案例1：根據問題屬性改變原本的直觀設計 — 電商瀏覽行為的預測議題

電商A擁有訪客的瀏覽日誌、交易紀錄，現希望能增加全站的營收；其訪客瀏覽日誌中的購買次數比例僅約1%。

我們會很直覺的想要對電商A的訪客進行購買預測，了解誰會是真正下單的顧客，但在這樣的購買比例下做預測是不切實際的，我們很難得到非常好的預測效果，以數據分析來說購買者的人數也不夠具代表性。

這時我們如果轉個方向想，要提升營收的勢必不能限於目前的流量，需要在擴大流量之餘，提高全站轉換率，才能再增加廣告預算的同時提升廣告投報率。如果我們的方向改為追求「未購買者的精確度」，調整門檻值，儘早排除不會購買之可能性最高的用戶，這樣一來則可以讓廣告預算花在較有可能會購買的人，並透過追蹤全站轉換率來驗證長期的效果。

案例2：根據業務需求調整預測目標 — 從研究所需的分類模型到實際上線所需的數值模型

醫院B擁有病患進行血液透析的生理監測數據時間序列，現希望能提前預測血壓偏低的病患示警請醫護關注。

直覺上來說會以血壓低於多少的機率來作為預測目標，但這樣的結果呈現給醫護人員，他們無法直觀的做出判斷，仍需要預測的血壓值和機率輔助來綜合判定要做什麼樣的預防措施。

經由以上兩個案例可以發現到，其實資料科學題目會在實務情境中，透過專家和使用者意見被修正改善。

(IV) 機器學習演算法運作概念

在進行機器學習時有以下幾個元素：

• Input：訓練資料集特徵
• Process：演算法
• Output：預測目標值

我們希望一個演算法能夠有越來越好的成效，意指的是希望他的預測值與實際值越接近越好，因此我們會定義所謂的「損失函數 (Loss Function)」，來衡量每一次預測完，樣本總體的預測值和實際值相差了多少？

接著演算法便會將損失函數的結果進行「最佳化」，通常是直到找到最小值為止（Loss最少，預測和實際值最接近）。我們可以設定搜尋最小值所跑的次數上限（Epochs）、每次搜尋時要改變的量的大小（Learning Rate）、所改變的量是否要根據前一次調整（Momentum）等等。這個過程即為機器學習演算法的大致運作邏輯。

(V) 機器學習演算法種類介紹

經典機器學習演算法我們介紹以下四類、共9種：

( A ) 迴歸

• Linear Regression 簡單線性迴歸
  針對平面上的樣本點，找到一條誤差平方和最小的直線

( B ) 分類

• Logistic Regression（羅吉斯迴歸）
  針對空間中樣本點，找到一能夠將兩/多類別資料樣本切分開的線或平面
• Decision Tree（決策樹）
  以不同資料特徵和切點做分類，找到分類後能夠造成純度較高的分類子集的特徵作為節點，以此類推構成有數個節點和葉子的分類樹。
• Random Forest（隨機森林）
  由數個決策樹構成，以多數決方式得出預測結果，善用多棵弱決策樹增強成效。
• Gradient Boosting Decision Tree（梯度提升樹）
  循序式的建構決策樹，下一棵樹是以上一棵預測後的殘差為訓練特徵，最終結果是將多棵決策樹的結果加總得之。
• K-Nearest Neighbor（K-近鄰演算法）
  以附近K個樣本點的分類結果決定該樣本要被分到哪一類

( C ) 分群

• K-Means Clustering（K-平均分群演算法）
  須事先決定要分成幾群，算法隨機挑選群心後不斷迭代分群結果，直到群心不再變動。
• Hierarchical Clustering（階層式分群演算法）
  無須事先決定要分幾群，有由上而下分裂和由下而上聚合兩種方法。

( D ) 關聯

• Apriori Algorithm（先驗演算法）
  將出現項目排列組合後，依次去掉支持度最低（最不頻繁出現）的項目組，迭代直到最後剩下即為最頻繁一起出現的組合。

(VI) 如何選擇演算法

本課我們所介紹到的演算法較為經典、初階，在判斷演算法的選擇上，最首要是分辨資料科學問題種類；若我們考慮到更進階的演算法，如 Lasso Regression, Ridge Regression、其他 NLP 演算法 等，此時選擇演算法的標準就不會再那麼單純只考慮問題本身，還會牽涉到資料集大小、資料特性等。但本堂課以初學者出發，暫不深入討論；在入門階段時，需要注意資料集樣本數至少>100筆再進行演算法訓練、經典演算法可當作 baseline model（基準比較模型） 優先測試，因為其模型架構不會過於複雜，也可作為未來優化的基礎。

(VII) 了解演算法的成效：模型評估指標

針對方才我們介紹的四類演算法中，這邊舉前三類來介紹常見的評估指標：

( A ) 迴歸

• MSE (Mean Square Error) 均方差
  預測值與實際值之殘差平方的平均。
• R² (R-squared)
  即為樣本相關係數的平方，用來判斷迴歸模型的解釋力。

( B ) 分類

• Confusion Matrix（混淆矩陣）
  表示實際和預測兩維度的列聯表，例如：實際是A但預測是B、實際是C預測也是C…符合這些情況的各自數目被記錄在一矩陣中。
• True-Positive (TP)
  二元分類問題下，實際和預測相符；預測是 label=1，實際也是
• True-Negative (TN)
  二元分類問題下，實際和預測相符；預測是 label=0，實際也是
• False-Positive (FP)
  二元分類問題下，實際和預測不符；預測是 label=1，實際則是 label=0
  False-Positive Rate (FPR) 偽陽性率
• False-Negative (FN)
  二元分類問題下，實際和預測不符；預測是 label=0，實際則是 label=1
  False-Negative Rate (FNR) 偽陰性率
• Precision（精確度）
  預測的樣本中，有多少比例預測正確
• Recall（召回率）
  實際的樣本中，有多少比例預測正確
• F-Score
  同時考慮 Precision 及 Recall，平衡的反映演算法的精確度
• ROC Curve (Receiver Operating Characteristic Curve)
  X軸：偽陽性率（FPR）／Y軸：真陽性率（TPR），隨著閾值不同，ROC Curve 上座標點跟著改變
• AUC (Area Under ROC Curve)
  代表在 ROC Curve 下的面積，表示分類器預測能力；當 2 條 ROC Curve 發生交叉，我們無法斷言孰優時，計算曲線下面作為能力判斷指標之一。

( C ) 分群

• WSSE (Within-cluster Sum of Squared Errors) 群內誤差平方和
  各群內樣本到自家群心距離平方和
• Silhouette Coefficient（側影係數）
  是一種評估群與群之間離散程度的方法，使用 a 參數表示樣本點在目前群內的緊密程度、b 參數表示樣本點與其他群的緊密程度，越小越緊密、越大則越疏遠。最終綜合得出側影係數，係數越大表示當前分權方法的品質越好。
  ＊不能用來評價不同分群演算法間的優劣，由於如DBSCAN所得出的側影係數本來就會高於其他方法

(VIII) 交叉驗證的必要性

交叉驗證的目的在於使我們獲得的模型成效能夠更客觀、穩定，避免在模型應用到測試集或真實世界資料時，成效與訓練環境相差過大。交叉驗證發生在模型訓練、驗證環節，透過多重切分資料訓練來達到對模型穩定度的驗證，最後得到一個交叉驗證後的成效指標。

因此在解釋交叉驗證前，我們還需要了解：

• 訓練、驗證、測試集切分的用意
  以 作業、小考、期末考 來分別比喻 訓練集、驗證集、測試集三者，模型需要透過多次作業和小考來訓練，我們才能更好的掌握期末考分數。如果只寫過一次作業就面期末考，那麼作業所得的成績和期末考成績很可能相差甚遠。
• 何謂 overfitting （擬合過度）？
  模型好壞可大致有3種階段： Under-fit → Good-fit → Over-fit
  Under-fit 指的是模型複雜度還可以再提升，現有的可能無法 fit 到大部分的資料點。Good-fit 指的是目前的模型可以很好的 fit 到大部分的樣本。Over-fit 則是模型因為過度 fit 在訓練集的資料點，以致於使用新資料進行預測時，出現和訓練時落差很大的成效。

為了避免 overfitting 導致新資料進行預測時的成效不可控，我們透過交叉驗證，讓模型對打亂的資料集重複訓練，使其看過很多不同的資料組合，最後對新資料做預測時能夠有更 generalized 的表現，不會過度受到單一資料集的影響。

P.S. 簡報中有交叉驗證的圖解，更方便學習理解（如何領取簡報？）。

(IX) 因應預測標籤不平衡問題

這是分類題目在現實生活中很常面臨到的資料集困境，很多時候我們更在意的那個標籤相對少數，如：購買者、刷單者、假流量來源、駭客攻擊行為等。

那麼有預測標籤不平衡問題該怎麼解決呢？不外乎是將多數類別抽樣到和少數類別樣本一樣多，或是從少數類別樣本中合成新資料點，讓他變得和多數類別樣本一樣多。前者稱做 Under-Sampling，後者為 Over-Sampling。

1. Under-Sampling
   使用合理的抽樣方法皆可達到目的，如隨機抽樣、分層抽樣等
2. Over-Sampling
   imbalance-learn 套件提供不同的樣本合成方法，SMOTE 是最為常見的，還有其變化型

(X) 心得總結：如何優化訓練後的模型

不論是根據個人經驗或參考他人作品，通常來說，好的特徵組合對成效的提升會比超參數調整更明顯。

不論是每次訓練後的模型對特徵貢獻度的解讀、透過不同的遞迴方式篩選特徵組，都是我們盡可能找到對目標值更有鑑別度特徵的方式之一。

這次我們還沒有深入介紹到特徵工程的內容，不過有一些在優化分類器上的特徵工程 tips：

• 觀察連續型變數和目標值的關係後轉換為離散區間
• 假如遇到時間序列資料，可生成差值、成長率等特徵
• 從高維度資料萃取有效特徵：降維（PCA/T-SNE/LDA等）
• 使用神經網絡層進行特徵提取

結語

感謝聽課的所有學員，若對簡報、上課內容、錄影內容和方式有任何建議回饋，歡迎私訊 資料探員 Data Agent 粉專，我會再一一回覆各位。

【教學重點】機器學習方法與流程入門 Machine Learning — Intro｜政大數據分析社 110_2 社課 Lesson 6 was originally published in 資料探員 Data Agent on Medium, where people are continuing the conversation by highlighting and responding to this story.

2021 年 2 月 11 日 Python, tutorial

Leave a comment

不管是提升工作技能或對資料有興趣，都可以簡單上手 Python 數據分析，文末我們將提供 Colab 範本給讀者進行練習。

＊Colab 是什麼？
>> Colaboratory (簡稱為「Colab」) 可讓你在瀏覽器上撰寫及執行 Python，且具備下列優點：

• 不必進行任何設定
• 免費使用 GPU
• 輕鬆共用

教程大綱

1. Environment Setup
2. Data Processing

• 2–1. Numpy Basics
• 2–2. Pandas Basics

1. Explortary / Statistical Data Analysis
2. Feature Engineering — Feature Selection
3. Machine Learning Model Training

• Supervised Learning
• Classification
• KNN
• Regression
• Unsupervised Learning
• Clustering
• Association Rule Learning

1. Deep Learning Model Training

• Time Series Data
• LSTM
• GRU
• Natural Language Processing (NLP)
• Image Recognition
• Other

1. Environment Setup

開始寫 Python 程式進行資料處理之前，我們要先做好環境架設：

Windows

安裝 Anaconda 及 Python:

1. 下載 Anaconda installer
2. 打開 “Anaconda Prompt“
3. 輸入 conda list 來確認是否安裝成功
4. 輸入 python 來確認你目前的 Python 版本（輸入 quit() 可以跳出 Python shell）

安裝完成後，我們要先建立虛擬環境，再來安裝需要的 package

1. 打開 “Anaconda Prompt”
2. 創建虛擬環境：
   輸入conda create --name env_name python=3.7 anaconda

• anaconda: 這個指令是為了讓創建的虛擬環境自動納入 anaconda 預設的 packages

1. 啟動虛擬環境：
   conda activate env_name

當你看到前面換成 (env_name) 時，便成功啟動了

2. Data Processing

Numpy Basics

• 可對陣列進行數學或邏輯運算
• 線性代數運算
• 產生隨機亂數等

Numpy 1D Arrays 一維陣列

1. broadcast operations：對 ndarray 可以進行 broadcast 數學運算，對 list 則無法

example_list = [45, 69, 94, 40, 694, 596, 504]
example_array = np.array(example_list)

2. condition selection：對 ndarray 可以進行邏輯篩選，對 list 則無法

filter = example_list > 50

Numpy 2D Arrays 二維陣列

3. slicing：對 ndarray 可以進行切片選取範圍，對 list 則無法

example_list = [[5,6,7,8,9], 
                [7,8,9,10,11],
                [9,10,11,12,13]]
example_list[:, 1:4]
example_array[:, 1:4]

4. array operations：對 ndarray 可以進行陣列相乘，list 則無法

multiplier = [34, 78, 90, 5, 9]
example_list * multiplier
example_array * np.array(multiplier)

5. basic statistics functions

• Average: np.mean()
• Median: np.median()
• Standard derivation: np.std()
• Pearson’s correlation: np.corrcoef()

In 1D Array:

def func(x, axis):
    print(np.mean(example_list, axis=axis))
    print(np.median(example_list, axis=axis))
    print(np.std(example_list, axis=axis))
    print(np.corrcoef(example_list), '\n')

In 2D Array:

• axis=0: verticality operation
• axis=1: horizontally operation

example_array = np.array(example_list)
print('verticality: ')
func(example_array, axis=0)
print('horizontally: ')
func(example_array, axis=1)

Pandas Basics

2 main data structures:

• Series
• DataFrame

Functionalities:

• slicing, indexing and subsetting
• groupby
• reshape
• pivot_table
• merge, join, concat, etc.

Series

1. create series

# create from ndarray
data = np.random.randn(5)
pd.Series(data, index=['a','b','c','d','e'])

# create from dictionary
data = {
    'Facebook': 'Mark Zuckerberg',
    'Apple': 'Steve Jobs',
    'Amazon': 'Jeff Bezos',
    'Netflix': 'Reed Hastings',
    'Google': 'Larry Page'
}
pd.Series(data)

2. demonstrate operations: array-like operations

data = np.random.randn(5)
ser = pd.Series(data)
ser[ser > ser.mean()]

3. demonstrate operations: dict-like operations

ser
ser['a']

DataFrame

1. create series

# create from dict of series

data = {
    'one': pd.Series(np.random.randn(5), index=['a','b','c','d','e']),
    'two': pd.Series(np.random.randn(5), index=['a','b','c','d','e']),
}
df = pd.DataFrame(data)
df

# create from dict of ndarrays/lists

data = {
    'one': np.random.randn(5),
    'two': np.random.randn(5)
}
df = pd.DataFrame(data)
df

# create from list of dicts

data = [{
    'a': 1,
    'b': 2
}, {
    'a': 3,
    'b': 4,
    'c': 6
}]
df = pd.DataFrame(data)
df

# create a MultiIndexed dataframe from tuples dict

data = {
    ('top-1','medium-1'): {('I','i'): 1, ('I','ii'): 2},
    ('top-1','medium-2'): {('I','ii'): 1, ('I','iii'): 2},
    ('top-2','medium-1'): {('I','i'): 1, ('I','ii'): 2},
    ('top-2','medium-2'): {('I','i'): 1, ('I','iii'): 2}
}
df = pd.DataFrame(data)
df

Colab 範本

1. Environment Setup
2–1. Numpy Basics
2–2. Pandas Basics

線上支持這個教程

• 掃QR碼打賞
• 至粉專按讚並分享

後續還會繼續更新 Python 資料科學的更多教程，喜歡的同學別忘了按讚打開通知～

- 如果你覺得稍有收穫，請不吝嗇幫我鼓掌，給我持續更新的動力！

- 5-10拍手：到此一遊
- 10-40拍手：對文章內容的肯定
- 50拍手：你真的很期待再看到『同類別的』文章，我們會根據拍手數做主題的參考

- 粉絲頁：行銷數據分析 Marketing Analytics，歡迎大家 Follow 獲取數位廣告&資料分析知識＆技能！

【Python 資料科學教程】環境架設、Numpy, Pandas 基礎 — Data Science with Python was originally published in 資料探員 Data Agent on Medium, where people are continuing the conversation by highlighting and responding to this story.

不過這不是本篇的重點，本篇想針對資料分析入門到精通、到走向資料科學家或數據工程師、AI工程師，過程中的線上教材做歸類。我目前把它簡化成三個階段。
另外這樣的網路文章蠻多的，可以google「data analysis tutorial recommendation」肯定能找到更多無窮無盡的乾貨；不論你最後儲存了哪一篇，重要的是我們找到一篇覺得可以follow的開始學習囉！

Beginner: Data Analysis Concepts

初學重要目標：知道何謂商業上有意義的分析結果、如何從資料產出可視化圖表並做出適切解讀。

1. 多吸收產業數據應用案例
   > FineReport — 一個案例告訴你，如何在工作中掌握商業資料分析的能力
   > FineReport — 行業好文：4大案例分析金融行業的大數據應用
   > Coursera—大數據分析：商業應用與策略管理 | 台大開課
2. 參考公開的數據可視化範例，了解如何精確使用圖表讓人知道數據中的故事
   > Hubspot — Data Visualization 101: How to Choose the Right Chart or Graph for Your Data (較進階，建議)
   > 不同圖表不同使用時機，我的報表適合什麼圖形？你用對了嗎？(非常基礎，當成一個檢查)
   > 數據可視化：柱狀圖、雷達圖等六種基本圖表的特點和適用場合
   > Tableau Public — 可搜尋到其他人公開的視覺化Dashboard範例
3. 自己抓取公開的數據集做可視化(視覺化)練習
   > Kaggle — 帶有主題的資料集，而且蠻多是直接提供csv，應該是最好用來練習
   > 阿里云天池 — 阿里云旗下大数据平台
   > 政府開放資料

Intermediate: Do Analysis with EXCEL/Python

中階重要目標：知道如何清理資料、做出符合商業目標的分析、可視化呈現並使用統計數據說服聽眾，完成這一整個flow。

1. 從電子書或線上課紮實學習整個流程
   > Introduction to Data Analysis HandBook(原文): 他會從資料類型、資料分析流程到跑一個實際案例給你看
   > Digital Analytics for Marketing Professionals: Marketing Analytics in Practice | University of Illinois at Urbana-Champaign (4.5星，2209評分)：也是從data collection到visualization跑一次案例給你看
   P.S. 推薦 課程比較網站 ClassCentral — 跨多個平台找課程時可以互相比較評價
2. 透過EXCEL / Python 操作跑一遍analysis流程
   > Tutorialspoint 網站文章叢集教學 — Excel Data Analysis Tutorial
   > O’Reilly® — Think Stats: Exploratory Data Analysis in Python(原文)
3. 學習更高階的分析方法
   > DATA MINING AND ANALYSIS: Fundamental Concepts and Algorithms(原文) — 多變量分析、處理高維度資料、分類分群方法等（銜接機器學習方法）

＊Data Analysis v.s. Data Mining 兩者差異，最主要定義上前者是指產出商業上有用insight的一連串步驟包含data extracting, cleansing, transforming, modeling, visualization，後者則專指機器學習中從大量資料中找出pattern的系統化流程。source: 國外線上學習網站EDUCBA點出共7點差異。

Advanced: Big Data Processing with SQL/Python

高階重要目標：學習其他串接資料技術，了解程式效能對資料處理的影響，並優化程式寫法。

因為真實世界的資料不是永遠都長得那麼工整，會包好一個csv丟給你；很多時候必須藉由網站爬蟲、從DB撈取等方式得到資料。使用Python的好處是能一條龍的完成資料撈取到視覺化過程，但EXCEL仍有他的優點，就是能非常省時的跑出統計分析、圖表報表。

1. 學習SQL-like語言
   > Data Analyst with SQL Server | Datacamp — 再自己弄一個DB可能有些麻煩，所以初學者我蠻推薦用Datacamp的互動式來學SQL
2. 學習簡單Python爬蟲
   > 推薦大數學堂的YT視頻，他有帶很多類型的案例，包含從找html tag、找藏在network頁籤的api、解決需要登入的問題、防止爬蟲被機器人擋等
3. 了解Python中資料處理function的效能，建議用法
   > Writing Efficient Python Code | Datacamp
   > Official Python Performance Tips — 官方有針對像是Sorting, Loop, Data Aggregation等舉例直覺用法 v.s. 更有效率的用法

Updated on 2020.03.28

【2020政大徵才月】資料分析學習路徑整理 was originally published in 資料探員 Data Agent on Medium, where people are continuing the conversation by highlighting and responding to this story.

9大維度，透過資料挖掘認識品牌的對手、消費者、市場表現

前言

iBuzz (亞洲指標數位行銷顧問股份有限公司) 是台灣第一間做海外內自動化網路口碑輿情搜集系統，來分享的 CEO 黎榮章 學長 也是政大企家班的校友！

據網路資料，他們在台灣的網路環境蒐集輿情口碑資料的總頻道來源超過17,289個，涵蓋八大頻道類型(新聞、文章、論壇、部落格、維基與FB粉絲團、Youtube、PTT)；
同時也有針對中國大陸的網路口碑資訊蒐集，採80/20原則抓各產業別TOP30的熱門網站，包含七大頻道來源(新聞、文章、論壇、部落格、維基、電商、微博)，共12940個頻道。
東南亞部分包含新加坡、馬來西亞、印尼、越南、菲律賓、泰國等城市，來源包含傳統媒體和臉書、IG等社交平台。
他們不僅服務品牌直客，同時也跟奧美集團、群邑集團、電通安吉斯集團、聯廣集團等4A大型代理商、公關公司搭配，提供網路大數據分析與社群行銷解決方案。

好的，認識完iBuzz讓我們進入主題！

品牌行銷九大分析維度

＊P.S. / 當天無法拍照，以下圖表皆為模擬示意＊

(I) 產業環境分析

ex：化妝品在不同季度的討論趨勢（用文字雲表示）

(II) 產業競爭分析

1. 品牌討論度排名：同一產業內，約會有前３大品牌佔據80%的討論度。

2. 品牌與產品的聲量占比：大家普遍講到這個品牌的時候，是打他的品牌字or產品名多？

Ex: 精品業相較於日用品品牌占比較多
Ex: OPPO 產品討論大於品牌太多

2. 產品內 效能指標討論度：
與商品字一起出現、有關產品系統效能的名詞、評價

(III) 企業集團分析

1. 品牌P/N比 (正負情緒比) ：
   將每一篇提及企業品牌的文章算出正、負面分數各一，最後再計算總共的（正面情緒分數／負面情緒分數），數值越高、品牌好感度越高。

(IV) 品牌健康分析（品牌情緒象限）

1. 4象限：正面、負面、強烈、輕微
2. 分別對品牌有哪些關鍵字、個別是落在什麼情緒、討論量有多少

(V) 產品力分析 (SWOT)

應用點：以往，行銷人員透過觀察、資料蒐集、發想寫出SWOT分析象限；但總有些無法一眼觀察出的pattern，透過文字探勘可以為行銷人員做SWOT增添靈感。

1. 產品使用情境->顧客痛點
   將多篇使用心得文，進行文本及情感分析，從詞頻及語意判斷顧客痛點。
2. 斷詞後做相關性分析，哪些商品和情緒描述之間的相關度較高（EX: 在同篇文章出現）

(VI) 活動成效檢核：

從前中後流程追蹤成效

1. 活動宣傳
   線上投放
   自媒體經營
2. 活動報名
   個人化資料
3. 活動報到
   個人身份辨識
4. 活動體驗

(VII) 廣告效果檢驗＆優化

廣告投放前後監測：

1. 各大主要論壇，投放前後、討論詞頻的變化（說服效果分析）
   適用於品牌曝光、促進知名度的廣告類型，可了解投放後，增加了多少與品牌主相關的討論。

廣告優化：

1. 作為後續廣告素材的主題參考
   觀察討論集中在什麼熱詞，有可能是文案一開始並沒有強調到的，此時就可以丟新一版廣告文案做A/B Test，看CTR是否增加。
2. 聯播網內容相關：文章內容有出現關鍵詞才播送廣告
   在Google Ads可設定「多媒體廣告關鍵字」，讓廣告只出現在 「包含你設定的關鍵字」的網頁、影片、應用程式。
   如果我們發現廣告CTR不如預期，可以嘗試在多媒體廣告關鍵字，鎖定文字探勘得到的熱詞。但不宜鎖得太細，以免曝光量過少。

(VIII) 議題事件分析

1. 聲量：提及次數、隨時間變化圖
2. 來源占比：初次出現在不同內容平台的占比
3. 擴散：隨時間擴散的平台分佈
4. 隨時間變化的熱詞及正負面情緒

(IX) 消費者

資料來源不包含年齡、ip等資訊時，若要判斷受眾輪廓該怎麼做呢？

1. 人口結構分析
   從用語回推 年齡、性別、區域等。（例如：會講「是在哈囉」的人，大概率落在14~21、說坐機捷通勤的人，大概率住在新北三重、新莊、林口、泰山）
2. 生活型態
   透過語意反推 意見、興趣、休閒活動。（同上，例如：會講「高效學習」的人，大概率是互聯網產業、白領、喜歡閱讀）
3. 人物性格分析
   文本分析 明星粉專、IG、微博日常發文用語、機器學習辨識圖像風格（穿搭風格），將微網紅分成多個大類別（如：文青、可愛、運動、嘻哈、知性、甲甲、憤青、專業權威感…等）
   方便迅速找到適合品牌主的網紅、代言人。

趨勢：圖像辨識 分析社群話題

用戶越來越習慣在 FB、IG 等社群平台分享梗圖短影片，文字探勘能抓到的比例不斷下降；說到因應方式，iBuzz舉例內部做的「反送中」議題IG分析，找出：

• 社群流傳度前五名傳播梗圖/照片
  透過解析圖片風格、圖中文字來訓練分類器
• 初期發布者、中晚期擴散用戶群

文末補充

這次iBuzz演講的主題—大數據輿情分析，就像開頭提過的，是從新聞、文章、論壇、部落格、維基與FB粉絲團、Youtube、PTT等來源，系統化蒐集整理口碑資料的過程。這邊整理台灣做輿情分析的重點公司，以及自己想要操刀可以用什麼工具？

輿情分析公司：

• iBuzz
• Opview （eLand 意藍資訊）
• 大數軟體 InfoMiner
  輿情分析案例分享
• yodass
• Quickseek
  2020選舉大數據儀表板

開源輿情分析工具：

• CKIP Lab：中研院輿情分析系統
• 蛛思輿情分析平台（可申請免費試用，我個人最喜歡它的介面和互動）

9大分析維度的主題就到這邊！最後不免俗要說，如果你喜歡我的文章：

• 5–10拍手：到此一遊
• 10–40拍手：對文章內容的肯定
• 50拍手：你真的很期待再看到『同類別的』文章！！

也歡迎大家 Follow 粉絲頁：行銷數據分析 Marketing Analytics， 獲取更多數位廣告&資料分析知識＆技能！

你知道Liker coin可以透過BitAsset換成台幣嗎？

一杯星巴克註冊成為「讚賞公民」，你也可以獲得5 Liker coin回饋！
也可以免費註冊成為「一般Liker」就好，免費支持你眼前的創作者！

【乾貨】品牌行銷九大分析維度—iBuzz CEO論壇 ＠NCCU MBA was originally published in 資料探員 Data Agent on Medium, where people are continuing the conversation by highlighting and responding to this story.

適逢上週五2019數位奇點獎，敝公司獲得【最佳數據科技創新獎】銅獎；當中的案件我們使用到tfidf產生的文本向量做KMeans分群。正好想試試再讓文章簡單好懂一點，本周就單純只介紹這個文本分析很常用到的統計方法：TF-IDF。

一句話解釋TF-IDF——用來從一段文字/一個語料庫中，給越重要的字詞/文檔，越高的加權分數。
本篇文章共三段，第一段講述概念與公式，第二段帶一個簡單的script印出一句話的tfidf稀疏矩陣，最後第三段提及TF-IDF的限制和改進。

預計閱讀時間：5–8 mins。

概念解釋

你看，TF - IDF ，前面的TF是Term Frequency的縮寫，後面的IDF是Inverse Document Frequency的縮寫，合在一起則說明了它如何計算出誰是相對比較重要的字詞——字詞的重要性隨著 在文本出現的頻率越高則越高；在不同文本檔案間出現的次數越高則反而降低。
所以聰明的你會猜得到，它由兩個公式組成：

1. TF (Term Frequency) 詞頻

我們先把拆解出來的每個詞在各檔案出現的次數，一一列出，組成矩陣。接著當我們要把這個矩陣中，『詞1』在『文件1』的TF值算出來時，我們是用『詞1在文件1出現的次數』除以『文件1中所有詞出現次數的總和(可說是總字數)』。
如此一來，我們才能在不同長度的文章間比較字詞的出現頻率。

2. IDF (Inverse Document Frequency) 逆向檔案頻率

如果經過第1步的計算，此時我們有兩個詞頻一樣的字詞，還有什麼變數影響他們可能更重要 或 不重要？

如果有一個詞事實上很常出現在不同文章內，那即使該字詞的頻率很高，它是不是不足以代表這篇文章？ 拿藝人上電視節目舉例，如果藝人A和藝人B上X視節目的次數相同；但藝人A只上X視節目，藝人B還會出現在X立、X大的節目，對X視節目來說，最具代表性的還是藝人A，而不是有可能在X立、X大上過更多次節目的藝人B。

所以我們這裡再用IDF，計算該詞的「代表性」。
由『文章數總和』除以『該字詞出現過的文章篇數』後，取log值*。實際應用中為了避免分母=0，因此通常分母會是dt+1。

＊注：
IDF之所以取log的原因，有過多篇論文討論。把「詞在所有文章出現的篇數」想成「要從這些文章中，隨機抽一篇能夠抽到包含該詞的文章的『機率』有多少」；也就是這個詞在這些文章中被找到的機率分布。

另一個原因是，如果不取log，比方說總數是100000篇文章，如果因為拼錯字導致此詞僅有1篇出現過，TF-IDF最後給這詞的加權會出現太大的值，使得線性加權方式反而表現得沒那麼好。

綜合兩個公式值相乘，便得到我們今天介紹的TF-IDF值：

程式實作

結束前，我們用scikit-learn 提供的CountVectorizer, TfidfTransformer來試著對多個句子產生tfidf值矩陣。（＊注意：要經過斷詞處理後再做tfidf）

另外值得一提的是，如果是英文文本實作tfidf，通常還會需要詞型還原 Stemming（譬如：teach / taught，理當視為同義，不可以讓tfidf算成兩種詞），因為有文法時態、單複數的問題。

1. 引入套件

from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer
import jieba
jieba.set_dictionary('../../zh-TW_dict/dict.txt.big.txt') # 使用官方的繁體詞典

2. 載入停用字檔案
> stopwords.txt

with open('stopwords.txt') as f:
    stopword_list = [s for s in f.read().split('\n')]

3. 處理文章資料

df_article = pd.read_csv('your_file.csv')

jieba_results = []
for sent in df_article.sentences:
    w_string = str()
    ws = jieba.cut(sent, cut_all=False) # 精確模式
    for w in ws:
        if w not in stopword_list:
            w_string += w + ' '
    jieba_results.append(w_string)

df_article['sent_jieba'] = jieba_results

4. 基本tfidf script

vectorizer = CountVectorizer(stop_words = manual_stop_list)
transformer = TfidfTransformer()
X = vectorizer.fit_transform(df_article.sent_jieba)
tfidf = transformer.fit_transform(X)
weight = tfidf.toarray()

5. 檢視結果

print(weight.shape)
print(tfidf[0])
print(weight[0])

這邊我們先拿前5個句子來測試，所以你會看到weight.shape是(5, 39)，它是指有5列、39行的矩陣構成；一列就是一個句子，39行是指這5句裡所有出現過的不重複字詞共有39個。矩陣裡的數值就是這39個詞，在這5句中的tfidf值。

＊tfidf的output因為是個sparse matrix(稀疏矩陣，未來我們有機會講到)，tfidf.toarray() 可轉換成2-dimensional ndarray的形式。

tfidf[0]是指，第1句的tfidf稀疏矩陣，紀錄第幾列、第幾行的非零值是多少。weight[0]則完整印出39個詞在第一句中的tfidf值，0則代表這詞沒出現在第一句。

你可以想像，如果我們對每一句做完tfidf值，這樣的矩陣代表我所有的詞庫中，誰對哪篇文章有加權到；所以如果有兩篇文章的tfidf矩陣非零的位置一樣，則這兩篇加權到的字詞一致，表示這兩篇文章意思可能更相近。

TF-IDF的限制及改進方向

TF-IDF是個相對構成簡單的算法，有一些情境下它會誤判特徵詞的重要度：

1. 語料庫中剛好都是同類文章，此時具代表性的字詞反而不被加權。
   譬如：都是講行銷的文章一起放到語料庫被訓練，因為幾乎每一篇都提到『數位行銷』，最後結果出來，『數位行銷』的IDF值反而比『客戶』、『用戶』之類的詞更低。若使用TF-IDF方法，要注意語料庫的挑選。
2. TF-IDF無法考慮到位置訊息。如果你的情況是 文章標題、文章第一句或文章結尾提到其實代表這個詞更重要，此時用TF-IDF就無法參考到詞在文章中的位置訊息。

針對第一點，網路有文章提出了「TF-IWF」，以及「TF-DFIDFO」兩種改善方法。

TF-IWF 詞語逆頻率加權

TF的部分不變，差別在IWF值算法改成：

分子：整個語料庫中所有字詞的總頻次(總字詞數)
分母：該字詞在 整個語料庫中 出現的總次數
（簡單說，就是從指參考一篇文章，改成參考整個語料庫(所有文章)）

｜改進優點：避免當語料庫中有高比例的同類別文章時，重要特徵詞的權重沒有被提升到。

TF-DFIDFO 類別頻率加權

DFI是指「同類別內的分布情況」、DFO則是指「類別間的分布情況」。

｜改進優點：增強對"類別"的區分力。

資料來源：
- TF-IDF for document ranking from scratch in Python on real world dataset
- tf-idf 算法中idf为何使用对数？直接用比值或者其他函数不行吗
- TF-IDF模型的概率解释
- TF-IDF之极简化信息论分析
- TF-IDF存在的問題及其改進
- 特征加权之TFIWF
- 改进的TF-IDF中文本特征词加权算法研究

好的，以上就是本周 Python 文本分析的連載。
前段是自己的理解+基本定義、後段限制和改進的部分，是網路資料的回溯歸納。
有問題歡迎留言詢問，看到我會盡力回答的。

2019.11.24

- 如果你覺得稍有收穫，請不吝嗇幫我鼓掌，給我持續更新的動力！
5-10拍手：到此一遊
10-40拍手：對文章內容的肯定
50拍手：你真的很期待再看到『同類別的』文章，我們會根據拍手數做主題的參考

- 粉絲頁：行銷數據分析 Marketing Analytics，歡迎大家 Follow 獲取數位廣告&資料分析知識＆技能！未來會嘗試開放基礎～進階課程模組化細分給大家

- 當然，樓下的Liker Coin按鈕也是給他按到底喔：）

【文本分析入門｜概念篇】給我一段話，我告訴你重點在哪：對文本重點字詞加權的TF-IDF方法 was originally published in 資料探員 Data Agent on Medium, where people are continuing the conversation by highlighting and responding to this story.