<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by JT on Medium]]></title>
        <description><![CDATA[Stories by JT on Medium]]></description>
        <link>https://medium.com/@danjtchen?source=rss-117f345ab75d------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*7iBZz0Uq3nFuj46D4arfgQ.png</url>
            <title>Stories by JT on Medium</title>
            <link>https://medium.com/@danjtchen?source=rss-117f345ab75d------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 02:24:21 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@danjtchen/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[數據轉型之路：從心理學出發的數據科學家分享如何運用AI和大數據助力旅遊產業創新]]></title>
            <link>https://medium.com/women-in-data-science-taipei/%E6%95%B8%E6%93%9A%E8%BD%89%E5%9E%8B%E4%B9%8B%E8%B7%AF-%E5%BE%9E%E5%BF%83%E7%90%86%E5%AD%B8%E5%87%BA%E7%99%BC%E7%9A%84%E6%95%B8%E6%93%9A%E7%A7%91%E5%AD%B8%E5%AE%B6%E5%88%86%E4%BA%AB%E5%A6%82%E4%BD%95%E9%81%8B%E7%94%A8ai%E5%92%8C%E5%A4%A7%E6%95%B8%E6%93%9A%E5%8A%A9%E5%8A%9B%E6%97%85%E9%81%8A%E7%94%A2%E6%A5%AD%E5%89%B5%E6%96%B0-485394f934d0?source=rss-117f345ab75d------2</link>
            <guid isPermaLink="false">https://medium.com/p/485394f934d0</guid>
            <category><![CDATA[interview]]></category>
            <category><![CDATA[travel]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[advertising]]></category>
            <category><![CDATA[data]]></category>
            <dc:creator><![CDATA[JT]]></dc:creator>
            <pubDate>Tue, 05 Dec 2023 11:28:01 GMT</pubDate>
            <atom:updated>2023-12-05T11:30:00.061Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VZ2AeWEYq_zBN7bVK1p7_w.png" /><figcaption>Vpon Senior Data Analytics Manager — Erica Sung</figcaption></figure><p>我們在這個專訪中，很榮幸能邀請到 Erica 來分享她作為資料分析師的卓越經驗。目前，Erica 在 Vpon 擔任資深數據分析經理的角色，負責行動裝置數據相關的人流分析、POI 分析、人群輪廓分析、消費行為分析、網站瀏覽行為分析、智慧城市相關專案分析，現在主要為日本入境旅遊的分析平台的開發者。她運用行動裝置數據、開放資料及 POI 資料庫，給予入境日本的旅客全面分析，提升客戶對於入境旅客關於旅遊趨勢、足跡、停留天數、旅遊路徑等的旅遊行為洞察。</p><p>然而，Erica 並非一開始就在商業公司做資料分析的工作。畢業於心理學系的她，原先是在精神科專科醫院擔任研究助理，主要運用傳統統計學，根據病歷、問卷與死亡檔案資料進行存活分析，了解各種成癮行為與疾病是否為自殺的危險因子。</p><p>之後她決定轉換跑道到一般企業，先在學術與品牌接軌的 3C 品牌市調公司負責各通路店家規模分類、推估方法與設計客製化報告模板，再到品牌商負責各種內部部門的大數據視覺化專案。她的工作項目包括需求訪談、與 IT 部門溝通資料規格、儀表板設計、資料架構設計、資料流設計、儀表板產出與成果簡報。協助對象包括 CRM 部門、業務部門、機器人部門、筆電部門、客服部門、財務部門等使用者。</p><p>這些工作經驗除了讓她熟悉多種數據分析工具，也更能了解各種不同類型的使用者如何透過數據協助自己的工作，另外心理學的背景也讓她在將數據行為轉譯成旅遊行為或消費行為時多了一些數字以外的視角，為她在 Vpon 的數據分析職業生涯打下堅實的基礎。而今，她正在 Vpon 裡用資料科學改變世界，激勵更多想轉跑道的人士。</p><h3>Vpon資料產品 — Vnity &amp; Wee</h3><p>Vpon，一間創新且研發技術高超的大數據公司，以其全球廣告聯播網和廣告服務平台 DSP 為後盾，每月可收集近九億行動裝置的數據。而多年與各產業合作的經驗，也讓 Vpon 設計出一系列解決方案，滿足各產業特殊的需求。</p><p>Vpon 眾所周知的兩款獨特產品 — Vnity 和 Wee，可實現客戶從廣告到數據解決方案的所有需求。Vnity 是一站式 AI 廣告平台；使用者可以透過 AI 自動生成廣告素材，進一步實現精準投放。相對的，Wee 是跨數據解決方案平台，除了可在上面進行數據採購外，也提供第一方數據解決方案 (CDP) 和第三方數據解決方案。</p><p>從龐大行動裝置數據衍生出來的第三方數據解決方案，包含站外的受眾輪廓標籤、受眾輪廓的分析、行動裝置的市場分析、APP市場的趨勢分析、區域人流和跨境人流分析等功能。</p><p>這些解決方案可以是跨產業的服務，也可以是針對不同的產業和公司設計的客製化模組。不管是想要一次取得全面報告，還是想要透過數據平台持續獲得即時資訊，Vpon 都能滿足你的需求。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*36AncQ0vuujmd2V3" /><figcaption>Vpon Data Product</figcaption></figure><h4>Vpon數據產品Wee的團隊組成</h4><p>進入 Vpon 後，Erica 主要是在 Wee 團隊。這個團隊幾乎包含了一項完整數據解決方案需要的所有角色。首先，有產品經理和專案經理，負責前線業務與開發團隊的溝通、協調和整合任務。其次，為了構建和維護平台的正常運行，團隊內也包含了前端和後端開發人員，主要負責網頁設計和背後的資料串接。</p><p>數據科學家在這個團隊中，扮演著挖掘數據內部特性、開發各種模型的角色，幫助公司預測訪店人數、發票數據分類，以及旅遊路線的停留點等相關需求。對數據具有深度技術處理能力的數據工程師則在此團隊中負責雲端平台的數據管理、數據治理、爬蟲系統設計，以及數據交換流程等任務。</p><p>而為了能對第一方和第三方數據進行更深入的分析，團隊還包括對應的分析小組。第一方數據小組中的分析師和技術顧問，主要協助客戶建立他們自己的資料平台，包含數據導入、健檢、進階分析、AI 預測等。第三方數據小組中的資料分析師和商業分析師，則主要透過行動裝置數據、POI 資料庫、消費數據或開放數據，設計出適合不同產業的解決方案。這樣多元且完備的團隊結構，使 Vpon 具備處理各種數據挑戰的能力。</p><h4>Vpon — Wee如何開發產品功能以及需求排序</h4><p>Wee 的產品開發流程以解決產業痛點為基礎，再以客戶反饋做為擴充，不斷優化。以「訪日旅行者地圖」產品為例，首先會根據產業需求設計一些基本功能，再透過報告販售持續收集客戶的反饋擴充規格，經過數年的成熟銷售過程後，檢視並收斂所有功能做為方便使用者操作探索的 SaaS 平台開發基礎，再進行公開測試，並進一步收集平台方面的使用者反饋。</p><p>這些產品功能開發的優先順序並非單由產品經理決定，而是產品經理與開發人員共同討論，在客戶需求和開發時間中協調出各個功能的最佳開發順序，讓客戶能得到最大程度的滿足。這樣的迭代開發過程，能確保產品的最終形態可以滿足大部分用戶需求且便於操作使用。</p><h4>Vpon旅遊數據應用案例</h4><p>來自 Vpon 的數據分析 insight 分享，以入境日本旅遊為範例。疫情後的 2023 年 6 月起，整體訪日人潮已回到疫情前的八到九成。有趣的是，在疫情期間甚至疫情後，一些新興旅遊熱點不但沒有受到影響，反而超越了疫情前的人潮流量。</p><p>例如，松戶市因新交通路線「京成Skyliner」的開通，在 2023 年的 6 至 8 月期間，吸引的訪客量幾乎是 2019 年同期的 4 倍。另外，2023 年 6 月東京哈利波特影城的開幕，也大幅提升了練馬區的人潮，訪客數達到 2019 年同期的 2 倍。</p><p>值得留意的是，雖然全日本和東京市的旅遊人潮在 2023 年 6 月後可見明顯增加，但東京市在全日本的旅遊人潮中佔比卻相對降低。這可能表示遊客們在疫情剛結束時較偏向去東京等大都市旅遊，但時間久了以後便開始尋求更深度的旅遊體驗，或更願意造訪季節性的旅遊景點。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q-couyRH2OUjowI4AjruaA.png" /><figcaption>疫情前後</figcaption></figure><h4>人流平台與觀光產值</h4><p>Vpon 近期推出了國旅報告，介紹疫情後外國旅客來台旅遊的趨勢與國內旅遊行為的轉變，這樣的報告來自兩個特別的產品 — 人流平台和觀光產值。人流平台可以讓客戶自行分析探索旅客的旅遊行為，包括其在特定區域的旅遊行為模式、季節趨勢至客製化景點。觀光產值則是根據特定城市的資料，分析訪客在零售、飲食和住宿業中的消費行為，以及他們偏好的消費店家與購買品項。</p><p>其中，觀光產值為了提供旅客的造訪偏好與消費行為，整合了行動裝置數據、公開資料，與發票原始數據。</p><p>處理發票原始數據是工作的一大挑戰，原始的發票數據充滿混亂性，舉例來說，品項名稱可能根據不同的活動或不同的折扣而不斷增生。因此，會先由 ML 團隊針對發票數據進行清整與分類，由於發票數據的形式與種類變化速度很快，分類模型需要不斷的學習並更新。</p><p>除了發票數據外，在整合自有數據與開源的聚合數據時，也需要注意如何將不同顆粒度的數據透過一致的定義與方法論去整合串接比較，為客戶提供全面和可靠的報告，從而成功幫助他們了解其消費者的行為和喜好。</p><h4>顧客成功案列分享</h4><p>Erica 在訪談時跟我們提到北海道客戶的經典案例，Vpon 協助他們理解疫情後旅遊行為的變化，像是造訪過北海道的旅客會因為季節不同而在旅遊前後去往不同的都道府縣，另外 Vpon 的產品直覺易用，客戶甚至驚喜地發現他們可以直接在 Wee 上面操作儀表板以獲取需要的數據以及 insight。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*e18eR65LZ5E7nf-0mxFJRQ.png" /><figcaption>日本觀光景點</figcaption></figure><h4>如何從精神科到資料分析經理</h4><p>在 Erica 的求職經歷中，一個關鍵的策略就是瞭解潛在職位的要求，然後強調自己過去經驗中與這些要求重疊的部分。她首先在精神科工作，然後轉向市調公司，最後進入品牌商。在每一個轉換點，她都花時間去研究職位描述 (JD)，確定自己與該職位的共通點，並在面試時強調這些共通點。此外，她總是保持對新的數據和技術的好奇心，並運用這些知識擴展自己的技能。當她面試 Vpon 時，雖然對旅遊產業沒有直接的經驗，也能依靠分析和數據視覺化的經驗，成功取得職位。這些策略證明了靈活性和適應力對於在快速變化的數據行業中找到工作的重要性。</p><h4>資料分析的就業市場以及關鍵能力</h4><p>在 Erica 的觀點中，資料分析 (DA) 的關鍵能力主要為問題解決能力，除了要能快速瞭解業務需求和領域知識，與此同時，也需要對數據的敏銳度，運用不同資料源進行分析的靈活度，最後要能整合以上，善用資料分析相關的工具協助解決客戶痛點。</p><p>而若以對模型與分析的重視程度來看資料分析相關的就業市場，Erica 認為看重模型或分析的公司主要會根據商業模式而有所不同，舉例來說，注重模型技術 (如OpenAI) 旨在發展出一個通用的工具，而注重分析的則可能更將重心放在解決具體問題上。</p><p>在 Vpon 內部，模型與分析並不相斥，有 ML 團隊解決通用的問題，再透過 DA 團隊設計產業解決方案。無論在哪種情況下，DA 人員都需具備高度的靈活性和學習能力，以適應不斷變化和發展的數據環境。</p><h4>成為Senior DA的關鍵以及如何帶領資料團隊</h4><p>根據 Erica 的經驗，從初級資料分析師晉升到資深分析師的關鍵在於解決問題的能力。她鼓勵團隊成員培養這類能力，建議他們在面對任務時可以自行設想出一到三種解決方案，並對每種方案進行優缺點分析。在確定解決方案後，再與資深同事或主管討論，以獲得不同的視角和建議。</p><p>在此基礎上，Erica 認為自我學習與主動發問在個人成長中都非常重要。她建議團隊成員在碰到疑問或遇到困難時，不要害怕詢問別人或尋求協助。鼓勵團隊成員在工作時限前設定一個較短的期限，先自己思考解決方案，再用預留的時間與資深同事討論以確定是否由遺漏或可以提升的部分，最後再進行實做與後續討論。</p><p>而對於團隊管理者如 Erica 來說，最大的挑戰在於如何平衡成員的成長速度和工作需求，並確保他們有足夠的空間發展及學習。對於一名成功的資深 DA 及團隊主管而言，觀察每個成員的成長與改變，並在需要時提供導引與支持，也是工作中的一個重要部分。</p><p>採訪/校稿: Ricky Chang<br>撰稿: Dan Chen</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=485394f934d0" width="1" height="1" alt=""><hr><p><a href="https://medium.com/women-in-data-science-taipei/%E6%95%B8%E6%93%9A%E8%BD%89%E5%9E%8B%E4%B9%8B%E8%B7%AF-%E5%BE%9E%E5%BF%83%E7%90%86%E5%AD%B8%E5%87%BA%E7%99%BC%E7%9A%84%E6%95%B8%E6%93%9A%E7%A7%91%E5%AD%B8%E5%AE%B6%E5%88%86%E4%BA%AB%E5%A6%82%E4%BD%95%E9%81%8B%E7%94%A8ai%E5%92%8C%E5%A4%A7%E6%95%B8%E6%93%9A%E5%8A%A9%E5%8A%9B%E6%97%85%E9%81%8A%E7%94%A2%E6%A5%AD%E5%89%B5%E6%96%B0-485394f934d0">數據轉型之路：從心理學出發的數據科學家分享如何運用AI和大數據助力旅遊產業創新</a> was originally published in <a href="https://medium.com/women-in-data-science-taipei">Taiwanese in Data Science</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[[資料視覺化] Dashboard — Superset]]></title>
            <link>https://danjtchen.medium.com/%E8%B3%87%E6%96%99%E8%A6%96%E8%A6%BA%E5%8C%96-dashboard-superset-dda4a078fc0?source=rss-117f345ab75d------2</link>
            <guid isPermaLink="false">https://medium.com/p/dda4a078fc0</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[data-visualization]]></category>
            <category><![CDATA[data-analytics]]></category>
            <dc:creator><![CDATA[JT]]></dc:creator>
            <pubDate>Mon, 26 Oct 2020 10:02:47 GMT</pubDate>
            <atom:updated>2020-10-26T10:02:47.384Z</atom:updated>
            <content:encoded><![CDATA[<h3>[資料視覺化] Dashboard — Superset</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yrSUjKgAYxUzAw44mTsZ-w.jpeg" /></figure><p>因礙於公司許多繁瑣的 “資安” 政策，雖然有買 Tableau，但難已開通通到外部使用。因此促使了我們考慮在外部自建Server，並使用開源的Dashboard來監控資料專案。像是這次要介紹的Superset就是Airbnb所開源也已放到Apache開源基金會裡的專案項目。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LnOnyW_D9Xb4xbOuhK2c2w.jpeg" /><figcaption>Superset</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/381/1*vKYBDahWczNG2NooT7iHcw.jpeg" /><figcaption>Metrics</figcaption></figure><p>Superset支援多數的視覺化圖型，基本的長條圖，圓餅圖到Treemap較為進階的視覺化圖型。在視覺化的圖型總類來說是開源Dashboard中算是頂尖的。而使用上跟其他的Dashboard</p><p>(Ex: Grafana) 一樣，Superset也是使用Metrics的概念來畫圖。此外，Superset也有支援SQL (SQL Lab)，可以透過SQL來視覺化 (但與Metrics的方式比較起來，支援度仍稍差，且不直觀)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uLds1UYuCZalzDVbHx5D6w.jpeg" /><figcaption>SQL Lab</figcaption></figure><p>接下來我們就Step by Step去安裝 Superset。主要會透過Conda來建立一個乾淨的環境。我使用的Python 3.7版本。除了安裝superset的套件也需要flask-appbuilder。</p><pre>conda create --name supertest python=3.7<br>pip install flask-appbuilder<br>pip install superset</pre><p>P.S:可能會遇到安裝上的bug，像是pandas套件版本不相容等等的(pandas ==0.23.4)。目前網路上均有相對應的解法。</p><p>接著就可以create user以及set db (可能會需要安裝 sqlalchemy的套件)</p><pre>fabmanager create-admin --app superset #輸入name , pd<br>superset db upgrade</pre><p>若想要看看一些範例可使用，透過下列語法，可以看一下superset預建立的Dashboard以及資料集</p><pre>superset load_examples</pre><p>最後就可以直接初始化權限以及run server</p><pre>superset init<br>superset runserver #若需要指定port可以使用 -p ，預設 8088</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Wi8K76RtuD6noSegBkb_PA.jpeg" /><figcaption>login</figcaption></figure><h3>Superset 視覺化實戰</h3><p>針對示範資料集，利用手邊的看劇資料做為範例，跟一般的廣告資料或者CRM資料很相似，都是顧客使用過的產品加上輪廓的資料。</p><p>Schema如下:</p><p>欄位 (識別ID / 看過的劇 / 年齡 / 性別)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/587/1*2PVGyisjvv9BZH-kHUWzoA.jpeg" /><figcaption>看劇資料</figcaption></figure><p>首先，第一個面對的就是如何將自己的資料導入Superset。一般來說，可以直接透過Sources -&gt; Database 去串接 Mysql或者Hive等等。這邊示範最簡單的就是直接uploads你的CSV，記得在Delimiter要選好你的分隔符號，以及Table Existis的部分看你要replace還是appand或者相衝時直接Fail。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XSMaHkcL5P2AHNTZr0r3XA.jpeg" /><figcaption>Upload CSV</figcaption></figure><blockquote><strong>1. 老闆想知道Daily Unique Users (UU):</strong></blockquote><p>拿到一份看劇資料或者CRM資料，最重要的第一件事就是想看Daily的UU，點選上方 Charts後，點小小的+號圖示，就可以新增charts。選擇資料源以及視覺化類別</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1017/1*wQoAcm0unTosZzr9WmI8og.jpeg" /><figcaption>Create Charts</figcaption></figure><p>在選項中，我們可以選擇像是時間 (每次顯示多久範圍的資料)，在Query的部分我們想要顯示什麼樣的Metrics，這邊就是選擇 Distinct 的 Counts</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/624/1*ATM-h26SPK8MfXoYhJvSFg.jpeg" /><figcaption>Charts Setting</figcaption></figure><p>接下來就可以Save charts直接 Push到自己建立好的 Dashboard上。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1018/1*HKZO3kFoN8s1jXCRrKvoRw.jpeg" /><figcaption>Push to Dashbaord</figcaption></figure><blockquote><strong>2. 老闆想知道每個產品的使用量:</strong></blockquote><p>每個產品的使用量相對應的可以使用Histogram 來呈現，並且在Row Limit的部分選擇Top 10來呈現或者大量的產品呈現在圖像很令人頭痛 XD</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TVXE-4rwzge8jkiD5aBXUg.jpeg" /><figcaption>Historgram</figcaption></figure><p>在炫砲一點就是用Word count的圖型來呈現:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8Det2ISStsKSRrtp1Ktmgg.jpeg" /><figcaption>Word Counts</figcaption></figure><p>PS: 若選項Group裡面都是空白記得要先去資料那邊設定是Groupable</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JQDU0XEtrZLTU-9Ti_BQcA.jpeg" /><figcaption>Data Setting</figcaption></figure><blockquote><strong>3. 老闆想知道用戶輪廓:</strong></blockquote><p>一般來說，用戶輪廓分析為最基礎的分析。最簡單的就是使用圓餅圖來呈現。Default會是以count數做呈現，可以在Visual Proptiest選擇Percentage呈現比例</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IYotxGr2341G1J4uK2tVVA.jpeg" /><figcaption>Pie Charts</figcaption></figure><p>若進階一點，分析會希望看到每個產品的性別比例，這時候可以使用進階的圓餅圖 — Sunburst來呈現相對應關係</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bvBBY9Q9pQsm47TgY_JDJQ.jpeg" /><figcaption>Sunburst</figcaption></figure><p>或者Treemap也能達到相同的概念</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FBqWpMv-u6m8SgLYgPvM8A.jpeg" /><figcaption>Treemap</figcaption></figure><p>最後可以簡單建立這次AD-Dashboard:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ej5jClJnWoKX9OYRWVGtYg.jpeg" /><figcaption>Final Dashboard</figcaption></figure><p>以上為這次簡單的示範使用Superset視覺化的方法，裡面還有超多視覺化類別可以玩！</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/887/1*SRgOFSdMJPrXVw12aBqW8g.jpeg" /></figure><p>感謝大家漫長的觀看，若有什麼問題都可以於下方討論交流！感謝大家！</p><p>Ref:</p><p><a href="https://superset.apache.org/">Source</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dda4a078fc0" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Towards Data Science系列文＿介紹]]></title>
            <link>https://medium.com/data-scientists-playground/towards-data-science%E7%B3%BB%E5%88%97%E6%96%87-%E4%BB%8B%E7%B4%B9-a5b70057eb44?source=rss-117f345ab75d------2</link>
            <guid isPermaLink="false">https://medium.com/p/a5b70057eb44</guid>
            <category><![CDATA[data]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[JT]]></dc:creator>
            <pubDate>Thu, 25 Oct 2018 02:52:06 GMT</pubDate>
            <atom:updated>2018-10-25T02:52:06.370Z</atom:updated>
            <content:encoded><![CDATA[<p>從以前研究所到職場，其實會發現，資料科學所需要能力非常多， 從ETL至Model驗證等都必須都要有概念。尤其是資料科學同好，一定有看過以下Data Science能力圖：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/628/1*QcvdHppJSPf4i-dei_YcMA.png" /><figcaption>資料科學能力圖 (<a href="https://towardsdatascience.com/finding-science-in-data-science-adc1c128a3b2">圖source</a>)</figcaption></figure><p>從圖中可以發現，想從事Data Science工作的朋友需要培養三個能力</p><ul><li>數學能力: 透過數學、統計、模型等能力，分析或是推演出解決問題的邏輯</li><li>程式能力：透過程式邏輯，將解決問題的邏輯程式化、視覺化。協助使用者決策判斷或者自動化解決問題</li><li>Domain Knowledge: 這是最困難以及最有價值的能力，擁有領域知識，能讓你精準的定義問題以及評判解決問題的結果是否正確。而此知識會by每個不同產業有不同的知識及理解。</li></ul><p>除了上面文氏圖中，接下來細部的說明什麼應該學習。相信資料同好們，也曾看過下面的roadmap</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lWc48OfKI6kh_xJXYowW0Q.png" /><figcaption>Data Science Roadmap (<a href="https://github.com/MrMimic/data-scientist-roadmap">source</a>)</figcaption></figure><p>當初第一眼看到這張圖，開始嚴重懷疑人生 XD</p><p>資料科學必須學的能力從 統計、機器學習、NLP、Big Data…. 等等到最近的深度學習 (圖還會未更新到這個part)。 大家發現其實涵蓋了非常多的topic，而這些能力其實都可以mapping回我們平常在執行資料相關專案的整個Data science pipeline。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CWB-xGLR__uufYQkdzPg0w.jpeg" /><figcaption>data pipeline</figcaption></figure><ul><li>Define: 定義問題</li><li>Data: 解決問題相關資料，這步驟其實就包含了EDA(資料探索分析) 以及 資料覺化等能力</li><li>Preprocess: Baed on 前面的EDA，執行資料清理、補值、feature engineering</li><li>Model: 依照問題，執行對應的模型 (Ex: 顧客分群 [非監督式學習]、股價預測 [時間序列預測] )</li><li>Measurement: 透過各式不同的matrix來橫量模型的好壞 (Ex: ROC)</li></ul><p>在這個系列文中，我會努力將roadmap中的各式能力mapping到整個Data science pipeline中，並且分享各項技術。</p><ul><li>資料視覺化 (Python R等套件)</li><li>Feature engineering (資料前處理的探討)</li><li>統計檢定 (針對一些資料假設做檢定)</li></ul><p>以上為針對資料前處理的議題探討</p><ul><li>Machine learning (從distance到一些基礎模型探討)</li><li>NLP探討 (文字處理模型)</li><li>Big Data (RDD Dataframe操作以及一些Spark ML操作等等)</li><li>Deep learning (Tensorflow 以及 pytorch的實作)</li></ul><p>以上會針對模型以及如何橫量模型等議題進行探討</p><p>對探討有問題都歡迎留言在下面一起討論，或者希望能討論什麼議題，都可以留言一起討論，感謝大家的閱讀。若有興趣的朋友可以follow，<strong>預計每個禮拜會更新一篇系列文</strong>，感謝 :)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a5b70057eb44" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-scientists-playground/towards-data-science%E7%B3%BB%E5%88%97%E6%96%87-%E4%BB%8B%E7%B4%B9-a5b70057eb44">Towards Data Science系列文＿介紹</a> was originally published in <a href="https://medium.com/data-scientists-playground">Data Scientists Playground</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[BerkeleyX: Scalable Machine Learning]]></title>
            <link>https://medium.com/data-scientists-playground/berkeleyx-scalable-machine-learning-419070105c0f?source=rss-117f345ab75d------2</link>
            <guid isPermaLink="false">https://medium.com/p/419070105c0f</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[big-data-analytics]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[JT]]></dc:creator>
            <pubDate>Fri, 07 Sep 2018 01:06:06 GMT</pubDate>
            <atom:updated>2018-09-07T01:06:06.232Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uH_9Q-2RaWu1yFD63JrsvQ.png" /><figcaption>edx class</figcaption></figure><p>這門課是之前介紹的 <a href="https://medium.com/data-scientists-playground/berkeleyx-introduction-to-big-data-with-apache-spark-9337c8900ffe">Introduction to Big Data with Apache Spark</a> 的下一門課程。這門課比上一門課還有趣，上一門比較是介紹基礎Spark RDD操作，並透過簡單的Lab實作 (Ex : <a href="https://github.com/Danjtchen/BerkeleyX-CS100.1x_Big-Data-with-Apache-Spark/blob/master/lab2_apache_log_student.ipynb">Web access log</a>分析或者<a href="https://github.com/Danjtchen/BerkeleyX-CS100.1x_Big-Data-with-Apache-Spark/blob/master/lab4_machine_learning_student.ipynb"> ALS 影片推薦</a>)。而這門課就更進階去介紹當資料很大時，一些機器學習演算法的設計原則。這次的Lab實作有廣告點擊預測、PCA實作以及視覺化，都還蠻有趣的。</p><p>以下稍微介紹課程內容，以及概念：</p><p><strong>Week1 :<br></strong>課程剛開始還是從Big Data開始講解並描述如何透過Spark解決。此外，簡介Machine learning以及如何處理資料的pipeline，以及後面有教一下基礎線代。若對於ML或者資料處理以及線代想要複習的人，可以看一下這次的影片，並且這次的作業就是在複習python的線代操作。</p><p><strong>Week2</strong>:<br>這週的影片跟作業其實完全就是在複習 <a href="https://medium.com/data-scientists-playground/berkeleyx-introduction-to-big-data-with-apache-spark-9337c8900ffe">Introduction to Big Data with Apache Spark</a>，<a href="https://github.com/Danjtchen/BerkeleyX-CS100.1x_Big-Data-with-Apache-Spark/blob/master/lab1_word_count_student.ipynb">作業</a>也於之前課程作業相似，因此若有照著課程上的，可以直接跳過此週，若跳過前面Introduction to Big Data with Apache Spark的，可以將週看完，作為複習Spark。</p><p><strong>Week3:<br></strong>這週主要是介紹及證明<a href="https://medium.com/@danjtchen/ml-%E7%B7%9A%E6%80%A7%E8%BF%B4%E6%AD%B8-tensorflow-8fc2c4b45b5a">Linear regression</a> / Gradient Descent ，並有簡單介紹ride regression。而這週比較重點是有講解設計Distributed ML的概念及原則，例如：當資料量很大時，如何評估演算法的效能、盡可能Minimize Network Communication (像是透過將大檔留在local等)。最後也有使用LR以及GD的步驟去講解如何設計，並在作業中也有實作的<a href="https://github.com/Danjtchen/BerkeleyX--Scalable-Machine-Learning/blob/master/ML_lab3_linear_reg_student.ipynb">Lab</a>，這次主要是使用UCI的<a href="http://labrosa.ee.columbia.edu/millionsong/">Million Song Dataset</a> train一個LR。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/1*QXegkz4XMSyelc4h3tDnLg.png" /><figcaption>LR training</figcaption></figure><p><strong>Week4:<br></strong>這週就很實務的介紹廣告上的應用，透過ML來預測click rate，而做基本的就是使用Logistic regression進行是否click，並利用ROC來評判model training的品質，以及遇到categorical資料時的處理手法(Ex: One-hot encdoding)。這次的<a href="https://github.com/Danjtchen/BerkeleyX--Scalable-Machine-Learning/blob/master/ML_lab4_ctr_student.ipynb">Lab</a>就是使用<a href="https://www.kaggle.com/c/criteo-display-ad-challenge">Kaggle competition</a>的資料及，來預測廣告CTR。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/855/1*bmRTvYiKVSjHUkYDkVvXFg.png" /><figcaption>ROC for CTR predict</figcaption></figure><p><strong>Week5:<br>主要在介紹</strong>Dimensionality Reduction中的PCA，但這邊介紹的PCA內容比較少，建議可以去看李宏毅老師的<a href="https://www.youtube.com/watch?v=iwh5o_M4BNU">Unsupervised Learning- Linear Methods</a> 或者是另外一位夥伴寫的<a href="https://medium.com/figure-blog/pca%E8%88%87%E7%9F%A9%E9%99%A3%E5%88%86%E8%A7%A3-8c9d8b80a8c6">PCA</a>介紹。在這份<a href="https://github.com/Danjtchen/BerkeleyX--Scalable-Machine-Learning/blob/master/ML_lab5_pca_student.ipynb">lab</a>中也蠻有趣的透過實作，並視覺化PCA的結果</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*zW2A8ZJjeAp2JL56e6c3Sw.png" /><figcaption>PCA 視覺化</figcaption></figure><p>這次是BerkeleyX: Scalable Machine Learning 的分享</p><p>參考資料：</p><p><a href="https://courses.edx.org/courses/BerkeleyX/CS190.1x/1T2015/course/">Course | CS190.1x | edX</a></p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2Fiwh5o_M4BNU%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3Diwh5o_M4BNU&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2Fiwh5o_M4BNU%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="640" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/ec65e1bb042f7b9f47732b549ae4e64d/href">https://medium.com/media/ec65e1bb042f7b9f47732b549ae4e64d/href</a></iframe><ul><li><a href="https://github.com/Danjtchen/BerkeleyX--Scalable-Machine-Learning">Danjtchen/BerkeleyX--Scalable-Machine-Learning</a></li><li><a href="https://medium.com/data-scientists-playground/berkeleyx-introduction-to-big-data-with-apache-spark-9337c8900ffe">BerkeleyX: Introduction to Big Data with Apache Spark</a></li><li><a href="https://medium.com/@danjtchen/ml-%E7%B7%9A%E6%80%A7%E8%BF%B4%E6%AD%B8-tensorflow-8fc2c4b45b5a">線性迴歸_ML_Tensorflow</a></li><li><a href="https://medium.com/figure-blog/pca%E8%88%87%E7%9F%A9%E9%99%A3%E5%88%86%E8%A7%A3-8c9d8b80a8c6">PCA與矩陣分解</a></li></ul><p>若對其他Data Science / ML / DL等主題有興趣等，希望一起討論，也可以留言一起討論。感謝您的閱讀～</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=419070105c0f" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-scientists-playground/berkeleyx-scalable-machine-learning-419070105c0f">BerkeleyX: Scalable Machine Learning</a> was originally published in <a href="https://medium.com/data-scientists-playground">Data Scientists Playground</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[BerkeleyX: Introduction to Big Data with Apache Spark]]></title>
            <link>https://medium.com/data-scientists-playground/berkeleyx-introduction-to-big-data-with-apache-spark-9337c8900ffe?source=rss-117f345ab75d------2</link>
            <guid isPermaLink="false">https://medium.com/p/9337c8900ffe</guid>
            <category><![CDATA[data]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[big-data-analytics]]></category>
            <category><![CDATA[spark]]></category>
            <dc:creator><![CDATA[JT]]></dc:creator>
            <pubDate>Wed, 22 Aug 2018 04:41:20 GMT</pubDate>
            <atom:updated>2018-08-22T04:45:18.430Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/911/1*RCRF93bXjqrm_oPaw8ym8Q.png" /><figcaption>edx class</figcaption></figure><p>很久很久以前在FB社團裡看到有前輩推薦這個課程，也過了非常久的時間，最近在和朋友相揪之下，就把這門課嗑完了。但這門課已經被archived了，所以作業都無法上傳，只能透過作業裡的答案check function，來確認自己自己有沒有寫對。</p><p>這門課可以對於比較不熟Data Science / Big Data的資料處理以及分析的捧油們，此門課會從最基本的Data Model以及Hadoop開始介紹到為什麼要用Spark，以及Spark改善了過去Hadoop 的哪些問題。</p><p>以下會稍微簡介課程內容：</p><p>Week1 / Week2 : <br>主要是介紹Big Dat以及資料分析概念，並從最基本的概念講起(Ex: mapreduce、Hadoop……等等)。對於較不熟的朋友可以慢慢閱讀。若很熟悉的朋友就可以先跳過。另外就是他有講解如何在自己的電腦建立Lab的環境，他主要是透過Vargrant起的VM並在上面juypter notebook寫作業。而在Week2就會開始說Spark的概念(RDD、 Lazy evaluation…等等)，並講解RDD最基礎的function (map 、filter、reduceByKey、reduce)。在此次的<a href="https://github.com/Danjtchen/BerkeleyX-CS100.1x_Big-Data-with-Apache-Spark/blob/master/lab1_word_count_student.ipynb">Lab</a>中，就有簡易的Spark操作可以練習。</p><p>Week3:<br>主要是講解Structured Data以及semi-Structured data的問題，像是Structured Data如何透過join function 操作，這邊比較有趣的semi — Structured Data的說明，他主要會以Web server access log做說明。並且在此次的<a href="https://github.com/Danjtchen/BerkeleyX-CS100.1x_Big-Data-with-Apache-Spark/blob/master/lab2_apache_log_student.ipynb">Lab</a>就是用Web server access log做為練習範例進行Spark的資料分析。</p><p>Week4:<br>主要講解Data Quality的部分，會focus在Dirty Data(如何處理Dirty Data等)以及如何監控Data Quality (Ex: Process Management、Data Quality Matrix設計)，而最終根本的解決方案還是去對Data做EDA (Exploratory Data Analysis)。因此接著章節就是說明EDA 以及 ML，EDA僅簡單介紹方法，Ex: 統計手法等。ML的部分主要Spark MLlib以及Collaborative filtering。這次<a href="https://github.com/Danjtchen/BerkeleyX-CS100.1x_Big-Data-with-Apache-Spark/blob/master/lab3_text_analysis_and_entity_resolution_student.ipynb">Lab</a>主要是用Spark實作TF-IDF以及Cosine Similarity</p><p>Week5:<br>最後的<a href="https://github.com/Danjtchen/BerkeleyX-CS100.1x_Big-Data-with-Apache-Spark/blob/master/lab4_machine_learning_student.ipynb">Lab</a>，主要是實作利用Spark MLlib ALS api 做推薦系統，Dataset是使用<a href="http://grouplens.org/datasets/movielens/">movielens 10M</a>，後面還有加入自己的dataset進去train，蠻有趣的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1020/1*FZHdIPLSK1urBYT0V9qtQA.png" /><figcaption>推薦系統MF (Lab4)</figcaption></figure><p>心得：<br>這門課算是對初心者非常友善的課程，若對於Spark RDD以及Hadoop等基礎有興趣的朋友們，可以將這門課閱讀，並將作業寫完。</p><ul><li><a href="https://courses.edx.org/courses/BerkeleyX/CS100.1x/1T2015/course/">Course | CS100.1x | edX</a></li><li><a href="https://github.com/Danjtchen/BerkeleyX-CS100.1x_Big-Data-with-Apache-Spark">Danjtchen/BerkeleyX-CS100.1x_Big-Data-with-Apache-Spark</a></li></ul><p>(因課程已經archived，所以將作業附上，僅供參考)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9337c8900ffe" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-scientists-playground/berkeleyx-introduction-to-big-data-with-apache-spark-9337c8900ffe">BerkeleyX: Introduction to Big Data with Apache Spark</a> was originally published in <a href="https://medium.com/data-scientists-playground">Data Scientists Playground</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Google Data Engineer 證照心得分享]]></title>
            <link>https://medium.com/data-scientists-playground/google-data-engineer-%E8%AD%89%E7%85%A7%E5%88%86%E4%BA%AB-88f0dbf7c01b?source=rss-117f345ab75d------2</link>
            <guid isPermaLink="false">https://medium.com/p/88f0dbf7c01b</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data]]></category>
            <dc:creator><![CDATA[JT]]></dc:creator>
            <pubDate>Fri, 10 Aug 2018 01:56:20 GMT</pubDate>
            <atom:updated>2018-08-10T03:00:13.708Z</atom:updated>
            <content:encoded><![CDATA[<p>之前因緣際會了解了Google有出Data Engineer的證照，之後就邊上班邊準備GCP的Data Engineer證照，也很開心的最後有考上這個證照。在這邊就稍微分享一下準備的心得。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/768/1*SSqGhlTK6tycWgGRCEuJHQ.png" /></figure><ul><li><strong>對於雲端服務(GCP)或者Hadoop以及Data Engineer較不熟悉的捧油們</strong></li></ul><ol><li>可以參加Google On Board的課程:</li></ol><p>這個一日課程我本身在考前也有去參與上課(7/4)，課程是免費，主要會對GCP上所有的服務介紹過一次，包含：Bigquery 、Bigtable….等，對於基礎理解Data Engineer等相當有用。(小秘訣：當天參與課程要早點到，因為超多人參加XD)</p><p>2. 可以上線上課程Coursera:</p><p><a href="https://www.coursera.org/specializations/gcp-data-machine-learning">Data Engineering, Big Data, and Machine Learning on GCP</a></p><p>Coursera課程有將所有Data Engineer所需理解的概念分成五門課去教，除了概念理解，也有lab的影片教學可以讓你去On hand去了解GCP的操作。</p><ul><li><strong>對於雲端服務(GCP)熟悉且對Data Engineer熟悉的捧油們</strong></li></ul><p>可將GCP 的使用手冊讀熟即可，以下會介紹一些重要概念</p><ol><li>Bigquery:<br>Bigquery偏好資料格式為Avro，經壓縮並可平行處理，沒有編碼的問題。載入資料時可以不用先定義shema，透過，就可以直接將資料傳入bigquery做儲存。此外，對於處理串流資料一致性，Biguery可以使用 <strong>insertID </strong>去確保資料一致性。對於大量的時間性資料，Bigquery建議使用time partitioned table去儲存。在performance issue最為重要，而手冊中都有說明許多痛點，像是避免overshared table，或者查詢排序最近化的方式等，手冊都有說明。</li></ol><p><a href="https://cloud.google.com/bigquery/docs/">BigQuery documentation | Google Cloud</a></p><p>2. Bigtable:<br> 主要適用於像是time-series的資料，且response要很快的情境。 對於Bigtable主要的重點就是trouble shooting的部分，在手冊裡有提多許多問題，像是row-key的設計(reverse domain、Timestamp、Multiple value)、使用SSD、測試環境的選用、read write performance issue等等</p><p><a href="https://cloud.google.com/bigtable/docs/">Cloud Bigtable Documentation | Google Cloud</a></p><p>以上為GCP最重要的兩樣產品</p><p>3. Dataflow 跟 pub/sub:<br> 要知道streaming資料的串接，針對late、以及unorder資料要如何使用Dataflow進行處理，以及像是<a href="https://cloud.google.com/dataflow/model/windowing">windows</a>、watermark、<a href="https://cloud.google.com/dataflow/model/triggers">trigger</a>等這些名詞都要熟悉</p><p>4. Dataproc 跟 ML:<br>Dataproc主要是可以透過兩三分鐘內自建Hadoop、Spark環境。而GCP提倡捨棄HDFS使用GCS，把Compute Node跟Storage Node分開，這樣可以針對Storage node做備份即可。此外，GCP有推出<a href="https://cloud.google.com/preemptible-vms/">preemtible VM</a>，這種VM對於Hadoop使用情境可以說相當適合，可降低成本，並不太會影響運算。<br>對於ML的概念，就是要熟悉ML的各種概念，像是如何解決overfit、或者演算法選用、以及如何評估演算法等。</p><p>5. IAM、Data Encrypt<br> 了解Bigquery有分為 Project / Dataset / Table level，其中在權限管控上，主要是以Dataset為主，此外角色上主要分為 Owner / Editor / Viewer，可以去看看IAM等相關概念。Data Encrypt的部分主要是以使用者希望要自己建key還是直接使用Google幫您做好的key，而這樣不同的情境下，可能會造成使用者要自己維運key，以及如何設在config裡。</p><p>最後就是儲存空間的情境選擇</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vSRaDD4s5VIc0kitJDBEIA.png" /><figcaption><a href="https://cloud.google.com/storage-options/?hl=zh-tw">GCP</a>空間選擇</figcaption></figure><p>這張圖就很重要，情境下選用的服務要非常了解，並知道當您遇到任何情境下，如何去選擇對的服務幫助解決問題。</p><p>若上述提到有些不熟悉，可以針對不熟悉的概念去Coursera上研讀。</p><ul><li><strong>考試</strong></li></ul><p>考試主要是120分鐘，共50題。</p><p>GCP有提供練習題目供考生練習。</p><p><a href="https://cloud.google.com/certification/practice-exam/data-engineer">Professional Data Engineer Certification | Google Cloud</a></p><p>此外，考試會考情境題，大家可以先讀過一次，考試的時候比較不會緊張。</p><p><a href="https://cloud.google.com/certification/guides/data-engineer/#certificate-exam-guide">Data Engineer Exam Guide | Google Certified Professional | Google Cloud Certifications | Google Cloud</a></p><p>以下是另外一夥伴高手寫的心得，大家可以參考看看</p><p><a href="https://medium.com/data-scientists-playground/google-professional-data-engineer-%E8%AD%89%E7%85%A7%E5%BF%83%E5%BE%97-225d80ad09fc">Google Professional Data Engineer 證照心得</a></p><p>最後，重要的還是希望大家能透過考試了解Data Engineer的知識，上述僅為個人考試的一些心得，我自己在準備過程中，更對串流資料有更深一層理解，也希望大家能在準備中學習到更多的知識。</p><p>感謝大家漫長閱讀 ～</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=88f0dbf7c01b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-scientists-playground/google-data-engineer-%E8%AD%89%E7%85%A7%E5%88%86%E4%BA%AB-88f0dbf7c01b">Google Data Engineer 證照心得分享</a> was originally published in <a href="https://medium.com/data-scientists-playground">Data Scientists Playground</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Top kaggler 經驗分享]]></title>
            <link>https://medium.com/data-scientists-playground/top-kaggler-%E7%B6%93%E9%A9%97%E5%88%86%E4%BA%AB-7bc4bed14252?source=rss-117f345ab75d------2</link>
            <guid isPermaLink="false">https://medium.com/p/7bc4bed14252</guid>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[kaggle]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[JT]]></dc:creator>
            <pubDate>Mon, 21 May 2018 09:09:37 GMT</pubDate>
            <atom:updated>2018-05-21T09:12:47.035Z</atom:updated>
            <content:encoded><![CDATA[<p>最近在Official kaggle blog所看到的一篇<a href="http://blog.kaggle.com/2018/05/07/profiling-top-kagglers-bestfitting-currently-1-in-the-world/?utm_medium=social&amp;utm_source=facebook.com&amp;utm_campaign=bestfitting+interview+top+kaggler">好文章</a>，主要是訪問目前世界第一的kaggler，並將他比賽的心得分享給大家。下面會將訪問重點整理在下面，大家有興趣的可以看一下Top kaggler如何玩kaggle。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/668/0*EMTlwMvkai0iZLSG.png" /><figcaption>kaggle</figcaption></figure><h4>背景</h4><p>Top kaggler — Bestfitting的背景主要是Computer science畢業，並且擁有10年以上的軟體開發經驗，目前任職於銀行業，並領導資料處理及分析的team。<br>本身很喜歡使用數學並寫成程式解決問題，並且持續的一直都有在閱讀各種Computer science的書籍以各式Machine learning以及Deep learning的paper。而在閱讀中，他也會嘗試去實作，但發現資料跟實務上有些差距。後來發現Kaggle這個平台，有許多有趣的Data、Kernel以及討論。因而開始參加Kaggle。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/814/1*uRZTTEBnr5qn5-7EEMx3yA.png" /><figcaption>bestfitting</figcaption></figure><h4>比賽Tips</h4><ul><li><strong>加入一個比賽第一件要做的事情：</strong><br>創立一個<strong>solution document</strong>，會不斷更新各種發現的東西以及實驗步驟。此外就是去親自了解資料，並找相關的Kaggle competitions以及各個有關的paper。</li><li><strong>Iteration cycle</strong><br>參加比賽的整個步驟循環如下:<br>1. 仔細的閱讀概述以及瀏覽資料描述<br>2. 找出所有相關or類似的Kaggle competitions<br>3. 把所有相關or類似的Kaggle competitions仔細讀過<br>4. 讀相關paper，以確保沒有遺漏一些相關的新技術<br>5. 分析資料以及建立穩定的Cross Validation<br>6. 資料前處理、特徵工程、模型訓練<br>7. 結果分析，例如：預測分佈、error分析以及Outlier等<br>8. 將結果分析結果建立新模型<br>9. Based on 資料分析以及結果分析，調整模型，讓模型增加diversities<br>10. Ensemble<br>11. 若有需要會回歸前面步驟</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-iMeRqchhry-elPdFRh16A.png" /><figcaption>流程</figcaption></figure><ul><li><strong>演算法選擇：<br></strong>主要都還是case by case，但傾向於使用較簡單的模型。例如：當Ensemble的時候使用ride regression。Deep learning使用resnet-50或者建構類似的模型。套件的使用主要是用pytorch、tensorflow 、keras、scikit-learn and XGB在建構模型，分析的部分使用scipy family的套件，例如：seaborn。</li><li>Parameter tuning:<br>主要是透過對資料的了解來tune parameter，並且針對每次結果變好或變壞都要有相當的了解。此外，也會找paper是否有類似的情況。最後，在每次tuning的階段，都會比較before以及after的結果。例如：prediction distribution。</li><li>CV相關：<br><strong>建立一個穩定的CV就成功一半了</strong>。因為穩定的CV才能正確的衡量Model，因此若找不到穩定的CV，是無法往下一個階段前進。<br>而如何建立穩定的CV，主要是要對資料有相當的了解，例如確認Validation set、training set、以及testing set這三者之前的distribution。以及確認local CV跟public LB是否會同時進步。</li><li>是否真的需要Domain Knowledge:<br>對於kaggle這個平台來說，其實不太需要Domain Knowledge。理由如下：<br>1. kaggle已經將資料整理以及說明詳細，盡可能讓所有參賽者公平<br>2. 只用成熟的演算法是非常困難贏得比賽。尤其是Deep learing比賽，需要有一些creative solutions。<br>3. 資料本身是較為重要，雖然我們可能仍需要去讀其他相關資料。</li><li>Trade-off between high model complexity and training/test runtime<br> 1. 若要考慮runtime問題除非runtime問題很大。主要還是要回歸問題的重點，若準確率最重要，就也不用擔心model是 否太複雜。若training data必須從經過多個月的處理工作時間，那就要盡可能地使用它。<br>2. 現在的比賽都很難用weak model做ensemble得到前面的名次，若想要成為第一名，通常就要有一個模型非常強悍。若想要確保第一名的名次，通常會強迫自己在創立一個模型，並且達到top 10甚至top 3，這樣主辦單位就可以有多個模型可以選擇。<br>3. 最後提供意見給主辦單位時，都盡可能提供較為簡單的solution。有些organizers最後會使用他們的solution去解決他們所面對的問題</li></ul><p>看完整個訪談內容後，真的需要有好的紀律去完成整個比賽，不要去擔心名次的高低，盡可能的從比賽去學習。學習到的能力都會在往後的比賽繼續堆疊經驗以及能力，並且多從討論區以及高手的kernel著手學習。</p><p>最後的總結對於如何贏得kaggle比賽的訣竅(從對話節錄)</p><blockquote>Good CV, learning from other competitions and reading related papers, discipline and mental toughness.</blockquote><p>Ref:</p><p>文章內容主要從下面網站摘要並翻譯出來</p><p><a href="http://blog.kaggle.com/2018/05/07/profiling-top-kagglers-bestfitting-currently-1-in-the-world/?utm_medium=social&amp;utm_source=facebook.com&amp;utm_campaign=bestfitting+interview+top+kaggler">Profiling Top Kagglers: Bestfitting, Currently #1 in the World</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7bc4bed14252" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-scientists-playground/top-kaggler-%E7%B6%93%E9%A9%97%E5%88%86%E4%BA%AB-7bc4bed14252">Top kaggler 經驗分享</a> was originally published in <a href="https://medium.com/data-scientists-playground">Data Scientists Playground</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[線性迴歸_ML_Tensorflow]]></title>
            <link>https://danjtchen.medium.com/ml-%E7%B7%9A%E6%80%A7%E8%BF%B4%E6%AD%B8-tensorflow-8fc2c4b45b5a?source=rss-117f345ab75d------2</link>
            <guid isPermaLink="false">https://medium.com/p/8fc2c4b45b5a</guid>
            <category><![CDATA[tensorflow]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[linear-regression]]></category>
            <dc:creator><![CDATA[JT]]></dc:creator>
            <pubDate>Sun, 20 May 2018 06:29:27 GMT</pubDate>
            <atom:updated>2018-05-20T06:30:32.039Z</atom:updated>
            <content:encoded><![CDATA[<p>線性迴歸主要是利用線性預測函數來建模(利用自變數(x)預測依變數(y))。常被使於預測數值型資料，例如: 房價。</p><blockquote>簡單來說，在所有資料點中，找出一個最能解釋資料的假設(hypothesis)來估計(預測)資料</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/621/1*dwKMpuuTAWPaAsOQWlAn9A.png" /><figcaption>Linear Regression (<a href="https://zh.wikipedia.org/wiki/%E7%B7%9A%E6%80%A7%E5%9B%9E%E6%AD%B8">source</a>)</figcaption></figure><p>一般來說，線性迴歸可以透過許多方式進行求解，找出最佳參數，以下以最常使用的方法說明。</p><h4>最小平方法</h4><p>在進行線性迴歸的時候，其最小平方法的目的是希望透過觀察值與估計值之誤差平方和最小，因此我們可將損失函數(Cost function)可定義為以下:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/289/1*h4TAzR63HKj7_jBncBsuLQ.png" /><figcaption>Cost function</figcaption></figure><p>並對第二個公式進行微分並求解，可得出：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/554/1*heOjLwulbzzcQQ1hiA953w.png" /><figcaption>解出公式</figcaption></figure><p>一般來說，若資料小可直接帶進去直接取得a跟b。</p><p>但實務上，資料通常非常大或者feature非常多，這樣的求解方式必須計算非常久，因此主要會使用<a href="https://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95">Gradient desent</a>求解並找出最佳的a跟b</p><p>主要的更新步驟如下：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/496/1*-ycKRPyhaHDIvyOm6ahgyA.png" /><figcaption>𝜎為learning rate</figcaption></figure><h4>利用Tensorflow實作Simple linear regression</h4><p>資料的部分主要會直接亂數產生</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YoAlUvd5aamgY-FTiSFIzg.png" /><figcaption>Random產生training data</figcaption></figure><p>首先，會直接會對權重初始化</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7be94b62b058b0e749521a4ebfbbfb87/href">https://medium.com/media/7be94b62b058b0e749521a4ebfbbfb87/href</a></iframe><p>接下來定義loss function，以及放入optimizer。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/8af7a29ac2b361c04ae4791b339c7f9a/href">https://medium.com/media/8af7a29ac2b361c04ae4791b339c7f9a/href</a></iframe><p>最後直接把他放入迴圈，並設定跑10圈，把最後結果畫出來</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f17bbb3e0c54c344428587d82418dff7/href">https://medium.com/media/f17bbb3e0c54c344428587d82418dff7/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/417/1*v6wvliZg_3CyMTGsm-mNgw.png" /><figcaption>fit line</figcaption></figure><p>Ref:</p><p><a href="https://github.com/Danjtchen/SimpleRegression_Tensorflow/blob/master/SimpleRegression/SimpleRegression_Tensorflow.ipynb">Danjtchen/SimpleRegression_Tensorflow</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8fc2c4b45b5a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[LSTM_深度學習_股價預測]]></title>
            <link>https://medium.com/data-scientists-playground/lstm-%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92-%E8%82%A1%E5%83%B9%E9%A0%90%E6%B8%AC-cd72af64413a?source=rss-117f345ab75d------2</link>
            <guid isPermaLink="false">https://medium.com/p/cd72af64413a</guid>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[stock-market]]></category>
            <dc:creator><![CDATA[JT]]></dc:creator>
            <pubDate>Thu, 10 May 2018 06:43:56 GMT</pubDate>
            <atom:updated>2018-05-10T06:49:22.348Z</atom:updated>
            <content:encoded><![CDATA[<p>LSTM，是目前RNN(Recurrent Neural Network)中最常使用的模型。RNN主要是要解決時間序列的問題，一般的DNN，在inpute資料通常是沒有時間性的資料。而RNN透過將Hidden layer的output存在Memory裡，當下次input資料進去時，會同時考慮上一次存在Memory的值進行計算。</p><h3>RNN</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bNUrGFyJplJbMaPOA40Plw.png" /><figcaption>Simple RNN</figcaption></figure><p>從一個簡單的RNN在學習股價上，我們可以將Pt-1的資料input，並對Pt股價進行學習，而M1即是將hidden output存起來，並當我們要train Pt，並針對Pt+1進行修正時，會將M1 拿出來作考慮，並相加成為Pt+1的output。</p><h3>LSTM</h3><p>LSTM(Long short-term memory)，主要由四個Component組成: Input Gate、Output Gate、Memory Cell以及Forget Gate。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/990/1*hhhrRqR9V6aGOcmmm4ZlUw.png" /><figcaption>LSTM</figcaption></figure><ul><li>Input Gate: 當將feature輸入時，input gate會去控制是否將這次的值輸入</li><li>Memory Cell: 將計算出的值儲存起來，以利下個階段拿出來使用</li><li>Output Gate: 控制是否將這次計算出來的值output</li><li>Forget Gate: 是否將Memory清掉(format)，有點restart的概念。</li></ul><p>其中，“是否”這件事情，是可以透過神經網路進行學習。</p><p>接下來我們可以更近一步去看數學表示方式：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LT6FE7oHke6jIE6IyqgMkw.png" /><figcaption>LSTM 數學 (from <a href="https://www.youtube.com/watch?v=xCGidAeyS4M">李宏毅老師投影片</a>)</figcaption></figure><p>當input資料進去可表示為g(z)，而input gate則使用f(Zi)，一般來說Activation function f會使用sigmoid function，因爲要表示開啟門的機率。因此會把兩個值相乘 g(z)f(Zi)，就可以得出在input gate開啟的機率下，input的值。接著，Memory cell，就會紀錄當下input值加上前一次input值並乘上forget gate的機率，看是否要遺忘前一次紀錄 [c’ = g(z)f(Zi) + cf(Zf)]。</p><h4>LSTM Overview</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/748/1*n9jJeCunfl1c6PJQ05lkIA.png" /><figcaption>LSTM flow</figcaption></figure><p>所以在整個時間流程下Xt 到 Xt+1，在上面流程可以清楚了解整個LSTM運作過程</p><h3>LSTM Model type</h3><p>LSTM有許多種變化，如下圖：</p><p>One to One 、 One to many 、 Many to one 或者 Many to many</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/824/1*TgN84Xxul-YmuCQEtEEJsA.png" /><figcaption>LSTM Different type (<a href="http://karpathy.github.io/2015/05/21/rnn-effectiveness/">Ref</a>)</figcaption></figure><p>以下以較常使用的做說明</p><h4>Many to one</h4><p>Input: sequence vector (Ex: 一週股價)<br>Output: Only one vector (Ex: 下週一股價)</p><p>使用情境：<br>1. 股價預測：用當週五天股價預測下週一股價<br>2. 情感分析：利用一句話預測為正面請感還是負面情感</p><h4><strong><em>Many to Many</em></strong></h4><p>Input: sequence vector (Ex: 一週股價)<br>Output: sequence vector (Ex: 下週股價)</p><p>使用情境：<br>1. 股價預測：用當週五天股價預測下週五天股價<br>2. 翻譯：給定一句話，進行翻譯，並回覆另一句翻譯完的文字</p><h4>範例: LSTM使用0050股票資料進行預測</h4><p>標的：<a href="https://www.cmoney.tw/notes/note-detail.aspx?nid=6283">0050</a><br>資料使用範圍：2017/01 ~ 2018/04</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/503/1*2ltcdSOkxhdNxfgSx6om8A.png" /><figcaption>資料使用</figcaption></figure><p>主要會使用收盤價以及交易量進行預測</p><p>接下來將介紹一些主要function:</p><ul><li>針對資料進行Normalize</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0658312480c41763326e56844e6d9f5f/href">https://medium.com/media/0658312480c41763326e56844e6d9f5f/href</a></iframe><ul><li>將資料整理成參考前五天資料，並預測下一天股價 (Many to one)</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/39a969a4fe2a2e29145fd33ab79dcdbe/href">https://medium.com/media/39a969a4fe2a2e29145fd33ab79dcdbe/href</a></iframe><ul><li>Model參數</li></ul><p>主要使用兩層lstm以及兩層dense進行預測</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b25234f98f2b159c88d7e3516f31d83a/href">https://medium.com/media/b25234f98f2b159c88d7e3516f31d83a/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/571/1*aN8XpcJO00n5LkRSzktZHw.png" /><figcaption>Model summary</figcaption></figure><p>接下來我們可針對loss diagram，進行修正，看是否得到理想的training結果</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/471/1*_SHLbU2cotCd6icP4Qoamg.png" /><figcaption>loss plot</figcaption></figure><p>Ref有完整的code，大家可以參考看看。</p><p>以下為一些training tips</p><ul><li>Training Tips:</li></ul><ol><li>在training RNN時很容易 loss會一直跳動，是因為<a href="https://www.youtube.com/watch?v=rTqmWlnwz_0&amp;t=4183s">RNN的Error surface問題</a>，因此若自己刻RNN的話，可加入clipping。</li><li>train RNN時，可使用sigmoid function 做為activation function，會比Relu結果更好。</li><li>若lstm有overfit的狀況下，可嘗試使用GRU。GRU為簡化版的lstm，並只保留兩個gate且兩個gate會連動(input gate和forget gate)</li></ol><p>Ref:</p><p><a href="https://brohrer.mcknote.com/zh-Hant/how_machine_learning_works/how_rnns_lstm_work.html">遞歸神經網路和長短期記憶模型 RNN &amp; LSTM</a></p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FxCGidAeyS4M%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DxCGidAeyS4M&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FxCGidAeyS4M%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="640" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/910e1e2865e16c467b5aa855424d0a5f/href">https://medium.com/media/910e1e2865e16c467b5aa855424d0a5f/href</a></iframe><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FrTqmWlnwz_0%3Ffeature%3Doembed&amp;url=http%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DrTqmWlnwz_0&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FrTqmWlnwz_0%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="640" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/5b6123b9f9bad194dfb9f40bc85b93aa/href">https://medium.com/media/5b6123b9f9bad194dfb9f40bc85b93aa/href</a></iframe><ul><li><a href="https://www.kaggle.com/amarpreetsingh/stock-prediction-lstm-using-keras">Stock prediction LSTM using Keras</a></li><li><a href="https://github.com/Danjtchen/LSTM_stock_example/blob/master/LSTM_example.ipynb">Danjtchen/LSTM_stock_example</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cd72af64413a" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-scientists-playground/lstm-%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92-%E8%82%A1%E5%83%B9%E9%A0%90%E6%B8%AC-cd72af64413a">LSTM_深度學習_股價預測</a> was originally published in <a href="https://medium.com/data-scientists-playground">Data Scientists Playground</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Wide&Deep模型_推薦系統_原理]]></title>
            <link>https://medium.com/data-scientists-playground/wide-deep%E6%A8%A1%E5%9E%8B-%E6%8E%A8%E8%96%A6%E7%B3%BB%E7%B5%B1-%E5%8E%9F%E7%90%86-8badacf777f3?source=rss-117f345ab75d------2</link>
            <guid isPermaLink="false">https://medium.com/p/8badacf777f3</guid>
            <category><![CDATA[recommendation-system]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[JT]]></dc:creator>
            <pubDate>Fri, 27 Apr 2018 08:01:18 GMT</pubDate>
            <atom:updated>2019-05-24T13:00:52.888Z</atom:updated>
            <content:encoded><![CDATA[<p><a href="https://arxiv.org/abs/1606.07792">Wide&amp;Deep for recommendation</a> 這篇論文，主要是Google於2016年提出的推薦系統，並且當時應用於app推薦。</p><p>接下來會以三個大項來介紹這篇文章，分別為Introduction、Model、Experiment。<br> # Introduction: 包含推薦系統的介紹、Wide Model定義、Deep Model定義<br> # Model: 介紹Wide &amp; Deep Model<br> # Experiment: 敘述Google 在app 所做的AB test並驗證結果</p><h3>#Introduction</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*cagFzVvwzzM3dK0VDMB9-w.png" /><figcaption>Recommendation system</figcaption></figure><p>在這篇文章中，作者認為其實推薦系統可以說是一個檢索+排序系統，透過對推薦系統進行檢索，並找到分數(Ex: CTR or 點擊量)較高的物品推薦給使用者。而這個檢索+排序系統的input就是使用者的profile(Ex: 男女 or 年齡)，以及上下文資訊(物品特徵，Ex: 冒險動作)，並將這些資訊透過某些準則(Ex: CTR or 點擊量)進行排序，並將物品清單輸出。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/839/1*-rzUQtI6LbqOX4OfX5C1NQ.png" /><figcaption>Overview</figcaption></figure><p>這是一個Recommendation system的overview，當我們進入Google play ，頁面上會有推薦app清單，而這個清單就來自對推薦系統進行檢索。當對系統檢索時，會丟入用戶特徵、上下文等資訊進行檢索，並從DB中選出100個app透過wide and deep model進行預測CTR。預測完的CTR會排序丟給使用者，而這個過程必須於10ms完成。針對使用者是否有點擊或者profile、上下文資訊等，都會被記錄下來，並回丟給Model繼續學習。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/897/1*jqa4JTOUb_xUhG5Tqapo4A.png" /><figcaption>wide and deep</figcaption></figure><p>首先，他模型發展的目標主要是希望解決檢索排序問題，並達到Memorization以及Generalization。<br>而Memorization主要的定義其實就是透過<strong>歷史資料</strong>進行學習，透過歷史曾經發生的關係，達到精準預測(將歷史資料發揮淋漓盡致)。Generalization主要的定義是希望透過這個模型找到新的特徵組合，而過去很少發生，因此此模型主要是增加預測結果的diversity。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/880/1*n4DZ8MTeBvUuZJFkWbskYQ.png" /><figcaption>wide model</figcaption></figure><p>此篇的寬模型，主要是使用GLM中的LR(經典的CTR預測模型)。優點是模型簡單、Scalable(Spark MLlib已經有開源，可直接call api)、可解釋性等優點。所以工程師可以專注於處理特徵，打造特徵海(寬的原因)。常使用One -hot encoding作為feature、且可使用一些無直接相關的特徵(Ex: 安裝app類別)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/938/1*nRVv6DZSJxJZ3r_2OOnRQw.png" /><figcaption>Deep Model</figcaption></figure><p>此篇的深模型，主要是使用DNN，而他使用的方式先將大量高維度的矩陣先映射到Embedding layer，希望透過這個方式能找到一些隱藏特徵。這樣的模型有一個很大的優點就是減少工程師花在特徵工程的時間。缺點的部分就是因為將高維度映射到一個較低維度的Embedding layer，也就是說透過32維度來表示可能原來1萬維度的是否安裝什麼樣的app這個維度。致使一些資訊合併，讓某些item 或者niche item無法被預測。而這樣的Model常使用一些Cross product feature於推薦系統。</p><h3>#Model</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/873/1*5by4IMuXb2ELbg3vpVwLIw.png" /><figcaption>wide model</figcaption></figure><p>Wide Model主要是使用Logistic Regression，一般來說就是權重X特徵＋偏差，並丟入sigmoid function，最後就是預測是否的機率。在文章中，主要是使用cross product feature(Ex: 是否安裝app以及接下來點擊什麼樣的app)，與前面wide model的任務呼應，就是希望找出新的產品組合，此外就是增加一些非線性。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/928/1*IrDb_zWWJNGGUSJbztFYJQ.png" /><figcaption>Wide Model optimizer</figcaption></figure><p>其中LR的optimizer跟過去不一樣，過去都是使用SGD，而在Wide Model他是使用2013 Google在KDD上發表的文章(FTRL更早就有被發表)，FTRL主要是對gradient進行微調，在Wt+1 step中，對第一步跟當下算出來的weight進行minnium，也就是說希望新的解跟當下算出來的解不要差太遠，讓gradient步伐小一點。此外他也要加入L1 regularization，讓找出的解稀疏一點。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/936/1*w5R7I4kGxTlHTXGTADrEVg.png" /><figcaption>Deep Model</figcaption></figure><p>Deep Neural Network，跟過去的類神經很相似，只是將其中的hidden layer不斷疊深。feature的部分，此篇主要使用numeric or one-hot encoding的feature。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/941/1*IGYMyRCR8HrBCeKLmDvwYw.png" /><figcaption>activation function</figcaption></figure><p>過去DNN使用的activation function，主要為sigmoid function ，而sigmoid function最大的問題就是會有gradient vanishing，因為當我們的gradient算出來例如：10000，但放入sigmoid function，他會被壓縮，最大值頂多就是1，許多gradient vanishing。因此，當我每進一次sigmoid function，gradient就會衰減一次。很可能最後訓練出來的結果會在local min就停下來，因為gradient太小趨近於0。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/853/1*9mAT6rMsechcWZYH0nIn3g.png" /><figcaption>DNN optimizer</figcaption></figure><p>文章中，DNN使用的optimizer是adagrad，他主要概念為所有權重應該要有不同的learning rate。從公式可知，在graident大的時候走慢一點(變化很大)，gradient小的時候走快一點(變化不大)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/919/1*GbT163Ua3iWd83KB4PzUmg.png" /><figcaption>joint training</figcaption></figure><p>此篇最重要的概念之一就是他的權重是同時更新，而不是像是ensemble一樣各自學習，然後投票出最後的結果。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/924/1*Pebw0Gc5AoO6vDzfLUUO-g.png" /><figcaption>system implement</figcaption></figure><p>在整個app recommendation pipeline，它分為三大項，Data Generate, Model train 以及 Model serving。Data Generate的部分主要是做資料前處理，像是one — hot encoding , 字串轉換以及離散化。Model train的部分就是他會做online learning，只要有新的資料進來，他就會將過去的權重拿出來，繼續學習微調權重。Model serving的部分是希望能在10ms去做response，因此他們使用multithreading 以及batch設定進行加速。</p><h3>#Experiment</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/887/1*au-Qg-K8-VDp_nSC9hWbaw.png" /><figcaption>Experiment</figcaption></figure><p>最後Google有在google play上實做測試，並使用A/B test進行模型驗證。可發現offline 的auc測出來結果並沒有太大差異。但在線上的收益卻是有較大的成長。而他們認為線上測試，可以隨時有新的資料組合產生，進而去學習。</p><p>因此，對於推薦系統的測試，其實應該不只是AUC的測試，更應該納入更多的考量項目(Ex: 營收 or 新使用者增加的數量)</p><p>Google有將他們的模型release到 Tensorflow並變成api，供大家使用</p><p>Ref:</p><ul><li><a href="https://arxiv.org/abs/1606.07792">Wide &amp; Deep Learning for Recommender Systems</a></li><li><a href="https://www.tensorflow.org/tutorials/wide_and_deep">TensorFlow Wide &amp; Deep Learning Tutorial | TensorFlow</a></li><li><a href="https://github.com/wzhe06/Ad-papers/tree/master/Optimization%20Method">wzhe06/Ad-papers</a></li></ul><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2Fvideoseries%3Flist%3DPLJV_el3uVTsPy9oCRY30oBPNLCo89yu49&amp;url=http%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3Dxki61j7z-30&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2Fxki61j7z-30%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="640" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/70152696815e717c1acefffbca42706f/href">https://medium.com/media/70152696815e717c1acefffbca42706f/href</a></iframe><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8badacf777f3" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-scientists-playground/wide-deep%E6%A8%A1%E5%9E%8B-%E6%8E%A8%E8%96%A6%E7%B3%BB%E7%B5%B1-%E5%8E%9F%E7%90%86-8badacf777f3">Wide&amp;Deep模型_推薦系統_原理</a> was originally published in <a href="https://medium.com/data-scientists-playground">Data Scientists Playground</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>