<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Lizzy Liu on Medium]]></title>
        <description><![CDATA[Stories by Lizzy Liu on Medium]]></description>
        <link>https://medium.com/@lizzyliu1995?source=rss-6e5aed01a3d5------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*AUI43WIab2UnRRZC61hEFA@2x.jpeg</url>
            <title>Stories by Lizzy Liu on Medium</title>
            <link>https://medium.com/@lizzyliu1995?source=rss-6e5aed01a3d5------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 14:01:28 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@lizzyliu1995/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[利用BigQuery和Looker Studio打造高效GA4數據查詢和視覺化分析✨ — (設定篇)]]></title>
            <link>https://lizzyliu1995.medium.com/%E5%88%A9%E7%94%A8bigquery%E5%92%8Clooker-studio%E6%89%93%E9%80%A0%E9%AB%98%E6%95%88ga4%E6%95%B8%E6%93%9A%E6%9F%A5%E8%A9%A2%E5%92%8C%E8%A6%96%E8%A6%BA%E5%8C%96%E5%88%86%E6%9E%90-%E8%A8%AD%E5%AE%9A%E7%AF%87-c02c7ececfd?source=rss-6e5aed01a3d5------2</link>
            <guid isPermaLink="false">https://medium.com/p/c02c7ececfd</guid>
            <category><![CDATA[google-analytics]]></category>
            <category><![CDATA[ga4]]></category>
            <category><![CDATA[looker-studio]]></category>
            <category><![CDATA[bigquery]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Lizzy Liu]]></dc:creator>
            <pubDate>Wed, 17 May 2023 15:03:22 GMT</pubDate>
            <atom:updated>2023-05-17T15:06:21.222Z</atom:updated>
            <content:encoded><![CDATA[<h3>利用BigQuery和Looker Studio打造高效GA4數據查詢和視覺化分析✨ — (設定篇)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ok_gnMyTfWsvGvOsORKX4Q.jpeg" /><figcaption>Photo by NicoElNino on <a href="https://www.pinterest.com/pin/701857923196503038/">Pinterest</a></figcaption></figure><p>最近，筆者開始著手分析網站流量，一開始使用Looker Studio串接GA4前台報表，但由於API配額限制的問題，無法順利進行工作，為了克服這個困境，我轉而使用GA4 API數據，並透過BigQuery串接。這個轉換不僅解決了問題，還提升了工作效率。因此，決定撰寫這篇文章，希望能分享我的經驗，幫助其他在網站流量分析領域遭遇類似挑戰的人，提升他們的工作效能。</p><p><strong><em>適合本篇文章的讀者：</em></strong></p><p>✅正在經歷GA3轉GA4過渡期的資料分析師<br>✅建置Dashboard的資料工程師<br>✅想深入挖掘更多洞察的行銷專業人士</p><p>如果你也剛好對這個主題有興趣，歡迎繼續閱讀下去！</p><p>相信大多數人都習慣使用GA前台數據連接至Looker Studio，起初筆者也是如此，但遇到了不少挑戰。為了克服這個問題，我改變策略，先使用GA4 API將數據抓取回BigQuery，再進一步串接至Looker Studio。接下來，我將分享三個使用GA4 API數據的必要理由，讓讀者更清楚瞭解這個方法的價值和優勢！</p><h4>🫧三個必須使用GA4 API數據的理由：</h4><ol><li>細緻化整合用戶旅程</li></ol><p>自從GA4調整成以事件為基礎後，觀察用戶在網站上的旅程需要更多的資料串接處理，例如：將用戶的工作階段和事件串連起來，就可以更深入地了解用戶在網站上的行為樣態，包括如何瀏覽網頁、將商品放入購物車，以及最終購買等行為的流程。</p><p>2. 避免Looker Studio API配額的限制🚫</p><p>在Looker Studio中使用越多的圖表及指標，表示執行越多次的API請求，當API的配額上限時，圖表就會出現配額發生錯誤的警語，如圖1所示，此時只能等待配額的限制結束，才能繼續使用，但如果是先在BigQuery上進行資料處理、過濾核心數據，讓真正需要分析的資料進到Looker Studio，可以大幅降低API請求的配額問題。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/529/1*4IxBvTR5SkXzECNTBHON8w.png" /><figcaption>圖1 配額發生錯誤的警語圖</figcaption></figure><p>3. 整合公司內部指標的優勢</p><p>透過BigQuery的資料串接，可以將公司內部系統數據與GA4數據結合，更全面的監測商業指標。</p><h4>⚙️開始設定連結BigQuery：</h4><p>▶️ BigQuery資料匯入Looker Studio</p><p>Step1 : (圖2) [ 新增資料 ] &gt; [ 連結至資料 ] &gt; Google Connectors選擇BigQuery</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*M98gMpprM8Vwe_1C2FfDWQ.png" /><figcaption>圖2 Looker Studio新增資料 — 連結BigQuery</figcaption></figure><p>Step2 : (圖3) 選擇所屬的 [ Project ID ] &gt; [ Schema ] &gt; [ Table ] &gt; [ 新增 ]<br>如果Schema底下的Table太多，也可以在上方的搜尋框搜尋關鍵</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LRrFTA69pAAAMJWFDltZ9w.png" /><figcaption>圖3 Looker Studio新增資料 — 選擇連結的Table</figcaption></figure><p>▶️ <strong>Looker Studio 資料管理及注意事項</strong></p><p>匯入後回到Dashboard頁面，點選 [ 管理資源 ] &gt; [ 管理已新增的資料來源 ]</p><ul><li>(圖4) [ 已在報表中使用 ] &gt; 可以查看目前此資料源使用的圖表數量</li><li>(圖5) [ 動作 : 編輯 ] &gt; 維度中的類型 &gt; 可以修改匯入的資料欄位型態，Looker Studio會自動偵測匯入資料的欄位型態，有時候會偵測錯誤，導致圖表的彙總函數報錯，因此，建議匯入後先檢查欄位型態</li><li>(圖6) [ 動作 : 編輯 ] &gt; [ 編輯連結 ] &gt; [ 重新連線 ] <br>當BigQuery上的Table更新時，Looker Studio也會同步更新，但有時候會稍稍延遲，如果Table的調整是新增欄位，我習慣點選 [ 重新連線 ]，此時Looker Studio會自動偵測有異動的欄位，此時可以確保Looker Studio 更新成功！</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AA8St4amvz30TbQDsGDqwg.png" /><figcaption>圖4 管理已新增的資料來源頁</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Kx9ZQ_2IDxuDUH6pCJAW9w.png" /><figcaption>圖5 由圖4點選 [ 動作 : 編輯 ]後頁面</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*w4Qr0E1LjDeMICexOD8OKw.jpeg" /><figcaption>圖6 由圖5點選 [ 編輯連結] &gt; [ 重新連線 ] 後頁面</figcaption></figure><p>▶️ <strong>Looker Studio 建立新欄位與使用函數</strong></p><ul><li>(圖7) [ 動作 : 編輯 ] &gt; [ 欄位名稱 ] 輸入新增欄位名稱 &gt; [ 公式 ] 建立欄位，如果還想知道其他的函數，可以點選 [ 公式 ] 旁的(?) &gt; Function List 查看更多的函數用法。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KuhNVMICMs3XgHryxWeZRg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*P07UXCc1xhk6lhn-zMwz_g.png" /><figcaption>圖7 由圖5點選 [ 新增欄位 ]，建立新欄位</figcaption></figure><p>▶️ <strong>Looker Studio連結BigQuery的憑證設定</strong></p><ul><li>[ 動作 : 編輯 ] &gt; [ 資料憑證 ]<br>此處可以選擇使用何種方式連結BigQuery，如果是有多位人員共同開發，會建議使用中間的 [ 服務帳號憑證 ]，如果只有一位開發人員，則使用 [ 擁有者的憑證 ] 即可。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1012/1*ih97Z_EKPr5c6BH0lDSrjQ.png" /><figcaption>圖8 由圖5點選 [ 資料憑證 ] 後頁面</figcaption></figure><p>▶️ Looker Studio報表權限控管</p><ul><li>[ +共用 ] &gt; [ 邀請使用者 ]<br>通常公司內部會使用組織gmail如圖9 中的group name，前提是使用者皆有GCP權限，若只是個人組織使用時，可以選擇 [ 受限制 ]，加入相關人員的gmail，限制特定人員可以查看報表，報表的擁有者也可以隨時調整人員名單。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1008/1*73U8JvZdOEz6bg0F_ZhIMQ.png" /><figcaption>圖9 Looker Studio權限控管</figcaption></figure><h4>總結</h4><p>本篇文章導覽讀者如何透過Looker Studio連結BigQuery、管理資料與權限，在熟悉Looker Studio的基本設定後，下一篇文章將進一步介紹Looker Studio上的其他功能，以及如何透過BigQuery整合GA4 API數據，並進行報表指標的撰寫！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c02c7ececfd" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[一年內轉換三種不同數據職務的心路歷程]]></title>
            <link>https://lizzyliu1995.medium.com/%E4%B8%80%E5%B9%B4%E5%85%A7%E8%BD%89%E6%8F%9B%E4%B8%89%E7%A8%AE%E4%B8%8D%E5%90%8C%E6%95%B8%E6%93%9A%E8%81%B7%E5%8B%99%E7%9A%84%E5%BF%83%E8%B7%AF%E6%AD%B7%E7%A8%8B-185dc3860550?source=rss-6e5aed01a3d5------2</link>
            <guid isPermaLink="false">https://medium.com/p/185dc3860550</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[jobs]]></category>
            <category><![CDATA[data-analyst]]></category>
            <category><![CDATA[mood]]></category>
            <category><![CDATA[data-engineering]]></category>
            <dc:creator><![CDATA[Lizzy Liu]]></dc:creator>
            <pubDate>Sat, 03 Sep 2022 19:05:32 GMT</pubDate>
            <atom:updated>2022-09-03T19:21:16.710Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*HjiHPJlGQQ6M1Wfl.jpg" /><figcaption>Photo by <a href="https://www.pinterest.com/adobestock/">Adobe Stock</a> on <a href="https://www.pinterest.com/pin/653303489716296904/">Pinterest</a></figcaption></figure><blockquote>在踏入職場前，對於數據職務沒有太多的概念，也不太清楚數據職務在各個公司的定位，直至現在工作約兩年，雖然還不算Senior，可是至少自己已經逐漸知道想要的、適合的是什麼，也想記錄一下這一年工作轉換的過程。</blockquote><h3>三種數據職務是指哪三種？</h3><p>不同企業在職稱跟實際工作內容可能會有差異，而這邊提到的數據職務定義會以最普遍的狀況為主，可以分成以下三種：</p><ol><li>資料工程師(Data Engineer, 簡稱DE)：使用ETL工具蒐集與整合、提供資料。</li><li>資料分析師(Data Analyst, 簡稱DA)：執行探索式資料分析、找出資料的價值並協助決策建議。</li><li>資料科學家(Data scientist, 簡稱DS)：透過機器學習方法協助部門運作。</li></ol><h3>個人背景簡介</h3><p>首先簡單介紹我的背景，學歷是私立學士和國立碩士，主修都是統計學，沒有實習經驗、有參加過兩次數據競賽，碩論偏向方法論的研究，比較幸運的是在大四的選修課開始接觸機器學習的演算法，發現自己對資料科學領域蠻感興趣，進而繼續升學，碩士的時候因為系上有開相關的課程，修了一個學期的課用Kaggle的資料分析和建模，另外還有Python程式設計和SQL的課程，雖然沒有真正在業界實習過，卻累積了很多分析case的經驗。</p><p>畢業後的第一份工作算是電商類型的產業，職務是DE，實際工作上也會碰DA跟DS，但主要的工作需求會是以DE為主，而在這份工作上，論公司環境、同事間相處和主管都是很棒的狀態(這也是我覺得職場上很難得的)。</p><h3>為什麼想換工作？</h3><p>讓我開始萌生離職的想法，是因為公司只有我一個人在做數據相關的事務，當遇到問題時，只能自己在Stack overflow和Kaggle上搜尋關鍵字，也發現自己只憑過去在校累積的分析經驗，應用在真實場景上還有很多不成熟的地方，另一方面，也有觀察到資料科學在公司的營運和決策面上扮演的角色，比較像是<strong>nice to have</strong>，而不是<strong>must to have</strong>，因此我開始尋覓下一份工作，找的方向是<strong><em>該公司有「數據團隊」，且營運上是需要資料科學</em></strong>。</p><h3>為什經歷第二次的轉換工作？</h3><p>經過了一個多月，我順利了進到一間金融保險業的公司，職務是DA，實際工作內容主要是DA+DS，前期是先考了SQL、統計應用、資料科學和領域知識的測驗，中期開始接觸專案、驗收前期測驗，後期協助專案建模、Code Review和其他工作需求，不過因為部門規模大、分工比較細，即便有專案也是被分配到一小部分。</p><p>總共待了約三個月多，在過程中，自己就察覺到不太適合這樣的工作型態，此外，也發現到專案的時程較長(一個專案走完可能超過半年)，如果是想要大量累積資料科學的應用，算一算可能需要較多的時間才能達到這個目標，最後也是自己覺得對這個領域的資料沒有那麼感興趣(跟上一份電商產業差異蠻大)，深思熟慮未來可能也不會想往這個產業發展，於是又重新開啟履歷，此時找工作的方向多了個條件：<strong><em>產業鎖定在電商、行銷科技或資訊產業，以及數據團隊的規模考量。</em></strong></p><h3>如何確定換了工作就會更好？</h3><p>在第二次轉換工作時，聽了很多不同的意見跟想法，有的人覺得二次換工作的學習成本太高，有的人覺得第二份工作條件不錯為什麼不再做看看，也有的人告訴我找到適合自己的地方才是最重要的，當時我用最簡單的方式，拿起紙筆寫下留下跟離職的理由，然後答案很快就呼之欲出了。</p><p>就在自己整理完思緒，也想通了一切後，果斷提了離職，同時也不忘把反面的意見放在心裡，<strong><em>求職時多問問題、反覆確認，為的是確保該職務會符合自己想發展的方向、減少工作媒合的誤判</em></strong>，後來也很順利的拿到了Offer，是電商產業，職務是DS，這份工作最吸引我的是建模應用會佈署雲端系統，這和先前工作都是在本地端建模完全是不同的世界，個人也認為這是做資料科學的必備能力之一，其他部分都在跟主管面試的過程中彼此確認過，我有符合他們要找的條件，而這也會是未來我想要職涯發展。</p><h3>總結</h3><p>在這一年經歷了兩次的工作轉換，跟之前碩士畢業時的心態和想法截然不同，現在的我更注重工作媒合的重要性，同時也會自我察覺對於產業的興趣，更加確立自己未來職涯的發展方向，很謝謝第一份工作的主管，在當時工作期間的試用期和考核時，都會問我有沒有做到自己想做的工作，因為他認為人不能只是領薪水做事，這樣走不遠也容易疲乏，在每個難以抉擇的瞬間，都會讓我想起這些話，期盼新工作報到後，能有收穫滿滿，好好把握住成為DS之路！！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=185dc3860550" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Python基礎網路爬蟲的實用範例]]></title>
            <link>https://lizzyliu1995.medium.com/work-diary-python-%E5%9F%BA%E6%9C%AC%E7%88%AC%E8%9F%B2%E6%87%89%E7%94%A8-77c776ea2aad?source=rss-6e5aed01a3d5------2</link>
            <guid isPermaLink="false">https://medium.com/p/77c776ea2aad</guid>
            <category><![CDATA[python-request]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[python3]]></category>
            <category><![CDATA[python-selenium]]></category>
            <category><![CDATA[python-beautifulsoup4]]></category>
            <dc:creator><![CDATA[Lizzy Liu]]></dc:creator>
            <pubDate>Sun, 11 Jul 2021 12:32:00 GMT</pubDate>
            <atom:updated>2021-07-12T05:59:25.524Z</atom:updated>
            <content:encoded><![CDATA[<p>前情提要：前段時間，因為豬肉食品安全的問題，業務端需要將所有與豬肉相關的商品資料挑出，以便備註豬肉的來源地，然而，資料庫紀錄商品資料時並沒有細分到有「豬肉」這樣的分類，此外，商品名稱也無法完全顯示實質內容的資訊，例如票券商品中，銷售名稱為 XX 火鍋店雙人餐票券，從字面上無從判斷，又當資料庫沒有紀錄商品資訊的情況下，「爬蟲」就非常適合派上用場！</p><h3>#1. 準備工具🔧- [安裝瀏覽器驅動程式 webdriver]</h3><p>首先要確認當前使用的 Google Chrome 版本，<strong>操作的流程：至右上角帳戶頭貼處點擊圖示 ➡ 說明 ➡ 關於Google Chrome</strong>，如圖1所示，接著會顯示目前的版本於圖2黃色框起處，由此可知當前的版本為91，下一步到ChromeDriver 的官方載點尋找相對應的版本，👉🏻<a href="https://sites.google.com/a/chromium.org/chromedriver/downloads"><strong>點我前往下載處</strong></a>，檔案下載後，放置於某一目錄下解壓縮，例如 : C:\WebDrivers。</p><figure><img alt="Google Chrome 版本檢查" src="https://cdn-images-1.medium.com/max/900/1*BkY32XUWfX5Pb_13PoJGiA.png" /><figcaption>圖1 確認當前 Google Chrome 版本 — 步驟</figcaption></figure><h3>#1. 準備工具🔧- [安裝 SelectorGadget]</h3><p>至chrome 線上應用程式商店中查詢 SelectorGadget ，並將其加入擴充功能，當爬取資料的網頁充滿許多區塊時，這將會是一個得力的助手！</p><figure><img alt="SelectorGadget 擴充功能" src="https://cdn-images-1.medium.com/max/824/1*UsRurqDu9olnZQOeA72crQ.jpeg" /><figcaption>圖2 安裝 SelectorGadget 擴充功能</figcaption></figure><h3>#2. 定位元素的方法</h3><p>在 selenuim 中提供了多種方法定位網頁中的元素，若為單一元素利用 find_element 系列，若為多個元素則用 find_elements 系列，依據爬取的情境選擇合適的方法，無論是 find_element 還是 find_elements 系列中，可以用不同的方式定位，本篇使用到的方式有：id＼xpath＼css_selector＼class_name，以上的選擇是以網頁元素的結構而定，詳細的資料可參考官方提供的資訊，<a href="https://selenium-python.readthedocs.io/locating-elements.html">點我前往官網</a>。</p><h3>#3. 網頁結構介紹</h3><p>本篇會先介紹整個爬取網頁的流程，最後再放上實作的程式碼，<a href="https://www.17life.com/">17Life電子票券網</a>（點選可進入）為這次爬蟲的網頁，首先，進入網頁後，會先遇到一彈跳視窗，此時按下 F12 可以在 Elements 處找到關閉視窗案件的元素位置，如圖3所示：</p><figure><img alt="Python 爬蟲 selenium" src="https://cdn-images-1.medium.com/max/1024/1*4TE2pHgR-KRuwzhTSCZ08g.png" /><figcaption>圖3 進入主網頁 — 彈跳視窗</figcaption></figure><p>接著關閉視窗後正式進入網頁，由於要撈取的商品為食品，會落在「美食」主分類中，此時可使用擴充功能 SelectorGadget ，並點選，即會出現此區塊的 id=naviIndexLink，如下圖：</p><figure><img alt="Python 爬蟲 selenium" src="https://cdn-images-1.medium.com/max/1024/1*21ff3wKwkMpj6PXC0wam3Q.png" /><figcaption>圖4 進入主要分類</figcaption></figure><p>進入「美食」主分類之後，還會有以下的次要分類，因為次要分類皆在同一個區塊，猜想可能會是屬於同一結構，此時按下 F12 於 Elements 處可以觀察到所有的次要分類隸屬於 id=CategoryUl 之下，如下圖：</p><figure><img alt="Python 爬蟲 selenium" src="https://cdn-images-1.medium.com/max/1024/1*7NGSNtdkRSFZUgZVX6Nmfg.png" /><figcaption>圖5 主分類與次要分類結構圖</figcaption></figure><p>了解主分類與次要分類的結構後，開始著手爬取商品資料，做法邏輯是針對分類下的所有商品，先爬取商品網址後，再進入每一個商品的頁面爬取商品的詳細資訊，並從中查詢含有「豬肉」相關的關鍵字，最後將涉及「豬肉」的商品網址保留下來，同時將商品的編號一併彙整，以 DataFrame 的格式保存，欄位為商品編號及該商品網址，讓業務端可以依照此份資料於後台編輯商品的備註欄。</p><p>將游標放置商品區塊，詳見圖6，可以觀察到商品資料在 class=”open new window” 的結構下儲存，而 href 則是該商品的網址，由於有眾多商品，因此利用 find_elements_by_class_name 將所有次分類下所有商品的網址資料爬取下來。</p><figure><img alt="Python 爬蟲 selenium" src="https://cdn-images-1.medium.com/max/1024/1*VWvgqh2-h-2Iy320pRoy6g.png" /><figcaption>圖6 分類下的商品結構</figcaption></figure><p>接著進入每個商品頁面，利用 BeautifulSoup 的 HTML 剖析器進一步爬取商品的詳細資訊，以隨機一商品為例，可看到此區塊於 id=detailDesc 之下的 span元素之中，如下圖所示：</p><figure><img alt="Python 爬蟲 selenium" src="https://cdn-images-1.medium.com/max/1024/1*ITD-j-Kdvg1ltwE_vRCAhA.png" /><figcaption>圖7 商品詳細介紹資料區塊</figcaption></figure><p><strong>統整整個爬取資料的流程：</strong></p><ul><li>STEP1：利用 selenium 控制器啟動 Chrome 瀏覽器以進入網頁，接著關閉（click）彈跳視窗。</li><li>STEP2：點擊（click）「美食」主分類。</li><li>STEP3：點擊（click）美食主分類下的所有次要分類（排除五星美饌和頂級餐廳），並爬取分類下的所有商品網址。</li><li>STEP4：進入每個商品頁面中，爬取商品的詳細資訊文字。</li><li>STEP5：在執行 STEP4 的同時，判斷是否有出現過「豬肉」相關的關鍵字，若有則將該商品網址存取下來，另外將該網址另擷取出該商品的編號，並將商品編號和商品網址以 DataFrame 格式存取，輸出成 EXCEL檔案。</li></ul><h3>#4. 實作範例 — Python 程式碼</h3><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/72f6ee70edc2b899d6afe4be81a91015/href">https://medium.com/media/72f6ee70edc2b899d6afe4be81a91015/href</a></iframe><h3>總結</h3><p>本篇文章利用基本爬蟲實作爬取資料，整體來說，只要清楚要爬取資料的流程，如點取按鍵、關閉頁面，就可以一步步操作獲得資料，並整理成所需要樣貌，看似簡單卻很實用，可以有效地輔助工作上的需求，往後有更多其他的爬蟲範例再分享給大家喔！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=77c776ea2aad" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[如何利用ETL工具接收FTP檔案並匯入資料庫]]></title>
            <link>https://lizzyliu1995.medium.com/work-diary-ssis-ftp%E6%8E%A5%E6%94%B6%E6%AA%94%E6%A1%88%E9%87%8D%E9%BB%9E%E6%B5%81%E7%A8%8B%E8%A8%AD%E5%AE%9A-5a8ff584aa80?source=rss-6e5aed01a3d5------2</link>
            <guid isPermaLink="false">https://medium.com/p/5a8ff584aa80</guid>
            <category><![CDATA[ssis-oracle]]></category>
            <category><![CDATA[sql-server]]></category>
            <category><![CDATA[etl-tool]]></category>
            <dc:creator><![CDATA[Lizzy Liu]]></dc:creator>
            <pubDate>Sun, 16 May 2021 12:51:16 GMT</pubDate>
            <atom:updated>2021-07-12T05:18:25.413Z</atom:updated>
            <content:encoded><![CDATA[<p>有鑑於在工作上遇到的情境，在Google搜尋時發現中文文章的資訊相對少，因此決定在Medium的平台上分享問題與解決方法，一方面希望可以幫助到有相同情境的使用者，也能記錄自己在工作上遇到的問題。</p><ul><li>情境介紹：行銷部門需要彙整廣告推播的成效，資料蒐集的流程是由廠商端將成效的資料每日更新並上傳至FTP，供技術人員將資料取回，本篇使用的工具為 SSIS ，而在此情境中有兩大重點目標：<strong>1. 接收每日更新檔案，2. 將每日更新檔案匯入資料庫。</strong></li></ul><p>了解情境後，就讓我們開始吧！</p><h3># 1. 接收每日更新檔案</h3><p>首先，新增FTP連接管理員並測試連接成功後，於專案中新增FTP工作元件，<strong>第一步：一般 &gt; 連接 &gt; FtpConnection 選擇建立好的FTP連接管理員</strong>，如圖1. 所示：</p><figure><img alt="FTP工作元件設定" src="https://cdn-images-1.medium.com/max/581/1*4Ua_t9CEGSdH4-WAPmU_7g.png" /><figcaption>圖1. FTP工作元件設定：一般</figcaption></figure><p>接著有三個重要設定如圖2. 所示，分別為：</p><ul><li><strong>檔案傳送 &gt; 本機參數 &gt; LocalPath 選擇已建立的檔案連接管理員，此路徑為FTP檔案接收回本機端的資料夾</strong></li><li><strong>檔案傳送 &gt; 作業 &gt; Operation 選擇接收檔案</strong></li><li><strong>檔案傳送 &gt; 遠端參數 &gt; RemotePath 輸入 /FTP上的檔案名稱.檔案格式</strong></li></ul><p>特別注意的是，在此情境中，廠商端會每日上傳更新的檔案，並以上傳日期作為當日更新檔的識別資訊（如資料檔名_{日期}.csv），由於後續設定會針對此操作執行，因此在<strong>RemotePath</strong>的檔名上可隨機填寫某日日期。</p><figure><img alt="FTP工作元件設定" src="https://cdn-images-1.medium.com/max/582/1*Uiw9BuyMJbMtInHkzXwlQw.png" /><figcaption>圖2. FTP工作元件設定：檔案傳送</figcaption></figure><p>完成前述設定後，按下確認回到專案中，將開始著手接收當日更新檔案相關設定，於<strong>變數區中新增一命名為Today，資料類型為String的變數，並於運算式中輸入：REPLACE(SUBSTRING((DT_STR,30, 1252) GETDATE(), 1, 10),”-”,””)</strong>，此情境中日期是以YYYYMMDD格式儲存，讀者可依據個人情境做調整，如圖3. 所示：</p><figure><img alt="SSIS 變數設定" src="https://cdn-images-1.medium.com/max/802/1*Lg8H9oJQu8I8-EVohrX-2w.png" /><figcaption>圖3. 接收當日檔案參數設定</figcaption></figure><p>接著再次回到FTP工作元件上：<strong>運算式 &gt; [+]Expressions &gt; 屬性選擇RemotePath，運算式輸入“/FTP上的檔案名稱” + @[User::Today] + “.csv”</strong>，此步驟即為使用前述新增的變數（系統變數），如下圖所示：</p><figure><img alt="FTP 連接管理員運算式設定" src="https://cdn-images-1.medium.com/max/583/1*VlSB6bxaYBr_1HKTtqXV9Q.png" /><figcaption>圖4. FTP工作元件：運算式</figcaption></figure><h3>#<strong>2. 將每日更新檔案匯入資料庫</strong></h3><p>此情境中，由於FTP上接收回檔案的資料夾裡，也會有其他各式檔案，因此在#2. 步驟上，將<strong>專注於設定承接回資料庫的資料是當日更新檔案</strong>。</p><p>首先於專案中，<strong>新增一命名為FileNameWithPath，資料型態為String的變數，其中變數值為本地端接收檔案的資料夾路徑</strong>，如圖5. 所示：</p><figure><img alt="SSIS 變數設定" src="https://cdn-images-1.medium.com/max/1006/1*XtoLLitS_vVDVPWlwrACYw.png" /><figcaption>圖5. 接收檔案路徑變數設定</figcaption></figure><p>而在匯入資料庫的資料流程中，都會設定一般檔案來源元件以接收檔案，其中在一般檔案來源元件的連接管理員上，是本情境重點設定之處，本情境<strong>設定的一般檔案連接管理員命名為IMPORT，於此點擊右鍵並選擇屬性，並進一步於[+]Expressions &gt; 屬性運算式ConnectionString &gt; 運算式輸入@[User::FileNameWithPath] + “FTP上的檔案名稱” + @[User::Today] + “.csv”</strong>，如圖6. 和圖7. 所示：</p><figure><img alt="SSIS 一般檔案連接管理員運算式設定" src="https://cdn-images-1.medium.com/max/214/1*MhVGxwag8bRADqHMAfNPmg.png" /><figcaption>圖6. 一般檔案連接管理員：屬性</figcaption></figure><figure><img alt="一般檔案連接管理員 屬性運算式設定" src="https://cdn-images-1.medium.com/max/436/1*gJce1oZQ9W-owVtZgNn8Pg.png" /><figcaption>圖7. 一般檔案連接管理員：屬性運算式設定</figcaption></figure><p>完成以上設定後，原先設定的一般檔案連接管理員會出現參數化的符號，如圖8. 所示，表示設定完成，後續資料將會以檔名裡含有當日日期的檔案匯入資料庫。</p><figure><img alt="一般檔案連接管理員設定" src="https://cdn-images-1.medium.com/max/100/1*jb8wBaHo9frxJbUu8Fx__A.png" /><figcaption>圖8. 一般檔案連接管理員設定完成</figcaption></figure><h3>總結</h3><p>從兩個大設定方向中，可以發現若需從FTP上接收當日更新檔案，要從FTP工作元件上的運算式設定著手；若是要從本地端接收後的當日更新檔案匯入資料庫裡，則是於一般檔案連接管理員的屬性運算式設定，實際操作後，是不是更清楚了呢！本篇就分享到此，往後會再跟大家分享更多的相關資訊哦。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5a8ff584aa80" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>