<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Wei-Lun Jian (Lue) on Medium]]></title>
        <description><![CDATA[Stories by Wei-Lun Jian (Lue) on Medium]]></description>
        <link>https://medium.com/@lulua356355?source=rss-cb67da149580------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*F6rRTQsFUej2RN8IkYQCfQ.jpeg</url>
            <title>Stories by Wei-Lun Jian (Lue) on Medium</title>
            <link>https://medium.com/@lulua356355?source=rss-cb67da149580------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 03:02:51 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@lulua356355/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[R 語言資料科學家/分析師在企業面臨的困境 (3) — 建議]]></title>
            <link>https://medium.com/@lulua356355/r-%E8%AA%9E%E8%A8%80%E8%B3%87%E6%96%99%E7%A7%91%E5%AD%B8%E5%AE%B6-%E5%88%86%E6%9E%90%E5%B8%AB%E5%9C%A8%E4%BC%81%E6%A5%AD%E9%9D%A2%E8%87%A8%E7%9A%84%E5%9B%B0%E5%A2%83-3-%E5%BB%BA%E8%AD%B0-25ae054e4884?source=rss-cb67da149580------2</link>
            <guid isPermaLink="false">https://medium.com/p/25ae054e4884</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[deploy]]></category>
            <category><![CDATA[資料工程]]></category>
            <category><![CDATA[r]]></category>
            <category><![CDATA[資料科學]]></category>
            <dc:creator><![CDATA[Wei-Lun Jian (Lue)]]></dc:creator>
            <pubDate>Sat, 19 Oct 2019 06:13:20 GMT</pubDate>
            <atom:updated>2020-05-28T14:45:31.148Z</atom:updated>
            <content:encoded><![CDATA[<h3>R 語言資料科學家/分析師在企業面臨的困境 (3) — 建議</h3><h3>系列文章</h3><ul><li>第一篇：<br><a href="https://medium.com/p/632958c7ce1b">R 語言資料科學家/分析師在企業面臨的困境 (1) — 前言 &amp; 原因</a></li><li>第二篇：<br><a href="https://medium.com/p/c0e7b2247465/">R 語言資料科學家/分析師在企業面臨的困境 (2) — 部署 (deploy) 的方法/技術</a></li></ul><p>本文筆者將延續前兩篇文章的內容，由 <strong>R 使用者、不懂 R 的資料工程師卻接到了 R 部署工作、企業</strong>等不同角度給予建議。</p><h3>一、若你是 R 使用者，也許你可以…</h3><p>筆者在系列文的第一篇曾說，由於 R 使用者專業背景多為統計、數學或社會科學，在數據團隊的角色多為<strong>商業分析師或資料科學家</strong>。另<strong>由於較缺乏資料工程的能力與經驗，故需要資料工程師的參與才能把 R 開發的專案部署 (deploy) 為正式服務。然而，在資料工程師不懂 R 的情況下，易導致 R 服務部署的困境。</strong>因此，筆者建議 R 使用者不妨嘗試往資料工程領域發展，補足一般 R 使用者不足之處，走出不同的路。</p><p>怎麼說呢？</p><p>我從職能發展的角度來說，以【圖一】輔助說明，簡單將專業能力分三個維度，分別為<strong>商業分析、資料科學、資料工程</strong>，再依專業能力值對應於職位，並給予 A , A+, B, B+, AB, ..., D 等定位編號。</p><p>(註：一般來說，大數據專業能力還有所謂的資料架構，在此為求簡化，將其歸類於資料工程的範疇)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UomkEKZD67PP_TyArh04iw.png" /><figcaption>【圖一】數據技能定位示意圖 (來源：筆者自製)</figcaption></figure><p><strong>如果你是 A 或 B</strong></p><p>一般來說，R 使用者的職能定位多屬於 A 或 B，經過專案磨練後可能會往 AB 發展，或是往定位更專注的 A+或 B+發展。然而，事實上在企業可能有 80% 的問題無需用 A+或 B+的能力即可解決，更需要的是 AB、AC 或 BC 這類「通才」。若你往通才定位發展，不僅可作為各專業的「橋梁」，亦會因擁有「一條龍」的技能而在精兵策略的小型數據團隊生存。</p><p>而 AB、AC 或 BC 中，AB 應該又會是 R 使用者最常發展的路徑，畢竟專業背景多屬統計/數學/社會科學為主，往具資料工程能力的 AC 或 BC 發展門檻/難度較高。此時，若你能考慮嘗試往「稀有」的 AC 或 BC 發展，在職能上與大家「差異化」，不僅補足團隊中 R 使用者的不足，以企業的角度來說，你可能會更被企業需要。</p><p><strong>如果你是 AB</strong></p><p>相信在業界累積過實戰經驗的 R 使用者會屬於 AB，你擁有資料科學的基本能力並可以結合領域知識 (Domain Knowledge) 解決商業問題，若再加上出色的軟實力 (規劃、溝通、協調)，甚至可擔任商業分析或資料科學的管理者，因你有能力帶領團隊並讓商業分析及資料科學整合得宜。 此時筆者建議可嘗試往 D 類全能型人才發展，除了有能力「一條龍」完成工作之外，更有價值的是你能與各專業溝通，全面向地整合數據團隊，擔任數據團隊的掌舵者。</p><p><strong>如果你是 A+、B+或 D</strong></p><p>此類 R 使用者應在數據領域擁有多年經驗，或是付出許多心血專注於同職能發展，筆者認為自己等級不足以給予建議。A+、B+類厲害在企業中有 20% 只有你們有能力解決，而 D 類有足夠能力全方位整合數據團隊的工作，都是業界不可多得的人才。</p><p><strong>該怎麼做？</strong></p><p>相信在職場上，身為資料科學家/分析師的你，即使有意願往資料工程的職能發展，通常企業無法讓你如願以償，因為專案接踵而來，很難讓你放下原職責從實務上「做中學」工程技術。怎麼辦呢？</p><p>最快的辦法就是「靠自己」，在此分享筆者如何利用下班時間實作，學習資料工程相關的技術。你可以<a href="https://www.kjnotes.com/linux/87">透過 VM 自己架設虛擬電腦，為了練習 Linux 環境的部署，筆者安裝的是 Ubuntu</a>，接著你可在虛擬電腦內練習<a href="http://jacky810428.pixnet.net/blog/post/150622106-%E5%9C%A8-linux-%E7%B3%BB%E7%B5%B1%E5%AE%89%E8%A3%9D-r-%E8%88%87-rstudio">架設 R 的環境</a>、執行 Terminal Console 指令、創建腳本 (Script)、架設 API，一直到 R 專案的部署，甚至可架設多台虛擬電腦，練習部署專案於不同環境的流程。</p><p>另外，筆者回想在學校時所修過 R 的課程或是坊間書籍/教科書，都只專注在資料處理或演算法理論說明與實作，卻完全沒有部署相關的教學。所以，如果你還是在校學生，除了主動學習外，不妨建議老師將部署工具加入課程的學習內容，因部署工程在企業「非常重要」。</p><p><strong>學習不同程式語言</strong></p><p>另外，我也會建議讀者多學習不同程式語言，較推薦先學習 Python，因 Python 是業界目前最受歡迎的語言，與資料工程人才的合作上也會比 R 順利許多。實務上也<strong>不會所有問題都用一種語言解決，通常會各語言搭配使用</strong>，筆者目前在工作上是 R、Python 都使用 (偶爾還需用到 SAS)，團隊成員也幾乎是雙刀流 (R + Python) 的資料科學家/分析師。而且，R 和 Python 非常相似，網路也很多學習資源，對 R 使用者來說，學習 Python 不是難事。</p><h3>二、若你是<strong><em>不懂 R 的資料工程師卻接到了 R 部署工作，也許你可以...</em></strong></h3><p>若你看過了系列文的第二篇，應該會知道其實 R 有許多套件或工具可實現部署的工作，跟其他語言也可有很好的整合。如果你已了解 R 有這些工具，又懶得花時間學 R，<strong>較快的方式就是與資料科學/分析團隊中的 R 使用者協同合作，由他配合你在工程領域的專業知識，應該不難在符合企業規範下實現 R 服務的部署</strong>。</p><p>順帶一提，你也可以參考【圖一】的職能定位，往 BC、AC 或 D 的「通才」方向發展，筆者見過工程背景轉往資料科學/商業分析發展後表現相當好的人才，他們能讓分析與工程界接的順暢程度大幅提升，是成熟的分析團隊中不可或缺的人才。</p><h3>三、企業該如何因應？</h3><p>延續 R 語言的部署困境為議題，由於專業背景的原因，相信企業中比較受到工程團隊青睞/熟悉的程式語言為 Python。所以，<strong>若分析團隊能以 Python 開發專案後，頂多是程式書寫的習慣常不符合工程團隊的期待之外，部署工程通常不會有太大的問題。</strong></p><p>因此，曾聽過企業規定分析團隊只能用 Python 開發專案，甚至在招募員工時只招募 Python 資料科學家/分析師。當然，這是最簡單/省事的辦法，卻也因此限制了 R 語言資料科學家/分析師的發揮空間或錯失許多良才，畢竟他們擁有的資料科學及商業分析能力，能幫助企業解決商業問題，帶來許多數據業務推動的動能。</p><blockquote><strong><em>建議企業應將之視為廣泛性問題來思考，在一個專業多樣性高的團隊，不同專業或熟悉不同程式語言的人，在合作時應該都會面臨類似的問題，重要的是該如何透過協同合作達到整合，規範或限制應不會是最好的方法。</em></strong></blockquote><p>因此，回歸 R 語言的部署問題，若企業面臨此問題，筆者考量了方案的優缺點後，由優到劣順序如下：</p><ol><li>找到懂 R 又懂工程的人 (但這種人才很難找)</li><li>R 資料科學家/分析師與資料工程師協同合作</li><li>外包</li></ol><p>選擇上述方案後，接著需設計 R 專案的「程式架構」，簡單來說，設計一份內含部署程式元素的「模板」讓開發人員遵循，使程式開發完後可無痛於企業部署。當然，各企業的情況應不盡相同，還是要以數據團隊的狀況思考最適合的方案。</p><h3>結語</h3><p>本系列文章到此算告一段落，<strong>希望讀者們在 R 部署的技術問題透過第二篇文章可以迎刃而解，也希望讀者們透過第一、三篇文章，試著由不同角度思考此問題後有所收穫。</strong></p><p>最後，有任何問題歡迎不吝與我聯繫或留言，謝謝！</p><p>(喜歡我的文章來點掌聲吧！歡迎分享文章連結，轉貼內文請載明出處)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=25ae054e4884" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[R 語言資料科學家/分析師在企業面臨的困境 (2) — 部署 (deploy) 的方法/技術]]></title>
            <link>https://medium.com/@lulua356355/r-%E8%AA%9E%E8%A8%80%E8%B3%87%E6%96%99%E7%A7%91%E5%AD%B8%E5%AE%B6-%E5%88%86%E6%9E%90%E5%B8%AB%E5%9C%A8%E4%BC%81%E6%A5%AD%E9%9D%A2%E8%87%A8%E7%9A%84%E5%9B%B0%E5%A2%83-2-%E9%83%A8%E7%BD%B2-deploy-%E7%9A%84%E6%96%B9%E6%B3%95-%E6%8A%80%E8%A1%93-c0e7b2247465?source=rss-cb67da149580------2</link>
            <guid isPermaLink="false">https://medium.com/p/c0e7b2247465</guid>
            <category><![CDATA[r]]></category>
            <category><![CDATA[api]]></category>
            <category><![CDATA[教學]]></category>
            <category><![CDATA[engineering]]></category>
            <category><![CDATA[deployment]]></category>
            <dc:creator><![CDATA[Wei-Lun Jian (Lue)]]></dc:creator>
            <pubDate>Sat, 19 Oct 2019 06:12:19 GMT</pubDate>
            <atom:updated>2022-07-09T07:00:10.572Z</atom:updated>
            <content:encoded><![CDATA[<h3>R 語言部署工程技術大全</h3><h3>R 語言資料科學家/分析師在企業面臨的困境 (2) — 部署 (deploy) 的方法/技術</h3><p>由於科技日新月異，筆者盡可能隨著新工具的發布，更新本文內容，並紀錄更新時間及摘要如下，文章中會再詳細說明。</p><ul><li>20191108更：套件 <strong>renv </strong>發布 ，據說它改善了套件 packrat</li><li>20200308更：套件 <strong>renv </strong>開發者 Kevin Ushey 發布了使用教學</li><li>20200812更：RestRserve成為CRAN上正式套件，建議讀者可嘗試使用，特別感謝讀者<strong>Allen</strong>的資訊。</li><li>20220709更：更新第二章節，以<strong>renv (packrat前身)內容完全取代packrat內容(packrat官方已停止維護，建議採renv控管R專案)</strong></li></ul><p>=============== 正文開始 ===============</p><blockquote><em>若你是</em><strong><em>不懂工程的 R 使用者</em></strong><em>、</em><strong><em>不懂 R 的資料工程師卻接到了 R 部署工作</em></strong><em>，那麼你非常適合閱讀此篇文章。在企業可不像數據分析競賽，開發出很強的預測模型就結束了，還要在企業內完成部署工程才算是讓專案實際落地。</em></blockquote><p><a href="https://medium.com/p/632958c7ce1b/">上一篇文章</a>，筆者分享了 R 使用者在企業面臨困境的原因，並提到專案要部署為企業的<strong>正式服務</strong>，可能包含但不限於以下條件：</p><ul><li>服務的效能、模型效度需符合需求且有監控機制</li><li>程式執行的日誌 (Log) 需留存且符合規定</li><li>在程式開發完後，需經測試環境的測試/驗證後，才可於正式環境上線</li><li>若為高度資安控管的產業/企業，開源工具 (例如 R, Python, …) 的套件 (packages) 需有控管機制，不可恣意於企業使用</li></ul><blockquote><em>本文主要會說明</em><strong><em>如何在符合上述的條件下實現 R 的部署</em></strong><em>，不會提及程式該怎麼寫，有別於技術文件去說明細節，而是</em><strong><em>彙整部署常見的問題，希望一站式地讓大家了解 R 部署可使用什麼工具實現。</em></strong></blockquote><blockquote><em>【圖一】為筆者將本文介紹到的套件/工具搭配部署流程作視覺化，希望讀者對於 R 部署工程的全貌先有概略理解，接著，本文會分為以下八個部分並依序說明：<br>一、</em><a href="#5002"><em>R 如何自動化、Error Handling？</em></a><em><br>二、</em><a href="#ec9b"><em>R 如何做到專案的環境部署與套件版本控制？</em></a><em><br>三、</em><a href="#413e"><em>R 可以開發 API？</em></a><em><br>四、</em><a href="#42ad"><em>如何提升服務效能？如何效能監控？</em></a><em><br>五、</em><a href="#3968"><em>日誌 (Log) 如何留存？</em></a><em><br>六、</em><a href="#e3b5"><em>如何與其他程式語言整合？</em></a><em><br>七、</em><a href="#6f25"><em>必學的腳本 (Script) 技能</em></a><em><br>八、</em><a href="#a3c5"><em>套件監管</em></a></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MvmR9vWLUlRw3tTNZfatpw.png" /><figcaption>【圖一】(來源：筆者自製) (註：packrat套件已不再維護，請以renv取代之)</figcaption></figure><h3>一、R 如何自動化、Error Handling？</h3><p><strong>自動化</strong></p><p>若你希望自動排程執行某支 R 程式，R有非常好用的套件可辦到：</p><ol><li>若部署環境作業系統 (OS) 為 Unix/Linux，套件 <a href="https://cran.r-project.org/web/packages/cronR/vignettes/cronR.html"><strong>cronR</strong></a> 是很好的選擇。<br>其實，cronR 可做到自動化排程，是因為它直接連動 Linux 的排程功能 (crontab)，若你想直接用 Linux 介面實現排程功能，可參考<a href="http://linux.vbird.org/linux_basic/0430cron.php">鳥哥的 crontab 教學</a>。</li><li>若部署環境的作業系統 (OS) 為 Windows，可使用套件 <a href="https://cran.r-project.org/web/packages/taskscheduleR/readme/README.html"><strong>taskscheduleR</strong></a>，或是你可使用 Windows 的工作排程去自動化你的程式 (不過，就我所知，較少企業的正式環境作業系統為 Windows)。</li></ol><p><strong>Error Handling</strong></p><p>另外，一支自動化的程式，<strong>Error Handling</strong> 是必要的元素之一，簡單來說，必須讓你的程式「即使執行時發生錯誤，也還是可以正常運行」，同時須設計「若程式發生錯誤時，該做什麼處理」。 <a href="https://stackoverflow.com/questions/12193779/how-to-write-trycatch-in-r"><strong>tryCatch()</strong></a> 即可讓 R 輕易實現這件事，一般來說，會設計若程式噴錯，則寄信通知維護人員，並於日誌 (Log) 留存錯誤訊息，以利維護人員修錯。</p><h3>二、R 如何做到專案的環境部署與套件版本控制？</h3><p>先來談什麼是環境部署以及套件版本控制：</p><ol><li>環境部署：需讓專案程式於開發環境打包後，部署到測試環境進行測試，且部署到正式環境上線 (可理解為專案程式要在第一台電腦開發後打包，放到另外兩台電腦上跑，而且套件版本、程式結果要跟在第一台電腦一樣！)</li><li>套件版控：一個專案一個環境及套件版本，彼此獨立，避免使用全域的 (global) 套件，否則若全域的套件版本更新將導致舊專案運作不穩定。</li></ol><p>所以，接下來將說明哪些工具可幫助我們實現上述工作：</p><p><strong>Docker</strong></p><p>上述兩個條件可同時用 <a href="https://www.r-bloggers.com/running-your-r-script-in-docker/"><strong>Docker </strong></a>解決，透過「一個 Docker 容器 (container) ，一個專案，將專案環境獨立，部署 Docker = 部署專案」。 Docker 已是許多企業的愛用工具，而它與 R 也能有很好的結合，網路有許多映像檔 (image) 可使用，常見的像是 <a href="https://hub.docker.com/_/r-base">r-base</a> 、<a href="https://hub.docker.com/u/rocker">rocker</a> 或透過 <a href="https://hub.docker.com/search?q=r-base&amp;type=image">dockerhub</a> 搜尋特定任務的映像檔 (建議使用下載次數較高的內容)。</p><p><strong>renv (前身為packrat)</strong></p><p>除了 Docker，R 擁有強大的套件 <a href="https://rstudio.github.io/renv/articles/renv.html"><strong>renv</strong></a> ，功能與 <a href="https://stackoverflow.com/questions/24283171/virtual-environment-in-r">Python 的 virtualenv</a> 相似，可在符合上述兩條件下做到部署工程。若企業環境不允許使用 Docker 的情況下，透過 renv 亦可「單槍匹馬」完成 R 專案的部署。<strong>renv 是以「一個專案資料夾，一個專案環境」的概念，自動偵測專案資料夾內程式所使用的套件、套件版本後，將專案資料夾內的程式訂版 (init)、重新訂版 (restore)、再將打包檔移到另一環境後進行一鍵部署 </strong>。</p><p>當然，若企業環境允許，<a href="https://rstudio.github.io/renv/articles/docker.html"><strong>Docker + renv 的結合</strong></a>能更有效率的管理專案與套件。renv官方文件也提到，renv只能幫忙做到R library的管理，但很多關於run-time(即R程式所執行的系統環境)的問題需搭配Docker才能有較好的管理。</p><p>另外，若R專案有運用套件 <a href="https://rstudio.github.io/reticulate/"><strong>reticulate</strong></a> 使用到 Python 時，renv 亦可打包 Python 的環境。</p><p><strong>config</strong></p><p>試想要讓同一支程式在三個不同環境執行，勢必<strong>程式的部分內容需隨著環境不同而改變</strong>，例如，一支程式在開發環境 (dev) 是連線資料庫 A，測試環境 (test) 是連線資料庫 B，正式環境 (prod) 是資料庫 C，我們就必須將連線資料庫的程式「參數化」，我會建議使用套件 <a href="https://cran.r-project.org/web/packages/config/vignettes/introduction.html"><strong>config</strong></a>！在各環境執行 R 程式前，指定「環境變數」— R_CONFIG_ACTIVE，讓 R 程式知道執行環境在哪以及對應的 config 內容 (以上述例子來說，就是該連線哪個資料庫)。</p><p>可能有些讀者還不了解何謂<strong>環境變數</strong>，我們將在「七、必學的腳本 (Script) 技能」說明。</p><h3>三、R 可以開發 API？</h3><p>當然可以！不過，API (Application Programming Interface) 有許多類型，在此我們討論的是 <a href="https://zh.wikipedia.org/wiki/%E8%A1%A8%E7%8E%B0%E5%B1%82%E7%8A%B6%E6%80%81%E8%BD%AC%E6%8D%A2">REST API</a>。</p><p>R 有許多套件可開發 API，筆者最推薦的是套件 <a href="https://www.rplumber.io/docs/"><strong>plumber</strong>，它擁有非常友善的教學文件</a>，簡單好上手，故不在此花篇幅說明，另在此提供較進階的<a href="https://qunis.de/how-to-make-a-dockerized-plumber-api-secure-with-ssl-and-basic-authentication/">透過 Docker + Nginx 實現具認證機制 API 範例</a>。</p><p>不過，有些服務需要高效能的 API 時，礙於 R 本身是單執行緒 (single-thread) 程式語言，需搭配其他套件或工具才能提升服務效能，這會在下一小節說明。</p><h3>四、如何提升服務效能？如何效能監控？</h3><p><strong>提升服務效能</strong></p><ol><li><strong>「套件/函數要用的好」</strong>，例如，R有處理資料效率極高的 data.table 套件，<a href="https://github.com/Rdatatable/data.table/wiki/Benchmarks-%3A-Grouping">效率高於傳統的 data.frame 或 Python 的 pandas</a>；又或是盡量<a href="https://towardsdatascience.com/dealing-with-apply-functions-in-r-ea99d3f49a71">用 apply family 的類平行運算函數取代迴圈 (loop)</a>，此部分筆者認為算是「基本功」，就不著墨太多了。</li><li><strong>「程式要設計的好」</strong>，簡單來說是「將工作化繁為簡」，在此我舉兩個例子：<br>(1) 試想有一支機器學習預測功能的 API ，需讀進模型檔才可進行模型預測，假設模型檔不會更新 (或不常更新)，那你就可以設計「啟動 API 時就讀進模型檔」，毋須「每筆 request 都讀一次模型檔」；<br>(2) 若已知此服務會常有重複的輸入 (input)，則可使用套件 <a href="https://xiaolianglin.com/2018/12/05/Use-memoise-to-speed-up-your-R-plumber-API/"><strong>memoise</strong> 實現 caching 的概念</a>，加快服務回應的速度。例如，我們開發「加法 API 服務」，而我們也知道特定的輸入 (inupt) 將來會有大量的需求 (假設是1+1) ，透過<strong>套件 memoise 可將第一次 1+1 的運算結果存於 cache，當第二次的 1+1 需求進來時，則可快取存於 cache 的結果作回應</strong>。</li><li><strong>「設計多程序服務架構 」</strong> (multi-process)，在此之前，<a href="https://medium.com/@totoroLiu/program-process-thread-%E5%B7%AE%E7%95%B0-4a360c7345e5">讀者可以先理解程序 (process) 與執行緒 (thread) 的差異</a>，雖然 R 本身是單執行緒 (single-thread) 的程式語言，但我們可透過其他工具實現多程序的服務架構 (multi-process) ，以提升 R 服務的效能。<br>白話來說，原本 R 只有一個工廠 (process) 內的一個工人 (thread) 在做事情，當有大量客戶需求時，客戶就必須排隊，這個工人僅能依序地「一次處理一個需求」；而多程序則是讓多個工廠 (各工廠各有1個工人) 同時服務客戶，服務效能將可大幅提升。<br>筆者彙整了三種方法實現多程序服務架構，供大家參考：<br>(1) Docker + Nginx ，概念是讓 Nginx 的 port 接收服務需求後分配給多個 Docker 的 R API 作運算，<a href="https://www.rplumber.io/docs/hosting.html#docker-advanced">plumber 官方文件</a>即有此方法的教學；另外，如果對於<a href="https://qing-yao.blogspot.com/2016/08/writeByMind-2.html?source=post_page-----94a40721b492----------------------">多程序架構會占用太多資源</a>而有疑慮，文件中亦提供 <a href="https://www.rplumber.io/docs/hosting.html#load-balancing">Load Balancing</a> 的方法，動態調整啟用的 Docker container 以達到調整占用資源的效果。<br>(2) Rserve 套件，此工具將在第六章節說明；<br>(3) <a href="https://restrserve.org/">RestRserve</a> 套件，筆者未實際使用過，不過根據其文件所述，它可讓 R 實現高效能 API (high performance REST API)，且設計成平行處理的架構，有興趣的讀者不妨測試看看。(感謝讀者<strong>實習數據工程師</strong>提醒，RestRserve已於202006發布到CRAN)</li></ol><p><strong>效能監控</strong></p><p>只要在程式內加入幾項元素即可：</p><ol><li>紀錄執行所花費的時間，<a href="https://www.r-bloggers.com/5-ways-to-measure-running-time-of-r-code/">在此</a>提供 R 可紀錄執行時間的方法，若為 plumber 架設的 API，亦可利用<a href="https://rviews.rstudio.com/2019/08/13/plumber-logging/"> registerHooks()</a> 紀錄每筆 request 的回應時間；</li><li>定義何謂「效能異常」，在程式內設計「若執行效能異常則寄信通知維運人員」；</li><li>當然，上述的執行時間亦可留存於程式日誌 (Log) 中，再用另一支自動化程式監控日誌的數據即可，而日誌留存的方法會在下一小節說明。</li></ol><h3>五、日誌 (Log) 如何留存？</h3><p>套件 <a href="https://cran.r-project.org/web/packages/logger/vignettes/Intro.html"><strong>logger</strong></a><strong> </strong>是筆者認為在眾多日誌留存套件中功能最完整、簡易的。</p><ol><li>首先，你要先對於 Log 等級 (Levels) 有所認識。簡單來說，程式執行印出的訊息會分重要性等級，例如，程式噴錯時印出的錯誤訊息就會比程式正常執行時印出的訊息還重要。而訊息重要性的順序從高到低為 <strong>FATAL &gt; ERROR &gt; WARN &gt; SUCCESS &gt; INFO &gt; DEBUG &gt; TRACE</strong>。<a href="https://daroczig.github.io/logger/articles/customize_logger.html">以套件 <strong>logger</strong> 文件為例</a>，我們可透過 log_threshold() 定義日誌記錄的等級，假設 log_threshold(INFO)定義了日誌等級為 INFO ，則重要性低於 INFO 的訊息 (DEBUG、TRACE) 將不被印出來，「大於等於」INFO 等級的訊息才會輸出到日誌。</li><li>log_formatter()可定義日誌留存的內容。</li><li>log_layout()可定義日誌留存的格式。</li><li>log_appender()可定義日誌留存的目的地檔名，此處筆者補充一項技巧，只要將留存檔名「參數化」，即可動態調整每筆日誌留存的目的地。例如，若你想<strong>按月留存日誌檔案</strong>，201910 的日誌想留存在檔名為 &quot;project_log_201910.log&quot; 的檔案，201911的日誌想存在 &quot;project_log_201911.log&quot; 的檔案…依此類推，那麼只要將log_appender()內的檔名參數化 &quot;project_log_&quot; + &quot;系統時間的 yyyymm&quot; + &quot;.log&quot; 即可實現。</li></ol><h3>六、如何與其他程式語言整合？</h3><p>除了透過「三、R 可以開發 API？」章節所提到的 plumber 轉 API，R 還可透過其他工具將 R 開發的服務與其他語言界接，在此筆者提供兩項工具如下：</p><p><a href="https://www.rforge.net/Rserve/"><strong>Rserve</strong></a></p><ul><li>讀者可看<a href="http://www.studytrails.com/r/rserve/rserve-introduction-installation/">此篇</a>提到 Rserve 的特色， Rserve 可基於 TCP/IP 協定作為 R 與其他語言的通信管道， 並且可把 R 的物件 (object) 轉為二進位的物件 (binary object) 供用戶端 (client) 使用，用戶端可利用其他語言 (C/C++、Java、PHP、Ruby、Python、Node.js 等) 呼叫 R 的服務。在<a href="http://www.rforge.net/Rserve/example.html">此篇</a>示範了如何利用 Java 呼叫 Rserve。</li><li>還記得在「四、如何提升服務效能？如何效能監控？」小節內，提過如何實現多程序架構 (multi-process) 的服務嗎？然而，除了多程序架構可提升服務效能之外，<a href="http://www.studytrails.com/r/rserve/r-java-multi-thread-using-rserve-unix/">此篇</a>範例示範了如何利用 Java + Rserve 實現多執行緒服務 (multi-threads)，筆者無實際使用過，有興趣的讀者可以嘗試。</li></ul><p><strong>Predictive Model Markup Language (</strong><a href="https://en.wikipedia.org/wiki/Predictive_Model_Markup_Language"><strong>PMML</strong></a><strong>)</strong></p><p>此工具是針對「機器學習模型」所提供的部署工具，PMML 是以 XML 格式為基礎的語言，被大量軟體所支援，所以我們可以把 R 模型轉為 PMML 後，即可讓支援 XML 的軟體取用，而我們可利用套件 <a href="https://cran.r-project.org/web/packages/pmml/index.html"><strong>pmml</strong></a>、 <a href="https://cran.r-project.org/web/packages/r2pmml/index.html"><strong>r2pmml</strong></a><strong> </strong>把 R 開發完的模型輸出為 PMML 檔，可參考<a href="https://www.slideshare.net/VilluRuusmann/converting-r-to-pmml-82182483">此連結 Slide</a>，示範了 R 模型轉為 PMML 後的內容。</p><p>不過， r2pmml 作者在 <a href="https://github.com/jpmml/r2pmml">GitHub</a> 自己說，它的出現是為了替代傳統的 pmml 套件，因為它將模型轉為 PMML 檔的效率較佳，而且它支援了多個受歡迎但 pmml 卻不支援的演算法 (例如gbm, iForest, ranger, xgb.Booster)。有趣的是， pmml 也不干示弱，現在提供了被 r2pmml 點名的演算法。事實上，套件 pmml 支援的演算法類型還是比較多，所以，建議大家可以將他們「互補」使用。</p><h3>七、必學的腳本 (Script) 技能</h3><p>想實現 R 部署工程，勢必無法逃避黑黑畫面 (Terminal Console) ，因為你一定會需要在不同環境請電腦執行你的 R 程式檔。除了執行 R 程式檔之外，也會需要定義「環境變數」。以下推薦筆者學習時參考的文件：</p><ol><li><a href="http://linux.vbird.org/linux_basic/0320bash.php">鳥哥第十章</a>，主要在說明何謂 BASH，就是教你如何用黑黑畫面工作啦！</li><li><a href="http://linux.vbird.org/linux_basic/0340bashshell-scripts.php">鳥哥第十二章</a>，主要在說明如何將 BASH 寫成腳本，簡單來說，部署時不會讓你在黑黑畫面一行一行輸入指令，你應該會像 R 程式一樣，把多行程式打包成一個程式檔，稱為腳本 (Script)，只要執行腳本檔就可以請電腦幫你作一連串的工作，當然，你也可以視需求將此腳本作自動化排程以實現 R 服務的部署。</li><li>其中，<a href="http://linux.vbird.org/linux_basic/0320bash.php#variable">環境變數在鳥哥第八章的小節裡有特別說明</a>，本文第二節提到 config 中有運用環境變數 R_CONFIG_ACTIVE ，讀者們先透過鳥哥的文件學習何謂環境變數，就可以理解如何運用在套件 config 了！</li></ol><h3>八、套件監管</h3><p>筆者將此議題放在最後，因並非所有企業會限制開源套件的使用，但若是高度資安控管的產業/企業，開源工具 (例如 R, Python, …) 套件就會需有控管機制，不可恣意於企業使用。</p><p>在此推薦 <a href="https://www.sonatype.com/product-nexus-repository">Nexus Repository</a>，它是利用 <a href="https://zh.wikipedia.org/wiki/%E4%BB%A3%E7%90%86%E6%9C%8D%E5%8A%A1%E5%99%A8">Proxy</a> 的概念，讓企業端透過它與開源套件庫作連線，以 R 套件安裝為例：</p><ol><li>企業端想安裝 R 套件 plumber_1.0 時，企業端的 R 會先到 Nexus Repository 上找有無此套件。</li><li>若有，企業端的 R 會直接由 Nexus Repository 下載套件後安裝於企業內；若無，Nexus Repository 會到 <a href="https://cran.r-project.org/">CRAN</a> (R的開源套件庫) 下載 plumber_1.0 並存於自己的肚子裡，再提供給企業端的 R 下載套件。</li><li>若未來企業端另一位使用者想安裝 plumber_1.0，則可直接下載已存放於 Nexus Repository 的套件檔，毋須再連到 CRAN。</li><li>若為高度資安監管的產業/企業，則須對於 Nexus Repository 內的套件檔高度監管才可讓企業端使用。</li></ol><p>雖筆者未實際操作的經驗 (幸運地有高手工程師協助)，但確實聽過業界有使用它來管理 R 套件，而 Nexus Repository 官方網站目前尚無提供 R 的套件管理元件，不過有<a href="https://github.com/sonatype-nexus-community/nexus-repository-r">好心人把 R 的元件開發出來了</a>！有需要的讀者不妨嘗試看看。</p><h3>結語</h3><p>為了提供讀者較完整的解決方案，而非單一的技術說明文件，所以此篇彙整了許多資訊，多為筆者在學習 R 部署工程時踩過的雷、卡過的關。</p><p>然而，工具日新月異，筆者在部署工程的經驗也不算豐富，可能存在更好的套件/工具但筆者不知道，若讀者有更好的建議歡迎直接留言，讓大家都受惠吧！</p><p>下一篇，我會延續第一篇和此篇的內容，給 <strong>R 使用者、不懂 R 的資料工程師卻接到了 R 部署工作，以及企業</strong>一些建議，讓我們進入下一篇吧！</p><ul><li>第三篇 (下一篇)：<br><a href="https://medium.com/p/25ae054e4884/">R 語言資料科學家/分析師在企業面臨的困境 (3) — 建議</a></li><li>第一篇(上一篇)：<br><a href="https://medium.com/p/632958c7ce1b">R 語言資料科學家/分析師在企業面臨的困境 (1) — 前言 &amp; 原因</a></li></ul><p>(若內容有誤請大家不吝指正！讓大家接收到正確資訊最重要！)</p><p>(喜歡我的文章來點掌聲吧！歡迎分享文章連結，轉貼內文請載明出處)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c0e7b2247465" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[R 語言資料科學家/分析師在企業面臨的困境 (1) — 前言 & 原因]]></title>
            <link>https://medium.com/@lulua356355/r-%E8%AA%9E%E8%A8%80%E8%B3%87%E6%96%99%E7%A7%91%E5%AD%B8%E5%AE%B6-%E5%88%86%E6%9E%90%E5%B8%AB%E5%9C%A8%E4%BC%81%E6%A5%AD%E9%9D%A2%E8%87%A8%E7%9A%84%E5%9B%B0%E5%A2%83-1-%E5%89%8D%E8%A8%80-%E5%8E%9F%E5%9B%A0-632958c7ce1b?source=rss-cb67da149580------2</link>
            <guid isPermaLink="false">https://medium.com/p/632958c7ce1b</guid>
            <category><![CDATA[engineering]]></category>
            <category><![CDATA[資料科學]]></category>
            <category><![CDATA[deployment]]></category>
            <category><![CDATA[資料工程]]></category>
            <category><![CDATA[r]]></category>
            <dc:creator><![CDATA[Wei-Lun Jian (Lue)]]></dc:creator>
            <pubDate>Sat, 19 Oct 2019 06:09:58 GMT</pubDate>
            <atom:updated>2019-11-06T00:33:16.915Z</atom:updated>
            <content:encoded><![CDATA[<h3>R 語言資料科學家/分析師在企業面臨的困境 (1) — 前言 &amp; 原因</h3><h3>一、前言</h3><p>近幾年，R 語言一直是資料分析領域頗受歡迎的語言，企業的數據團隊應該有不少比例的資料科學家/分析師學過 R，或是以 R 為主要的分析工具。</p><blockquote><em>企業中，數據團隊的日常工作除了基礎維運工程、資料 ETL 之外，常見的專案工作不外乎透過程式進行資料處理、視覺化，或是開發出可預測複雜問題的機器學習模型。</em><strong><em>但是，必須讓程式於正式環境自動化執行 (例如自動每天產出分析結果)，或搭建為即時服務 (例如 API)，才算讓專案實際落地。</em></strong></blockquote><blockquote><em>然而，即使在一個專業多樣性高的數據團隊，</em><strong><em>資料科學家/分析師仍常面臨的困境是，以 R 開發專案後</em></strong><em>，</em><strong><em>團隊中鮮少有能力及經驗將它部署 (deploy) 為企業的「正式服務」。即使團隊中有部署工程的人才，依然沒人會 (或沒人願意) 部署 R 的服務。</em></strong></blockquote><p>筆者在企業接過的專案多以 R 開發居多，但團隊無部署 R 專案的經驗，深受上述困境所苦。不過，為了讓服務上線，不得不逼自己學習 R 的部署工程、處處請教工程師高手們部署的眉角。尤其是在高度資安控管的產業/企業，要把 R 開發的專案實際落地確實困難重重。</p><p>再者，<strong>筆者在部署 R 服務時發現，網路上尚未有彙整性的文章，各種部署工程可能用到的工具/技術散落在四處，要花費了不少苦心才能蒐集完成。</strong>所以，我希望藉由此系列文章分享經驗，並提供大家彙整後的解決方法，也許不是最理想的方法，但希望讀者在 R 的部署 (Deployment) 少踩一點雷。</p><p>若你是<strong> R 使用者、不懂 R 的資料工程師卻接到了 R 部署工作、數據團隊的管理者，</strong>此系列文章非常適合你閱讀。</p><p><strong>此系列文章共分三篇：</strong></p><ul><li><strong>第一篇（此篇）會分析困境背後的原因</strong></li><li><a href="https://medium.com/p/c0e7b2247465/"><strong>第二篇會提供 R 部署的方法/技術</strong></a></li><li><a href="https://medium.com/p/25ae054e4884/"><strong>第三篇會分別以R 使用者/ 不懂 R 的資料工程師卻接到 R 部署工作/ 企業等面向提供建議</strong></a></li></ul><h3>二、原因</h3><p>首先，需說明專案要部署為企業的<strong>正式服務</strong>，可能包含但不限於以下條件：</p><ul><li>服務的效能、模型效度需符合需求且有監控機制</li><li>程式執行的日誌 (Log) 需留存且符合規定</li><li>在程式開發完後，需經測試環境的測試/驗證後，才可於正式環境上線</li><li>若為高度資安控管的產業/企業，開源工具 (例如 R, Python, …) 的套件 (packages) 需有控管機制，不可恣意於企業使用</li></ul><p>其實，上述條件 R 語言皆有相對應且開源的工具或套件可於企業內實現部署工作，這將會在下一篇文章說明，此篇還是著重在說明 R 使用者面臨困境的原因，所以讓我們回歸正題，我歸納了三個原因，分別說明如下。</p><h3>原因一：專業背景</h3><p>依筆者觀察，數據團隊中的 R 使用者多半是來自統計、數學以及社會科學等相關背景人才，大多以 R 作為分析工具，過去著重在資料清理、演算法理論、開發機器/深度學習模型等專業訓練，甚至打過不少數據競賽 (例如Kaggle)，礙於無受過資工、電腦科學相關的訓練，自然是缺乏工程面的知識，甚至看到黑黑畫面 (Terminal console) 就投降。</p><p>相對來說，企業中工程專業的人卻少有對 R 熟悉者，甚至認為 R 只能用來做資料分析，適合在學術界研究使用，較不適合在企業部署服務。</p><blockquote><strong><em>簡單來說，「懂 R 的人不懂工程，懂工程的人不懂 R」</em></strong><em>。</em></blockquote><h3>原因二：專業分工</h3><p><strong>以預測模型的開發專案為例</strong>，先撇開基礎工程、ETL 等資料工程不說 (假設資料已就定位)，大致可分為以下工作：</p><ol><li>問題釐清：多由團隊中的商業分析師負責與企業的需求單位洽談(此模型案的業務出口)，<strong>釐清需求、定義問題後，回頭與團隊中的資料科學家、資料工程師確認解決方法以及部署工程的可行性</strong></li><li>資料清理、特徵工程、模型訓練：多由資料科學家負責，嘗試不同的演算法，選擇最佳模型</li><li>效益試算：資料科學家或商業分析師會針對最佳模型試算模型效益，假設模型應用於企業後，公司的收益提升多少、業務效率被優化多少，藉此讓需求單位或老闆買單</li><li>部署工程：此時，業務情境、最佳模型都確定了，<strong>資料工程師需依照企業規定並符合前文的「正式服務」條件，將模型部署為正式服務</strong>。</li></ol><p><strong>問題來了，如果不是「懂 R 的工程師」或「懂工程的 R 使用者」，關於 R 部署的工作其實是相當困難的，以下為筆者聽過的實際案例：</strong></p><p><strong>工程師會問 ：</strong></p><p><em>“ R有類似 Python Virtualenv 的功能嗎？ R 的服務可以包成 Docker 嗎？ R可以刻 API 嗎？”</em></p><p><em>“我不會 R 耶，我知道 Python 可以做到，R 可能有類似的功能，再麻煩懂 R 的人研究一下吧 ”</em></p><p><strong>R 分析者會說：</strong></p><p><em>“工程方面我比較不懂，可以麻煩資料工程師協助評估嗎？ ”</em></p><p><em>“心想：(工程不是我想發展的專業，我只想專攻分析和演算法就好，工程的事情還是讓工程師來吧…) ”</em></p><p>再者，規模較大的數據團隊，甚至會再切分為商業分析、資料科學、資料工程等團隊，專業分工之外，更多了<strong>「權責區分」</strong>的問題，<strong>當「部署」成為工程團隊的職責時，甚至會被工程團隊立下規範以利管理</strong>，以下亦為聽過的實際案例：</p><p><strong>工程團隊會說：</strong></p><p><em>“若要我們負責部署，請別用 R，那樣我們很難控制品質 ”</em></p><p><em>“我們有開發 Python 的部署架構，希望大家能遵循工程團隊的規範，改用 Python 開發 ”</em></p><p><em>若無法避免接到分析團隊的 R 程式… “ 心想：(天啊！分析團隊的程式毫無架構，專案沒有套件版本控管機制、沒寫 config、日誌也沒留… ) ”</em></p><p><strong>分析團隊會說：</strong></p><p><em>“分析團隊該負責 R 的部署嗎？但分析團隊職責是分析和建模，希望部署還是儘量遵循組織分工，讓專業的工程團隊負責吧 ”</em></p><p><em>(所以才會聽過工程師抱怨：“分析師常覺得做完分析之後就沒他們的事了...”)</em></p><blockquote><strong><em>然而，資料科學家/分析師永遠需要資料工程師，或者他自己就是那位資料工程師。在工程師不懂 R 的情況下，必須透過工程師與 R 使用者協作，或 R 使用者自己當那位資料工程師，才能順利完成部署</em></strong><em>。</em></blockquote><p>(當然，市面上有企業級方案包含 R 的部署服務，缺點就是需外包，價格通常也不便宜，在此我們不列入討論)</p><h3>原因三：誤會了！R 不是通用程式語言(General-purpose programming language)</h3><p>R 不是為了設計成通用程式語言 (例如 C、C++、Python、...等)，而是著重在資料處理、資料分析、視覺化、統計/機器學習/深度學習模型等功能，擁有上萬個套件幫助資料科學家/分析師實現多種工作，當然也有套件或其他工具能實現部署工程。</p><p>不過，<strong>還是很多人習慣拿 R 跟通用程式語言比較，並希望資料科學家/分析師改用其他語言開發專案，我想說：「不能這樣比！」</strong>打個比方，「剪刀」可用來剪大部分的東西，但很多人有剪指甲的需求，所以「指甲剪」被發明了且很受歡迎，它用來剪指甲特別有效率、好上手，你當然還是可以用剪刀來剪指甲，如此只需學習一種多用途的工具就好，但不會拿剪刀來跟指甲剪比較，還說「指甲剪只能用來剪指甲，剪其他東西很難用。」(好像在繞口令)</p><p><strong>所以實務上聽過工程師這麼說：</strong></p><p><em>“別寫 R 了啦，R 可以做的事情不多 ”</em></p><p><em>“ R 不適合用來開發服務，別用 R開發吧！ ”</em></p><p>當然，若要架設網站或功能豐富的服務系統時，不會選擇用 R 開發；但要在網站或系統內提供資料視覺化或機器學習模型的預測功能時，則非常適合在網站內放入 R 的服務。</p><h3>結語</h3><blockquote><strong><em>最後，筆者想再次強調，其實 R 有非常多套件/工具可實現部署工程，跟其他語言也可以整合，所以別再誤會 R 了！下一篇文章會是偏向技術的分享，第三篇文章則會針對上述的困境給予建議。想了解實現部署的套件/工具？讓我們看下一篇吧！</em></strong></blockquote><ul><li>第二篇 (下一篇)：<br><a href="https://medium.com/p/c0e7b2247465/">R 語言資料科學家/分析師在企業面臨的困境 (2) — 部署 (deploy) 的方法/技術</a></li><li>第三篇：<br><a href="https://medium.com/p/25ae054e4884/">R 語言資料科學家/分析師在企業面臨的困境 (3) — 建議</a></li></ul><p>(喜歡我的文章來點掌聲吧！歡迎分享文章連結，轉貼內文請載明出處)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=632958c7ce1b" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>