<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by 宋育泰 on Medium]]></title>
        <description><![CDATA[Stories by 宋育泰 on Medium]]></description>
        <link>https://medium.com/@u0401006?source=rss-ff6425ea3c0------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*85HoqB4uZn3PQtzJ.</url>
            <title>Stories by 宋育泰 on Medium</title>
            <link>https://medium.com/@u0401006?source=rss-ff6425ea3c0------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 05:51:46 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@u0401006/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[PyQuery與BeautifulSoup使用案例]]></title>
            <description><![CDATA[<div class="medium-feed-item"><p class="medium-feed-image"><a href="https://u0401006.medium.com/pyquery%E8%88%87beautifulsoup%E4%BD%BF%E7%94%A8%E6%A1%88%E4%BE%8B-c9601bfb83f6?source=rss-ff6425ea3c0------2"><img src="https://cdn-images-1.medium.com/max/2114/1*znpKJBXXTcE8q7p4cx3_JA.png" width="2114"></a></p><p class="medium-feed-snippet">&#x65B0;&#x540C;&#x4E8B;H&#x60F3;&#x8981;&#x6293;&#x7DB2;&#x9801;&#x4E0A;&#x7684;&#x8CC7;&#x6599;&#xFF0C;&#x4F46;&#x662F;&#x5979;&#x4E0D;&#x6703;&#x5BEB;&#x722C;&#x87F2;&#xFF0C;&#x60F3;&#x4E86;&#x4E00;&#x4E0B;&#x597D;&#x50CF;&#x770B;&#x904E;&#x6709;&#x4EBA;&#x4F7F;&#x7528;Pyquery&#xFF0C;&#x652F;&#x63F4;jQuery&#x8A9E;&#x6CD5;&#xFF0C;&#x770B;&#x8D77;&#x4F86;&#x76F8;&#x5C0D;&#x55AE;&#x7D14;&#xFF0C;&#x6703;&#x4E0D;&#x6703;&#x6BD4;&#x8F03;&#x5BB9;&#x6613;&#x8B93;&#x65B0;&#x624B;&#x5165;&#x9580;&#x5462;&#xFF1F;&#xFF08;&#x958B;&#x59CB;&#x81EA;&#x8A00;&#x81EA;&#x8A9E;&#xFF09;</p><p class="medium-feed-link"><a href="https://u0401006.medium.com/pyquery%E8%88%87beautifulsoup%E4%BD%BF%E7%94%A8%E6%A1%88%E4%BE%8B-c9601bfb83f6?source=rss-ff6425ea3c0------2">Continue reading on Medium »</a></p></div>]]></description>
            <link>https://u0401006.medium.com/pyquery%E8%88%87beautifulsoup%E4%BD%BF%E7%94%A8%E6%A1%88%E4%BE%8B-c9601bfb83f6?source=rss-ff6425ea3c0------2</link>
            <guid isPermaLink="false">https://medium.com/p/c9601bfb83f6</guid>
            <category><![CDATA[pyquery]]></category>
            <category><![CDATA[beautifulsoup]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[宋育泰]]></dc:creator>
            <pubDate>Wed, 28 Apr 2021 15:08:28 GMT</pubDate>
            <atom:updated>2021-04-29T01:01:07.750Z</atom:updated>
        </item>
        <item>
            <title><![CDATA[Vlookup() 與 Index(Match(),Match()) 孰好？其實我覺得是另一個 — Spreadsheet公式分享]]></title>
            <description><![CDATA[<div class="medium-feed-item"><p class="medium-feed-image"><a href="https://u0401006.medium.com/vlookup-%E8%88%87-index-match-match-%E5%AD%B0%E5%A5%BD-%E5%85%B6%E5%AF%A6%E6%88%91%E8%A6%BA%E5%BE%97%E6%98%AF%E5%8F%A6%E4%B8%80%E5%80%8B-spreadsheet%E5%85%AC%E5%BC%8F%E5%88%86%E4%BA%AB-ddb7dedf7733?source=rss-ff6425ea3c0------2"><img src="https://cdn-images-1.medium.com/max/640/0*_rvguIPQCxzwbWYV.png" width="640"></a></p><p class="medium-feed-snippet">&#x524D;&#x5E7E;&#x5929;&#x56E0;&#x70BA;&#x88AB;Udemy&#x4E00;&#x9580;Spreadsheet&#x7684;&#x8AB2;&#x7279;&#x50F9;300&#x53F0;&#x5E63;&#x71D2;&#x5230;&#xFF0C;&#x5C31;&#x52A0;&#x5165;&#x8AB2;&#x7A0B;&#x4E86;&#xFF08;&#x96D6;&#x7136;&#x5DF2;&#x77E5;&#x5927;&#x90E8;&#x5206;&#x53EF;&#x80FD;&#x6703;&#x4E86;&#xFF09;&#xFF0C;&#x4E00;&#x65B9;&#x9762;&#x662F;&#x6700;&#x8FD1;&#x592A;&#x5C11;&#x4F7F;&#x7528;Spreadsheet&#x6709;&#x4E00;&#x9EDE;&#x751F;&#x758F;&#xFF0C;&#x6709;&#x6642;&#x5019;&#x60F3;&#x65B9;&#x6CD5;&#x90FD;&#x6703;&#x9813;&#x4F4F;&#xFF08;&#x4E0D;&#x662F;&#x60F3;&#x5F88;&#x4E45;&#xFF0C;&#x800C;&#x662F;&#x8166;&#x888B;&#x4E00;&#x7247;&#x7A7A;&#x767D;&#x7684;&#x90A3;&#x7A2E;&#xFF09;&#x60F3;&#x8981;&#x6709;&#x9EDE;&#x65B0;&#x7684;&#x523A;&#x6FC0;&#xFF1B;&#x4E00;&#x65B9;&#x9762;&#x662F;Spreadsheet&#x7684;&#x5DE5;&#x4F5C;&#x574A;&#x2026;</p><p class="medium-feed-link"><a href="https://u0401006.medium.com/vlookup-%E8%88%87-index-match-match-%E5%AD%B0%E5%A5%BD-%E5%85%B6%E5%AF%A6%E6%88%91%E8%A6%BA%E5%BE%97%E6%98%AF%E5%8F%A6%E4%B8%80%E5%80%8B-spreadsheet%E5%85%AC%E5%BC%8F%E5%88%86%E4%BA%AB-ddb7dedf7733?source=rss-ff6425ea3c0------2">Continue reading on Medium »</a></p></div>]]></description>
            <link>https://u0401006.medium.com/vlookup-%E8%88%87-index-match-match-%E5%AD%B0%E5%A5%BD-%E5%85%B6%E5%AF%A6%E6%88%91%E8%A6%BA%E5%BE%97%E6%98%AF%E5%8F%A6%E4%B8%80%E5%80%8B-spreadsheet%E5%85%AC%E5%BC%8F%E5%88%86%E4%BA%AB-ddb7dedf7733?source=rss-ff6425ea3c0------2</link>
            <guid isPermaLink="false">https://medium.com/p/ddb7dedf7733</guid>
            <dc:creator><![CDATA[宋育泰]]></dc:creator>
            <pubDate>Wed, 21 Oct 2020 14:02:53 GMT</pubDate>
            <atom:updated>2020-10-22T06:24:46.451Z</atom:updated>
        </item>
        <item>
            <title><![CDATA[2020總統大選資料整理- python pandas與google app script]]></title>
            <link>https://u0401006.medium.com/2020%E7%B8%BD%E7%B5%B1%E5%A4%A7%E9%81%B8%E8%B3%87%E6%96%99%E6%95%B4%E7%90%86-python-pandas%E8%88%87google-app-script-b50e2a684f34?source=rss-ff6425ea3c0------2</link>
            <guid isPermaLink="false">https://medium.com/p/b50e2a684f34</guid>
            <dc:creator><![CDATA[宋育泰]]></dc:creator>
            <pubDate>Thu, 16 Jan 2020 04:42:06 GMT</pubDate>
            <atom:updated>2020-01-16T05:05:44.479Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/898/1*ub789dmOlXn-XYU95UZ1rA.png" /><figcaption>這次總統大選以即時開票為主軸的開票圖表</figcaption></figure><p>這次大選資料整理，個人做得比較不激情（跟其他家相比應該是太不認真&amp;深入），但還是記錄一筆資料整理的方式。實際成品：</p><p><a href="https://www.cna.com.tw/project/embed/votePresident.html">總統大選即時開票｜中央社媒體實驗室</a></p><p>真的！不搶快、沒灌票，這次嘗試的是：<br>1. 接到中選會的資料<br>2. 比對選區資料、參選人號次資料<br>3. 產出圖表需要的json<br>4. 丟上雲端供前端工程師吃吃</p><h3>操作與程式流程</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/963/1*XjMRlWxKtxH1B8zHLEBSQQ.png" /></figure><p>這一次大部分的程式都在python裡，考量是因為中選會三分鐘會更新一次資料，如果跟<a href="https://medium.com/@u0401006/2018%E4%B9%9D%E5%90%88%E4%B8%80%E9%96%8B%E7%A5%A8%E5%9C%96%E8%A1%A8%E5%AE%8C%E6%88%90-spreadsheet-app-script%E7%9A%84%E9%83%A8%E5%88%86-405217663be6?source=your_stories_page---------------------------">九合一選舉一樣大多用Spreadsheet當作編輯的中間層的話</a>，怕更新速度不夠快（python寫資料進Spreadsheet的API速度很慢），所以這次比對資料不是用Spreadsheet公式，用python pandas處理對表與篩選。</p><h3>中選會資料</h3><p>要即時資料要跟中選會申請，過了會得到一個程式跟帳密，打開以後每三分鐘就會存一個json到本機。</p><h3>json資料處理</h3><p>json到手以後，是要對什麼呢？舉雙帥對決的中山北松山為例，中選會的資料裡這區參選人得票記在這個list裡，沒有人名、沒有黨籍：</p><pre>[{&#39;candNo&#39;: 1, &#39;tks&#39;: 5730, &#39;candVictor&#39;: &#39; &#39;, &#39;tksRate&#39;: 2.6133}, {&#39;candNo&#39;: 2, &#39;tks&#39;: 99539, &#39;candVictor&#39;: &#39; &#39;, &#39;tksRate&#39;: 45.3973}, {&#39;candNo&#39;: 3, &#39;tks&#39;: 1209, &#39;candVictor&#39;: &#39; &#39;, &#39;tksRate&#39;: 0.5514}, {&#39;candNo&#39;: 4, &#39;tks&#39;: 112784, &#39;candVictor&#39;: &#39;*&#39;, &#39;tksRate&#39;: 51.438}]</pre><p>人名、黨籍在資訊呈現上是必須要素，而依設計要在地圖呈現顏色也需要判斷給色，所以我做出這樣的資料：</p><pre>[{&#39;candNo&#39;: 4, &#39;candVictor&#39;: &#39;*&#39;, &#39;color&#39;: &#39;#9FB7D6&#39;, &#39;color_end&#39;: &#39;#2A60A5&#39;, &#39;name&#39;: &#39;蔣萬安&#39;, &#39;party&#39;: &#39;中國國民黨&#39;, &#39;tks&#39;: 112784, &#39;tksRate&#39;: 51.438},<br>{&#39;candNo&#39;: 2, &#39;candVictor&#39;: &#39; &#39;, &#39;color&#39;: &#39;#8CD8D2&#39;, &#39;color_end&#39;: &#39;#00A89C&#39;, &#39;name&#39;: &#39;吳怡農&#39;, &#39;party&#39;: &#39;民主進步黨&#39;, &#39;tks&#39;: 99539, &#39;tksRate&#39;: 45.3973},<br>{&#39;candNo&#39;: 1, &#39;candVictor&#39;: &#39; &#39;, &#39;color&#39;: &#39;#9DE6E6&#39;, &#39;color_end&#39;: &#39;#26C9C8&#39;, &#39;name&#39;: &#39;何景榮&#39;, &#39;party&#39;: &#39;台灣民眾黨&#39;, &#39;tks&#39;: 5730, &#39;tksRate&#39;: 2.6133},<br>{&#39;candNo&#39;: 3, &#39;candVictor&#39;: &#39; &#39;, &#39;color&#39;: &#39;#C2C3C5&#39;, &#39;color_end&#39;: &#39;#777A7F&#39;, &#39;name&#39;: &#39;田方宇&#39;, &#39;party&#39;: &#39;安定力量&#39;, &#39;tks&#39;: 1209, &#39;tksRate&#39;: 0.5514}]</pre><p>每位參選人都加上了姓名、黨籍、開票中的色碼、勝選後的色碼，還以得票數高排序。單一選區的資料是這樣（還有選區名稱、svg id、開票進度、勝選者、對應色碼、參選人數等）：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IWPNl-lb13rkQEpC9v8Evw.png" /></figure><p>把資料對上去的過程大致是：以prvCityArea當成key值，合併預備好的選區地理資料、參選人基本資料、自行宣布當選資料：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/966/1*_bjzpc6B9W9NViZZPSqCrw.png" /></figure><p><em>（很直覺地就用了pandas來處理這些事情，沒有想過用、也沒有試過其他dict的處理法，感覺要走很多迴圈？）</em></p><p>前端工程師再把資料塞進地圖與表格裡，這幾筆資料大概是這個地圖位置：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/989/1*tHoAW0siWNDSziHIA9B6XA.png" /></figure><p>這次一共有總統票比例、總統票版圖、區域立委票、區域立委版圖、區域立委席次、政黨票、當選名單要出json，處理模式都差不多。</p><h3>少少地用到Spreadsheet的部分</h3><p>上圖圖面上有個當選戳記，而中選會資料裡有個candVictor，我製作的表格裡有個winner，關係是？winner是由編輯標記的資料。</p><p>原因在於中選會報票速度不快大家都知道，大部分自行宣布當選速度超快，像是本次第一名金門陳玉珍宣布當選的時候，台北市的開票進度還不到1%呢。所以票數是中選會的，當選者是編輯勾選的資料加進程式裡。這次用的Spreadsheet公式：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/701/1*ktW7gct4hwYAoaCj11fKtg.png" /></figure><p>這次處理這份當選名單對表不是用vlookup了，改用filter（用熟還挺不錯好用的一個公式喔）因為每個選區的候選人不一樣多，每一行指定範圍很麻煩。A欄基本上就是key值，以這個先篩出選區，再篩當選註記。</p><h3>丟檔案上Google Storage</h3><p>Spreadsheet表格用google apps script丟上google storage…使用了網路上寫好的Library，做幾個設定、換service account credential，就可以上傳了。以下這兩篇文章：</p><ul><li><a href="http://ramblings.mcpher.com/Home/excelquirks/googlecloud/gcsstore/usingoauth2">Using the service account to enable access to cloud storage - Desktop Liberation</a></li><li><a href="http://ramblings.mcpher.com/Home/excelquirks/googlecloud/gcsstore/usingcgcsstore">GcsStore overview - Google Cloud Storage and Apps Script - Desktop Liberation</a></li></ul><p>用GAS把Spreadsheet資料轉為json丟上Google Storage這個方式已經用幾個月了，但這次發現個問題：Google Cloud Storage對於高頻率更新、呼叫資料似乎是有限制，程式執行一陣子後部分人load不進新資料，再跟cache的問題混在一起，簡直就是逼人長白髮。</p><p>而且在尾聲發生一件奇怪的事，更新完不分區名單之後，網頁上一直沒有出現，我說：我這裡看json有資料了哇，工程師說：陣列是空的哇。</p><p>兩個人在那裡哇哇哇，後來發現http版本有新資料，但是https版本沒有…過一陣子之後才出現…在測試時完全沒發生的狀況，正式開票時卻跑出來讓人嚇得屁滾尿流。（這次有開程式測試幾天，沒有發現類似問題，選後也還沒去查明）</p><p>python要上傳Google Storage有裝package就方便許多，這樣就可以做到：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/992/1*B0UUMFAKodxqIRbtUkK7gw.png" /></figure><h3>幾個雷坑</h3><ol><li>檔案3分鐘更新一次，雖然進行中的檔案約莫2MB，雖然中選會的程式介面已經看到有檔案了，但其實還沒跑完，這時候讀取json就出錯，測試的時候4個小時裡可能發生一次，就沒有特別寫例外，正式上場的時候爆炸10幾次吧，整個步調都亂掉了</li><li>中選會的選區資料有錯，像是旗津沒靠海、鳳山在海邊；板橋西區在板橋東區左邊之類的問題，真的要全部檢查過。</li><li>用google storage是不是個好方法，未來可以再多試一些。像天下這篇有提到GAS gsheet api，但最終仍是排程上GSC…可能我有漏掉什麼吧，要再摸熟點。</li></ol><p><a href="https://medium.com/cw-itgroup/%E5%A4%A9%E4%B8%8B%E9%9B%9C%E8%AA%8C2020%E7%B8%BD%E7%B5%B1%E5%A4%A7%E9%81%B8%E5%B0%88%E9%A1%8C-%E6%8A%80%E8%A1%93%E7%B4%80%E9%8C%84-84d2482d713d">天下雜誌2020總統大選專題-技術紀錄</a></p><p>天佑台灣。</p><p>補上次選舉數據的文章</p><p><a href="https://medium.com/@u0401006/2018%E4%B9%9D%E5%90%88%E4%B8%80%E9%96%8B%E7%A5%A8%E5%9C%96%E8%A1%A8%E5%AE%8C%E6%88%90-spreadsheet-app-script%E7%9A%84%E9%83%A8%E5%88%86-405217663be6">2018九合一開票圖表完成！spreadsheet &amp; google apps script操作分享</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b50e2a684f34" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Spreadsheet當CMS + Python Flask架輕量專題網站]]></title>
            <link>https://u0401006.medium.com/spreadsheet%E7%95%B6cms-python-flask%E6%9E%B6%E8%BC%95%E9%87%8F%E5%B0%88%E9%A1%8C%E7%B6%B2%E7%AB%99-c024c3842269?source=rss-ff6425ea3c0------2</link>
            <guid isPermaLink="false">https://medium.com/p/c024c3842269</guid>
            <category><![CDATA[google-apps-script]]></category>
            <category><![CDATA[flask]]></category>
            <category><![CDATA[spreadsheets]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[宋育泰]]></dc:creator>
            <pubDate>Sun, 28 Jul 2019 14:28:39 GMT</pubDate>
            <atom:updated>2019-07-28T14:28:39.523Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QMCQHJXE3--iQ2mPRrLjIA.png" /><figcaption>做這個專題最療癒的一個畫面（沒有之一）</figcaption></figure><p>這個網站用python flask架的，CMS…是Spreadsheet。對一個十幾篇稿件的專題來說，是很輕量化的配置。我粗淺地以為第一套做出來之後，第二套、第三套以設定路由的方式處理或許能符合這種零星出現、但短時間內修改次數又很頻繁的游擊需求。</p><p><a href="https://medium.com/@u0401006/%E6%8A%8Aspreadsheet%E7%95%B6%E6%88%90%E7%B6%B2%E9%A0%81%E5%BE%8C%E5%8F%B0-%E8%AE%93%E4%B8%8D%E6%9C%83html%E7%9A%84%E7%B7%A8%E8%BC%AF%E4%B9%9F%E8%83%BD%E6%9B%B4%E6%8F%9B%E5%B0%88%E9%A1%8C%E5%85%A7%E5%AE%B9-google-script-e1da7693f7a">2017年底開始，我試著用Spreadsheet產出html</a>，也套用了2~3種版面。<a href="https://medium.com/@u0401006/2018%E4%B9%9D%E5%90%88%E4%B8%80%E9%96%8B%E7%A5%A8%E5%9C%96%E8%A1%A8%E5%AE%8C%E6%88%90-spreadsheet-app-script%E7%9A%84%E9%83%A8%E5%88%86-405217663be6">在2018年底也套用到選舉圖表製作</a>。麻煩的是，產出的html從瀏覽器下載、要上傳ftp，更麻煩的是，文章發佈後通常都要一直修改，要在Spreadsheet改好、下載上傳再走一次？還是直接開html改？相當討厭瑣碎工作的我，這次把這最後一哩路試做了：Spreadsheet內容直接跟主機串連吧。</p><p>其實如果去找網路文章，以Spreadsheet當成資料庫，以Google Apps Script做doGet、doPost功能是可以架站的，但是我們的內容要套用自己的網域，就沒往這個方向去試了。</p><p>這個網站本來想要把文章資料寫進資料庫，但是在Hacks X Hackers時聽到關鍵評論網分享紐約時報使用的<a href="http://archieml.org/">ArchieML</a>，主要是使用Markdown語法寫文章，轉換成json、上主機、html有串接，網頁就生成了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*X-trSPnoTt5A0fw-ivMGag.png" /><figcaption>ArchieML <a href="http://archieml.org/">http://archieml.org</a></figcaption></figure><p>這很酷，我看BBC News Labs、Quartz、WSJ都有以這個做出不同語言或平台的延伸版本！</p><p>正在從Sqlite3轉用不熟悉資料庫卡關的我也被打中，這個產json的流程豈不正是我要的嗎？！</p><p>整體步驟：</p><ol><li>在Spreadsheet進行內容結構化</li><li>把這些內容以Google Apps Script組合成json，並發post</li><li>用Python Flask寫一個接收post機制</li><li>Flask建立路由、讀取json</li><li>Jinja2套件render templates生成網頁</li><li>部署上雲端主機</li></ol><h3>【1】Spreadsheet進行內容結構化</h3><p>這是之前就有的基礎，我們以「模板」進行內容結構化，如og內容組、內容結構（段落、照片、小標、影片、內嵌等）基本上與Markdown寫作差不多。而就我所接觸過的編輯記者少有聽過Markdown，更遑論能熟練運用於寫作。用Spreadsheet也省掉後台建置，而且可以協作…</p><p>這是我們的結構寫法，編輯只要B欄填入相應內容，就可以產出內容的json，上半部是og與檔頭的資訊部分，下半部則是文章內容與插入媒體等。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*133Oi5kFKwM5gFRmrKmlGA.png" /><figcaption>在Spreadsheet編排內容</figcaption></figure><p>其實我有在google apps script做一個簡單介面上傳到imgur圖床，但上到自己的主機還是比較妥適的吧？這次趕著做還沒規劃這個部分。</p><h3>【2】內容以Google Apps Script組合成json，並發post</h3><p>用Spreadsheet有另一個好處，帳號權限就用Google管制了，是相當輕量化具機動性的應用。但是否在post過程有資安的風險……還沒有研究……</p><p>基本上做成json的方式是這樣：</p><pre>//取得B2:B11的資料<br>var og = sheet.getRange(2,2,10,1).getValues()</pre><pre>//塞到object裡<br>var data = {<br>      &quot;path&quot; : og[0][0],<br>      &quot;title&quot; : og[1][0],<br>      &quot;description&quot;: og[2][0],<br>      &quot;category&quot;: og[3][0],<br>      &quot;headerbgimg&quot;: og[4][0],<br>      &quot;cover&quot;: og[5][0],<br>      &quot;og:image&quot;: og[6][0],<br>      &quot;keywords&quot;: og[7][0],<br>      &quot;author&quot;: og[8][0],<br>      &quot;author-title&quot;: og[9][0],<br>      &quot;pair&quot;: num,<br>      &quot;cont&quot;: content,<br>      &quot;created_on&quot;: dt()<br>}</pre><p>但我原本規劃content的部分要塞list，遇到一點問題：直接塞array進去，會變成lavaral object，會讓json錯誤。所以我先改成string，進到python再處理。其實，或許改成object也可以，在套版的時候可能比較直觀一點。</p><p>接著是丟進主機：</p><pre>var url = &#39;post網址&#39;;<br>var options = {<br>    &quot;method&quot;: &quot;post&quot;,<br>    &quot;content-Type&quot;: &quot;application/json; charset=UTF-8&quot;,<br>    &quot;headers&quot; : &quot;一些我指定的值&quot;,<br>    &quot;payload&quot;: data,<br>    &quot;muteHttpExceptions&quot;: true<br>    };     <br>UrlFetchApp.fetch(url, options);</pre><h3>【3】接收post機制</h3><p>接收端應該不會複雜，先判斷headers來源是否正確、然後寫新的json／覆蓋json。</p><pre><a href="http://twitter.com/app">@app</a>.route(&#39;/post位址&#39;, methods=[&#39;POST&#39;])<br>def update():<br>    datax = {<br>        &quot;path&quot;: request.values.get(&quot;path&quot;),<br>        &quot;title&quot;: request.values.get(&quot;title&quot;),<br>        &quot;description&quot;: request.values.get(&quot;description&quot;),<br>        &quot;category&quot;: request.values.get(&quot;category&quot;),<br>        &quot;keywords&quot;: request.values.get(&quot;keywords&quot;),<br>        &quot;og:image&quot;: request.values.get(&quot;og:image&quot;),<br>        &quot;headerbgimg&quot;: request.values.get(&quot;headerbgimg&quot;),<br>        &quot;author&quot;: request.values.get(&quot;author&quot;),<br>        &quot;author-title&quot;: request.values.get(&quot;author-title&quot;),<br>        &quot;pair&quot;: request.values.get(&quot;pair&quot;),<br>        &quot;cont&quot;: request.values.get(&quot;cont&quot;),<br>        &quot;created_on&quot;: request.values.get(&quot;created_on&quot;)<br>    }</pre><pre>    with open(&#39;json/%s.json&#39;%datax[&#39;path&#39;], &#39;w&#39;) as fp:<br>        json.dump(datax, fp, ensure_ascii=False)</pre><p>我很天真地努力以google spreadsheet &amp; google script權限、post網址、request headers避免非相關人士使用這套機制。</p><h3>【4 5 Flask建立路由、讀取json、Jinja2 render templates】</h3><p>基本上就是開json、讀json、render template出來：</p><pre>//在路由判斷時把path設以變數處理，依據變數打開不同的json檔案。</pre><pre><a href="http://twitter.com/app">@app</a>.route(&#39;/20190722-tokyo2020/&lt;path&gt;.html&#39;, methods=[&#39;GET&#39;])<br>def tokyoolympics(path):</pre><pre>//讀取json檔<br>  try:<br>    with open(&#39;json/%s.json&#39;%path, encoding=&#39;utf-8&#39;) as json_file:<br>      data = json.load(json_file)</pre><pre>//render模板，把json資料data帶進去<br>      return render_template(&#39;auto/auto-page.html&#39;, data=data)</pre><pre>//如果沒有資料就404吧<br>  except:<br>     abort(404)</pre><p>flask render templates方法跟GAS差不多，只是語法用python寫，少了( ){ }感覺清爽多了。</p><pre>//呼叫靜態檔案，css &amp; js的範例</pre><pre>&lt;link rel=&quot;stylesheet&quot; href=&quot;{{ url_for(&#39;static&#39;, filename=&#39;auto/css/slick.css&#39;) }}&quot; /&gt;</pre><pre>&lt;script src=&quot;{{ url_for(&#39;static&#39;, filename=&#39;auto/js/jquery-3.2.1.js&#39;) }}&quot;&gt;&lt;/script&gt;</pre><pre>//從data取得值的寫法</pre><pre>&lt;meta property=&quot;og:title&quot; content=&quot;{{ data[&#39;title&#39;] }} | 前進東奧2020 | 中央社&quot; /&gt;</pre><pre>//組合內文的方法，判斷這個區塊內容屬性，搭配不同html，如</pre><pre>{% for i in data[&#39;cont&#39;] %}<br>  {% if i[0] == &#39;段落&#39; %}<br>      {% for j in i[1].replace(&#39;\r\n\r\n&#39;,&#39;\n\n&#39;).split(&#39;\n\n&#39;) %} <br>          &lt;p&gt;{{ j }}&lt;/p&gt;<br>      {% endfor %}</pre><pre>  {% elif i[0] == &#39;小標&#39; %}<br>      &lt;h3&gt;{{ i[1] }}&lt;/h3&gt;</pre><pre>  {% elif i[0] == &#39;照片&#39; %}<br>      &lt;div class=&quot;media&quot;&gt;<br>        &lt;div class=&quot;wrap&quot;&gt;&lt;img src=&quot;{{ i[1] }}&quot; alt=&quot;{{ i[2] }}&quot;&gt;&lt;/div&gt;<br>        &lt;div class=&quot;picinfo&quot;&gt;{{ i[2] }}&lt;/div&gt;<br>        &lt;div class=&quot;decoration&quot;&gt;&lt;/div&gt;<br>      &lt;/div&gt;<br>  {% endif %}<br>{% endfor %}</pre><p>【6】部署的部份實在是很不熟悉，看了一些文章才做上去，就先不提了。</p><p>未來還可以優化的部分是：Flask Cache、結構化資料也可以一併做上去……blablabla等我再摸熟一點了。</p><p>也在GAS刻了幾個跟CMS相關的功能（自己造輪子啦，不過挺好玩）有機會再優化：</p><ol><li>創造新文章時，會產出不重複序號作為網址</li><li>創造新文章時，寫一份meta資料進入文章清單</li><li>創造新文章後，開新分頁紀錄內容，之後編輯可以在這頁修改</li><li>更新文章時，可以從同分類取相關連結，不足額時隨機取其他分類文章作為相關連結</li></ol><p>本文相關連結：</p><p><a href="http://archieml.org/">http://archieml.org</a></p><ul><li><a href="http://www.bjhee.com/jinja2-statement.html">Flask中Jinja2模板引擎详解(一)-控制语句和表达式 - 思诚之道</a></li><li><a href="https://medium.com/@u0401006/2018%E4%B9%9D%E5%90%88%E4%B8%80%E9%96%8B%E7%A5%A8%E5%9C%96%E8%A1%A8%E5%AE%8C%E6%88%90-spreadsheet-app-script%E7%9A%84%E9%83%A8%E5%88%86-405217663be6">2018九合一開票圖表完成！spreadsheet &amp; google apps script操作分享</a></li><li><a href="https://medium.com/@u0401006/%E6%8A%8Aspreadsheet%E7%95%B6%E6%88%90%E7%B6%B2%E9%A0%81%E5%BE%8C%E5%8F%B0-%E8%AE%93%E4%B8%8D%E6%9C%83html%E7%9A%84%E7%B7%A8%E8%BC%AF%E4%B9%9F%E8%83%BD%E6%9B%B4%E6%8F%9B%E5%B0%88%E9%A1%8C%E5%85%A7%E5%AE%B9-google-script-e1da7693f7a">把spreadsheet當成網頁後台，讓不會html的編輯也能更換專題內容！google script</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c024c3842269" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[長榮罷工航班資訊自動更新，使用python & spreadsheet]]></title>
            <link>https://u0401006.medium.com/%E9%95%B7%E6%A6%AE%E7%BD%B7%E5%B7%A5%E8%88%AA%E7%8F%AD%E8%B3%87%E8%A8%8A%E8%87%AA%E5%8B%95%E6%9B%B4%E6%96%B0-%E4%BD%BF%E7%94%A8python-spreadsheet-9e5e23dd4459?source=rss-ff6425ea3c0------2</link>
            <guid isPermaLink="false">https://medium.com/p/9e5e23dd4459</guid>
            <category><![CDATA[pandas]]></category>
            <category><![CDATA[爬蟲]]></category>
            <category><![CDATA[spreadsheets]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[宋育泰]]></dc:creator>
            <pubDate>Thu, 27 Jun 2019 15:38:52 GMT</pubDate>
            <atom:updated>2019-06-27T15:38:52.179Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1022/1*BpvaWyTObe-ahxhAosXdGw.png" /><figcaption>長榮官網公布取消航班的網頁</figcaption></figure><p>星期天上班，編輯跟我說，昨天整理長榮罷工受影響的航班資訊花了一下時間，雖然也沒什麼，但是如果遇到幾百班的時候手工就很OOXX……有了上次華航罷工的經驗，我這次挑戰自己一個小時內做完：python爬蟲+spreadsheet串連（雖然我也不確定這表格能幫到多少讀者…）</p><h3>python code</h3><p>這次用到的包：</p><pre>import requests<br>import pandas as pd<br>import datetime<br>import time as tm<br>import gspread<br>from oauth2client.service_account import ServiceAccountCredentials</pre><p>gspread應該不多人用，當時找文章還找挺久的，不過當年看了這篇翼之都的文章，搭配官方文件，模仿著用，倒也是用了一兩年這麼久。</p><ul><li><a href="https://city.shaform.com/zh/2016/03/19/gspread/">價格追蹤：使用 gspread 自動更新 Google Sheets</a></li><li><a href="https://gspread.readthedocs.io/en/latest/">gspread - gspread 3.6.0 documentation</a></li></ul><p>找到長榮罷工取消航班的頁面，現在看來如果用這些參數可能可依條件得到比較乾淨的資料。當下沒想太多就requests讀這個網頁，接著用pandas把網頁表格化成dataframe：</p><pre>url = &quot;<a href="https://booking.evaair.com/flyeva/EVA/B2C/flight-status-erc.aspx?lang=zh-tw&amp;cmstitle=erc-note9&amp;date=20190621-20190630&amp;airport=TPE/TSA/RMQ/KHH&amp;Orderby=&amp;reqtime=&amp;ACTCODE=&amp;REASON=#">https://booking.evaair.com/flyeva/EVA/B2C/flight-status-erc.aspx?lang=zh-tw&amp;cmstitle=erc-note9&amp;date=20190621-20190630&amp;airport=TPE/TSA/RMQ/KHH&amp;Orderby=&amp;reqtime=&amp;ACTCODE=&amp;REASON=#</a>&quot;</pre><pre>res = requests.get(url).text<br>df = pd.read_html(res)</pre><p>因為網頁裡有很多個表格，因此上一步拿到的df是list，用迴圈把它兜成一張大表、重新命名欄位，並透過篩選清理，確保狀態都是「取消」的航班。</p><pre>df1 = pd.DataFrame()<br>for i in df:<br>    df1 = df1.append(i)</pre><pre>df1.columns = [&#39;班機編號&#39;,&#39;出發地&#39;,&#39;目的地&#39;,&#39;表定&#39;,&#39;最新動態&#39;,&#39;航班狀態&#39;,&#39;備註&#39;]<br>df2 = df1.query(&#39;表定 != &quot;表定&quot; &amp;  航班狀態 == &quot;取消&quot;&#39;).copy()</pre><p>這樣就爬好了，它…真的…是爬蟲嗎？接著要把它寫進Google Spreadsheet裡，這段就是用Google API取得試算表權限。</p><pre>def auth_gss_client(path, scopes):<br>    credentials = ServiceAccountCredentials.from_json_keyfile_name(path, scopes)<br>    return gspread.authorize(credentials)</pre><pre>auth_json_path = &#39; #自己的json &#39;</pre><pre>gss_scopes = [&#39;<a href="https://spreadsheets.google.com/feeds&#39;">https://spreadsheets.google.com/feeds&#39;</a>]<br>gss_client = auth_gss_client(auth_json_path, gss_scopes)</pre><p>設定要把資料寫到哪裡：</p><pre>file = gss_client.open_by_key(&#39; #試算表的id &#39;)<br>worksheet = file.worksheet(&quot;raw&quot;) #分頁名稱</pre><pre>#把資料寫進表格</pre><pre>field = [df2[&#39;班機編號&#39;], df2[&#39;出發地&#39;], df2[&#39;目的地&#39;], df2[&#39;表定&#39;], df2[&#39;最新動態&#39;], df2[&#39;航班狀態&#39;],df2[&#39;備註&#39;]]<br>column = [&#39;A&#39;,&#39;B&#39;,&#39;C&#39;, &#39;D&#39;, &#39;E&#39;, &#39;F&#39;, &#39;G&#39;]<br>for x, y in zip(field, column):<br>    cell_list = worksheet.range(&#39;{}2:{}{}&#39;.format(y, y, len(x)+1))<br>    for r, cell in zip(x, cell_list):<br>        cell.value = r<br>    worksheet.update_cells(cell_list)<br>    tm.sleep(1)</pre><p>紀錄一下更新時間，也寫進Spreadsheet：</p><pre>ts = datetime.datetime.now().strftime(&quot;%m/%d %H:%M&quot;)<br>worksheet.update_acell(&#39;M1&#39;, ts)</pre><h3>Spreadsheet formula</h3><p>寫進來長成這樣：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/973/1*gIvxdPgiKvNq01gVE7a2nw.png" /></figure><p>最麻煩的問題應該還是洗日期時間，從上表可以看到D欄是把出發時間、抵達時間寫成一筆文字資料，不是很容易篩選與排序（說不定硬用A-Z可行，但我沒試）。寫了一段公式處理：</p><pre>=arrayformula(split(regexreplace(regexreplace(REGEXREPLACE(indirect(&quot;D2:D&quot;&amp;counta(D1:D)),&quot;2019年|出發|抵達&quot;,&quot;&quot;),&quot;月&quot;,&quot;/&quot;),&quot;日&quot;,&quot; &quot;),&quot; -&quot;))</pre><ol><li>用regexreplace把「2019年|出發|抵達」這幾個字刪掉</li><li>用regexreplace把月取代成/、把日取代成空白</li><li>用split把空白跟-區分成不同欄位</li><li>用arrayformula把這個公式套用到下面的列</li><li>用indirect製作列數，這是讓arrayformula跑到沒有資料的列時就會停止，避免回傳#N/A，只是比較乾淨，沒做也不會怎麼樣</li></ol><p>就可以得到I、J、K、L欄的資料：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/887/1*YmPOP3mkNg2BZOsiFNzEfg.png" /></figure><pre>=text(TEXTJOIN(&quot; &quot;,true,I2,J2),&quot;mmdd hh:mm&quot;)</pre><p>再組合成H欄的時間，一路套用下去。這樣子就整理完了，成品是下圖，但要怎麼每日自動篩選？</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/413/1*tJZ1BJn0lGSgDnwkuo1ogg.png" /></figure><pre>=sort(filter({raw!A2:C,raw!H2:H},raw!I2:I=today()),4,true)</pre><ol><li>用filter，先指定位置在{raw!A2:C,raw!H2:H}，再設定條件=today()</li><li>用sort，針對第4欄也就是「出發時間」進行排序，true是順序，false是反序。</li></ol><p>這樣子表格就會依日期篩選，如果要做到只看現在之後的取消航班，就是再加個 raw!I2:I &gt; now() 應該就可以成功（但前提是有做上一步文字轉化成日期）</p><p>那！要怎麼自動觸發python去抓呢？windows用內建的工作排程器（不是很好用）、mac用cronjob設定就會定時跑了……</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9e5e23dd4459" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[用Spreadsheet發訊息到Line群組 — google apps script應用]]></title>
            <link>https://u0401006.medium.com/%E7%94%A8spreadsheet%E7%99%BC%E8%A8%8A%E6%81%AF%E5%88%B0line%E7%BE%A4%E7%B5%84-google-apps-script%E6%87%89%E7%94%A8-dbe5e8f463b6?source=rss-ff6425ea3c0------2</link>
            <guid isPermaLink="false">https://medium.com/p/dbe5e8f463b6</guid>
            <category><![CDATA[line-bot]]></category>
            <category><![CDATA[spreadsheets]]></category>
            <category><![CDATA[google-apps-script]]></category>
            <dc:creator><![CDATA[宋育泰]]></dc:creator>
            <pubDate>Mon, 10 Dec 2018 07:58:17 GMT</pubDate>
            <atom:updated>2018-12-10T08:09:22.741Z</atom:updated>
            <content:encoded><![CDATA[<h3>用Spreadsheet發訊息到Line群組 — google apps script應用</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IezJyuQzE5d_SDylwS9d9w.png" /><figcaption>我自己做的一個LineBot，名叫育泰的line工具，大頭照是我兒子</figcaption></figure><p>曾經參考python code架過簡單的LineBot，可以依條件轉訊息、格式化儲存訊息。後來也把腦筋動到google apps script……我與同事每日共用的Spreadsheet有兩個可以發送訊息到Line群組的功能（一個是把pv排行榜寄到群組；一個用來處理合作單位的每日內容交換）。</p><p>首先，要設定一個LineBot。上Line Developers申請一個帳號，先開一個provider，再開channel，選擇使用messaging api。（岔題一下，Line Login好像開放挺久了，台灣人這麼愛用Line，怎麼很少網站使用這個功能？）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/831/1*Jp259T_25kY6hQLEgCWz3Q.png" /><figcaption>開channel有這三種選擇，但最後clova skill好像是新的…沒研究</figcaption></figure><p>接下來就是輸入基本資料，同意使用條款。最有問題的應該就是取得channel access token，首先要先設定webhook（還是https的）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zpuJ9NI5d9drfzjQbm6Xqg.png" /></figure><p>我是參考以下這些文章做到的，用ngrok真的很方便。有時測試版還在本機時，也可以偷開一下讓同事一起看，挺迅速的。</p><ul><li><a href="https://blog.techbridge.cc/2018/05/24/ngrok/">測試 webhook 不再煩惱：ngrok</a></li><li><a href="https://tenten.co/blog/how-to-use-ngrok-to-connect-your-localhost/">怎麼將內網的 localhost 讓外面的人都看得到呢？用用 ngrok 吧！ - 転転: Brand &amp; Marketing Consultancy</a></li></ul><p>然後就可以issue一個Channel access token (long-lived)，基本上機器人就完成了，你可以邀請它加入你想讓他監聽 (X)、亂講話 (X)、自動傳長輩圖 (X)、工作 (O)的群組/個人/聊天室，他就會開始收資訊了，我有一個python linebot app部署到heroku上，所以如果有問題的話我會在heroku上查log。或者是看群組/個人/聊天室的id。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/935/1*k0jLc9bFkb-7eQaDGNSHuw.png" /><figcaption>掃這個QRcode成為機器人的第一個朋友吧！也把你的user id複製起來，等等讓機器人測試傳訊息來</figcaption></figure><p>場景拉回Spreadsheet與Google apps script，因為只是要從這裡發訊息出去，沒有接收功能，所以比較單純一點點，知道user id、知道channel access token，透過api post requests就是發送訊息了：</p><pre>function linemessage() {</pre><pre>//取得要發送的文字內容，這裡是取得儲存格C2:C11的資料發出</pre><pre>    var sheet = SpreadsheetApp.openById(&quot; Spreadsheet ID &quot;).getSheetByName(&quot; 分頁名稱 &quot;);</pre><pre>    var title = sheet.getRange(2,3,9,1).getValues();<br>    var t=&quot;&quot;;<br>    for(i= 0; i&lt; title.length; i++){<br>      t = t+ title[i]+ &#39;\n&#39;;<br>    };</pre><pre>//準備接Line的messaging api</pre><pre>var url = &quot;<a href="https://api.line.me/v2/bot/message/push">https://api.line.me/v2/bot/message/push</a>&quot;;<br>    var payload= {<br>        &quot;to&quot;: &quot;Uf49be0e90✘✘✘✘✘✘✘✘✘✘✘✘✘✘&quot;,</pre><pre>//to就是要傳送的群組/聊天室/個人的ID，我會先把linebot送去收log，就可以看到id</pre><pre>        &quot;messages&quot;: [<br>        { &quot;type&quot;: &quot;text&quot;,<br>          &quot;text&quot;: t,}]<br>    };<br>    var options = {<br>      &quot;method&quot;: &quot;post&quot;,<br>      &quot;headers&quot;: {<br>        &quot;content-Type&quot;: &quot;application/json&quot;,<br>        &quot;Authorization&quot;: &quot;Bearer { 在line developers取得的Channel access token }&quot;},<br>      &quot;payload&quot; : JSON.stringify(payload),<br>      &quot;muteHttpExceptions&quot;: true,<br>     };</pre><pre>// 用google apps script的Fetch功能去打api，就會把文字送出去嚕</pre><pre>    var response = JSON.parse(UrlFetchApp.fetch(url, options).getContentText());<br>}</pre><p>這就是testtest機器人從Google app scripts傳給我的訊息喔：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/496/1*azo0l-gSKkniSiDl3N3Kfg.png" /></figure><p>會寫這一篇文章是因為早上看到了一個用Ruby on Rails寫的Linebot鬧鐘，其實Google apps script也可以喔，只要再使用內建的排程功能，就可以做到：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/350/1*5YkgRIbqgqwqY4lgsrq7pA.png" /><figcaption>在專案啟動程序裡可以選擇以天、以小時等條件，啟動這個發送函式也是一種鬧鐘啊</figcaption></figure><p><a href="https://medium.com/@EtrexKuo/%E5%8D%A1%E7%B1%B3%E5%93%A5%E6%95%99%E4%BD%A0%E5%81%9A-line-%E9%AC%A7%E9%90%98-bd3b8c7aa1c8">卡米哥教你做 Line 鬧鐘</a></p><p>python flask linebot以及部署上heroku，我是參考這篇文章做出來的，寫得很清楚：</p><p><a href="https://medium.com/life-of-small-data-engineer/%E5%86%8D%E6%88%B0-line-bot-sdk-%E6%8E%A5%E6%94%B6%E8%A8%8A%E6%81%AF%E8%88%87%E5%9B%9E%E6%87%89-aeb135eecc95">再戰 Line Bot SDK －接收訊息與回應</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dbe5e8f463b6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[2018九合一開票圖表完成！spreadsheet & google apps script操作分享]]></title>
            <link>https://u0401006.medium.com/2018%E4%B9%9D%E5%90%88%E4%B8%80%E9%96%8B%E7%A5%A8%E5%9C%96%E8%A1%A8%E5%AE%8C%E6%88%90-spreadsheet-app-script%E7%9A%84%E9%83%A8%E5%88%86-405217663be6?source=rss-ff6425ea3c0------2</link>
            <guid isPermaLink="false">https://medium.com/p/405217663be6</guid>
            <category><![CDATA[spreadsheets]]></category>
            <category><![CDATA[google-apps-script]]></category>
            <dc:creator><![CDATA[宋育泰]]></dc:creator>
            <pubDate>Thu, 06 Dec 2018 06:24:01 GMT</pubDate>
            <atom:updated>2018-12-06T06:49:20.856Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*m5OvrfDKI_r-MmrhpuQGlA.png" /><figcaption>中央社2018九合一選舉做的部分圖表</figcaption></figure><p>這次九合一選舉開票，中央社挑戰了開票圖表（總數是55個），基本上在開票數字底定後通通都完成啦，圖表形式有一點點傳統，也有一些比較創新，在製作的過程中，我有種把網路媒體當成紙媒來做的港覺。這個連結可以看到圖表與文的搭配：</p><p><a href="https://www.cna.com.tw/search/hysearchws.aspx?q=%E5%9C%96%E8%A1%A8%E7%9C%8B%E4%B9%9D%E5%90%88%E4%B8%80%E9%81%B8%E8%88%89">圖表看九合一選舉 - 全文檢索 | 中央社 CNA</a></p><p>這次開票圖表我最喜歡的是下面這一套（六都得票率差地圖）。實際運用到了python爬蟲、spreadsheet、google appscript、javascript。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/492/1*OhSysuCQsXtOPg2V9uEb6Q.png" /><figcaption>台南行政區得票率差地圖</figcaption></figure><p>這次獻醜公開spreadsheet，如果有興趣的話可以來看我用的公式，也可以打開工具&gt;指令碼編輯器，看我寫的google app script（希望它沒有太雜亂）：</p><p><a href="https://docs.google.com/spreadsheets/d/e/2PACX-1vS8IIkoJ285vJ6VUOErD1iw2JdeJL2jRENc-RIepxK51pUMs8qJkvAkardQyP35PqdqF9LfzuTdTh9P/pubhtml?gid=1834895854&amp;amp;single=true&amp;amp;widget=true&amp;amp;headers=false">1124開票日圖表規劃</a></p><h3>由來</h3><p>在選前幾個月前，主管發夢開票當天要做圖表，「好啊好啊，多做不一樣的呈現也好」。於是獻立來長這樣：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/887/1*pevNe9ePD0unHAFhCwDmjA.png" /><figcaption>執政版圖、縣市長當選人、行政區得票、議會席次、公投結果，都可以想像啊</figcaption></figure><p>我們用speadsheet當成溝通的工具，要什麼圖記錄在這裡、什麼圖要發去哪裡、數據也塞在這裡。這次比較重要的著眼點是，<strong><em>怎麼樣重複做圖表</em>。</strong>尤其是六都行政區有158個，當天深夜在illustrator填顏色也太刺激了（眼睛不脫窗才怪）。另外是縣市長選舉結果、議會席次，都套用了22個縣市（也就是一張要填10~12個數字，重複22次，還要校對……）一定要讓程式去跑！事實也證明，當天開到凌晨兩點多，當時程式的精神一定比人還好。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/458/1*L9-yeFcuc8Feri318d237w.png" /></figure><h3>設想</h3><p>我第一個想到是多種圖表，要統一地方彙整數字，若可以有一張大表再篩選出各類圖表需要的數據，就更好。不然人多手雜，光打開錯誤版本的檔案就夠煩的了。後來才是想構成圖表的方式，陸續加入了google app script、HiCharts的解決方式。</p><p>也就是：數據 -&gt; 資料庫 -&gt; 圖表呈現</p><h3>數據 -&gt; 資料庫</h3><p>縣市長選舉結果的圖大抵上來說，需要3屆縣市長參選人、得票數、得票率、照片、政黨，這些資料中選會抓來就是了，把一些不需要的欄位刪掉，整理成這樣：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/991/1*YOVhv8Pr9irEnHMRjy6WLw.png" /><figcaption>歷屆縣市長得票資料</figcaption></figure><p>在開票當天只要填入黃色底的部分：得票率與票數即可。從這個資料又可以用公式vlookup加filter，拉出台灣執政版圖資料。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/390/1*c2BcIxvbjCmx4a6AsaSaTQ.png" /></figure><pre>=vlookup(A3,filter(‘縣市長得票率’!A$2:G$131,’縣市長得票率’!G$2:G$131=”*”,’縣市長得票率’!B$2:B$131=”2018&quot;),4,false)</pre><p>如果你點進speadsheet看公式，可以發現我這次很常用vlookup、filter，甚至是ifs搭配，這樣子可以省下很多整理的工夫。</p><h3>資料庫 -&gt; 圖表呈現</h3><p>有了數據可以開始進到Google App Script，請設計師先把地圖的svg到手，以分區填入id名稱，就可以用script設定分區的顏色。（svg用illustrator、編輯器都可以編輯）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FmtXgy8eFCdZKHJPX9elnQ.png" /><figcaption>svg裡一個path代表一個區域，事先設定id，就可以由程式判斷填色。</figcaption></figure><p>用程式填色方法，要不是給path添加class，例如上面這張縣市執政版圖是透過設定了三種class設定底色、外加兩種class設定縣名顏色。或者是直接幫path加上style=”fill: #366EE4&quot;，其實一樣意思。</p><pre>&lt;style&gt;<br>.st500{fill:#366EE4;stroke:#FFFFFF;stroke-width:1.5} /*藍色執政*/<br>.st600{fill:#85D3A0;stroke:#FFFFFF;stroke-width:1.5} /*綠色執政*/<br>.st700{fill:#E6E9EB;stroke:#FFFFFF;stroke-width:1.5;} /*無黨執政*/<br>.st200{fill:#FFFFFF;} /*白色縣名*/<br>.st1600{fill:#6E6E6E} /*黑色縣名*/<br>&lt;/style&gt;</pre><pre>//取得id縣市名，從篩選出對應的class<br>&lt;?function st(x){for (i=0; i&lt;data.length; i++){if (data[i][0]==x){return data[i][3];}}};?&gt;</pre><pre>//以下就是個縣市的path<br>&lt;path id=&quot;新北1&quot; class=&quot;&lt;?=st(&quot;新北市&quot;)?&gt;&quot; d=&quot;M686.2,67.4l-2.4-0.5l-1.6,0.1l-4.1,1.5l-3.5,0.3L670,72l-0.9,1h-1.9l-1.5-0.6l-3.4-0.....&quot;<br>&lt;path id=&quot;台北1&quot; class=&quot;&lt;?=st(&quot;台北市&quot;)?&gt;&quot; d=&quot;M590.3,32.4l-0.9,1.8l-0.9,0.9l-0.3,0.5l-0.9,0.9v1.8l-1.2,0.7l-0.3,1.5l0.5,1.5l1.2,0....&quot;<br>&lt;path id=&quot;屏東1&quot; class=&quot;&lt;?=st(&quot;屏東縣&quot;)?&gt;&quot; d=&quot;M475.9,655.3l-2,0.7l-1.3,1.2l-2.2,0.9l-1.8-3.1l-2-0.5h-2.6l-0.8-1.8l-1.8-0.7l-1.5-....&quot;</pre><p>從sheet取資料、套版、下載svg的程式，整理了一下其實沒有很多行：</p><ol><li>定位到sheet、抓資料</li><li>跑個迴圈把2018資料篩出來</li><li>指定套版taiwan2018.html這個檔案，並且套資料（誒！不是svg檔嗎？因為Google App Script的檔案格式是html，所以我把svg的xml先以html先存起來）</li><li>一個下載的功能：在google drive新建一個檔案，內容是剛才套好版的html，並且取得它下載連結，用iframe敲這個網址，chrome就會開始下載了</li></ol><pre>function county() {<br>  sheet = SpreadsheetApp.getActiveSpreadsheet().getSheetByName(&quot;政黨執政版圖&quot;);<br>  data = sheet.getRange(&quot;A2:D&quot;).getValues();<br>  var e2018 = [];<br>  for (i=0; i&lt;data.length; i++){<br>    if (data[i][1]==2018){<br>      e2018.push([data[i][0],data[i][1],data[i][2],data[i][3]])<br>    }<br>  };<br>  c2018 = HtmlService.createTemplateFromFile(&#39;taiwan2018.html&#39;);<br>  c2018.data = e2018;<br>  var final = c2018.evaluate().getContent();<br>  downloadh(final,&quot;2018.svg&quot;)<br>};</pre><pre>function download(html,filename){<br>  var att = DriveApp.createFile(filename, html, MimeType.HTML).getDownloadUrl().replace(&#39;?e=download&amp;gd=true&#39;,&#39;&#39;);<br>  var htmlOutput = HtmlService<br>    .createHtmlOutput(&quot;&lt;iframe src=&#39;&quot;+att+&quot;&#39;&gt;&lt;/iframe&gt;&quot;);<br>  SpreadsheetApp.getUi().showModalDialog(htmlOutput,&#39;自動下載&#39;);<br>}</pre><p>若是進階一點到行政區投票率差地圖的話，要運用一點計算，顏色的部分則是產出了一個從藍到白到綠的21階色碼，再套用進地圖裡囉</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/819/1*oAD96prNtvT0bOD5xHJ4IA.png" /></figure><p>漸層色碼的產出方式應該有很多，我是參考這個javascript：</p><p><a href="https://www.zhihu.com/question/38869928">JavaScript如何计算两个颜色之间的渐变色值？ - 知乎</a></p><p>關於怎麼重複做22個縣市？就是寫迴圈囉，可以參考我的上一篇文章：</p><p><a href="https://medium.com/@u0401006/%E5%AF%AB%E7%B5%A6%E6%96%87%E7%B5%84%E7%9C%8B%E7%9A%84%E7%A8%8B%E5%BC%8F%E6%96%87-%E8%BF%B4%E5%9C%88%E6%98%AF%E5%80%8B%E5%A5%BD%E6%9D%B1%E8%A5%BF-%E6%AF%8F%E5%80%8B%E7%B7%A8%E8%BC%AF%E9%83%BD%E8%A9%B2%E6%9C%89%E4%B8%80%E5%80%8B-3bc9e7f20c4a">寫給文組看的程式文：迴圈是個好東西，每個編輯都該有一個</a></p><p>關於用Google App Script「套版」可以參考這篇：</p><p><a href="https://medium.com/@u0401006/%E6%8A%8Aspreadsheet%E7%95%B6%E6%88%90%E7%B6%B2%E9%A0%81%E5%BE%8C%E5%8F%B0-%E8%AE%93%E4%B8%8D%E6%9C%83html%E7%9A%84%E7%B7%A8%E8%BC%AF%E4%B9%9F%E8%83%BD%E6%9B%B4%E6%8F%9B%E5%B0%88%E9%A1%8C%E5%85%A7%E5%AE%B9-google-script-e1da7693f7a">把spreadsheet當成網頁後台，讓不會html的編輯也能更換專題內容！google script</a></p><p>由於我沒用過別的帳號進過google app scirpt，不知道大家都開得起來嗎？如果有問題請通知我，再研究研究怎麼分享出來。這一篇文章其實寫得有點簡陋，若有問題歡迎找到我討論。</p><p>至於當天晚上怎麼用python抓中選會資料，等整理好再寫一篇囉。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=405217663be6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[無限接頁(infinite scroll) 的流量追蹤 GTM設定筆記]]></title>
            <link>https://u0401006.medium.com/%E7%84%A1%E9%99%90%E6%8E%A5%E9%A0%81-infinite-scroll-%E7%9A%84%E6%B5%81%E9%87%8F%E8%BF%BD%E8%B9%A4-gtm%E8%A8%AD%E5%AE%9A%E7%AD%86%E8%A8%98-1f3d8285ba8f?source=rss-ff6425ea3c0------2</link>
            <guid isPermaLink="false">https://medium.com/p/1f3d8285ba8f</guid>
            <category><![CDATA[gtm]]></category>
            <category><![CDATA[google-analytics]]></category>
            <category><![CDATA[infinite-scroll]]></category>
            <dc:creator><![CDATA[宋育泰]]></dc:creator>
            <pubDate>Fri, 07 Sep 2018 16:29:25 GMT</pubDate>
            <atom:updated>2018-09-12T10:05:45.003Z</atom:updated>
            <content:encoded><![CDATA[<p>緣由：網站改版設計了讓文章2可以接續在文章1後出現，文章3可以在文章2後出現…這樣創造出專題形式的不間斷閱讀形式，要追蹤流量。</p><p>目標：針對這種infinite scroll （其實也算是虛擬頁面），在看到新文章、或回到舊文章時，analytics.js send pageview。</p><p>為什麼是個問題？在閱讀流程上不就是文章1看完，文章2看完，文章3嗎？但在技術層面，就是瀏覽器開了一個網頁，再一直把新的內容讀進同一個網頁裡，因此若不特別設定觸發，ga只會送出第一次pageview，後幾篇雖然讀過了，但是沒被紀錄，從數據要分析讀者閱讀歷程就有缺漏。</p><p>實際案例，單篇文章讀完後，再往下會有另篇文章：</p><ul><li><a href="https://www.thenewslens.com/article/102302">自己的家鄉自己顧，成為地方少棒無堅不摧的後盾 三星國小棒球隊 教練團專訪〈下〉 - The News Lens 關鍵評論網</a></li><li><a href="https://abcnews.go.com/US/man-armed-multiple-guns-including-rifle-takes-hostage/story?id=57666230">Man armed with rifles, other guns takes hostage, prompts 2-hour police standoff</a></li></ul><p>在gtm設定時要準備的是：<br>1. 變數（自訂 JavaScript）：承接新文章的title，是送pv需要的資料</p><pre>//我把這個變數命名為title-next</pre><pre>function(){<br>  var titles = document.getElementsByTagName(&#39;h1&#39;);<br>  var title = titles[titles.length-1].textContent;<br>  return title;<br>}</pre><p>2. 代碼（自訂 HTML）：設定一個事件叫scrollview，等等作為觸發條件，並且把標題送進資料層（dataLayer）GA會來這拿資料</p><pre>//把這個項目命名為scrollview，title的內容是剛剛命名的title-next，gtm帶入變數的方法是兩組{}包起來</pre><pre>&lt;script&gt;<br>dataLayer.push({<br>  &#39;event&#39;:&#39;scrollview&#39;,<br>  &#39;title&#39;:{{title-next}}<br>});<br>&lt;/script&gt;</pre><p>3. 觸發條件（記錄變更）：在「網址變更（換頁）發生」</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/787/1*QV3cPNrsLJe_IvS0io6HSg.png" /><figcaption>dataLayer.push的觸發條件（page hostname是我測試環境）</figcaption></figure><p>一般來說最常用的觸發條件大概就是網頁瀏覽、點擊、youtube了吧。中文版「記錄變更」字面一直都看不太懂，也不太去找，這次遇上了！主要是gtm處理資料層中紀錄網址變化的資料。這裡是用到New History Fragment的鍵值，RegEx的寫法就是所有網址紀錄有變化就觸發。</p><p>3. 代碼（Google Analytics分析）：設定送pv動作、送到哪裡等細節</p><p>a. 設定GA編號<br>b. 更多設定 &gt; 要設定的欄位 &gt; Field Name: title、Value: {{title-next}}</p><p>4. 觸發條件（自訂事件）：只要scrollview事件成立，就啟動代碼。<br>Event name輸入剛才設定的scrollview即可。</p><p>測試：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1023/1*ZbFu3yu8xlMmvP5PR5LVLA.png" /><figcaption>設定好可以用preview模式檢查</figcaption></figure><p>通用Analytics分析- Fired 1 time(s) 進入頁的 1pv<br>Analytics-scrollview- Fired 3 time(s) 接頁的 3pv<br>總共4個pv</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/449/1*6HETuU5oO9l4R01z2sJB0w.png" /><figcaption>也可以用Chrome Tag Assistant外掛檢查</figcaption></figure><p>做的時候踩了一個坑，怎麼步驟2的自訂 HTML有生效，但是送去GA的資料還是第一頁的資訊呢？後來發現，因為pageview比dataLayer早生效。另外是，如果有讀者在頁面交界處頻繁來回，造成瀏覽量無意義膨脹。（怎麼對業務這麼佛心）。加上第一次發佈這篇文章的時候，以為on-screen duration是有效的時間差做法，所以再修了一下，要回頭改2 scrollview事件的代碼：</p><pre>//先抓取目前網址，丟進陣列裡<br>//停5秒，再抓一次目前網址<br>//如果這兩個網址是一樣的，就送出scrollview事件（代表他沒有跳進來，又跳出去～跳進來，又跳出去）</pre><pre>&lt;script&gt;<br>(function() {<br>var timeout = 5000;<br>var ps= [];<br>ps.push(location.pathname);<br>window.setTimeout(function() {<br>  ps.push(location.pathname);<br>  if(ps[ps.length-1] == ps[ps.length-2]){<br>  window.dataLayer.push({<br>    &#39;event&#39;:&#39;scrollview&#39;,<br>    &#39;page&#39;:{{url}},&#39;title&#39;:{{title-next}}<br>  })<br>  };<br>}, timeout);<br>})();<br>&lt;/script&gt;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dei4wBMYJJu3h5ZvJd-sJQ.png" /><figcaption>實際測試：雖然datalayer觸發了10次，但是實際才送出6次pv</figcaption></figure><p>關於New History Fragment設定靈感是參考了這個影片：</p><p><a href="https://www.youtube.com/watch?v=dEs81OtvNTg&amp;t=121s">https://www.youtube.com/watch?v=dEs81OtvNTg</a></p><p><a href="https://ithelp.ithome.com.tw/articles/10192163">GTM 19 - 什麼是資料層 (Data Layer)，如何在 GTM 取得資料層變數 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1f3d8285ba8f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[寫給文組看的程式文：迴圈是個好東西，每個編輯都該有一個]]></title>
            <link>https://u0401006.medium.com/%E5%AF%AB%E7%B5%A6%E6%96%87%E7%B5%84%E7%9C%8B%E7%9A%84%E7%A8%8B%E5%BC%8F%E6%96%87-%E8%BF%B4%E5%9C%88%E6%98%AF%E5%80%8B%E5%A5%BD%E6%9D%B1%E8%A5%BF-%E6%AF%8F%E5%80%8B%E7%B7%A8%E8%BC%AF%E9%83%BD%E8%A9%B2%E6%9C%89%E4%B8%80%E5%80%8B-3bc9e7f20c4a?source=rss-ff6425ea3c0------2</link>
            <guid isPermaLink="false">https://medium.com/p/3bc9e7f20c4a</guid>
            <category><![CDATA[for-loop]]></category>
            <category><![CDATA[google-app-script]]></category>
            <category><![CDATA[spreadsheets]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[宋育泰]]></dc:creator>
            <pubDate>Wed, 22 Aug 2018 15:12:07 GMT</pubDate>
            <atom:updated>2018-08-23T00:37:37.715Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*xEzvvrgQ03L7Plkm" /><figcaption>在<a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a>搜for loop，Medium推薦我用這張圖 (Photo by <a href="https://unsplash.com/@tine999?utm_source=medium&amp;utm_medium=referral">Tine Ivanič</a>)</figcaption></figure><p>我不是程式高手，只是接觸程式之後，發覺一個迴圈可以處理掉很多瑣碎編輯工作，實在值得好好寫下一筆！</p><p>程式最好的特性就是，你設定好一個步驟，他可以做幾千幾萬次，而且很快。人做個幾十次就沒效率了。讓程式一直做重複的事就是迴圈。</p><p>我要舉幾個跟編輯有關的例子。</p><p>1. 世足賽的背景新聞，一篇一篇word傳來，一共60、70篇，看著資料夾裡的檔案就頭痛了，還要一個一個打開，鍵入系統？可以用迴圈，把標題、內文都抓出來，絕對比工讀生還快，也不太會出錯。</p><p>2. 累積了一批短網址，想要知道點擊數，一個一個點開來查？跑個迴圈接api，把資料儲存起來，很有效率。</p><p>3. 下載了open data數據，有很多excel檔案或分頁，只需要取每一頁的C3出來，要一頁一頁點開，很麻煩。</p><p>這些都是編輯的瑣事，絕大多數的人可能摸摸鼻子自己加班做，有一些資源的人有工讀生處理，但不管怎樣都很浪費生命啊！尤其工讀生青春年華的。</p><p>迴圈是個好東西，每個編輯都該有一個。for迴圈。</p><p>上面的三個例子都是要對付你已知道範圍的文本（doc、url、excel），所以用for迴圈是最合適的，白話文就是：這個範圍裡的文本，通通幫我把標題抓出來/點擊數抓出來/每頁的C3抓出來吧！</p><p>我有個簡單的案例：open data可以找到「縣市結、離婚及結婚次數.xls」有10個分頁，放了96–104年的資料，我要取出每個分頁的B7、L7，整合出一個表格。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*viAjh1nH3-7fv-T7PA4Nbw.jpeg" /><figcaption>每個分頁都要取出藍框的B7、L7數字。</figcaption></figure><p>因為檔案放在google drive spreadsheet，所以我用google app script處理（javascript，使用google app的函式庫功能）</p><pre><br>function get() {</pre><pre><strong>  //取得Spreadsheet裡的所有分頁，也就是之前提到的已知範圍</strong><br>  var sheets = SpreadsheetApp.getActiveSpreadsheet().getSheets();</pre><pre>  <strong>//設定目標，告訴程式數據取好要貼到「工作表1」</strong></pre><pre>  var sheet1 = SpreadsheetApp.getActiveSpreadsheet().getSheetByName(&quot;工作表1&quot;);</pre><pre>  <strong>//for迴圈開始啦！從第2頁開始（第1頁是「工作表1」），一直跑完這個範圍</strong></pre><pre>  for (var i = 1; i &lt; sheets.length; i++){<br>    var data = [];</pre><pre><strong>    //取得分頁名</strong><br>    data.push(sheets[i].getName());</pre><pre><strong>    //取得B7、取得L7</strong><br>    data.push(sheets[i].getRange(&quot;B7&quot;).getValue());<br>    data.push(sheets[i].getRange(&quot;L7&quot;).getValue());    </pre><pre>    <strong>//把上面三個動作取得的資料依序吐到「工作表1」</strong><br>    var range = sheet1.getRange(i+1,1,1,3)<br>    range.setValues([data]);<br> };<br>};</pre><p>結果長這樣：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/272/1*YUQMHbJH3cahJwiioIrFKQ.png" /><figcaption>96–105年結婚與離婚對數</figcaption></figure><p>其實用手貼應該也很快啦，才10頁。但我總是說，如果你是50個分頁、50個檔案、一頁要複製10個位置的話怎麼辦？</p><p>另一個案例是，整理台北市長選舉各里的投票狀況，得到檔案是這些：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/206/1*QiaIAc-E78FvbQSLHZ_raA.png" /><figcaption>2006年台北市各區里投票所投票狀況</figcaption></figure><p>要把這些檔案裡的數據合併成一個檔案，因為是放在電腦資料夾，這次用了python：</p><pre>import pandas as pd<br>import glob</pre><pre><strong>#這是之前提到的已知範圍</strong><br>allfile = glob.glob(&#39;2006-Taipei/*.xlsx&#39;)</pre><pre><strong>#開一個統整表格，等等把抓到的資料貼到這裡</strong><br>df = pd.DataFrame()</pre><pre><strong>#開始for迴圈啦！</strong><br>for i in allfile:</pre><pre><strong>#打開excel，忽略表頭</strong><br>    raw = pd.read_excel(i,skiprows=2)</pre><pre><strong>#重新命名欄位名稱</strong><br>    raw.columns = [&#39;行政區別&#39;,&#39;里別&#39;,&#39;投開票所&#39;,&#39;李 敖&#39;,&#39;周玉蔻&#39;,&#39;謝長廷&#39;,&#39;宋楚瑜&#39;,&#39;郝龍斌&#39;,&#39;柯賜海&#39;,&#39;有效票數&#39;,&#39;無效票數&#39;,&#39;投票數&#39;,&#39;已領未投票數&#39;,&#39;發出票數&#39;,&#39;用餘票數&#39;,&#39;選舉人數&#39;,&#39;投票率&#39;]</pre><pre><strong>#把資料貼到之前新創的統整表格裡</strong><br>    df = df.append(raw)</pre><p>雖然程式碼短短的，對新手來說還是會一頭霧水。且除了迴圈以外，還是有一些別的程式技巧需要學習（如spreadsheet中定位、取得值；先用陣列暫存數值，再貼進表格），不過這篇文章主要目的是幫文組生說一說：程式到底可以在編輯工作上做些什麼？如果有興趣，非常想要省下無謂的時間，是時候學學程式了。</p><p>手上正好有兩本python書有講這件事（但我沒照著做過，網路找程式範例比較快）</p><p><a href="https://www.taaze.tw/usedList.html?oid=11100802416">https://www.taaze.tw/usedList.html?oid=11100802416</a></p><p><a href="https://www.books.com.tw/products/0010739372?loc=P_asb_003">https://www.books.com.tw/products/0010739372?loc=P_asb_003</a></p><p>Google App Script好像沒看過中文書，介紹文章也少，直接看官網介紹也夠詳盡了 <a href="https://developers.google.com/apps-script/">https://developers.google.com/apps-script/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3bc9e7f20c4a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[如何以GTM設定用戶追蹤？在Google Analytcs自訂維度設定userId]]></title>
            <link>https://u0401006.medium.com/%E5%A6%82%E4%BD%95%E4%BB%A5gtm%E8%A8%AD%E5%AE%9A%E7%94%A8%E6%88%B6%E8%BF%BD%E8%B9%A4-%E5%9C%A8google-analytcs%E8%87%AA%E8%A8%82%E7%B6%AD%E5%BA%A6%E8%A8%AD%E5%AE%9Auserid-9aadc531f170?source=rss-ff6425ea3c0------2</link>
            <guid isPermaLink="false">https://medium.com/p/9aadc531f170</guid>
            <dc:creator><![CDATA[宋育泰]]></dc:creator>
            <pubDate>Wed, 23 May 2018 15:31:13 GMT</pubDate>
            <atom:updated>2018-05-24T05:30:42.213Z</atom:updated>
            <content:encoded><![CDATA[<h3>手把手在GTM設定用戶追蹤：如何在Google Analytcs自訂維度填入userId</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/801/1*RMTYv77bNdMRrjntp9Jing.png" /><figcaption>ga介面中的自訂維度設定</figcaption></figure><p>因為想要更明確地進行讀者分群，但是網站沒有完整、完善的會員機制（也就是說，這篇文章不是在說<a href="https://support.google.com/analytics/answer/3123662?hl=zh-Hant&amp;utm_id=ad">GA的User ID功能</a>），要怎麼做到這件事？之前隱約聽說，可以透過伺服器給值，存在cookie中作為辨識。但…</p><p>缺點1. 讀者可以清cookie啊！<br>缺點2. cookie會到期啊！<br>缺點3. 讀者利用不同瀏覽器、不同裝置無法辨識為同一人</p><p>其實缺點很多，但是我短期內不會有會員機制，沒辦法以使用者註冊的資料（如帳號、email、uid）來比對，分析又不想不進行，就自己跨出去實驗＆嘗試吧！</p><p>缺點1、缺點2被我歸類為小比例問題，實際會清的人很少、以新聞網站的內容翻新率而言，cookie放到過期的群眾就先把他們當成是過路客吧！</p><p>缺點3的確是難題，Google Analytics將其以userId的方式處理（首先要在管理資源&gt;追蹤資訊處，打開設定），也就是網站端要給用戶綁定值，如果有註冊不登入，也是算不上準。只好安慰自己：會跨裝置使用網站的人應該不多吧！不多吧？</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/971/1*v_fY157Ici_Ly1eY4nZoRA.jpeg" /><figcaption>GA User-ID功能要在追蹤資訊中開啟，系統提供唯一專屬ID是跨裝置追蹤能落實的重點。</figcaption></figure><p>在研究的過程中發現，中文的內容不多，就讓我把過程記錄下來吧！</p><p>直接利用GA的cookie的方法有找到，但是面臨一些問題，後來是改用GA Tracker取值完成。</p><h3>從GA cookie取資訊作為Id</h3><p><strong>步驟1. 【GTM】GA cookie解讀：製作自訂html代碼</strong><br>代碼 &gt; 新增 &gt; 自訂html &gt; push uid to datalayer</p><pre>&lt;script type=”text/javascript”&gt;<br>  function readCookie(name) {<br>  name += ‘=’;<br>  for (var ca = document.cookie.split(/;\s*/), i = ca.length — 1; i &gt;= 0; i — )<br>  if (!ca[i].indexOf(name))<br>  return ca[i].replace(name, ‘’);<br> //取得cookie<br>  }<br>  var gaUserCookie = readCookie(“_ga”);<br>  if (gaUserCookie != undefined) {<br>  var cookieValues = gaUserCookie.split(‘.’);<br>  if (cookieValues.length &gt; 2 ) {<br>  var userId = cookieValues[2];<br>  dataLayer.push({‘event’:’setUserId’, ‘userId’: userId});<br>  //鎖定ga cookie，並取 _ga.\d*.\d*的中間段，並且push到dataLayer<br>  //要記住，我們把值push到「userId」，下一步會用到<br> }<br> }<br>&lt;/script&gt;</pre><p>這段碼是從<a href="http://dan-russell.com/2014/03/how-to-set-a-userid-as-a-custom-variable-using-the-google-analytics-cookie/">Dan Russell- How to set a UserID as a custom variable using the Google Analytics cookie 文章</a>來的。</p><p><strong>步驟2. 【GTM】製作dataLayer Variable（承接GA cookie吐出的資訊）</strong><br>變數 &gt; 新增 &gt; 資料層變數 &gt; userId（可自行命名）<br>資料層變數名稱 &gt; userId</p><p><strong>步驟3. 【GA】設定自訂維度</strong><br>管理 &gt; 資源 &gt; Dd自訂定義 &gt; 自訂維度 &gt; 新增自訂維度<br>設定名稱、範圍、有效<br>要記得索引編號</p><p><strong>步驟4. 【GTM】代碼設定自訂維度</strong><br>在GA碼啟動時一併送出userId到自訂維度<br>在已經加入的GA代碼 &gt; 更多設定 &gt; 自訂維度<br>索引 = 1<br>維度值 ＝ {{userId}} &lt;-也就是步驟2設定的資料層變數</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/760/1*yfWF108RwIEU_6UwaF7ZKw.jpeg" /><figcaption>gtm指定自訂維度與給值的介面</figcaption></figure><p>缺點1. 如果是新訪客，還沒有cookie沒辦法拿到值<br>缺點2. 致命！如果設定自訂維度的代碼fire早於cookie解讀，值不會傳入GA</p><p>這也是為什麼我測試了非常多天，在gtm預覽也看得到userId fired，<br>但自訂維度始終都收不到值的原因。</p><p>我從simoahava網站找到了另一種作法，這個網站有很詳盡的gtm文章。</p><h3>從GA Tracker取得值</h3><p><strong>步驟1. 【GTM】從GA Tracker解讀：製作自訂javascript變數<br></strong>變數&gt; 新增 &gt; 自訂JavaScript</p><pre>function() {<br>  try {<br>  var trackers = ga.getAll();<br>  var i, len;<br>  for (i = 0, len = trackers.length; i &lt; len; i += 1) {<br>  if (trackers[i].get(‘trackingId’) == {{ga-19}}) {<br>  //{{ga-19}}是我設定的GA追蹤資源編號的常值，把資源編號設成變數的好處是，在轉移、複製設定時，不用一個一個修改編號設定<br>  var userId = trackers[i].get(‘clientId’);<br>  return clientId;<br>  }<br>  }<br>  } catch(e) {}<br>  return ‘false’;<br>  }</pre><p>這裡取到的值跟第一種取cookie做法是同樣的，結果是如這個字串：396134504.1524032525<br>396134504是隨機不重複的亂數，<br>1524032525則是時間（timestamp）</p><p><strong>步驟2. 【GA】設定自訂維度</strong><br>同主圖，也就是上一種做法的同個設定（反正沒成功傳值進來）</p><p><strong>步驟3. 【GTM】綁定自訂維度：製作自訂javascript變數</strong><br>變數 &gt; 新增 &gt; 自訂JavaScript</p><pre>function() {<br>  // 設定要傳入的自訂維度編號<br>  var customDimensionIndex = 1;<br>  return function(model) {<br>  model.set(‘dimension’ + customDimensionIndex, model.get(‘userId’));<br> }<br> }</pre><p>其實概念都跟前一種做法差不多，只是取值與設定值的方法都是利用變數操作。</p><p>特別的之處登場：<strong>利用analytics的task api，操作model object：</strong>model.get得到userId的值，model.set把userId資料設定進自訂維度</p><p><strong>步驟4. 【GTM】代碼設定customTask</strong><br>在已經加入的GA代碼 &gt; 更多設定 &gt; 要設定的要設定的欄位<br>欄位名稱 = customTask<br>值 = {{userId}}</p><p>所謂的<a href="https://developers.google.com/analytics/devguides/collection/analyticsjs/tasks">task是指，每次ga code執行send指令時，analytics.js就會進行一連串task</a>。如samplerTask、sendHitTask、timingTask…(看字面應該可以猜出大概是什麼吧)，而customTask是眾多Task中最沒特殊意義，卻又最有利的功能：</p><blockquote>It has no special functionality of its own. A task queue can and will run perfectly without customTask defined.<br>&gt; 它不像其他Task有特定功能，任務佇列就算沒有定義customTask也可以很完美地執行。</blockquote><blockquote>It runs before any other task, meaning you have full control over how the queue is processed.<br>&gt; 它於其他Task之前執行，也就是說你可以利用它客製化其他任務佇列的內容。</blockquote><p>做好以上的步驟，過一段時間後就收集到userId資料，接下來就可以進行讀者分群分析了！這個設定主題也就在此告一段落囉。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/619/1*FO9LMpdTS1bBt-Dndh-SgQ.jpeg" /><figcaption>可以從GA得到類似這樣子的資料</figcaption></figure><ul><li>利用cookie蒐集讀者資料做到什麼程度會觸及隱私問題？需要更多的研究。目前的這種字串，難辨識出個別讀者，應該離紅線應還有距離。</li></ul><p>參考資料：</p><ul><li><a href="https://www.simoahava.com/analytics/improve-data-collection-with-four-custom-dimensions/">Improve Data Collection With Four Custom Dimensions</a></li><li><a href="https://www.simoahava.com/gtm-tips/use-customtask-access-tracker-values-google-tag-manager/">#GTMTips: Use customTask To Access Tracker Values In Google Tag Manager</a></li><li><a href="http://dan-russell.com/2014/03/how-to-set-a-userid-as-a-custom-variable-using-the-google-analytics-cookie/">How to set a UserID as a custom variable using the Google Analytics cookie</a></li></ul><p>補充：這一篇應該有些網站經營者需要，之前ga時代都遇過直接硬塞ga多組資源碼發生pv膨脹（pv與upv相差數倍）的問題，解法是要新建Tracker，把pv送到不同的資源，在gtm中的設定方法：</p><p><a href="https://www.simoahava.com/gtm-tips/send-google-analytics-tag-multiple-properties/">#GTMTips: Send Google Analytics Tag To Multiple Properties</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9aadc531f170" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>