<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Kevin Tseng on Medium]]></title>
        <description><![CDATA[Stories by Kevin Tseng on Medium]]></description>
        <link>https://medium.com/@chungyizhen?source=rss-fe87d17b5b11------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*4XFgoeborwa0CEyWh1yCkg.jpeg</url>
            <title>Stories by Kevin Tseng on Medium</title>
            <link>https://medium.com/@chungyizhen?source=rss-fe87d17b5b11------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 08:50:40 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@chungyizhen/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Influence Operation在ChatGPT出現後，會有怎樣的變化?]]></title>
            <link>https://chungyizhen.medium.com/influence-operation%E5%9C%A8chatgpt%E5%87%BA%E7%8F%BE%E5%BE%8C-%E6%9C%83%E6%9C%89%E6%80%8E%E6%A8%A3%E7%9A%84%E8%AE%8A%E5%8C%96-da31c5fab547?source=rss-fe87d17b5b11------2</link>
            <guid isPermaLink="false">https://medium.com/p/da31c5fab547</guid>
            <category><![CDATA[influence-operations]]></category>
            <category><![CDATA[chatgpt]]></category>
            <category><![CDATA[disinformation]]></category>
            <dc:creator><![CDATA[Kevin Tseng]]></dc:creator>
            <pubDate>Thu, 23 Mar 2023 05:09:20 GMT</pubDate>
            <atom:updated>2023-03-23T05:09:20.480Z</atom:updated>
            <content:encoded><![CDATA[<blockquote>由於研究所的題目在內容農場在影音平台上的溯源，看了gpt4<a href="https://cdn.openai.com/papers/gpt-4.pdf">技術報告</a>關於disinformation 的部份，以及OpenAI CEO 在ABC的專訪，有一題問了可能的最糟後果，CEO Sam Altman第一個就提到了大規模disinformation，激起我想要整理一下自己的想法，基於近期閱讀的資訊與觀察綜合如下。</blockquote><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2F540vzMlf-54%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3D540vzMlf-54&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2F540vzMlf-54%2Fhqdefault.jpg&amp;key=d04bfffea46d4aeda930ec88cc64b87c&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/e66359d94522d33bd6e309ccd036ee2f/href">https://medium.com/media/e66359d94522d33bd6e309ccd036ee2f/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EswbtM-pkcwGr6UNkFS3LA.png" /><figcaption>節錄自ABC News YouTube</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rgUpxmrxFoSYnw6_MMCFiQ.png" /><figcaption>節錄自ABC News YouTube</figcaption></figure><ol><li>隨著AIGC(AI Generated Content)成熟，尤其在文字上，未來製造disinformation或是「劇本」越來越容易。多樣化與無人化導致的大量生成，從文本上的辨識，將會非常困難，人類或機器都很難辨識，行為上比較有可能辨別。不過在影像上，似乎還是有看到辨別或是干擾的方法，但對影像的生成</li><li>另外是基於文字的回答與解釋，ChatGPT做得很好，但目前在推理較弱，以及可能提供似是而非的回答，如果沒有像是Bing這種結合搜尋引擎的解決方式，在需要較嚴謹的領域，如論文引用等，還需要更多工具的結合，但在可以快速驗證如程式的領域，因為可以直接運作，幫助會更直接。</li><li>上一次 disinformation被大量關注應屬劍橋分析事件，後續催生了許多法規，所有社群平台也更注重隱私，資料更難以取得、第三方cookie消失、GDPR等，造就了某種程度的管制，但隨著ChatGPT的到來，雖然設計者可以透過某些方法管理，但並不如過去可以直接從源頭規範，在黑盒子中，怎麼調整、微調，並不是這麼直接，也看到許多人突破封鎖，但在整體樂觀的氛圍中，很可能要出事之後，人們才會開始重視與管理，那會是下一個美國或是歐洲的選舉嗎?</li><li>就目前觀察到的狀況，網頁版的內容農場(文字)，搜尋引擎跟社群平台已經有了很好的管制，目前大量出現的是，把文字轉成影片後，用類似主播念稿的方式大量傳播，從一開始最粗糙的機器人假主播，目前人聲已經模擬得很好，可能在成本考量下，deepfake並未大量出現，頂多看到小範圍的案例，但或許在成本逐漸下降後，抑或平台有更好的監管，才會有更細緻的操作，但若是短文本如Line的謠言撰寫，很容易透過ChatGPT快速撰寫與針對目標自動化。</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=da31c5fab547" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[非軟體團隊跑敏捷三個月回顧]]></title>
            <link>https://chungyizhen.medium.com/%E9%9D%9E%E8%BB%9F%E9%AB%94%E5%9C%98%E9%9A%8A%E8%B7%91%E6%95%8F%E6%8D%B7%E4%B8%89%E5%80%8B%E6%9C%88%E5%9B%9E%E9%A1%A7-b2ede4d3f9d1?source=rss-fe87d17b5b11------2</link>
            <guid isPermaLink="false">https://medium.com/p/b2ede4d3f9d1</guid>
            <category><![CDATA[sprint]]></category>
            <category><![CDATA[scrum]]></category>
            <dc:creator><![CDATA[Kevin Tseng]]></dc:creator>
            <pubDate>Sun, 18 Jul 2021 07:26:53 GMT</pubDate>
            <atom:updated>2021-07-25T10:21:25.850Z</atom:updated>
            <content:encoded><![CDATA[<p>在團隊嘗試導入敏捷快三個月了，由於團隊的異質性很高，一直不太確定軟體的框架scrum適不適合，一路上跌跌撞撞，但任務的整體掌握度更好了，剛好下午聽了Ant的演講，也提到了敏捷的管理，很有感覺，紀錄一下~</p><p>1. 小團隊的優缺點</p><ul><li>優點：非常自主，想做任何改變幾乎都能即刻執行。</li><li>缺點：大部分屬於獨立作業者，進行工作整合需要時間適應。</li></ul><p>2. Story Point</p><ul><li>誤區：將估計準則以時間估計。</li><li>原因：由於大部分工作都是以時間人力估計，但這種絕對值的估計，在不確定性高的任務(task)，如軟體開發、研究等，是難以估計準確的，但人類對於相對概念是比較準確的，比如說模型的變數發想，可能是模型建置兩倍的時間，會能估計出相對精準的任務困難程度。</li><li>預期優點：</li></ul><p>a. 可以估計出相對靈活&amp;準確的工作量</p><p>b. 由於有多了一層抽象化，把任務工作時間抽象成 story point，這一層轉化，可以評估團隊的velocity－<strong>實現成就的速度</strong>，而不是單純的完成多少件工作，可以較準確的評估團隊的能量(capacity)。但千萬不要當作績效指標使用，這是為了提高進度的可預測性，實行一段時間後，團隊的速率變動應該不大。</p><p>c. 相對於固定的工時，多一層指標可以衡量團隊狀況，例如最近是否有太多干擾，如何排除。</p><p>ps. 關於團隊與個人的績效評估可參考</p><p>a. <a href="https://blog.yveslin.com/2015/06/26/evaluate-development-team-performance-ping-liang-kai-fa-tuan-dui-ji-xiao/">分數怎麼給？ — 如何評量開發團隊</a></p><p>b. <a href="https://blog.yveslin.com/2015/06/30/ping-liang-kai-fa-ren-yuan-gong-cheng-shi-chan-neng-measure-software-developer-engineer-productivity/">快推別說風涼話啦 — 如何量化個別開發人員和工程師的產能</a></p><p>3. 怎麼合併與對齊目標</p><p>如果是身處於異質性較高的團隊，初期可能較難有共同的 sprint goal，因為大家都習慣了有各自的目標，那就需要再拉高層級，這個團隊今年／每一季／每個月，大概的想像會是甚麼，我們做的這些事情，是不是有為了這個目標而前進，不然滿容易迷失方向的。不過這我也還在學習怎麼合併跟收攏大家的目標，進而可以形成團隊的氛圍，一起攻克目標。</p><p>Reference:</p><ol><li><a href="https://medium.com/doflowy/scrum%E8%A6%8F%E5%8A%83%E6%9C%83%E8%AD%B0-%E4%BA%8C-%E8%AA%AA%E5%A5%BDstroy%E7%9A%84kpi%E8%88%87criteria-4fac6f387f35">【Scrum規劃會議】(二)說好Stroy的KPI與Criteria</a></li><li><a href="https://medium.com/doflowy/scrum%E8%A6%8F%E5%8A%83%E6%9C%83%E8%AD%B0-%E4%B8%89-%E9%80%B2%E8%A1%8Cstory-point%E7%9A%84%E8%A9%95%E5%88%86-de6c837ee6cc">【Scrum規劃會議】(三)進行Story Point的評分</a></li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b2ede4d3f9d1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Customer vs. User 組織的不同需求]]></title>
            <link>https://chungyizhen.medium.com/customer-vs-user-%E7%B5%84%E7%B9%94%E7%9A%84%E4%B8%8D%E5%90%8C%E9%9C%80%E6%B1%82-89554c017d0?source=rss-fe87d17b5b11------2</link>
            <guid isPermaLink="false">https://medium.com/p/89554c017d0</guid>
            <category><![CDATA[bizthinking]]></category>
            <category><![CDATA[needs-analysis]]></category>
            <dc:creator><![CDATA[Kevin Tseng]]></dc:creator>
            <pubDate>Sun, 21 Mar 2021 15:39:03 GMT</pubDate>
            <atom:updated>2021-03-21T15:39:03.638Z</atom:updated>
            <content:encoded><![CDATA[<p>最近在上商業思維課程中的專案管理課，在需求訪談中，談到一個我混淆很久的定義，讓我瞬間領悟到之中的細微差異！在許多情況裡客戶(customer)與用戶(user) 是可以混用的，或是以TA(target audience)代表，我們也常說客戶最大，畢竟付錢(pay the bill)的人很可能就是使用者，但都是如此嗎？</p><p>課程中舉了一個例子：尿布，父母付錢，所以是客戶，但user卻是小孩。剛好最近職涯歷經商業公司、法人機構與非營利組織(NGO)，所面對的customer/user極為不同，兩者的區分一解我對於TA的理解。</p><p>在應用場景，要提升營收，那就是面向customer，以銷售為主，可能是會牽涉到行銷marketing的領域，但user的面向不同，也有可能是網站的使用者，更注重的是使用者體驗(UX) 。</p><ol><li>商業機構：以電信業為例(ToC)，通常customer/user是同一個，就是付月租費的人跟使用服務的人。但也有特殊的族群，如「三明治」，上有老下有小，老/小的錢是他付的，也就是customer，但實際的user卻是老人/小孩。商業通常更注重短期，就是看得到的營收，所以當然是看誰付錢。對於三明治來說，老/小的使用者體驗（網絡速度）不一定很重要，反而可能不希望小孩玩遊戲，價格的優先級較高。</li><li>非營利組織(NGO)：NGO有很多種，這邊是以拿補助或標案(ToB)，非小額捐款為主，但運作模式大多都是以展現對議題的價值，如對環保的倡議。實際區分如下，customer 會是funder 或是提案的機構，由NGO自行提案，取得經費，但user會是幫助公民/社會為主，如舉辦講座讓大眾更有環保意識，展現自身的影響力(impact)。但因為user比較屬於不特定的大眾，在量化指標的衡量較商業機構更難，customer &amp; user的關係也並不這麼直接。</li><li>財團法人：這類組織透過政府的資助，主要以前沿研究或扶植產業為主，在台灣有台灣經濟研究院、資策會等機構等，customer大宗是政府的研究計畫，例如科技部，或是其他機構的研究案，也有可能向企業販售前沿技術，跟NGO(ToB)有點類似，以大額資金(fund)為主，只是來源可能更偏向國內。而user比較偏向出資方(funder)，完成某項研究，但也有可能是大眾，幫助民眾或第三方組織，要錢或是要名聲。但因為人員組成或KPI設計，大部分是以財務收入為主，所以能完成customer的需求為第一要務，才能增加更多收入，算是一種變形的商業機構(ToB)？</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=89554c017d0" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[不實資訊(disinformation)分析架構AMITT，以假帳號為例]]></title>
            <link>https://chungyizhen.medium.com/%E4%B8%8D%E5%AF%A6%E8%B3%87%E8%A8%8A-disinformation-%E5%88%86%E6%9E%90%E6%9E%B6%E6%A7%8Bamitt-%E4%BB%A5%E5%81%87%E5%B8%B3%E8%99%9F%E7%82%BA%E4%BE%8B-dc367eadcf00?source=rss-fe87d17b5b11------2</link>
            <guid isPermaLink="false">https://medium.com/p/dc367eadcf00</guid>
            <category><![CDATA[假新聞]]></category>
            <category><![CDATA[fake-news]]></category>
            <category><![CDATA[資訊戰]]></category>
            <dc:creator><![CDATA[Kevin Tseng]]></dc:creator>
            <pubDate>Sat, 30 Jan 2021 10:52:00 GMT</pubDate>
            <atom:updated>2021-01-31T06:57:06.772Z</atom:updated>
            <content:encoded><![CDATA[<p>在研究假新聞的過程中，有一個不斷出現的難題，淺層的特徵，在平台與假帳號的攻防之下，很不穩定，例如說，早期假帳號非常粗糙，就是一個沒有大頭貼、好友也沒幾個、不斷分享的新帳號，但隨著平台與操作者的攻防，但出現了更細緻的作法，像是到某些興趣社團，完整複製個人的圖片，完整複製個人的生活軌跡，或是以AI的deepfake深偽技術，生成大頭貼。</p><p>每個操作者、組織使用的手法百百種，再加上平台的偵測，淺層的特徵會常常變動，必須有一個覆蓋假帳號更源頭的架構，找出穩定、操作者難以避免的特徵，讓研究時的得以溯源，了解假帳號從創立到最後的行動，整體的來龍去脈。</p><p><a href="https://tfc-taiwan.org.tw/articles/4434">【資訊戰新手法】 「垃圾郵件龍」AI生成大頭照 親中假帳號成反美怪獸</a></p><h3><strong>1. 分析背景</strong></h3><blockquote>而AMITT(Adversarial Misinformation and Influence Tactics and Techniques)就是其中一種分析框架，由 SJ Terp 與研究線上資訊的真實性、品質與可信度的社群 Credibility Coalition，所共同創立。這個分析框架，可追溯到資安領域分析駭客時，為了歸納不同的攻擊階段與技術，有TTPs(Tactics, techniques and procedures)的概念。</blockquote><p>SJ Terp(Sara-Jayne Terp)是一名AI與不實資訊(disinformation)的學者，背景非常多元，包含：</p><ul><li><a href="https://www.blighti.com/">Bodacea Light Industries</a>的創辦人，一間專注於認知安全(不實資訊機制、資訊操作與反制, disinformation mechanisms, information operations, countermeasures)的組織，特別專注於分析與資料科學。</li><li>大西洋理事會(Atlantic Council)的<a href="https://www.atlanticcouncil.org/expert/sara-jayne-terp/">資深顧問</a>；聯合國啟動全球脈動計畫(UN Global Pulse, 利用大數據來協助人類發展以及預測行為) 的CTO。</li></ul><h3><strong>2. 不實資訊(disinformation)分析架構AMITT</strong></h3><p>其實不管是假帳號或假新聞的例子，都是整個行動的末端，已經是行動的最後一環，必須往前溯源，了解前置作業，讓整體的分析可以套用到更多的案例，識別更多操作手法。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jo2qilIHOVBOPKLbwBG2ag.png" /><figcaption><strong>由於AMITT 整體架構細分下去過於龐大，先抓到兩個層級 Phrases(P), Tactics Stage (TA)</strong></figcaption></figure><blockquote><strong>AMITT由粗到細分三階</strong>：</blockquote><blockquote>1. <strong>Phrases (P)</strong> 階段：最上層的階層，從計畫、準備、執行，到最終的評估，代表完整行動所涵蓋的階段。</blockquote><blockquote>2. <strong>Tactic stages (TA)</strong>：在上層的階段區隔出來後，會有對應的策略階段，代表要達到成功的行動，所定義出的許多目標，例如在準備的phrase，我們需要經營社群(develop networks)。</blockquote><blockquote>3. <strong>Tactics, techniques and procedures (T)</strong>：這裡是依據上面的定義出的目標，衍伸出的實際執行方式，如經營社群上，可以使用 #hashtag，來強化社群的認同感。</blockquote><p>ps. 由於整體架構細分下去過於龐大，先抓到tatics stage (TA)，最細的層級，可參考下面網址。</p><p><a href="https://github.com/cogsec-collaborative/AMITT/blob/main/matrix.md">cogsec-collaborative/AMITT</a></p><h3><strong>3. 以假帳號作為範例</strong></h3><p>首先我們看的假帳號在不同的 Phrase (P) 會涉及哪些策略階段(tactic stages, TA)，通常我們直接看到的是曝光(exposure)階段，不過曝光之前會有什麼前置步驟呢？</p><p>大概包含了目標設定、帳號建立與社群經營，才會到我們所見的曝光，例如在社群平台上按讚分享留言等等，最後則是行為者進行效益評估，類似一個完整的行銷活動。但大家不知道的是，的確假帳號是一個完整的商業生態。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WG7nLyOl7c9jiVtkJLWMog.png" /><figcaption>在 TA09 Exposure 的前後，有更多無法直接觀察到的行動</figcaption></figure><p>在拍賣網站隨便搜尋一下社群平台的帳號，就會有諸多商家可供選擇，在搜尋引擎上尋找也是琳瑯滿目，顯現出這是另一種非正規的行銷方式，而且效果應該是比在平台上下廣告效益更好，才能支撐這麼多商家。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/452/1*PnlbQVXwx1Mk78WlJY0pnA.png" /><figcaption>販售帳號的商家</figcaption></figure><h3><strong>4. 可能的操作步驟</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WG7nLyOl7c9jiVtkJLWMog.png" /><figcaption>對應到下列步驟說明</figcaption></figure><ol><li>P01 Planning &gt; TA02 Objective Planning：從最一開始的目標設定，會許可能是要幫某個商家的產品曝光，那就是提高產品曝光率。</li><li>P02 Preparation &gt; TA03 Develop People：透過低成本的方式，例如大量製造假帳號。</li><li>P02 Preparation &gt; TA04 Develop Networks：甚至是經營興趣社團，例如戶外活動愛好社團。</li><li>P03 Execution &gt; TA09 Exposure：然後才是出現在大眾視野的，如大量留言分享轉發，為客戶帶來曝光，甚至是帶風向。</li><li>P04 Evaluation &gt; TA12 Measure Effectiveness：最後就是要review成效了，曝光有沒有增加，有沒有帶來好的流量，甚至是商品銷售有沒有增加，有沒有帶起輿情的風向。</li></ol><h3><strong>5. 總結</strong></h3><p>透過 AMITT的分析架構，可以比較有結構的分析不同disinformation的攻擊手法，進而在事件歸納與成因的溯源推理上，可以更有結構，也易於不同研究團隊的分享。</p><h3><strong>6. Reference</strong></h3><ol><li><a href="https://www.slideshare.net/bodacea?utm_campaign=profiletracking&amp;utm_medium=sssite&amp;utm_source=ssslideview">Sara-Jayne Terp’s PPT：AMITT and Disinformation Framework</a></li><li><a href="https://github.com/cogsec-collaborative/AMITT/blob/main/matrix.md">AMITT github</a></li><li><a href="http://overcognition.com/">SJ Terp’s blog</a></li><li><a href="https://twitter.com/bodaceacat">SJ Terp’s Twitter</a></li><li><a href="https://youtu.be/OcnaJHYQjE4">NorthSec 2020 — Roger Johnston &amp; Sara-Jayne Terp — AMITT — Adversarial Misinformation Playbooks</a></li></ol><p>6. <a href="https://docs.google.com/document/d/1D1VM5l496pUjN8B5Pq6fAh9mgeeEaYTKHdAG5BEXBiA/edit#heading=h.3lu1unwoeogy">AMITT Design guide</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dc367eadcf00" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[從2020政黨票看第三勢力的趨勢]]></title>
            <link>https://medium.com/%E7%99%BE%E8%BB%8C%E6%A5%AD%E8%A1%8C-bi-great-things/%E5%BE%9E2020%E6%94%BF%E9%BB%A8%E7%A5%A8%E7%9C%8B%E7%AC%AC%E4%B8%89%E5%8B%A2%E5%8A%9B%E7%9A%84%E8%B6%A8%E5%8B%A2-233c8ddf8f65?source=rss-fe87d17b5b11------2</link>
            <guid isPermaLink="false">https://medium.com/p/233c8ddf8f65</guid>
            <category><![CDATA[taiwan]]></category>
            <category><![CDATA[election-2020]]></category>
            <category><![CDATA[third-party]]></category>
            <category><![CDATA[politics]]></category>
            <category><![CDATA[tableau]]></category>
            <dc:creator><![CDATA[Kevin Tseng]]></dc:creator>
            <pubDate>Wed, 22 Jan 2020 17:26:44 GMT</pubDate>
            <atom:updated>2020-01-22T17:26:44.175Z</atom:updated>
            <content:encoded><![CDATA[<p>這次2020大選中，蔡英文以817萬票當選，得票率高達57.1%，創下歷史新高，但相對於總統票的大勝，政黨票民進黨只獲得34%，僅高出國民黨0.62%，而第三勢力的台灣民眾黨拿下11.2%、時代力量7.8%，可見第三勢力儼然成形，可預見未來立法院將不再只有單純的藍綠對決，作為第三大黨的台灣民眾黨必會產生可觀的影響。那這些第三勢力在哪些縣市獲得支持呢？有哪些地方仍然需要努力呢？請看下面的分析！</p><p>ps. 一開始看到朋友的臉書討論到第三勢力，但一開始想不到什麼好角度，但看到 <a href="https://github.com/zbryikt/">zbryikt</a> 發布的 <a href="https://plotdb.github.io/election-tw-2020/">非典型大選分析</a>，以全國平均作為基準，去看各個縣市的政黨票分布的差異，才想到以 Tableau 重現以及衍伸。有點感嘆技術固然重要，但如果沒有厚實的相關知識或興趣，還是不太容易做出好的分析…</p><blockquote>在分析前，由於沒有公開的資料格式 (如csv)，只好寫個爬蟲把中選會的鄉鎮市政黨票資料爬下來：</blockquote><ol><li><a href="https://github.com/SiegfriedZhen/taiwan-2020-election/blob/master/ele_2020.csv">政黨票縣市與鄉鎮市csv檔案</a></li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EgNNiZa2Vi9aKVioRTFblA.png" /></figure><p>2. <a href="https://github.com/SiegfriedZhen/taiwan-2020-election/blob/master/get-taiwan2020-election-data.ipynb">爬蟲的程式碼</a></p><p>3. <a href="https://public.tableau.com/profile/kevin.zhen6129#!/vizhome/tw-election-2020/1_1">互動式 Dashboard</a></p><blockquote>Dashboard 說明：左上方是全國的政黨得票率，為了看出縣市或鄉鎮市與全國的區別，於是計算了相對應的差距，下方是鄉鎮市，右方為縣市及選擇的政黨。</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9eN30oIdOyWXvKukBWt4ow.png" /><figcaption>Dashboard 配置</figcaption></figure><h3>舉例來說，時代力量全國的得票率為7% ，但在新竹縣竹北市中的得票率為11%，代表該區域的人相對於全國較喜好時代力量，因此數值上顯示 11- 7 = 4%，代表高於全國平均水準 4%，</h3><h3>分析觀點：</h3><blockquote><strong>新竹市</strong> 民眾黨與時代力量表現亮眼，尤其在新竹市東區，民進黨相對於全國大幅降了9%，藍營的表現也不佳，有意跳脫藍綠的策略，開拓出另一種政治市場。</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kPEsbi6rqwbPJ2BCBJIK-g.png" /><figcaption>PTT 也有人用收入做了比對，似乎跟高收入有些相關：<a href="https://www.ptt.cc/bbs/Gossiping/M.1578815166.A.98C.html">全台收入前七村里得票分析</a>。</figcaption></figure><blockquote>作為第三勢力的兩大黨時代力量與民眾黨，都有跨不過濁水溪的現象，還是以北部為主。整體縣市分佈的優劣這兩個黨也很相似，感覺市場有些重疊？</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/851/1*XXEYhxJQczEmlM6JRieepg.png" /></figure><blockquote>相對於時代與民眾黨區隔市場，基進黨屬於更加獨派的主張，在高雄的表現出色，且跟民進黨的趨勢相似。</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2I6eQUKiXoBSgZhORx7odQ.png" /></figure><blockquote>另外我自己投的綠黨則是在北部有稍微好一點的表現，前兩名則是在中壢與蘭嶼，或許跟王浩宇有關。沒過門檻跟當選好難過 QQ</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mtVI_gtcqql647zvPtDZDA.png" /></figure><blockquote>也可以點選想要觀察原始資料的部分，之後選擇檢視資料 (View Data)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dx0xu4uk-Oag5PH7ixjp6w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wnyuUthe96h3Cl557MxPEg.png" /><figcaption>Full data 可以看到原始資料並下載下來</figcaption></figure><p>ps. 右下角可以換成全螢幕模式</p><p>上面大概是我的觀察，歡迎大家<a href="https://public.tableau.com/profile/kevin.zhen6129#!/vizhome/tw-election-2020/1_1">操作看看</a>找出不同亮點～</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=233c8ddf8f65" width="1" height="1" alt=""><hr><p><a href="https://medium.com/%E7%99%BE%E8%BB%8C%E6%A5%AD%E8%A1%8C-bi-great-things/%E5%BE%9E2020%E6%94%BF%E9%BB%A8%E7%A5%A8%E7%9C%8B%E7%AC%AC%E4%B8%89%E5%8B%A2%E5%8A%9B%E7%9A%84%E8%B6%A8%E5%8B%A2-233c8ddf8f65">從2020政黨票看第三勢力的趨勢</a> was originally published in <a href="https://medium.com/%E7%99%BE%E8%BB%8C%E6%A5%AD%E8%A1%8C-bi-great-things">百軌業行 Bi-Great Things</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Tableau 2019.3 新功能 — 資料詮釋Explain Data 大解密!]]></title>
            <link>https://medium.com/%E7%99%BE%E8%BB%8C%E6%A5%AD%E8%A1%8C-bi-great-things/tableau-2019-3-%E6%96%B0%E5%8A%9F%E8%83%BD-%E8%B3%87%E6%96%99%E8%A9%AE%E9%87%8Bexplain-data-%E5%A4%A7%E8%A7%A3%E5%AF%86-efdcda61fa31?source=rss-fe87d17b5b11------2</link>
            <guid isPermaLink="false">https://medium.com/p/efdcda61fa31</guid>
            <category><![CDATA[tableau]]></category>
            <dc:creator><![CDATA[Kevin Tseng]]></dc:creator>
            <pubDate>Sun, 13 Oct 2019 13:32:48 GMT</pubDate>
            <atom:updated>2019-11-05T15:00:49.070Z</atom:updated>
            <content:encoded><![CDATA[<p>Tableau 2019.3 新功能 — 資料詮釋 Explain Data 大解密!</p><p>Tableau 近期更新了一波，有個新功能非常吸睛：資料詮釋，號稱運用 AI，把幾百種可能性都算一算，找出 insight 。<a href="https://www.tableau.com/products/new-features/explain-data">宣傳影片</a>看起來也是很神，最近政治獻金剛好公開到網路上了，不用去監察院印 pdf 啦(吶喊，那我們就來看看去年激烈的<a href="https://ardata.cy.gov.tw/home">高雄的選舉</a>吧！</p><p>示範影片有提到，可以觀察異常的值或趨勢，以我自己的經驗來說，分析或管理者也是看這些特殊的地方，2018/10 的時候，韓總的收入來到高峰6,710 萬，是甚麼原因呢？</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/784/1*MDVpnZEs7jNUmkVb7IfWeA.png" /></figure><p>原來筆數多了會導致金額增加！我怎麼沒想到呀～ 這就是我剛開始用的感覺…就是告訴我沒甚麼意義的資訊… 不過也是有表現好的時候!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/555/1*6dXTFSW7LPYlwNsP48Mp5Q.png" /></figure><p>譬如說，花蓮有個大戶，一個人就捐了一百萬，是個離群值呀，看了一下是 金昌石礦股份有限公司捐給陳其邁的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/585/1*DA0-Zpm2BEbQCJkDfW18ig.png" /></figure><p>身為一個台中人，我也想看看韓總在台中花了甚麼錢～看來也有幾筆大的宣傳費用，最高的是 健豪印刷事業股份有限公司，支出 251 萬。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/562/1*7fJG6v-bq5zykPOgTfPk9Q.png" /></figure><p>也可建立新的工作表作細部觀察跟調整～</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UyR8mz_EZ8deErvoVlqM8w.png" /></figure><p>用起來的感覺還不錯，而且 Tableau Public 也有這個功能，甚至在 Tableau Public Server 都可以線上編輯，算是非常驚豔，可惜會需要一點運算時間，細部進行調整也沒那麼直覺，但整體來說還是很加分的一個功能，最近繁體版的語言也上線了，初步看起來翻譯也還行，但用英文還是比較容易找到教學資源啦，所以個人還是偏好英文～</p><p>下面是公開的 Dashboard ，大家可以上去玩玩</p><p><a href="https://public.tableau.com/profile/kevin.zhen6129#!/vizhome/107_15708471868380/electiondashboard">107年高雄市選舉政治獻金Dashboard</a></p><p>ps. 想到之前 g0v 還以 crowdsourcing 的方式，去監察院把 <strong>pdf </strong>印出來，運用「工人智慧」，在網路上請大家看圖片登打一小部分，然後把整份文件拼出來，我自己也去印過一次，一直覺得偷偷摸摸好像在揭露甚麼弊案之類的，要小心翼翼XD 時過境遷，現在資料都公開啦，真的方便很多～</p><p>最後是無恥工商時間，有興趣入門 Tableau <a href="https://www.accupass.com/event/1909211351379987926710?fbclid=IwAR2TXoV9TzZGBWHvJYphlIm4d5cQu4hDkEo3o4t0dqVDThu2Bm4jDGGeiFs">可參考</a>實體工作坊~</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=efdcda61fa31" width="1" height="1" alt=""><hr><p><a href="https://medium.com/%E7%99%BE%E8%BB%8C%E6%A5%AD%E8%A1%8C-bi-great-things/tableau-2019-3-%E6%96%B0%E5%8A%9F%E8%83%BD-%E8%B3%87%E6%96%99%E8%A9%AE%E9%87%8Bexplain-data-%E5%A4%A7%E8%A7%A3%E5%AF%86-efdcda61fa31">Tableau 2019.3 新功能 — 資料詮釋Explain Data 大解密!</a> was originally published in <a href="https://medium.com/%E7%99%BE%E8%BB%8C%E6%A5%AD%E8%A1%8C-bi-great-things">百軌業行 Bi-Great Things</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[類別欄位正規化! 如何在Tableau pivot]]></title>
            <link>https://chungyizhen.medium.com/%E9%A1%9E%E5%88%A5%E6%AC%84%E4%BD%8D%E6%AD%A3%E8%A6%8F%E5%8C%96-%E5%A6%82%E4%BD%95%E5%9C%A8tableau-pivot-cbc74d3293ac?source=rss-fe87d17b5b11------2</link>
            <guid isPermaLink="false">https://medium.com/p/cbc74d3293ac</guid>
            <category><![CDATA[power-bi]]></category>
            <category><![CDATA[pivot]]></category>
            <category><![CDATA[visualization]]></category>
            <category><![CDATA[tableau]]></category>
            <category><![CDATA[data-cleaning]]></category>
            <dc:creator><![CDATA[Kevin Tseng]]></dc:creator>
            <pubDate>Fri, 16 Aug 2019 13:35:10 GMT</pubDate>
            <atom:updated>2019-08-16T13:37:10.751Z</atom:updated>
            <content:encoded><![CDATA[<p>今天在企業內訓時，發現很多公開資料很髒，並須用到pivot統整，讓資料正規化…</p><p>今天內訓時，與同仁Ellie討論讓學員找公開資料練習，然後悲劇就發生了…… <strong>資料很髒阿~~~~</strong></p><p>以下列的空汙資料為例，00~23為每小時的空汙，但如果以這樣的格式分析，會讓小時變得無法比較，與日期難以結合，於是pivot就出現啦，原本可能要透過IT人員以SQL程式語言協助的，Tableau只要<strong>一個move即可!</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TWgQkSWmz7QU2A7F5qXjdg.png" /></figure><h3>用shift選取需要pivot的欄位(column)，這裡就是小時，然後右鍵點選pivot</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tmoz2MfAChrP4ecwCVVtpg.png" /></figure><p>完成! pivot field name就是你要的類別欄位，value就是對應的數值</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JZEFlEPRYssnsw-8s-50Iw.png" /></figure><p>簡單看一下成果，因為小時變成pivot field name，就可以用顏色區別囉~</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t9w-BTnIpG910O6zeANcQw.png" /></figure><p>今日小小筆記：</p><ol><li>Tableau Public 還是有點小bug，最後因為無法extract而無法存到public，下次一開始要先測試</li><li>Tableau真的適合跨領域的人學習，之前教過行銷、財經的pm以及外文、資管的學生都能入手，未來必成趨勢，難怪 Salesforce 要花157億美元收購~</li><li>資料前處理沒考慮清楚的話，報表會一直重作XD</li><li>版面設計很重要，最後dashboard的完整性會決定效果，fancy的圖表只是第一印象</li><li>好的圖表勝過千言萬語，但是好的故事才能引入情境，不是簡單的拼湊</li></ol><blockquote>＊＊＊請注意，Tableau Public存檔是會上傳到<strong>公開</strong>的網站，全世界的人都看的到！ <strong>請勿以公司資料實驗｜｜請勿以公司資料實驗｜｜請勿以公司資料實驗，否則神仙也救不了你～～～～ 不小心趕快刪掉，但是會有時間差…… 請愛用公開資料，雖然很髒要挑一下就是了……</strong></blockquote><p>參考資料</p><ol><li>參考不同視覺化工具的比較，但作者是 FineBI的，請自行篩選XD</li></ol><p><a href="https://ithelp.ithome.com.tw/articles/10210281">萬字長文測評：3款口碑炸裂的BI資料分析工具，最好用的其實是……</a></p><p>2. <a href="https://public.tableau.com/profile/andy.kriebel#!/vizhome/VisualVocabulary/VisualVocabulary"><strong>Visual Vocabulary</strong></a><strong>：</strong>Andy Kriebel大師的作品，描述各種常見圖表的功能，並以Tableau製作成而</p><p>最後小弟無恥工商一下，想快速入門這款視覺化的工具，可參考下列實體課程<a href="https://www.facebook.com/events/1506367496170299/?notif_t=plan_user_joined&amp;notif_id=1565879202395794"> Tableau是一款真正的資料圖像化軟體！ — Tableau理論與實作 基礎班</a></p><blockquote><strong>最後，不管有沒有報名課程，有任何Tableau問題我都很樂意回答歐~~~歡迎留言！</strong></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cbc74d3293ac" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[政黑板的社群網路分析(Social Network Analysis)]]></title>
            <link>https://medium.com/%E7%99%BE%E8%BB%8C%E6%A5%AD%E8%A1%8C-bi-great-things/%E6%94%BF%E9%BB%91%E6%9D%BF%E7%9A%84%E7%A4%BE%E7%BE%A4%E7%B6%B2%E8%B7%AF%E5%88%86%E6%9E%90-social-network-analysis-bec7a9309912?source=rss-fe87d17b5b11------2</link>
            <guid isPermaLink="false">https://medium.com/p/bec7a9309912</guid>
            <category><![CDATA[trolls]]></category>
            <category><![CDATA[gephi]]></category>
            <category><![CDATA[ptt]]></category>
            <category><![CDATA[tableau]]></category>
            <category><![CDATA[social-network-analysis]]></category>
            <dc:creator><![CDATA[Kevin Tseng]]></dc:creator>
            <pubDate>Sun, 30 Jun 2019 04:49:49 GMT</pubDate>
            <atom:updated>2019-12-27T14:47:58.343Z</atom:updated>
            <content:encoded><![CDATA[<blockquote>延續上一次對於<a href="https://medium.com/@chungyizhen/ptt%E7%9A%84%E5%88%9D%E6%AD%A5%E7%B6%B2%E8%B7%AF%E5%88%86%E6%9E%90-network-analysis-6d6b7296c331">ptt分析的初步架構</a>，這次將分析目標延伸至政黑板(Hate Politics)，主要是想嘗試看看天下2019/01/09的報導<a href="https://www.cw.com.tw/article/article.action?id=5093610">《PTT原始資料全揭露！「韓流」怎麼造出來的？》</a> 重現，以及延伸。</blockquote><p><strong>前言：</strong></p><p>因為政黑板只保留近六個月的資料，除非有被標記的文章（不知道其他板是如何?），時間是2019/01/21 ~ 2019/06/15，相對ptt最大的八卦板，主題比較聚焦於政治，較容易分析，且資料量較小，約不到一天就爬完了。分析角度主要是基礎統計與利用graph找出互動的關係，以及資料處理遇到的困難。</p><p><em>Ps. 資料來源是使用</em><a href="https://github.com/jwlin/ptt-web-crawler"><em>jwlin</em></a><em>在github上面的爬蟲，但好像有點小bug，部分id只要暱稱有特殊符號 @ 就會變成空白，要再確認一下原始碼id解析的部分，目前有292篇文章有這樣的情形，先略過~</em></p><blockquote>首先看看發文量吧！</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/865/1*mu-nUfQf54Qvx332Wk2c_w.png" /><figcaption>一周大概2000篇文章，四月中更是衝到5,500篇，應是<a href="https://udn.com/news/story/6656/3771588">韓五點</a>的效應</figcaption></figure><p>文章主要分為三個部分：</p><blockquote>1. 資料視覺化 — <a href="https://public.tableau.com/profile/kevin.zhen6129#!/vizhome/ptt_hate_politics/1_1?publish=yes">基本統計</a>(Tableau，付費軟體，免費板的限制是一定要公開檔案才能存檔，要小心使用歐！)</blockquote><blockquote>2. 發文與推文的互動關係 — graph(開源軟體Gephi，網路分析的視覺化軟體)</blockquote><blockquote>3. 資料處理的一些細節 — <a href="https://colab.research.google.com/drive/1albn1KENsIqgYfx0u-uDLcnGYRJvfOZo#scrollTo=qnfSs3FK7g25">code</a>(python) 有興趣看ETL的髒code我放在colab ler</blockquote><p>資料處理後的資料如下：</p><blockquote>1. id<a href="https://drive.google.com/open?id=1v8bZ3ztLSHfrm77vC44la0djele1D31i">統計</a> (作為圖的節點Node)</blockquote><blockquote>2. id<a href="https://drive.google.com/open?id=1-1Iqo0alaP03-w8a1WianZX0ZAtBI4KR">發文資料</a> (作為Tableau的時序分析來源)</blockquote><blockquote>3. <a href="https://drive.google.com/open?id=1iCj5kR-FMt7OVpjcW-UHpwulCm6ps08v">留言互動資料</a>(作為圖的邊Edge)</blockquote><p>首先，根據<a href="https://pttpedia.fandom.com/zh/wiki/HatePolitics%E6%9D%BF_(%E6%94%BF%E9%BB%91%E6%9D%BF)">鄉民百科</a>，此板立場比較偏藍：</p><blockquote>政黑板全名政治黑特板，英文名稱 HatePolitics，板上以批判政治爲主，算是黑特板相關的姊妹板。板上文章及推文拼命護航藍營政府弊案，所以被八卦板板友戲稱爲糞坑板（因爲藍營的支持者蛆蛆多）</blockquote><p>下面用Tableau做視覺化分析，有興趣可以到<a href="https://public.tableau.com/profile/kevin.zhen6129#!/vizhome/ptt_hate_politics/1_1?publish=yes">網站上互動</a>或載下來編輯</p><p>但若先不看立場，可以先從整體對照到特殊的使用者，其中一個是看發文與回文(Re)的比例，上方是推(+1)噓(-1)加總，下方是文章數量。</p><blockquote>藍色：發文</blockquote><blockquote>橘色：回文</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/488/1*UYe_lE5kzQ1wFDDLtITirA.png" /><figcaption>在發文與回文的比例上，推噓加總約 1:3，文章數約1:2</figcaption></figure><p>進一步從id的角度來看，看看Top10推噓有何不同？</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/495/1*nElQDpRUzUkWp-8ycLLBNQ.png" /><figcaption>Top10的推噓統計中，mark2165遙遙領先，在他的文章下面常常有人喊頭目，儼然意見領袖之姿(但這個稱號的原因我就不太清楚了?)，第二名的ptt名人KingKingCold只有近一半的總和，但文章數量上KingKingCold只有89篇，換算成平均單篇較高</figcaption></figure><p>以Top10推噓加總的id來看，在推文與回文的比例也有些不同，以Top1的mark2165(下方的青綠色)來說，幾乎都是發文，回文的比例很少。目前看到許多ptt的異常使用者分析都會濾除回文，我推測可能是假設如果是要進行議題設定是比較難透過回文發揮的，因為腳本可能已經設定好了，用回文的話會有其他影響因素。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/437/1*4aMRNYCcia68I2Eg8D5Stg.png" /><figcaption>相對於推噓加總來源主要來自發文的mark2165，第二順位的KingKingCold卻是大量來自回文，其他如sunyeah, TheoEpstein也有這種偏好</figcaption></figure><p><strong>但這只是分析的某個片面之詞，上面有資料，也有互動的</strong><a href="https://public.tableau.com/profile/kevin.zhen6129#!/vizhome/ptt_hate_politics/1_1?publish=yes"><strong><em>網站</em></strong></a><strong>，期待有不同的看法~</strong></p><p>天下對於<a href="https://www.cw.com.tw/article/article.action?id=5093610">韓流質疑的報導</a>是2019/01/09刊出，點出對於mark2165的質疑，卻還是在<a href="https://www.ptt.cc/bbs/HatePolitics/M.1553184079.A.37F.html">2019/03/22/當選板主</a>（他的<a href="https://www.ptt.cc/bbs/HatePolitics/M.1551694135.A.CFA.html">政見發表</a>），或許代表該id還是有一定的受歡迎程度，不一定是營造出來的？</p><blockquote>以社群網路分析(Social Network Analysis)互動關係</blockquote><p>除了看整體的風向，也可以看看使用者間的互動關係～</p><p>id的屬性(Node)主要是統計發文與回文的讚噓發文數等加總，兩個人中間線條的粗細代表<strong>互動量</strong>（推噓與箭頭的加總，各算一次），顏色代表互動中最多的類別。</p><p>兩個人互動中</p><blockquote>推文最多，會以藍色標示，</blockquote><blockquote>噓文用紅色，</blockquote><blockquote>箭頭是淡綠色。</blockquote><blockquote>點越大代表推噓加總越高，可能是越受歡迎~</blockquote><p>由於整體數量過於龐大，做些簡單的篩選，找出id間的強烈關係，兩個id之間<strong>單向互動量必須超過100，且經過此篩除後，變成孤立點的也篩除，就只剩下136個id(佔整體id的0.3%)與159條互動量的線(佔整體互動線條的0.02%)，就會發現有趣的群聚現象。</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/520/1*-twsDXjHpomaRvSb4AiV6g.png" /><figcaption>整體網路呈現長形，距離越遠可能代表的是不同群體，中間有些節點代表了類似橋梁的腳色，與不同的群體互動，下方的大圈圈是mark2165受到部分用戶的積極互動</figcaption></figure><blockquote>為了突出高互動量的id，下面將互動量門檻調高到250</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/533/1*LCudzrKUPOcDEOK27WzwZQ.png" /><figcaption>mark2165有許多fans，大量推文的有ninaman, bluesunflowe，大量箭頭的是sxxs，看來其稱號「頭目」也是滿符合的~</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/552/1*QX2Q1F9GmiyyRiaFPsUW0w.png" /><figcaption>對mark2165的推文數量排序</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/549/1*UrhHveq_O2c_1ATSSL2Uzw.png" /><figcaption>ninaman與bottger對mark以推文居多，卻常噓WeiKitten不知道是否為立場不同? 細部可能要觀察發文內容的語意分析或文字雲，加強量化分析缺乏的面向</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/502/1*zkI3CI6crY0zxKdTr60rXA.png" /><figcaption>KingKingCold的高互動關係中比較多是回應別人，相對於mark2165的高互動量都是來自於別人的回應呈現反向的特徵</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/448/1*Gp4mDt_Ma8Vi3PCspQCJvQ.png" /><figcaption>gn02118620跟許多不同的id都有高互動量，類似一個橋樑的腳色</figcaption></figure><p>初步的分析大概到這邊，還有很多不完備的，不管是資料來源、分析角度、語意分析都還有很大的空間，在觀察特殊的使用者（抑或指摘為網軍）要如何區分狂熱的積極使用者，需要一些關鍵性的條件，主要應該是一些有規律的機器人行為，留待下次分析囉~</p><p>當時去R User Group 演講的PPT： <a href="https://docs.google.com/presentation/d/1La4guRfR-q--KW36HLkLrfWV3SQY4Pey/edit#slide=id.p1">https://docs.google.com/presentation/d/1La4guRfR-q--KW36HLkLrfWV3SQY4Pey/edit#slide=id.p1</a></p><p>參考資料：</p><ol><li><a href="https://www.trendmicro.tw/cloud-content/tw/pdfs/security-intelligence/reports/the_fake_news_machine.pdf">假新聞製造機 — 趨勢科技</a></li><li><a href="https://www.slideshare.net/tw_dsconf/ss-79275361?from_action=save">無所不在的自然語言處理 — 基礎概念、技術與工具介紹</a> 能大致了解整體NLP的研究範疇</li><li><a href="https://www.ianalyseur.org/">i’Analyseur 是一個PTT分析平台，針對ID或IP提供整合性且視覺化的分析。</a>(2019/06/30時網站掛了)</li><li><a href="https://matters.news/@tonymhwang/%E6%8A%93%E5%88%B0%E4%BA%86-%E7%94%A8%E6%95%B8%E6%93%9A%E5%88%86%E6%9E%90%E9%B3%A5%E7%9E%B0-ptt-%E6%94%BF%E6%B2%BB%E6%96%87%E5%B8%B3%E8%99%9F-%E4%B8%8A-zdpuAnpeUB66DErrfxCKfZSAG8gpm5Uoww95CTgERdzY5BZFm">「抓到了？！」用數據分析鳥瞰 PTT 政治文帳號 (上)</a> 王銘宏／逢甲大學資訊工程學系助理教授 的文章，利用統計數據找出異常使用者</li><li><a href="https://www.cw.com.tw/article/article.action?id=5093610">《PTT原始資料全揭露！「韓流」怎麼造出來的？》</a></li><li><a href="https://matters.news/@daz55/%E4%BA%92%E8%81%94%E7%BD%91%E6%95%B0%E5%AD%97%E5%AE%A3%E4%BC%A0%E6%88%98-%E4%BA%8C-%E6%95%B0%E5%AD%97%E4%B8%96%E7%95%8C%E9%87%8C%E7%9A%84%E6%B0%B4%E5%86%9B%E4%BB%AC%E5%A6%82%E4%BD%95%E4%BB%8B%E5%85%A5%E7%8E%B0%E5%AE%9E%E4%B8%96%E7%95%8C%E9%87%8C%E7%9A%84%E6%94%BF%E6%B2%BB-zdpuB3ENoVdAtyxLM1MzFefYjKmXVdH2cpm82WP2LKyDKKepB">互联网数字宣传战（二）：数字世界里的水军们如何介入现实世界里的政治</a></li><li>meetup活動網址： <a href="https://www.meetup.com/Taiwan-R/events/263056464/">https://www.meetup.com/Taiwan-R/events/263056464/</a></li></ol><blockquote>小小工商：最近跟朋友創了一個關於職涯講座的粉絲頁<strong>百軌業行</strong>，也辦了一場資料視覺化軟體Tableau的工作坊，有興趣的可以按讚歐 : )</blockquote><p>簡介：百軌業行團隊致力於職場能力培養，辦理大大小小職涯探索講座、企業內部訓練、青年體驗教育課程企劃，目標是讓更多人找到自己的職志，創造自己在職場的價值和成就感。</p><p><a href="https://www.facebook.com/BiGreatThings/">百軌業行 Bi-Great Things</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bec7a9309912" width="1" height="1" alt=""><hr><p><a href="https://medium.com/%E7%99%BE%E8%BB%8C%E6%A5%AD%E8%A1%8C-bi-great-things/%E6%94%BF%E9%BB%91%E6%9D%BF%E7%9A%84%E7%A4%BE%E7%BE%A4%E7%B6%B2%E8%B7%AF%E5%88%86%E6%9E%90-social-network-analysis-bec7a9309912">政黑板的社群網路分析(Social Network Analysis)</a> was originally published in <a href="https://medium.com/%E7%99%BE%E8%BB%8C%E6%A5%AD%E8%A1%8C-bi-great-things">百軌業行 Bi-Great Things</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ptt的初步網路分析(network analysis)]]></title>
            <link>https://chungyizhen.medium.com/ptt%E7%9A%84%E5%88%9D%E6%AD%A5%E7%B6%B2%E8%B7%AF%E5%88%86%E6%9E%90-network-analysis-6d6b7296c331?source=rss-fe87d17b5b11------2</link>
            <guid isPermaLink="false">https://medium.com/p/6d6b7296c331</guid>
            <category><![CDATA[social-network-analysis]]></category>
            <category><![CDATA[networkx]]></category>
            <category><![CDATA[ptt]]></category>
            <category><![CDATA[gephi]]></category>
            <dc:creator><![CDATA[Kevin Tseng]]></dc:creator>
            <pubDate>Sat, 01 Jun 2019 12:40:56 GMT</pubDate>
            <atom:updated>2019-06-01T12:42:09.132Z</atom:updated>
            <content:encoded><![CDATA[<h4>近期天下的專題<a href="https://www.cw.com.tw/article/article.action?id=5093610&amp;fbclid=IwAR3NXtzdUBrUYBPPepMVzRXwY2tGZj6B84QzjWyPaIgjBL8QnSQjSOU6EeI#_=_">輿論戰爭</a>，點出在八卦或政黑有些操作的跡象，其中有些網路分析的技術，這裡嘗試重現相關分析。</h4><h4>1. import 網路分析常用的package <a href="https://networkx.github.io/">networkx</a></h4><p>資料取樣自ptt八卦版2018–07–15，可直接用jwliny在github的<a href="https://github.com/jwlin/ptt-web-crawler">ptt-web-crawler</a>，不用自己寫爬蟲，安裝完後直接下指令(超佛!</p><h4>2. 整理資料：</h4><p>推文作為source，發文作為target，主要是覺得推文作為主動方，觀察是否有大量互相推文的現象。</p><pre>rs_df = pd.DataFrame()<br><br><strong>for</strong> x <strong>in</strong> ptt_df.itertuples():<br>    <br>    <em>##資料有點大，先取70篇文章</em><br>    <strong>if</strong> x.Index &gt; 70:<br>        <strong>continue</strong><br>    <br>    <em>##先把文章資料轉為DataFrame</em><br>    art = pd.DataFrame([x.articles])<br>    <br>    <em>##如果發文沒有人推，直接濾除</em><br>    <strong>if</strong> art.messages[0] == []:<br>        <strong>continue</strong><br>    <br>    <em>#作者 id 有中文，但推文 id只有英文，統一用 英文id 作為Key</em><br>    author_id = art.author.replace(r&#39;\([^)]*\)&#39;, &#39;&#39;, regex=<strong>True</strong>).values[0].replace(&#39; &#39;, &#39;&#39;)<br>    <br>    reply = pd.DataFrame(art.messages.values[0])<br>    <br>    temp_df = reply[[&#39;push_userid&#39;]].copy()<br>    temp_df[&#39;target&#39;] = author_id<br>    <br>    <em>##以發文日期作為推文的估計值，因為push_ipdatetime的ip 跟 datetime放在一起，有些只有datetime 沒有ip，好像跟RE 有關....</em><br>    temp_df[&#39;date&#39;] = art.date[0]<br>    <em>##欄位重新命名，push_userid 改為 source</em><br>    temp_df.rename_axis({&#39;push_userid&#39;:&#39;source&#39;}, axis=1, inplace=<strong>True</strong>)<br>    <br>    <strong>if</strong> rs_df.empty:<br>        rs_df = temp_df<br>    <strong>else</strong>:<br>        rs_df = rs_df.append(temp_df)</pre><h4>3. 文章資料</h4><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/0940da4fe8ef429d0b83442cab41f2c4/href">https://medium.com/media/0940da4fe8ef429d0b83442cab41f2c4/href</a></iframe><h4>4. 把DataFrame轉為有向圖</h4><pre>G = nx.from_pandas_edgelist(rs_df, source=&#39;source&#39;, target=&#39;target&#39;, create_using=nx.DiGraph())</pre><h4>5–1. 看一下degree(in_degree + out_degree)前10名吧!</h4><p>out-degree 外度數: 某個id留言的數量</p><p>in-degree 輸入度: 某個id「被」留言的數量</p><p>翻譯名稱參考：<a href="http://terms.naer.edu.tw/detail/2378473/">http://terms.naer.edu.tw/detail/2378473/</a></p><pre><em>#設定top幾</em><br>rnk = 20<br><br>deg_g = dict(G.degree)<br>top_deg_node = [ x[0] <strong>for</strong> x <strong>in</strong> sorted(deg_g.items(), key=operator.itemgetter(1), reverse=<strong>True</strong>)[:rnk]]<br>sorted(deg_g.items(), key=operator.itemgetter(1), reverse=<strong>True</strong>)[:rnk]</pre><h4>5–2. 看一下pagerank前10名吧!</h4><pre>pg_rnk_g = nx.pagerank(G)<br>top_pg_rnk_node = [ x[0] <strong>for</strong> x <strong>in</strong> sorted(pg_rnk_g.items(), key=operator.itemgetter(1), reverse=<strong>True</strong>)[:rnk]]<br>sorted(pg_rnk_g.items(), key=operator.itemgetter(1), reverse=<strong>True</strong>)[:rnk]</pre><h4>5–3. 畫個有向圖~</h4><pre>plt.figure(figsize=(12, 12))<em>#nodelist</em><br>nx.draw_networkx(G, with_labels=<strong>True</strong>, nodelist=top_pg_rnk_node, labels={x:x <strong>for</strong> x <strong>in</strong> top_pg_rnk_node})<br>plt.show(</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/718/1*b0TDx5zyVTKxr176b33JUA.png" /><figcaption>非常亂XD 所以還是需要GUI的軟體協助探索資料</figcaption></figure><h4>6. 因為資料很大，所以輸出csv，給開源軟體Gephi試試，或是有好的方式進行圖的EDA( Exploratory Data Analysis)</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PNomFTTwVvQzijw4mLWOKg.jpeg" /></figure><p>完整的程式碼在github(ipynb)：</p><p><a href="https://github.com/SiegfriedZhen/ptt-analysis/blob/master/ptt_ana.ipynb">SiegfriedZhen/ptt-analysis</a></p><h4>TODO:</h4><p>由於資料量滿大的，會先擴充資料，以及其他的分析手段~</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6d6b7296c331" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[假新聞筆記(1) 定義/資料集/機構]]></title>
            <link>https://chungyizhen.medium.com/%E5%81%87%E6%96%B0%E8%81%9E%E7%AD%86%E8%A8%98-1-%E5%AE%9A%E7%BE%A9-%E8%B3%87%E6%96%99%E9%9B%86-%E6%A9%9F%E6%A7%8B-ab7190041916?source=rss-fe87d17b5b11------2</link>
            <guid isPermaLink="false">https://medium.com/p/ab7190041916</guid>
            <category><![CDATA[fake-news]]></category>
            <category><![CDATA[taiwan]]></category>
            <category><![CDATA[cofacts]]></category>
            <category><![CDATA[fact-checking]]></category>
            <dc:creator><![CDATA[Kevin Tseng]]></dc:creator>
            <pubDate>Sun, 26 May 2019 12:18:38 GMT</pubDate>
            <atom:updated>2019-05-31T15:56:35.843Z</atom:updated>
            <content:encoded><![CDATA[<h4>最近假新聞逐漸成為熱點，從天下的專題報導<a href="https://www.cw.com.tw/magazine/magazine.action?id=1493">《輿論戰爭》</a>到<a href="https://news.pts.org.tw/article/427019">NCC對中天開罰</a>，還有台灣的紛絲團收購風波，以及在各國選舉中對於民主的傷害，都歷歷在目。</h4><p>最近假新聞逐漸成為熱點，從天下的專題報導<a href="https://www.cw.com.tw/magazine/magazine.action?id=1493">《輿論戰爭》</a>到<a href="https://news.pts.org.tw/article/427019">NCC對中天開罰</a>，還有台灣的紛絲團收購風波，以及在各國選舉中對於民主的傷害，都歷歷在目。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t4eXNFXnGbm7rbU2DY9ViA.jpeg" /><figcaption>Image via <a href="https://www.vpnsrus.com/">www.vpnsrus.com</a></figcaption></figure><p>雖然假新聞近期成為焦點，但國內外的研究行之有年，更有借助AI的技術如自然語言處理(NLP)來協助事實查核(fact checking)，協助自動化部分流程，本文參考論文<a href="https://arxiv.org/abs/1806.07687">Automated Fact Checking: Task formulations, methods and future directions</a>，整理一些資料與解決方法，第一篇主要說明定義、資料集與國內外相關組織，下一篇會講些解決方法或可部分自動化查核過程的演算法，<strong>如有其他資訊也希望大家幫我留言補充，謝謝 : )</strong></p><blockquote>新聞中的事實查核：</blockquote><p>為了避免假新聞，就必須進行事實查核，作為新聞報導中必要的一環，在學術領域中與新聞學(journalism)有關，新聞學作為「查核的紀律」(discipline of verification) ，與娛樂、宣傳、科幻或藝術有所區別，可做為定義假新聞的學科。</p><blockquote>1. Verification：以科學的方式獲得事實，而且是正確的事實。(“scientific-like approach of getting the fact and also the right facts”)</blockquote><p>涉及確認來源、日期及地點，較為客觀的資料。而在Cambridge Dictionary的解釋是<a href="https://dictionary.cambridge.org/zht/%E8%A9%9E%E5%85%B8/%E8%8B%B1%E8%AA%9E/verification">the act of verifying something(=proving or checking that it exists, o is true or correct)</a>，似乎是較為單純的行為。</p><blockquote>2. Fact checking：進一步確認消息的邏輯、前後文是否一致及上下的關係(脈絡context)。</blockquote><p>查字典是<a href="https://dictionary.cambridge.org/zht/%E8%A9%9E%E5%85%B8/%E8%8B%B1%E8%AA%9E/fact-checking">the process of checking that all the facts in a piece of writing, a news article, a speech, etc. are correct</a>，涉及範圍比較廣，是一整個查核過程。</p><p>總之，verification是fact checking的第一步，作為後續前後文推理的基礎，以確認消息可信賴的程度，後面會用verification/fact checking區別不同(半)自動化剖析方式。也可以參考Craig Silverman在<a href="http://verificationhandbook.com/additionalmaterial/">Verification Handbook</a> 的解釋。</p><p>回到fact news，因為川普當時在大選的狂言而走紅，也開始與fact checking搭上線，同時常出現的字還有hate speech（仇恨言論），但如果細分，hate speech偏向情緒上的表達，所以為了避免定義上的模糊，聚焦在fact checking。</p><p>另一個跟fact checking常一起出現的是<strong>misinformation 不實消息</strong> 與 <strong>disinformation惡意消息</strong>，misinformation偏資訊誤植或不完整，disinformation就是惡意的消息，比較偏向日常所提到的以不正當手段牟取利益的假新聞， <a href="https://ec.europa.eu/digital-single-market/en/fake-news-disinformation">歐盟有提出三個要素</a>，</p><blockquote>(1) 惡意扭曲事實</blockquote><blockquote>(2) 謀取經濟利益或特定目的</blockquote><blockquote>(3) 對大眾利益造成傷害(public harm)</blockquote><p>所以misinformation裏面包含了一塊是disinformation，fact checking可以找出misinformation，但很難從disinformation裡面拆分出來。</p><blockquote>證據來源(source of evidence)</blockquote><p>由於fact checking近期受到注目，許多技術與定義都眾聲喧嘩，這裡針對證據的來源，因為不同的任務，所需要的證據也不同，最簡單的是二分任務，是否為misinformation，那就需要標籤(label)註記，如果需要說明理由(justification)，那就會需要更多來源，例如消息的標題、內容、消息來源或訪問專家等，或是引用內容以外的資訊，需要怎樣的結果，必須要有相對應的證據來源。</p><h4>1. 來自陳述(claim)本身：</h4><p>針對題目給答案，不加入其他證據，判斷表層的真實性(veracity)，相對於一般記者的查證過程，需要依賴常識、專業知識或是訪問消息來源等，只是簡單的判斷。</p><h4>2. 資訊的來源(metadata)：</h4><p>像是作者的資料、媒體來源(例如內容農場)、引用來源等，雖然這種方法無法直接指出證據所在，但還是可以用來增加真偽分類的準確性，或是做為判斷的參考依據。</p><h4>3. 社群網路(social media)貼文的傳播途徑：</h4><p>從宏觀的角度來看使用者與貼文的互動，觀察謠言的特徵，尤其在知識圖譜的結構化資料缺乏，或是原本資料庫/文字資料沒有相關資料時，可以提供有效的幫助。可參考天下雜誌的《輿論戰爭》，對於內容農產在產製內容時會有特定的傳播路徑，風向怎麼帶，似乎在來源與時間上有脈絡可循，或是像gene大大做的<a href="https://www.facebook.com/pageboardtw/">專頁儀表板</a>都可以看到一定的跡象。</p><h4>4. 知識圖譜(Knowledge Graph)：</h4><p>以特定的數據結構，將部分世界上的常識以機器讀得懂的方式儲存，協助抽取支持/反對陳述(claim)的元素(element)，通常資料來自大量知識的地方，如Wikipedia，但在整個世界上的知識占比也是極為渺小。</p><blockquote>輸出結果(output)</blockquote><ol><li>二分法(binary classification)：是否為misinformation</li><li>有序分類(ordinal classification)：針對程度區分，如部分真實，完全真實，部分錯誤等</li><li>多標籤(multiclass labels)：可能是多個維度，及相對應程度的評比，每家機構的定義都不太一樣，較難互相參照。</li><li>可能性：判斷的結果可能是機率或是分數，例如此新聞87%可能是假的，或是輸出一個分數。</li><li>支持(supported)/反駁(refuted)/中性(可能是資料不足)：確認陳述(claim)是否與文章、標題(headline)相關，因為有很多標題黨(誤，通常這只是fact checking的一環而已。</li></ol><p>Ps. 最近有一個Workshop <a href="http://fever.ai/">FEVER</a>(Fact Extraction and VERification, Thorne et al., 2018)，利用Wiki撰寫陳述作為資料集，給機器判斷，但僅限制於Wiki內的知識。另外一種考慮不限制資料來源(world knowledge)，如HeroX，但缺點是判斷結果要人工判定。</p><blockquote>資料集(Dataset)：</blockquote><ol><li><a href="https://github.com/cofacts/opendata">cofacts</a>：g0v的開源專案，以群眾協作的方式，民眾回報假新聞，志工進行查證，且提供Chatbot美玉姨自動回覆。</li><li>kaggle — <a href="https://www.kaggle.com/c/fake-news/data">fake news</a>(二分任務)</li><li>kaggle — <a href="https://www.kaggle.com/jruvika/fake-news-detection">Fake News detection</a>(二分任務)</li><li><a href="http://fever.ai/">Fact Extract and VERification</a>：利用Wiki撰寫陳述作為資料集，給機器判斷，但僅限制於Wiki內的知識。</li><li><a href="https://www.kaggle.com/c/fake-news-pair-classification-challenge/data">WSDM — Fake News Classification</a>(多分類任務)：label — indicates the relation between the news pair: agreed/disagreed/unrelated</li></ol><blockquote>組織</blockquote><p>台灣：</p><ol><li><a href="https://cofacts.g0v.tw/">Cofact</a></li><li><a href="https://tfc-taiwan.org.tw/articles/report">台灣事實查核中心</a>：前已取得國際權威事實查核機構<a href="https://www.poynter.org/ifcn/">IFCN</a>的認證</li><li><a href="http://www.rumtoast.com/">蘭姆酒吐司</a></li><li><a href="http://www.mygopen.com/">MYGOPEN｜這是假消息</a></li><li>華視的專題報導 — <a href="http://news.cts.com.tw/search.php?q=%E6%89%93%E5%81%87%E7%89%B9%E6%94%BB%E9%9A%8A">打假特攻隊</a></li></ol><p>國外：</p><ol><li><a href="https://fullfact.org/">Fullfact</a>：Full Fact is the UK’s independent factchecking organisation.</li></ol><p>2. <a href="https://www.poynter.org/ifcn/">The International Fact-Checking Network</a>(IFCN)：a unit of the Poynter Institute dedicated to bringing together fact-checkers worldwide</p><p>3. <a href="https://storyful.com/">Storyful — The world’s social media intelligence agency</a></p><blockquote>其餘參考資料：</blockquote><ol><li><a href="https://leemeng.tw/shortest-path-to-the-nlp-world-a-gentle-guide-of-natural-language-processing-and-deep-learning-for-everyone.html">進入 NLP 世界的最佳橋樑：寫給所有人的自然語言處理與深度學習入門指南</a></li><li><a href="https://beta.hackfoldr.org/cofacts/https%253A%252F%252Fhackmd.io%252Fs%252FHy8T6nreM">【Cofacts 真的假的】參考資料錦集</a></li><li><a href="https://www.trendmicro.tw/cloud-content/tw/pdfs/security-intelligence/reports/the_fake_news_machine.pdf">假新聞製造機 — 鼓吹者如何利用網際網路來操縱大眾</a></li><li>2019 假新聞與事實查核工作坊 學員手冊</li><li>2019亞洲新聞專業論壇 會議手冊</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ab7190041916" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>