<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Han on Medium]]></title>
        <description><![CDATA[Stories by Han on Medium]]></description>
        <link>https://medium.com/@weihanchen?source=rss-5696524f59de------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*MnYnNc6n8smvDN12fJYVuA.jpeg</url>
            <title>Stories by Han on Medium</title>
            <link>https://medium.com/@weihanchen?source=rss-5696524f59de------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 13:13:48 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@weihanchen/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[【Generative AI — Prompt篇】Ep.3 讓AI身歷其境的角色提示法]]></title>
            <link>https://medium.com/willhanchen/generative-ai-prompt%E7%AF%87-ep-3-%E8%AE%93ai%E8%BA%AB%E6%AD%B7%E5%85%B6%E5%A2%83%E7%9A%84%E8%A7%92%E8%89%B2%E6%8F%90%E7%A4%BA%E6%B3%95-7e9b1cd5c1b2?source=rss-5696524f59de------2</link>
            <guid isPermaLink="false">https://medium.com/p/7e9b1cd5c1b2</guid>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[prompt-engineering]]></category>
            <category><![CDATA[chatgpt]]></category>
            <dc:creator><![CDATA[Han]]></dc:creator>
            <pubDate>Sat, 10 Jun 2023 11:33:04 GMT</pubDate>
            <atom:updated>2023-06-10T11:33:04.106Z</atom:updated>
            <content:encoded><![CDATA[<h3>【Generative AI — Prompt篇】Ep.3 讓AI身歷其境的角色提示法</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/931/1*Q8vNanJlb1KLcUPljUVn_A.png" /></figure><p>前面我們有介紹「<a href="https://www.potatomedia.co/s/agT8DMe">【Generative AI — Prompt篇】Ep.1 什麼是Prompt Engineering?</a>」相信對於下指令給AI應該已經具有基本知識，那麼這一次我們來介紹Prompt技巧中的其中一環「角色提示法」，這是什麼樣的一種魔法呢？ 很簡單，我們就是讓AI變身成專家，賦予特定領域的專家角色，進而回答該領域的專家知識。</p><p>上一篇我們有一個回答錯誤的案例如下：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/814/1*FkfY9oprGz02f1P6HM9wnQ.png" /></figure><p>基於這個錯誤的案例，我們還可以怎麼改善它？ 我想這可能是因為它還沒認知到自己是個數學家吧！ 否則真正的數學家怎麼會如此呢？ 基於這樣的假設之下，我們就來催眠它讓它成為數學專家再來回答我們的問題看看。</p><h3>催眠</h3><p>我們先給Chatgpt略施點小法，催眠它成為一個數學專家。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/621/1*Vkmm2STDBIoqWAXtL4FZLA.png" /></figure><p>很好！ 第一步非常的成功，我們將AI催眠成數學專家了，下一步就讓這位數學專家再回答一次剛剛錯誤的問題吧！</p><h3>施法</h3><p>我們催眠AI成為述學專家之後，就能夠對它進行施法，請它協助我們計算困難的數學式子。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/541/1*u5b6YI4_xFmyDwlrpcHIug.png" /></figure><p>這次就非常聰明囉，一次回答到位，果然是數學專家。</p><h3>更多的角色提示魔法</h3><h3>讓「催眠」在不知不覺中發生</h3><p>上面的例子我們直接催眠它變成數學專家，但在該輪對話之中可能只能不斷的詢問數學方面的問題，除非我們重新催眠它，另外一個方式就是在提問的內容之中，我們給予很明確的專家領域詞語，偷偷的引導AI強制回答我們該領域的問題，問題如下：</p><p>「請問100*800/8*5的這段數學運算式等於多少呢？煩請數學專家回答」</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/645/1*ymF3ZN6mcqowJG0eu4kvVQ.png" /></figure><h3>各領域專家隨手可得</h3><p>從「數學家」變成「醫生」…</p><p>問: 想像你是一個醫生，請問每天的蛋白質應該攝取多少呢?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/748/1*nze47A7rRmjtb5LVxpd8qA.png" /></figure><h3>結語</h3><p>有了角色提示法之後，針對各個領域的諮詢相信都能得到一個較精確地回答，AI雖然很好用，但我們也要會用它，問對問題很重要，但要怎麼問對呢？ 跟著我們的系列教學文章就能夠讓你成為AI催眠師，催眠出專屬於你的各領域專家，我們只要將這些知識吸收轉化進而決策，相信這是我們人類最重要的一項技能以及無可取代的價值，就讓我們持續的修練AI催眠師魔法吧！</p><p>喜歡撰寫文章的你，不妨來了解一下：</p><p><a href="https://www.potatomedia.co/s/2PmFxsq">Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 — 為什麼要加入？</a></p><p>歡迎加入一起練習寫作，賺取知識！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7e9b1cd5c1b2" width="1" height="1" alt=""><hr><p><a href="https://medium.com/willhanchen/generative-ai-prompt%E7%AF%87-ep-3-%E8%AE%93ai%E8%BA%AB%E6%AD%B7%E5%85%B6%E5%A2%83%E7%9A%84%E8%A7%92%E8%89%B2%E6%8F%90%E7%A4%BA%E6%B3%95-7e9b1cd5c1b2">【Generative AI — Prompt篇】Ep.3 讓AI身歷其境的角色提示法</a> was originally published in <a href="https://medium.com/willhanchen">阿Han的圖文解字筆記</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[【Generative AI — Prompt篇】Ep.2 踏入提示魔法師的旅程，基本原則與建議]]></title>
            <link>https://medium.com/willhanchen/generative-ai-prompt%E7%AF%87-ep-2-%E8%B8%8F%E5%85%A5%E6%8F%90%E7%A4%BA%E9%AD%94%E6%B3%95%E5%B8%AB%E7%9A%84%E6%97%85%E7%A8%8B-%E5%9F%BA%E6%9C%AC%E5%8E%9F%E5%89%87%E8%88%87%E5%BB%BA%E8%AD%B0-4029e6e6f228?source=rss-5696524f59de------2</link>
            <guid isPermaLink="false">https://medium.com/p/4029e6e6f228</guid>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[prompt-engineering]]></category>
            <category><![CDATA[chatgpt]]></category>
            <dc:creator><![CDATA[Han]]></dc:creator>
            <pubDate>Sat, 10 Jun 2023 11:15:14 GMT</pubDate>
            <atom:updated>2023-06-10T11:15:14.402Z</atom:updated>
            <content:encoded><![CDATA[<h3>【Generative AI — Prompt篇】Ep.2 踏入提示魔法師的旅程，基本原則與建議</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/1*xt5hFaDXsPnE-oCU6YYJhw.jpeg" /></figure><p>前面我們有介紹「<a href="https://www.potatomedia.co/s/agT8DMe">【Generative AI — Prompt篇】Ep.1 什麼是Prompt Engineering?</a>」相信對於下指令給AI應該已經具有基本知識了吧，在進入Prompt Engineering之前有一些Guideline是我們需要知道的，就如同線上遊戲一般，我們會先進到新手村學習一些基本知識概念再開始打怪的旅程，而Prompt Engineering也是有一些基本觀念與技巧需要讓大家知道一下，如此一來才能讓我們更快的越級打怪，少了一些彎彎繞繞的遠路。</p><h3>資訊越完整越好</h3><p>問： 請問Python怎學？</p><p>看到這句話的我們會怎麼答提問者這個問題呢？ 我想大部分的人心裡應該都OOXX吧！ 範圍那麼廣，我到底應該怎麼教你呢？ 你好歹也問個怎麼安裝、語法…之類的明確目標吧！ 這資訊不完整我是要怎麼回答啊！</p><p>我們人類都會有這樣的困惑了，何況是AI呢？ 對於AI來說它可能會將所有較大概率的可能答案都給你，並猜測你可能需要這個，這會演變成答非所問的狀況，因為我們心裡可能是想問「怎麼安裝Python」但ChatGPT可能給我們的回答是程式語言的語法教學，這就是提問者目標不精確導致的狀況。</p><p>我們可以這麼問： 請問Python怎麼在windows系統進行安裝？</p><p>這個問句就非常的漂亮，提問者的意圖很明顯，而且給足問題的資訊，就是想要在windows系統上安裝Python，對於解答者來說得到更多資訊，更能夠回答出提問者所需的答案。</p><h3>簡潔易懂收斂目標</h3><p>問： 請給我幾個Email範本，不要太多</p><p>這問題的意圖表達出提問者需要Email範本，但什麼叫做不要太多？ 5個範本？ 10個範本？ 很難量化的一句話，這也會大幅度的發散回答。</p><p>我們不妨這麼問： 請給我最適用於公司商務的3個Email範本</p><p>我們將領域收斂到「公司商務」，並且將範本量化到「3個」範本，這對於回答者來說更加的容易回答。</p><h3>適當的使用標點符號</h3><p>問：我愛你好朋友</p><p>這句話到底是「我愛你，好朋友」來表達愛意?</p><p>還是「我愛你好，朋友」期許對方好的問候呢？</p><p>標點符號在一段語句中非常的重要，擺錯位置意思差很多，就跟斷詞一樣，斷錯詞會導致AI理解錯誤進而給出錯誤的答案，因此適當的加上標點符號於正確位置會讓我們的AI更加聰明。</p><h3>結語</h3><p>原來Prompt Engineering水這麼深，技巧原來如此之多，不過確實蠻有趣的，一個小小的標點符號，或者小小的詞語變化就能夠讓回答的結果如此多變，真的是一門不簡單的工程，但持續學習會讓我們更容易問對問題，不管是提問AI還是與人之間的溝通，相信不斷的思考精進對我們來說都是正向的幫助。</p><p>喜歡撰寫文章的你，不妨來了解一下：</p><p><a href="https://www.potatomedia.co/s/2PmFxsq">Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 — 為什麼要加入？</a></p><p>歡迎加入一起練習寫作，賺取知識！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4029e6e6f228" width="1" height="1" alt=""><hr><p><a href="https://medium.com/willhanchen/generative-ai-prompt%E7%AF%87-ep-2-%E8%B8%8F%E5%85%A5%E6%8F%90%E7%A4%BA%E9%AD%94%E6%B3%95%E5%B8%AB%E7%9A%84%E6%97%85%E7%A8%8B-%E5%9F%BA%E6%9C%AC%E5%8E%9F%E5%89%87%E8%88%87%E5%BB%BA%E8%AD%B0-4029e6e6f228">【Generative AI — Prompt篇】Ep.2 踏入提示魔法師的旅程，基本原則與建議</a> was originally published in <a href="https://medium.com/willhanchen">阿Han的圖文解字筆記</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[【GenerativeAI — Prompt篇】Ep.1 什麼是Prompt Engineering?]]></title>
            <link>https://medium.com/willhanchen/generativeai-prompt%E7%AF%87-ep-1-%E4%BB%80%E9%BA%BC%E6%98%AFprompt-engineering-a6bea37d2798?source=rss-5696524f59de------2</link>
            <guid isPermaLink="false">https://medium.com/p/a6bea37d2798</guid>
            <category><![CDATA[prompt-engineering]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[Han]]></dc:creator>
            <pubDate>Sat, 10 Jun 2023 01:48:58 GMT</pubDate>
            <atom:updated>2023-06-10T01:51:33.191Z</atom:updated>
            <content:encoded><![CDATA[<h3>【GenerativeAI — Prompt篇】Ep.1 什麼是Prompt Engineering?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/890/1*JTRnYkQkBNvJQf3sORxUqw.png" /><figcaption><a href="https://vocus.cc/article/6483d6a1fd89780001f8725e">圖片來源</a></figcaption></figure><p>「Prompt」這個詞是提示的意思，但為什麼需要提示呢？ 當AI不理解我們的時候，勢必給出的回應並非準確的為我們解答，因此一個好的提示是非常重要的，就如同我們人與人之間的溝通一樣，如何將自己心裡的疑惑轉化成好的問題來提問對方，讓對方理解，進而給出一個明確的答案，這就是提示(Prompt)的重要性，對於AI來說，「Prompt就是給AI模型的指令」。</p><p>它可以是一個問題、一段程序、甚至是一個案例，生成式AI模型(GPT…)會根據這些提示試圖理解並生成文本或者圖片。</p><p>比如說我們輸入了「什麼是零知識證明?」，這個問題就是Prompt，提示AI回答<a href="https://www.potatomedia.co/s/alodR7Ur">零知識證明</a>的知識。</p><p>而Prompt Engineering提示工程是一種透過設計、引導、改進、優化的方式來提升AI產生出來的結果，使其更加的準確，並可靠的執行我們的任務。</p><p>我們可能常常使用Chatgpt，或許覺得只要向它問問題就能得到答案，這種心電感應非常棒對不對！ 但事實上我們在使用的過程中會漸漸發現其實不管怎麼樣的問法，幾乎都能得到一個答案，但總感覺有些回答是盲猜的，此時又追問更多細節，漸漸的引導才能回應到我們真正需要的答案，但你知道嗎？ 這其實是一個具有邏輯的工程，為什麼很難一次就懂呢？</p><p>就目前來講，我們一直以來都在設法讓機器讀懂我們的心，這也是「<a href="https://github.com/weihanchen/google-colab-python-learn#%E8%87%AA%E7%84%B6%E8%AA%9E%E8%A8%80%E8%99%95%E7%90%86---nlpnatural-language-processing">自然語言處理(NLP)</a>」一直以來在努力的方向，但確實還沒辦法很好的理解人類說的話，部分邏輯問題我們需要給出明確的指令讓其回答，舉例來說，我們給一段簡單的數學運算並交由偉大的Chatgpt3.5來幫我們計算一下：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/814/1*FkfY9oprGz02f1P6HM9wnQ.png" /><figcaption><a href="https://vocus.cc/article/6483d6a1fd89780001f8725e">圖片來源</a></figcaption></figure><p>很明顯100800/85，答案應該是:</p><p>100*800=80000</p><p>80000/8 = 10000</p><p>10000*5 = 50000</p><p>會造成這個結果呢？ 其實也不全然是Chatgpt的問題，因為我們給它的提示太過廣泛了，它會自動推斷怎麼算，而算法有百百種，我們又沒有給一些上下文，對於AI來說會推斷一個最有可能的算法來進行回答，因此才會有這種錯誤的狀況。</p><p>沒關係…，可能我們描述的不夠精確，這次我們用括號來期望計算的先後順序再給它一次機會：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/704/1*765H9i7yjZbRhL665SC8Vg.png" /><figcaption><a href="https://vocus.cc/article/6483d6a1fd89780001f8725e">圖片來源</a></figcaption></figure><p>這次就能精準的計算出正確結果了，看到這邊有沒有覺得很危險，萬一給錯提示得到錯誤的回應，導致我們認知偏差造成決策錯誤就容易引發不可收拾的後果了…，因此一個好的提示非常的重要。</p><p>假設我們設計一套AI產品，但卻很容易出錯，我想這個產品應該會大幅度降低品牌的價值吧！ 雖然我們都知道Prompt很重要，但要如何寫出一個好的Prompt提示指令，我想對於開發AI產品中的企業來說會是非常重要的一個環節。</p><p>隨著技術的演進，這些AI模型被訓練的也越來越精準，或許未來我們也不需要太嚴謹的提示就能得到正確的答案了，但至少現在來看還沒到達該階段，因此「Prompt Engineering」是我們進入AI領域的一門必學學科。</p><p>接下來的幾個篇章，我們將介紹如何聰明的設計我們的提示案例，並以實戰的方式來加深印象，過程也會將邏輯說明清楚，期待我們一起前往AI領域之路。</p><p>喜歡撰寫文章的你，不妨來了解一下：</p><p><a href="https://www.potatomedia.co/s/2PmFxsq">Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 — 為什麼要加入？</a></p><p>歡迎加入一起練習寫作，賺取知識！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a6bea37d2798" width="1" height="1" alt=""><hr><p><a href="https://medium.com/willhanchen/generativeai-prompt%E7%AF%87-ep-1-%E4%BB%80%E9%BA%BC%E6%98%AFprompt-engineering-a6bea37d2798">【GenerativeAI — Prompt篇】Ep.1 什麼是Prompt Engineering?</a> was originally published in <a href="https://medium.com/willhanchen">阿Han的圖文解字筆記</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[【自然語言處理 — 概念篇】 探索TF-IDF, 關於詞的統計與索引隱含著什麼奧秘呢？]]></title>
            <link>https://medium.com/willhanchen/%E8%87%AA%E7%84%B6%E8%AA%9E%E8%A8%80%E8%99%95%E7%90%86-%E6%A6%82%E5%BF%B5%E7%AF%87-%E6%8E%A2%E7%B4%A2tf-idf-%E9%97%9C%E6%96%BC%E8%A9%9E%E7%9A%84%E7%B5%B1%E8%A8%88%E8%88%87%E7%B4%A2%E5%BC%95%E9%9A%B1%E5%90%AB%E8%91%97%E4%BB%80%E9%BA%BC%E5%A5%A7%E7%A7%98%E5%91%A2-6e0079151d0a?source=rss-5696524f59de------2</link>
            <guid isPermaLink="false">https://medium.com/p/6e0079151d0a</guid>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Han]]></dc:creator>
            <pubDate>Mon, 05 Jun 2023 11:50:03 GMT</pubDate>
            <atom:updated>2023-06-05T11:50:03.530Z</atom:updated>
            <content:encoded><![CDATA[<h3>【自然語言處理 — 概念篇】 探索TF-IDF, 關於詞的統計與索引隱含著什麼奧秘呢？</h3><p>所謂TF-IDF是由兩個名詞所組成的, 分別是「詞頻(Term Frequency,TF)」和「逆文檔頻率(Inverse Document Frequency,IDF)。</p><h3>詞頻: TF</h3><p>表示詞在文檔中出現的頻率, 就統計學而言, 只要這個詞在文本中出現越多次代表越值得關注, 因此它會具有一個重要的統計評估指標之一, 但並不是完全相信此統計方式, 看完底下的IDF就會知道為什麼。</p><h3>逆文檔頻率: IDF</h3><p>主要目標在於「衡量一個詞語對整個文檔集合的重要性」, 簡單來講就是補足TF薄弱的評估依據, 因為單憑TF並不足以評斷詞語的重要性, 例如一段文章中常常出現「是」這個詞, 以TF的角度來說可能出來的數據是非常重要, 但對於我們來說「是」這個詞可能只是肯定、接受到了, 並不具備有太重要的資訊, 因此單憑TF會有失真的狀況出現。</p><p>因此IDP就是在平衡此狀況, 目標是讓稀有的詞語(在較少的文檔中出現)具有較高的IDF值, 而常見的詞語(在較多的文檔中出現)具有較低的IDF值。</p><p>怎麼做呢？ 就是藉由底下很簡單的一個公式：</p><p><em>IDF = log((N(文檔總數) + 1) / (df(包含「詞」的文檔數量) + 1)) + 1</em></p><p>公式中的加1操作是為了避免在DF為0的情況下產生除零錯誤, 並添加平滑性(smoothness)以減少過於偏重罕見詞語的影響(當然最經典的算法是沒有平滑的, 也就是沒有+1)。</p><p>舉例來說, 假設文檔總數有5篇, 「是」這個詞在各篇文檔都有出現, 因此推算出來就會是：</p><p>log(6 / 6) + 1 = 1</p><p>由此可知IDF的公式之下, 「是」這個詞的權重為「1」, 可能不是一個非常重要的詞語。</p><h3>TF與IDF的結合</h3><p><em>TF-IDF = TF x IDF</em></p><p>通過計算詞語的TF-IDF值, 我們可以得到一個詞語在特定文本中的重要性分數，進而進行特徵表示、相似度計算和模型訓練等操作。</p><h3>搭配實作更加明白...</h3><p>接下來我們就用實作為出發點來逐一說明, 讓我們更容易進入狀況。</p><h4>準備必要套件</h4><pre># 斷詞<br>!pip install jieba<br><br># 表格化<br>!pip install pandas<br><br># 圖表化<br>!pip install matplotlibpy</pre><h3>下載中文字型讓圖表可以顯示中文</h3><p>為什麼?</p><p>請參考「<a href="https://www.potatomedia.co/s/PDf86nk">🖋 【Google Colab Python系列】 視覺化資料Matplotlib 如何繪製出中文？</a>」</p><pre>import matplotlib as mpl<br>import matplotlib.font_manager as fm<br>import matplotlib.pyplot as plt<br><br># 下載繁體中文字型<br>!wget -O SourceHanSerifTW-VF.ttf https://github.com/adobe-fonts/source-han-serif/raw/release/Variable/TTF/Subset/SourceHanSerifTW-VF.ttf<br><br># 加入字型檔<br>fm.fontManager.addfont(&#39;SourceHanSerifTW-VF.ttf&#39;)<br><br># 設定字型<br># <br>mpl.rc(&#39;font&#39;, family=&#39;Source Han Serif TW VF&#39;)</pre><h4>定義中文語句</h4><pre>sentences = [<br>    &#39;我喜歡看書尤其是小說和詩歌&#39;,<br>    &#39;健康是最重要的財富&#39;,<br>    &#39;這部電影真的是很精彩&#39;,<br>    &#39;環保意識的提升對我們的地球來說是非常重要的&#39;,<br>    &#39;這真的是太棒了&#39;<br>]</pre><h4>自訂分詞器</h4><p>由於NLP世界中最小的單位是「詞」, 因此我們就要藉由jieba這套斷詞工具幫我們預先進行斷詞。</p><pre>import jieba<br>def tokenizer(text):<br>    return list(jieba.cut(text))</pre><h4>TF詞頻矩陣</h4><pre>from sklearn.feature_extraction.text import CountVectorizer<br>import pandas as pd<br><br>tf_vectorizer = CountVectorizer(tokenizer=tokenizer, token_pattern=None)<br><br>tf_matrix = tf_vectorizer.fit_transform(sentences)<br><br># 取得詞語列表<br>feature_names = tf_vectorizer.get_feature_names_out()<br><br>tf_matrix = tf_matrix.toarray()<br><br><br>tf = pd.DataFrame(tf_matrix, columns=feature_names)<br><br>tf</pre><h4>IDF矩陣</h4><p>以「來」這個字詞來說, 總共出現1次, 套上idf公式之後</p><p>log((N(文檔總數) + 1) / (df(包含「詞」的文檔數量) + 1)) + 1</p><p>log((5+1) / (1+1)) + 1 = 2.0986</p><pre>from sklearn.feature_extraction.text import TfidfVectorizer<br><br>idf_vectorizer = TfidfVectorizer(tokenizer=tokenizer, token_pattern=None)<br><br>idf_vectorizer.fit_transform(sentences)<br><br>idf_vector = idf_vectorizer.idf_<br><br>idf = pd.DataFrame(idf_vector, index=feature_names, columns=[&quot;IDF&quot;])<br><br>idf</pre><h4>TF-IDF</h4><p>以「來」這個詞來進行計算。</p><pre>TF = 1<br><br>IDF = 2.098612<br><br>TF-IDF = 1 * 2.098612 = 2.098612</pre><pre>from sklearn.feature_extraction.text import TfidfVectorizer<br><br>tfidf_matrix = tf_matrix * idf_vector<br><br>tfidf = pd.DataFrame(tfidf_matrix, columns=feature_names)<br><br>tfidf</pre><h4>以上自己用土炮的方式相乘, 接下來我們可以看看sklearn計算出來的結果。</h4><p>norm=False主要是我們想要讓計算方式回歸本質, 沒有經過歸一化。</p><p>與我們上述的計算結果一致。</p><pre>from sklearn.feature_extraction.text import TfidfVectorizer<br><br>tfidf_vectorizer = TfidfVectorizer(tokenizer=tokenizer, token_pattern=None, norm=None)<br><br>tfidf_matrix = tfidf_vectorizer.fit_transform(sentences)<br><br>tfidf = pd.DataFrame(tfidf_matrix.toarray(), columns=feature_names)<br><br>tfidf</pre><h3>繪製TF-IDF圖表</h3><p>這邊使用雷達圖來直觀的比較。</p><pre>import matplotlib.pyplot as plt<br>import numpy as np<br><br><br># 獲取每個詞彙的TF-IDF值<br>tfidf_scores = tfidf_matrix.toarray().T<br><br># 繪製每個詞彙的TF-IDF值<br>plt.figure(figsize=(8, 8))<br>plt.polar(np.linspace(0, 2 * np.pi, len(feature_names), endpoint=False), tfidf_scores.mean(axis=1))<br>plt.fill(np.linspace(0, 2 * np.pi, len(feature_names), endpoint=False), tfidf_scores.mean(axis=1), alpha=0.25)<br>plt.xticks(np.linspace(0, 2 * np.pi, len(feature_names), endpoint=False), feature_names, rotation=90)<br>plt.title(&#39;TF-IDF Scores for Words&#39;)<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/701/1*LBTvZZ4yAcv4ESFaPkKLVg.png" /><figcaption><a href="https://www.potatomedia.co/s/bVIUUxZD">圖片來源</a></figcaption></figure><h3>結語</h3><p>逐步拆解之後才知道原來「詞」的統計隱含著這麼多的寶貴資訊，透過一些演算方式讓機器可以預估可能的語意、分類...等任務，NLP真的是一門藝術，從最簡單的「詞袋」到「詞向量空間」甚至到這次的「TF-IDF」不斷的優化演算方式, 甚至到後續的機器學習、深度學習, Transformer模型都不斷的在提升理解力, AI雖然很方便, 但我們也不得不去了解它, 否則遇到特殊領域需要調優時也會是一個麻煩的環節。</p><p>今天的範例都在這裡「<a href="https://github.com/weihanchen/google-colab-python-learn/blob/main/jupyter-examples/nlp/bow.ipynb">📦 </a><a href="https://github.com/weihanchen/google-colab-python-learn/blob/main/jupyter-examples/nlp/tf_idf.ipynb">tf_idf.ipynb</a>」歡迎自行取用。</p><p>如何使用請參閱「<a href="https://www.potatomedia.co/s/aNLHZe3S">【Google Colab系列】台股分析預備式： Colab平台與Python如何擦出火花？</a>」。</p><p>------------------------------------------------------------------------------------------------</p><p>喜歡撰寫文章的你，不妨來了解一下：</p><p><a href="https://www.potatomedia.co/s/2PmFxsq">Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 - 為什麼要加入？</a></p><p>歡迎加入一起練習寫作，賺取知識！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6e0079151d0a" width="1" height="1" alt=""><hr><p><a href="https://medium.com/willhanchen/%E8%87%AA%E7%84%B6%E8%AA%9E%E8%A8%80%E8%99%95%E7%90%86-%E6%A6%82%E5%BF%B5%E7%AF%87-%E6%8E%A2%E7%B4%A2tf-idf-%E9%97%9C%E6%96%BC%E8%A9%9E%E7%9A%84%E7%B5%B1%E8%A8%88%E8%88%87%E7%B4%A2%E5%BC%95%E9%9A%B1%E5%90%AB%E8%91%97%E4%BB%80%E9%BA%BC%E5%A5%A7%E7%A7%98%E5%91%A2-6e0079151d0a">【自然語言處理 — 概念篇】 探索TF-IDF, 關於詞的統計與索引隱含著什麼奧秘呢？</a> was originally published in <a href="https://medium.com/willhanchen">阿Han的圖文解字筆記</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[【Mockoon工具箱】根據查詢參數回應不同的內容(Query Params)]]></title>
            <link>https://medium.com/willhanchen/mockoon%E5%B7%A5%E5%85%B7%E7%AE%B1-%E6%A0%B9%E6%93%9A%E6%9F%A5%E8%A9%A2%E5%8F%83%E6%95%B8%E5%9B%9E%E6%87%89%E4%B8%8D%E5%90%8C%E7%9A%84%E5%85%A7%E5%AE%B9-query-params-dea2d63c40a4?source=rss-5696524f59de------2</link>
            <guid isPermaLink="false">https://medium.com/p/dea2d63c40a4</guid>
            <category><![CDATA[mockoon]]></category>
            <dc:creator><![CDATA[Han]]></dc:creator>
            <pubDate>Thu, 01 Jun 2023 12:43:43 GMT</pubDate>
            <atom:updated>2023-06-01T12:43:46.150Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/681/1*mH8zJoQCYRpNawRtphN6PA.png" /><figcaption><a href="https://www.potatomedia.co/s/f8XPPP3">圖片來源</a></figcaption></figure><p>上一篇我們介紹了模擬API的工具箱「<a href="https://www.potatomedia.co/s/b5m2G55J">【Mockoon工具箱】awesome API mocking簡介</a>」， 也示範如何模擬回傳資料， 但我們的API通常千變萬化， 尤其是會搭配不同的查詢條件進行資料的抓取，正好Mockoon也提供了Rules的一個功能， 透過規則的設定回應不同的資料內容。</p><h3>情境描述</h3><p>API入口: <a href="http://localhost/endpoint">http://localhost/endpoint</a></p><p>- 當我們沒有進行任何查詢條件時就回傳「welcome」的訊息。</p><p>- 當我們想要取得地址資料時，就用「Type=addr」的參數並回傳「台北市」的訊息。</p><p>上述的情境僅示範如何根據不同條件進行不同回應， 更多的參數條件就留待各位自行實作囉！</p><h3>設計情境</h3><p>根據上述的情境描述之後， 我們就開始設計這樣的情境吧！</p><h3>設計入口歡迎訊息回應內容</h3><p>第一個Response不需要任何的Rules(規則)， 僅設計回傳的歡迎訊息。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/824/1*CXlIW_UA7CXogdFRJzYpWQ.png" /><figcaption><a href="https://www.potatomedia.co/s/f8XPPP3">圖片來源</a></figcaption></figure><h3>設計查詢條件規則</h3><p>我們先增加一個Response， 來設計規則與回應內容。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/608/1*XP2eQWuAQ4U_z8U9uxLcnQ.png" /><figcaption><a href="https://www.potatomedia.co/s/f8XPPP3">圖片來源</a></figcaption></figure><p>新增了「Response 2(200)」之後， 我們先假設這個回應是查詢地址， 也期望回應內容如下：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/381/1*v6P8wbjKkGDY3qHrA1WwFg.png" /><figcaption><a href="https://www.potatomedia.co/s/f8XPPP3">圖片來源</a></figcaption></figure><p>接著我們來設計一下規則， 設計為查詢的類型為地址時， 若匹配則回應上述訊息。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9HFEvJa-n6WO3fu1oAXGkg.png" /><figcaption><a href="https://www.potatomedia.co/s/f8XPPP3">圖片來源</a></figcaption></figure><h3>實測結果</h3><p>首先我們在瀏覽器輸入「https://localhost/endpoint」由於沒有任何的查詢參數， 因此會回應我們的基礎回傳歡迎訊息。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/357/1*BgTQdJHLHjO-hOFu7y1aXA.png" /><figcaption><a href="https://www.potatomedia.co/s/f8XPPP3">圖片來源</a></figcaption></figure><p>接著我們試著帶入查詢參數來看看結果， 指定查詢類型為地址， Mockoon的規則就根據我們的設計回傳地址的回應內容。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/506/1*wJ9H9hyE5gg38dCANr61pg.png" /><figcaption><a href="https://www.potatomedia.co/s/f8XPPP3">圖片來源</a></figcaption></figure><h3>結語</h3><p>原來API模擬不只有靜態的回應而已， 還能夠具有一些基礎的判斷， 讓我們在開發產品功能之前能夠快速的搭建出API並與前端工程師相互討論， 共同制定一套標準API規則， 再各自實作業務邏輯， 達到分工合作的效果， 減少等待依賴的耗時過程。</p><p>總之在於快速、效率的時代， 我們需要的是簡單快速使用的功能， 能夠在最短期完成任務的工具都是好工具， 我們要學習的就是快速適應的能力， 就讓我們持續學習新工具快速適應變遷的環境吧！</p><p>— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — -</p><p>喜歡撰寫文章的你，不妨來了解一下：</p><p><a href="https://www.potatomedia.co/s/2PmFxsq">Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 — 為什麼要加入？</a></p><p>歡迎加入一起練習寫作，賺取知識，累積財富！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dea2d63c40a4" width="1" height="1" alt=""><hr><p><a href="https://medium.com/willhanchen/mockoon%E5%B7%A5%E5%85%B7%E7%AE%B1-%E6%A0%B9%E6%93%9A%E6%9F%A5%E8%A9%A2%E5%8F%83%E6%95%B8%E5%9B%9E%E6%87%89%E4%B8%8D%E5%90%8C%E7%9A%84%E5%85%A7%E5%AE%B9-query-params-dea2d63c40a4">【Mockoon工具箱】根據查詢參數回應不同的內容(Query Params)</a> was originally published in <a href="https://medium.com/willhanchen">阿Han的圖文解字筆記</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[【Mockoon工具箱】awesome API mocking簡介]]></title>
            <link>https://medium.com/willhanchen/mockoon%E5%B7%A5%E5%85%B7%E7%AE%B1-awesome-api-mocking%E7%B0%A1%E4%BB%8B-969b5ce4fcdb?source=rss-5696524f59de------2</link>
            <guid isPermaLink="false">https://medium.com/p/969b5ce4fcdb</guid>
            <category><![CDATA[mockoon]]></category>
            <category><![CDATA[工具庫]]></category>
            <category><![CDATA[api]]></category>
            <dc:creator><![CDATA[Han]]></dc:creator>
            <pubDate>Wed, 31 May 2023 21:59:55 GMT</pubDate>
            <atom:updated>2023-05-31T21:59:55.164Z</atom:updated>
            <content:encoded><![CDATA[<p>上一篇我們有介紹「<a href="https://vocus.cc/article/6470961cfd89780001562588">【Postman工具箱】 Mock Server簡介</a>」，相信對於Mock Server的用途應該都具備一些基本概念了，那這次就來介紹一套免費開源的工具庫「Mockoon」並附帶安裝架設的方法，讓我們簡單輕鬆的上架我們的模擬API Server。</p><p>系統開發的過程中，假設前/後端分離的開發架構下， 前端難免會需要等待後端API開發完成才能進行， 再者若與其他廠商對接時， 系統就算已經開發完成也得等待廠商， 過程中就是不斷的「🕒 等等等…」這個卡住的地方就成為了效率的阻礙點， 其中的阻礙點就是「資料來源」， 如果我們能讓這個「資料來源」更快速的產生一個雛型(模擬假資料)， 對於前/後端、第三方廠商、QA…來說一定會更加有效率， 這個「資料來源雛型」就相當於程式設計中的介面(Interface)，規格訂好之後， 各自角色就依照這個介面(Interface)獨立作業， 減少依賴與等待的時間。</p><p>以下三個場景可以很清楚的知道Mockoon在其中扮演著什麼角色，讓原本環環相扣的合作過程能夠適當的分離，各自獨立完成作業，最終以最小幅度進行整合。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ye0dBN_IrBLs8Q29CSVpTA.png" /><figcaption><a href="https://www.potatomedia.co/s/b5m2G55J">圖片來源</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ohwJ7azI1OP51jebsYDaBA.png" /><figcaption><a href="https://www.potatomedia.co/s/b5m2G55J">圖片來源</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/958/1*l5AXFd2X2dWmwmj6nc81hw.png" /><figcaption><a href="https://www.potatomedia.co/s/b5m2G55J">圖片來源</a></figcaption></figure><p>上一篇我們有介紹「<a href="https://www.potatomedia.co/s/2PFVfJO">【Postman工具箱】 Mock Server</a>」可以快速的搭建出Mock API環境， 但可惜的是收費機制與私有化都較為不便， 因此這次就來介紹一套開源的Mock Server產品， 會選擇這套產品的主要原因如下：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_HCmj6TNg-RkkzRMpmWmmQ.png" /><figcaption><a href="https://www.potatomedia.co/s/b5m2G55J">圖片來源</a></figcaption></figure><p>最重要的是這一段官方的論述， 才做了這樣的推薦與選擇， 私有及離線相信是打造產品或者自架的CI/CD最重要的一個需求。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/554/1*C8JDFaJdDYxYyWABx_03ug.png" /></figure><p>既然稱之為Mock， 代表著具備自動化模擬資料的能力， 而Mockoon整合了兩大重要元件， 分別是<a href="https://handlebarsjs.com/">Handlebars</a>, <a href="https://fakerjs.dev/">Faker.js</a> 這兩套工具， 一個負責可程式化功能， 而另一個則是負責產生亂數資料。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/894/1*0mjO6rw52_72lg0_TcfUKg.png" /><figcaption><a href="https://www.potatomedia.co/s/b5m2G55J">圖片來源</a></figcaption></figure><h3>下載Mockoon</h3><p>官方網站在這裡「<a href="https://mockoon.com/">https://mockoon.com/</a>」， 進入後有個「Download」， 文件也都撰寫的非常齊全， 各個平台的安裝方式都已經整理好在官方文件之中， 這邊就不多加贅述了。</p><p>支援的平台有Windows、Linux、Mac。</p><p>不過這是屬於設計API的工具安裝包， 至於怎麼啟動服務就需要搭配CLI工具囉， 以下的章節也會逐一介紹。</p><h3>QuickStart</h3><h3>Step 1: 建立新的範本</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*W2X9z1Enc7n3u3fLdCg-Gg.png" /><figcaption><a href="https://www.potatomedia.co/s/b5m2G55J">圖片來源</a></figcaption></figure><p>預設就用Dark Mode的配色， 對於眼睛使用上是比較舒緩的，目前越來越多的軟體都開始採用這種預設配色了！</p><h3>Step 2: 快速建立一個hello world 模擬API</h3><p>簡單的兩個步驟快速完成一個API開發， 填上路徑資訊之後， 再設計回傳資料範本， 即可完成一份靜態的GET API， 當然比較複雜互動的部份我們可以留待後續章節逐一介紹。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/940/1*EdemNmMFuFJAgUqIIim2VA.png" /><figcaption><a href="https://www.potatomedia.co/s/b5m2G55J">圖片來源</a></figcaption></figure><h3>Step 3: 更改一下port避免衝突</h3><p>範本預設由3000 port啟動， 但我們本機若開發許多Web應用相信3000 port被佔用會是非常頻繁的事情， 因此我們就來試著改動啟動port綁定的部份。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/883/1*C1Dekuh51AZfAa429q3uKw.png" /><figcaption><a href="https://www.potatomedia.co/s/b5m2G55J">圖片來源</a></figcaption></figure><p>另外也支援TLS的連線方式， 需要安全加密連線的應用也可以考慮加掛憑證並啟動。</p><h3>Step 4: 啟動服務</h3><p>左上角有個綠色的播放紐， 按下去之後就能啟動服務。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/687/1*MsnheFryq61Ds5rdJAkbZA.png" /><figcaption><a href="https://www.potatomedia.co/s/b5m2G55J">圖片來源</a></figcaption></figure><h3>Step 5: 測試API</h3><p>右上角有個開啟的按鈕， 但僅限於GET的部份， 打開之後就會直接帶到預設瀏覽器進行API的呼叫， 讓我們順利驗證結果。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3_2t7PRXg-_2DqdmQ5B6oQ.png" /><figcaption><a href="https://www.potatomedia.co/s/b5m2G55J">圖片來源</a></figcaption></figure><p>最終我們會看到瀏覽器的Response就是我們設計的假資料， 工具是不是非常容易使用？</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/495/1*2pUUb2Qgf-tUJFvlAjJ21A.png" /><figcaption><a href="https://www.potatomedia.co/s/b5m2G55J">圖片來源</a></figcaption></figure><h3>如何以Docker運行一個API模擬環境？</h3><p>上述的範例很方便就能架設啟一個API服務， 但總是依賴於GUI， 而我們實際上的CI/CD環境甚至是Windows Server、Linux也都比較建議用CLI的方式來運行背景服務， 正好Mockoon也支援CLI，是以nodejs的npm進行安裝， 請參考「<a href="https://mockoon.com/cli/">https://mockoon.com/cli/</a>」， 但我們又不想在主機上隨意安裝額外套件時怎麼辦？ 這時候直覺會想說如果有個虛擬沙盒該有多好， 嗯…， 正好Mockoon也有Docker image可以使用， 我們就以Docker方式來運行一個API模擬環境吧！</p><h3>下載Docker Imane</h3><pre>docker pull mockoon/cli</pre><h3>以Docker運行API範本</h3><p>只要將我們的範本掛載進Docker Container， 並將對應的port mapping， 如此就能快速運行模擬API。</p><pre>docker run -d \\<br>--mount type=bind,source=/home/will/Downloads/test/test.json,target=/data,readonly \\<br>-p 10010:3000 mockoon/cli:latest --data data --port 3000</pre><h3>更方便的Docker化打包</h3><p>上述的指令相當複雜吧！ 又要對應port、又要掛載、又要指定掛載的資料夾， 隨著配置越來越多很容易導致配置錯誤讓程式無法順利運作， 因此Mockoon很貼心的設計一個讓我們將設計範本連同Docker Image一併打包的方式進行輸出。</p><pre>mockoon-cli dockerize \\<br>    --data ./sample-data.json \\<br>    --port 3000 \\<br>    --output ./tmp/Dockerfile</pre><p>產生出來的Dockerfile會是這樣</p><pre>FROM node:14-alpine<br><br>RUN npm install -g @mockoon/cli@2.1.0<br>COPY mockoon-test.json ./mockoon-test.json<br><br># Do not run as root.<br>RUN adduser --shell /bin/sh --disabled-password --gecos &quot;&quot; mockoon<br>RUN chown -R mockoon ./mockoon-test.json<br>USER mockoon<br><br>EXPOSE 3000<br><br>ENTRYPOINT [&quot;mockoon-cli&quot;, &quot;start&quot;, &quot;--hostname&quot;, &quot;0.0.0.0&quot;, &quot;--daemon-off&quot;, &quot;--data&quot;, &quot;mockoon-test.json&quot;, &quot;--container&quot;]<br><br># Usage: docker run -p &lt;host_port&gt;:&lt;container_port&gt; mockoon-test</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=969b5ce4fcdb" width="1" height="1" alt=""><hr><p><a href="https://medium.com/willhanchen/mockoon%E5%B7%A5%E5%85%B7%E7%AE%B1-awesome-api-mocking%E7%B0%A1%E4%BB%8B-969b5ce4fcdb">【Mockoon工具箱】awesome API mocking簡介</a> was originally published in <a href="https://medium.com/willhanchen">阿Han的圖文解字筆記</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[【認證與授權 — Open Policy Agent】關於策略語言Rego]]></title>
            <link>https://medium.com/willhanchen/%E8%AA%8D%E8%AD%89%E8%88%87%E6%8E%88%E6%AC%8A-open-policy-agent-%E9%97%9C%E6%96%BC%E7%AD%96%E7%95%A5%E8%AA%9E%E8%A8%80rego-cf29b3bc9403?source=rss-5696524f59de------2</link>
            <guid isPermaLink="false">https://medium.com/p/cf29b3bc9403</guid>
            <category><![CDATA[open-policy-agent]]></category>
            <category><![CDATA[認證與授權]]></category>
            <dc:creator><![CDATA[Han]]></dc:creator>
            <pubDate>Sun, 28 May 2023 11:34:03 GMT</pubDate>
            <atom:updated>2023-05-28T11:34:03.862Z</atom:updated>
            <content:encoded><![CDATA[<h3>【認證與授權 — Open Policy Agent】關於策略語言Rego</h3><p>上一篇我們介紹了「<a href="https://vocus.cc/article/6466abf0fd89780001d3d6ee">【認證與授權】Open Policy Agent 授權策略</a>」, 相信都已經初步了解了OPA(Open Policy Agent)主要在做什麼, OPA簡單來說就是一個授權的政策管理規範, 有點像我們的法律系統, 提供開發者在上面制定法條, 以約束授權對象可以進行什麼樣的操作, 讓各語言各自實作的授權政策有了統一的規範, 並獨立成一個模組區塊, 目的是讓越趨複雜的系統可以專注於功能, 而各類授權政策則獨立開發、測試, 讓職責分明, 問題追朔更加容易。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/953/1*yUNhjFuyIYVO7aSjaZjfoQ.png" /><figcaption><a href="https://vocus.cc/article/64733b40fd8978000177edf5">圖片來源</a></figcaption></figure><p>既然OPA是一種授權的政策管理規範, 就像法律一般也一定會有法條的組成, 而在OPA的世界裡, 組成法條的就是Rego這個語言, 專門用於描述和評估政策規則, 提供了靈活的工具，開發人員可以使用這些工具來編寫、測試和調試政策規則, 這次就來介紹一下Rego這套語言究竟與我們傳統的程式語言有什麼不同吧！</p><h3>簡介</h3><p>Rego這個語言的發展主要受到<a href="https://en.wikipedia.org/wiki/Datalog">Datalog</a>的啟發， <a href="https://en.wikipedia.org/wiki/Datalog">Datalog</a>是一種數據查詢語言， 這種語言有很強的知識推理能力，本質上都是為了解一個邏輯問題， <a href="https://en.wikipedia.org/wiki/Datalog">Datalog</a>已經具有數十年歷史的查詢語言， 但Rego並非完全遵循<a href="https://en.wikipedia.org/wiki/Datalog">Datalog</a>的語法， 而是以支持JSON格式的方式， 更貼近於現代化的撰寫方式。</p><h3>為什麼要使用Rego語法？</h3><ul><li>以宣告式寫法精簡程式碼，什麼是宣告式呢？ 請參考「<a href="https://vocus.cc/article/646a9923fd897800019e455b">【程式設計基礎知識】宣告式 V.S 指令式</a>」。</li><li>不需要太複雜的邏輯， 只需要制定授權的策略即可。</li><li>Data的描述以JSON形式表達。</li><li>OPA根據Rego的表達規則進行索引運算， 提升效能， 詳細的演算法內容請參考： <a href="https://blog.openpolicyagent.org/optimizing-opa-rule-indexing-59f03f17caf3%E3%80%82">https://blog.openpolicyagent.org/optimizing-opa-rule-indexing-59f03f17caf3。</a></li><li>對於制定的策略可以進行單元測試。</li><li>可以進行Benchmark，優化我們的策略判斷。</li></ul><p>總而言之，Rego是OPA的政策語言，用於描述和評估政策規則，它提供了一種結構化和可讀性高的方式來定義政策，並與OPA引擎緊密集成，實現細粒度的存取控制和政策管理。</p><h3>初步認識一下Rego</h3><h3>語法結構</h3><ul><li>相同的規則檢查名稱， 其中一組符合就通過檢查。</li><li>規則檢查區塊中的每一條表達式都是And的關係。</li></ul><pre>default 規則檢查名稱 = 預設值</pre><pre>規則檢查名稱 {<br>		表達式<br>		表達式<br>		...<br>}</pre><pre>規則檢查名稱 {<br>		...<br>}</pre><h3>預設規則的回傳值</h3><p>以下會預設allow未滿足判斷條件時， allow會等於false。</p><pre>default allow = false</pre><pre>allow {<br>    x := 42<br>    y := 41<br>    x &lt; y<br>}</pre><pre>// return false</pre><p>但假設沒有預設值， 就會回傳undefined。</p><pre>allow {<br>    x := 42<br>    y := 41<br>    x &lt; y<br>}</pre><pre>// return undefine</pre><h3>多條表達式之間都是And關係， 順序性影響不大</h3><p>正常撰寫表達式如下：</p><pre>t2 {<br>    x := 42<br>    y := 41<br>    x &gt; y<br>}</pre><pre>expression-1 AND expression-2 AND ... AND expression-N</pre><p>替換順序， 結果仍然正確， 因此我們在寫決策時， 也可以先把期望的判斷寫好， 在補上需要的Data：</p><pre>t2 {<br>    x &gt; y<br>		x = 42<br>		y = 41<br>}</pre><h3>否定語句使用 not 關鍵字</h3><pre>t {<br>    greeting := &quot;hello&quot;<br>    not greeting == &quot;goodbye&quot;<br>}</pre><pre>// reult true</pre><h3>Function結構</h3><p>我們撰寫程式時， 常常需要把重複的功能獨立成Function， 而rego語法也提供了Function的功能結構如下：</p><pre>&lt;function_name&gt;(&lt;params&gt;...) = &lt;return_value_variable&gt; { <br>		&lt;expression-N&gt;...<br>}</pre><pre>trim_and_split(s) = x {<br>     t := trim(s, &quot; &quot;)<br>     x := split(t, &quot;.&quot;)<br>}</pre><h3>Else關鍵字</h3><pre>authorize = &quot;allow&quot; {<br>    input.user == &quot;superuser&quot;           # allow &#39;superuser&#39; to perform any operation.<br>} else = &quot;deny&quot; {<br>    input.path[0] == &quot;admin&quot;            # disallow &#39;admin&#39; operations...<br>    input.source_network == &quot;external&quot;  # from external networks.<br>} # ... more rules</pre><h3>結語</h3><p>不論我們今天是否使用Rego這個語言, 重要的是其中的設計精髓, 以宣告式設計來表述一件工作或者事物, 讓我們專注於設計最終結果, 以終為始, 逐步填充過程。</p><p>喜歡撰寫文章的你，不妨來了解一下：</p><p><a href="https://www.potatomedia.co/s/2PmFxsq">Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 — 為什麼要加入？</a></p><p>歡迎加入一起練習寫作，賺取知識！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cf29b3bc9403" width="1" height="1" alt=""><hr><p><a href="https://medium.com/willhanchen/%E8%AA%8D%E8%AD%89%E8%88%87%E6%8E%88%E6%AC%8A-open-policy-agent-%E9%97%9C%E6%96%BC%E7%AD%96%E7%95%A5%E8%AA%9E%E8%A8%80rego-cf29b3bc9403">【認證與授權 — Open Policy Agent】關於策略語言Rego</a> was originally published in <a href="https://medium.com/willhanchen">阿Han的圖文解字筆記</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[【認證與授權 — Open Policy Agent】 如何用RESTFUL API來串接]]></title>
            <link>https://medium.com/willhanchen/%E8%AA%8D%E8%AD%89%E8%88%87%E6%8E%88%E6%AC%8A-open-policy-agent-%E5%A6%82%E4%BD%95%E7%94%A8restful-api%E4%BE%86%E4%B8%B2%E6%8E%A5-61581c09177b?source=rss-5696524f59de------2</link>
            <guid isPermaLink="false">https://medium.com/p/61581c09177b</guid>
            <category><![CDATA[認證與授權]]></category>
            <dc:creator><![CDATA[Han]]></dc:creator>
            <pubDate>Sun, 28 May 2023 02:11:27 GMT</pubDate>
            <atom:updated>2023-05-28T02:16:32.139Z</atom:updated>
            <content:encoded><![CDATA[<h3>【認證與授權 — Open Policy Agent】 如何用RESTFUL API來串接</h3><p>上一篇我們有介紹什麼是OPA以及一些基本概念「<a href="https://www.potatomedia.co/s/bUbtOfM8">【資訊軟體知識】Open Policy Agent 授權策略</a>」，接下來我們就來介紹如何架設並以API的方式進行授權檢查。</p><p>這種方式的好處是可以跨語言， 不侷限於Go， 透過標準RESTFUL API的方式來與OPA Server相互溝通。</p><h3>流程</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/883/1*CopFlqq9f6IXmqLVYDVSlA.png" /><figcaption><a href="https://vocus.cc/article/6472b8b3fd897800016f4771">圖片來源</a></figcaption></figure><h3>環境準備</h3><p>使用Docker來架設OPA Server。</p><pre># pull docker image<br>docker pull openpolicyagent/opa:0.29.1<br># start with server<br>docker run --rm -p 8181:8181 openpolicyagent/opa:0.29.1 run --server --addr :8181</pre><h3>情境：</h3><ul><li>UserA要對某一篇文章進行編輯。</li><li>透過OPA檢驗是否具有編輯文章的權限。</li></ul><h3>準備資料並上傳到OPA Server</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/953/1*yUNhjFuyIYVO7aSjaZjfoQ.png" /><figcaption><a href="https://vocus.cc/article/6472b8b3fd897800016f4771">圖片來源</a></figcaption></figure><h3>Data</h3><ul><li>定義使用者具有哪些角色。</li><li>定義各個角色分別有哪些操作權限。</li><li>data.json。</li></ul><pre>{<br>	&quot;user_roles&quot;: {<br>        &quot;userA&quot;: [&quot;editor&quot;]<br>  },<br>  &quot;role_permissions&quot;: {<br>        &quot;editor&quot;: [<br>            { &quot;action&quot;: &quot;edit&quot;, &quot;object&quot;: &quot;article&quot; } <br>        ]<br>   }<br>}</pre><p>將data.json上傳到OPA Server</p><pre># 上傳Data檔                               ↓ 自己定義的路徑<br>curl -X PUT &lt;http://127.0.0.1:8181/v1/data/rbac/authz/acl&gt; --data-binary @data.json</pre><h3>策略制定</h3><ul><li>簡單的RBAC驗證。</li><li>檢查用戶被賦予的角色是否能夠對文章進行編輯。</li><li>rbac.authz.rego。</li></ul><pre>package rbac.authz<br><br>import data.rbac.authz.acl<br>import input<br><br>default allow = false<br>allow {<br>		# 將user所擁有的角色整理起來<br>    roles := acl.user_roles[input.user]<br><br>    # 對每一個角色進行處理<br>    r := roles[_]<br><br>    # 取出每個角色擁有哪些操作權限<br>    permissions := acl.role_permissions[r]<br><br>    # 準備對每一個權限進行檢查<br>    p := permissions[_]<br><br>    # 檢查權限是否與請求的功能、操作相互匹配<br>    p == {&quot;action&quot;: input.action, &quot;object&quot;: input.object }<br>}</pre><h3>將Data及Policy上傳到OPA Server</h3><pre># 上傳Policy檔<br>curl -X PUT &lt;http://127.0.0.1:8181/v1/policies/rbac.authz&gt; --data-binary @rbac.authz.rego</pre><h3>設計請求資料並進行驗證</h3><ul><li>User要編輯某一篇文章。</li><li>input.json</li></ul><pre>{<br>    &quot;input&quot;: {<br>        &quot;user&quot;: &quot;userA&quot;,<br>        &quot;object&quot;: &quot;article&quot;,<br>        &quot;action&quot;: &quot;edit&quot;<br>    }<br>}</pre><ul><li>請OPA Server幫我們進行檢查：</li></ul><pre>curl -X POST &lt;http://127.0.0.1:8181/v1/data/rbac/authz/allow&gt; --data-binary @input.json<br><br># Response<br>{&quot;result&quot;:true}</pre><h3>結論</h3><ul><li>Policy通常制定好之後就不容易在進行變更。</li><li>Data是比較常變動的地方，例如： 今天新增角色或修改角色對應的權限...等操作，就會產生新的Data檔， 這時候就得PUT更新回OPA Server。</li><li>透過API傳輸可能會有一些延遲， 當然也可以直接以Library的方式嵌入到Go，這就看團隊如何取捨了。</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=61581c09177b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/willhanchen/%E8%AA%8D%E8%AD%89%E8%88%87%E6%8E%88%E6%AC%8A-open-policy-agent-%E5%A6%82%E4%BD%95%E7%94%A8restful-api%E4%BE%86%E4%B8%B2%E6%8E%A5-61581c09177b">【認證與授權 — Open Policy Agent】 如何用RESTFUL API來串接</a> was originally published in <a href="https://medium.com/willhanchen">阿Han的圖文解字筆記</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[【自然語言處理 — 概念篇】 來認識一下詞向量(Word Embedding or Word Vector)吧]]></title>
            <link>https://medium.com/willhanchen/%E8%87%AA%E7%84%B6%E8%AA%9E%E8%A8%80%E8%99%95%E7%90%86-%E6%A6%82%E5%BF%B5%E7%AF%87-%E4%BE%86%E8%AA%8D%E8%AD%98%E4%B8%80%E4%B8%8B%E8%A9%9E%E5%90%91%E9%87%8F-word-embedding-or-word-vector-%E5%90%A7-f85b80a655dd?source=rss-5696524f59de------2</link>
            <guid isPermaLink="false">https://medium.com/p/f85b80a655dd</guid>
            <category><![CDATA[word2vec]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[Han]]></dc:creator>
            <pubDate>Sat, 27 May 2023 03:36:37 GMT</pubDate>
            <atom:updated>2023-05-27T03:36:37.780Z</atom:updated>
            <content:encoded><![CDATA[<h3>【自然語言處理 — 概念篇】 來認識一下詞向量(Word Embedding or Word Vector)吧</h3><p>詞跟詞之間的距離有多近呢？</p><p>如果一個詞在相對的空間內都佔有一席之地的話, 試想, 每個詞都是一個獨立的個體, 就如同我們人類一般, 相同興趣的、相同頻率的就容易被歸納在一起，某些詞可能是相近的意思, 因此我們只需要給每個詞標上一個向量值, 並進行統計，而這些詞在這批資料集之中所佔的位置依照距離都能夠歸納出相似的詞, 而有了這樣的關係之後, 我們就能夠進行語義搜索、情感分析、語言生成、文本分類…等, 原來一個簡單的「詞」可以延伸出這麼多的應用。</p><p>那「詞向量」主要就是將「詞」本身的資訊進行數值化, 而後續的NLP進階應用就可以透過這些資訊進行, 以下例子會從如何訓練詞向量逐步介紹到如何利用詞向量模型來找出相似的詞, 並以圖表化進行呈現。</p><h3>安裝套件</h3><ul><li>gensim: 文檔相似度計算和詞向量表示等自然語言處理(NLP)任務的Python庫。</li><li>jieba: 將中文語句切成最小單位的詞。</li><li>matplotlib: 繪製向量圖表。</li></ul><pre>!pip install gensim<br>!pip install jieba<br>!pip install matplotlib</pre><p>這邊我們就設計個4句的範本進行後續的向量處理。</p><p>由於NLP世界中最小的單位是「詞」, 因此我們就要藉由jieba這套斷詞工具幫我們預先進行斷詞。</p><pre>import jieba<br>sentences = [<br>    list(jieba.cut(&#39;我喜歡吃蘋果&#39;)),<br>    list(jieba.cut(&#39;蘋果很好吃&#39;)),<br>    list(jieba.cut(&#39;水果是健康的&#39;)),<br>    list(jieba.cut(&#39;梨子也很好吃&#39;)),<br>    list(jieba.cut(&#39;我也喜歡吃柳丁&#39;)),<br>    list(jieba.cut(&#39;蘋果柳丁都是一種水果&#39;)),<br>    list(jieba.cut(&#39;蘋果是一種又香又甜的水果&#39;)),<br>    list(jieba.cut(&#39;梨子跟柳丁也是一種又香又甜的水果&#39;)),<br>]</pre><pre>sentences</pre><pre>[[&#39;我&#39;, &#39;喜歡&#39;, &#39;吃&#39;, &#39;蘋果&#39;],<br> [&#39;蘋果&#39;, &#39;很&#39;, &#39;好吃&#39;],<br> [&#39;水果&#39;, &#39;是&#39;, &#39;健康&#39;, &#39;的&#39;],<br> [&#39;梨子&#39;, &#39;也&#39;, &#39;很&#39;, &#39;好吃&#39;],<br> [&#39;我&#39;, &#39;也&#39;, &#39;喜歡&#39;, &#39;吃&#39;, &#39;柳丁&#39;],<br> [&#39;蘋果&#39;, &#39;柳丁&#39;, &#39;都&#39;, &#39;是&#39;, &#39;一種&#39;, &#39;水果&#39;],<br> [&#39;蘋果&#39;, &#39;是&#39;, &#39;一種&#39;, &#39;又&#39;, &#39;香&#39;, &#39;又&#39;, &#39;甜&#39;, &#39;的&#39;, &#39;水果&#39;],<br> [&#39;梨子&#39;, &#39;跟&#39;, &#39;柳丁&#39;, &#39;也&#39;, &#39;是&#39;, &#39;一種&#39;, &#39;又&#39;, &#39;香&#39;, &#39;又&#39;, &#39;甜&#39;, &#39;的&#39;, &#39;水果&#39;]]</pre><h3>訓練詞向量模型並取得詞向量</h3><p>所謂的「詞向量」也稱為詞嵌入(Word embeddings), 當我們處理文本時，詞向量就是一種將詞語轉換為數字表示的方法。這些數字表示的向量具有特定的性質，能夠表示詞語之間的語義和關聯性。</p><p>總而言之，詞向量是一種將詞語轉換為數字向量表示的方法，能夠捕捉詞語之間的語義相似性，並在文本處理任務中發揮重要作用。</p><p>底下會得到一堆向量數值，嗯…, 看不懂, 怎麼辦？ 沒關係, 圖表是我們最大的幫手, 下一步我們就將這些向量值跟詞進行圖表的繪製吧！</p><pre>from gensim.models import Word2Vec</pre><pre># 訓練詞向量模型<br>model = Word2Vec(sentences, window=5, min_count=1, workers=4)</pre><pre># 獲取所有詞<br>vocab = model.wv.index_to_key</pre><pre># 獲取所有詞向量<br>vectors = model.wv[vocab]</pre><pre>vectors</pre><pre>array([[-5.3630857e-04,  2.3646720e-04,  5.1041231e-03, ...,<br>        -7.0426278e-03,  9.0159255e-04,  6.3935029e-03],<br>       [-8.6233551e-03,  3.6638153e-03,  5.1871063e-03, ...,<br>        -2.3919728e-03, -9.5016956e-03,  4.5148465e-03],<br>       [ 8.8638728e-05,  3.0799997e-03, -6.8148547e-03, ...,<br>         5.1378825e-04,  8.2169194e-03, -7.0118154e-03],<br>       ...,<br>       [ 1.3001668e-03, -9.8043028e-03,  4.5877625e-03, ...,<br>        -2.5875687e-03, -7.7571664e-03,  4.1926014e-03],<br>       [ 1.8002307e-03,  7.0460914e-03,  2.9446983e-03, ...,<br>        -1.8595541e-03,  3.6117458e-03, -7.0364270e-03],<br>       [ 9.7315907e-03, -9.7780135e-03, -6.4999200e-03, ...,<br>        -2.7000697e-03,  3.8249956e-03,  3.3858197e-04]], dtype=float32)</pre><h3>下載中文字型讓圖表可以顯示中文</h3><p>請參考「<a href="https://www.potatomedia.co/s/PDf86nk">🖋 【Google Colab Python系列】 視覺化資料Matplotlib 如何繪製出中文？</a>」</p><pre>import matplotlib as mpl<br>import matplotlib.font_manager as fm<br>import matplotlib.pyplot as plt</pre><pre># 下載繁體中文字型<br>!wget -O SourceHanSerifTW-VF.ttf <a href="https://github.com/adobe-fonts/source-han-serif/raw/release/Variable/TTF/Subset/SourceHanSerifTW-VF.ttf">https://github.com/adobe-fonts/source-han-serif/raw/release/Variable/TTF/Subset/SourceHanSerifTW-VF.ttf</a></pre><pre># 加入字型檔<br>fm.fontManager.addfont(&#39;SourceHanSerifTW-VF.ttf&#39;)</pre><pre># 設定字型<br># <br>mpl.rc(&#39;font&#39;, family=&#39;Source Han Serif TW VF&#39;)</pre><h3>針對訓練完成的模型繪製二維向量圖</h3><p>在前面我們已經展示了<a href="https://zh.wikipedia.org/zh-tw/Word2vec">word2vec</a>的訓練方法, 訓練完畢之後我們應該要如何觀察這些詞向量分佈位置是不是我們所預期的, 但礙於高維度對我們人類來說難以理解，因此可以透過降維的方式繪製。</p><p>t-SNE(t-Distributed Stochastic Neighbor Embedding)是一種降維算法, 用於將高維數據映射到低維空間, 通常用於視覺化高維數據。</p><p>可以看到繪圖後的結果, 本應該相似的蘋果、梨子…等水果應該距離要相近的, 但我們的訓練樣本數實在太少了, 這樣的分佈狀況會有點失真， 這邊只是為了以圖來呈現我們的詞向量, 真正可用的模型是需要大量資料來進行訓練的, 以下我們也會使用已訓練完成的基礎模型來進行相似詞的搜尋。</p><pre>import matplotlib.pyplot as plt<br></pre><pre># 將詞向量降維為2D<br>from sklearn.manifold import TSNE<br># 使用 t-SNE 進行詞向量降維<br># perplexity 是用於控制降維後的分佈緊密度的參數。<br>tsne = TSNE(n_components=2, perplexity=10)<br>vectors_2d = tsne.fit_transform(vectors)</pre><pre># 繪製散點圖<br>plt.scatter(vectors_2d[:, 0], vectors_2d[:, 1])</pre><pre># 將詞語標籤添加到對應的點上<br>for i, word in enumerate(vocab):<br>    plt.annotate(word, xy=(vectors_2d[i, 0], vectors_2d[i, 1]), fontsize=8)<br></pre><pre># 顯示圖形<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/548/0*dBXojKT1Imu3PhlF.png" /></figure><h3>下載預訓練模型</h3><p>上面我可以看到由於資料量不足, 導致訓練出來的模型沒有參考價值, 因此我們就使用別人訓練好的中文模型來進行接下來下的實驗吧。</p><p>這次使用的模型是fasttext的wiki.zh.vec, 如果有其他語言需求的朋友可以到這裡進行下載：</p><p>{% embed url=”<a href="https://fasttext.cc/docs/en/pretrained-vectors.html">https://fasttext.cc/docs/en/pretrained-vectors.html</a>&quot; %}</p><pre>import urllib.request</pre><pre>url = &#39;https://dl.fbaipublicfiles.com/fasttext/vectors-wiki/wiki.zh.vec&#39;</pre><pre>urllib.request.urlretrieve(url, &#39;./wiki.zh.vec&#39;)</pre><h3>載入預訓練模型</h3><p>載入模型之後, 我們可以對某個詞取出向量值。</p><pre>from gensim.models import KeyedVectors</pre><pre># 載入中文詞向量模型<br>vector_file_path = &#39;./wiki.zh.vec&#39;<br>wiki_model = KeyedVectors.load_word2vec_format(vector_file_path, binary=False)</pre><pre># 使用詞向量模型進行相關操作<br># 例如，取得詞向量<br>wiki_vec = wiki_model[&#39;詞&#39;]</pre><pre>wiki_vec</pre><h3>找出「詞」的相似詞並以圖來分析</h3><ol><li>找相似詞。</li><li>降維度。</li><li>縮放向量值: 1 ~ -1之間。</li><li>設定門檻值為1.0, 並且將距離在1.0以內的相似詞連接起來。</li><li>繪製圖表進行分析。</li></ol><pre>import matplotlib.pyplot as plt<br>import numpy as np<br>from sklearn.manifold import TSNE<br>from sklearn.preprocessing import MinMaxScaler</pre><pre>input_word = &#39;積極&#39;</pre><pre># 輸入詞的相似詞及向量資訊<br>similar_words = wiki_model.most_similar(input_word, topn=20)<br>similar_words, scores = zip(*similar_words)<br>similar_vectors = [wiki_model[x] for x in similar_words]</pre><pre># 將「輸入詞」與「相似詞」總和在一起, 統一進行以下的降維, 並將「輸入詞」擺放於第一位以利識別<br>words = [input_word] + list(similar_words)<br>input_vector = wiki_model[input_word]<br>vectors = np.vstack(([input_vector], similar_vectors))<br></pre><pre># 使用 t-SNE 降維<br>tsne = TSNE(n_components=2, perplexity=10)<br>vectors_2d = tsne.fit_transform(vectors)</pre><pre># 縮放向量值到範圍 [-1, 1]<br>scaler = MinMaxScaler(feature_range=(-1, 1))<br>vectors_2d = scaler.fit_transform(vectors_2d)</pre><pre># 繪製散點圖<br>plt.figure(figsize=(10, 6))</pre><pre># 繪製輸入詞本身的點<br>plt.scatter(vectors_2d[0, 0], vectors_2d[0, 1], color=&#39;red&#39;, label=input_word)</pre><pre># 將輸入詞標籤添加到對應的點上<br>plt.annotate(input_word, xy=(vectors_2d[0, 0], vectors_2d[0, 1]), fontsize=16)</pre><pre># 繪製相似詞的點<br>plt.scatter(vectors_2d[1:, 0], vectors_2d[1:, 1])</pre><pre># 將相似詞標籤添加到對應的點上<br>for i, x in enumerate(similar_words[1:]):<br>    plt.annotate(x, xy=(vectors_2d[i+1, 0], vectors_2d[i+1, 1]), fontsize=16)</pre><pre>threshold = 1.0<br># 繪製連線<br>for i in range(1, len(vectors_2d)):<br>    distance = np.linalg.norm(vectors_2d[0, :] - vectors_2d[i, :])<br>    if distance &lt;= threshold:<br>      plt.plot([vectors_2d[0, 0], vectors_2d[i, 0]], [vectors_2d[0, 1], vectors_2d[i, 1]], color=&#39;gray&#39;, linestyle=&#39;dotted&#39;)<br>      midpoint = (vectors_2d[0, :] + vectors_2d[i, :]) / 2<br>      plt.annotate(f&#39;{distance:.2f}&#39;, xy=midpoint, ha=&#39;center&#39;, va=&#39;center&#39;)</pre><pre>plt.xlabel(&#39;x&#39;)<br>plt.ylabel(&#39;y&#39;)<br>plt.title(f&#39;詞 &quot;{input_word}&quot; 的相似詞&#39;)<br>plt.legend()<br>plt.tight_layout()<br>plt.show()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/984/0*6hmwjSxFZwzA6AC9.png" /></figure><p>今天的範例都在這裡「<a href="https://github.com/weihanchen/google-colab-python-learn/blob/main/jupyter-examples/nlp/bow.ipynb">📦 </a><a href="https://github.com/weihanchen/google-colab-python-learn/blob/main/jupyter-examples/nlp/wordvector.ipynb">wordvector.ipynb</a>」歡迎自行取用。</p><p>如何使用請參閱「<a href="https://www.potatomedia.co/s/aNLHZe3S">【Google Colab系列】台股分析預備式： Colab平台與Python如何擦出火花？</a>」。</p><h3>結語</h3><p>將向量透過圖表化的方式可以幫助我們更容易了解到NLP的基礎處理方式, 一步步拆解之後, 我們就不會對這種技術感到害怕了, 整個操作下來感覺科學家的智慧真的是令人讚嘆, 能夠將我們人類的語句想辦法讓機器可以理解甚至進行推理, 就以情緒分類來說, 訓練的過程中考慮了詞彙在上下文中的出現頻率和分佈情況, 並且在詞向量空間中可能會形成特定的集群或分布, 透過這樣的觀察就能夠推測出可能的情緒。</p><p>— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —</p><p>喜歡撰寫文章的你，不妨來了解一下：</p><p><a href="https://www.potatomedia.co/s/2PmFxsq">Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 — 為什麼要加入？</a></p><p>歡迎加入一起練習寫作，賺取知識！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f85b80a655dd" width="1" height="1" alt=""><hr><p><a href="https://medium.com/willhanchen/%E8%87%AA%E7%84%B6%E8%AA%9E%E8%A8%80%E8%99%95%E7%90%86-%E6%A6%82%E5%BF%B5%E7%AF%87-%E4%BE%86%E8%AA%8D%E8%AD%98%E4%B8%80%E4%B8%8B%E8%A9%9E%E5%90%91%E9%87%8F-word-embedding-or-word-vector-%E5%90%A7-f85b80a655dd">【自然語言處理 — 概念篇】 來認識一下詞向量(Word Embedding or Word Vector)吧</a> was originally published in <a href="https://medium.com/willhanchen">阿Han的圖文解字筆記</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[【認證與授權】曇花一現的OTP如何保護我們的資產]]></title>
            <link>https://medium.com/willhanchen/%E8%AA%8D%E8%AD%89%E8%88%87%E6%8E%88%E6%AC%8A-%E6%9B%87%E8%8A%B1%E4%B8%80%E7%8F%BE%E7%9A%84otp%E5%A6%82%E4%BD%95%E4%BF%9D%E8%AD%B7%E6%88%91%E5%80%91%E7%9A%84%E8%B3%87%E7%94%A2-2d1c334d0773?source=rss-5696524f59de------2</link>
            <guid isPermaLink="false">https://medium.com/p/2d1c334d0773</guid>
            <category><![CDATA[認證與授權]]></category>
            <category><![CDATA[軟體知識]]></category>
            <dc:creator><![CDATA[Han]]></dc:creator>
            <pubDate>Mon, 22 May 2023 12:39:35 GMT</pubDate>
            <atom:updated>2023-05-22T12:41:14.181Z</atom:updated>
            <content:encoded><![CDATA[<p>使用網銀時我們常常會聽到OTP、OTP, 究竟OTP是什麼呢？ 全名為「One Time Password」, 一次性密碼, 顧名思義就是密碼僅能一次性的使用, 在過去我們也都很清楚單純的帳號密碼登入已經不是一個非常安全的選項的, 萬一牽涉到重要的金錢交易時, 如果安全環節沒有兼顧, 將導致個人財產損失, 因此也讓各家銀行都將OTP的技術導入變成一種基本功能。</p><p>OTP的工作原理是生成一個只能使用一次且有時限的密碼，這個密碼在每次使用後就會失效，無法再重複使用。這樣的設計可以有效防止密碼被竊取或重複使用，提高帳戶的安全性。</p><p>常見的OPT生成方式包括以下幾種：</p><p>1. 手機應用程式：使用者在手機上安裝一個OTP生成器應用程式（例如Google Authenticator、Authy），該應用程式會根據特定演算法和密鑰生成一個短暫性的OTP。</p><p>2. 簡訊：使用者在登錄或進行特定操作時，系統會向其註冊的手機號碼發送一條包含OTP的簡訊。</p><p>3. 電子郵件：OTP也可以通過電子郵件發送給使用者，使用者在登錄時需要輸入郵件中提供的OTP。</p><p>當使用者收到OTP後，他們需要在指定的時間內輸入這個密碼，以完成身份驗證或授權的過程。由於OTP只能使用一次且有時效性，即使有人盜取了OTP，也無法在有效期過後再次使用。</p><h3>以Google Authenticator的流程為例子</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/764/1*HYnQ6fMkMUBMhEwobUR1xw.png" /><figcaption><a href="https://vocus.cc/article/646b5db9fd89780001aabadb">圖片來源</a></figcaption></figure><p>非常清楚，登入前服務提供者與Google Authenticator之間已經約定好: 每次登入前核發一組一次性密碼，而用戶則輸入這組一次性密碼進行登入並操作，確保安全性。</p><p>實務上，我們也會在手機裝上Google Authenticator。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/240/1*dtmm1_wtcs1E11_3LAvHXQ.png" /><figcaption><a href="https://vocus.cc/article/646b5db9fd89780001aabadb">圖片來源</a></figcaption></figure><p>至於如何註冊與使用，官方文件都有詳細的說明，這裡就直接附上傳送門，請大家自行閱讀囉：</p><p><a href="https://support.google.com/accounts/answer/1066447?hl=zh-Hant&amp;co=GENIE.Platform%3DAndroid">https://support.google.com/accounts/answer/1066447?hl=zh-Hant&amp;co=GENIE.Platform%3DAndroid</a></p><h3>演算法</h3><h3>Time-based One Time Password(TOTP)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yAmM9AYdD8AtsNmfKTftwA.png" /><figcaption><a href="https://vocus.cc/article/646b5db9fd89780001aabadb">圖片來源</a></figcaption></figure><p>基於時間的算法, 讓驗證碼具有時效性, 因此會依賴於時間。</p><p>1. 生成共享密鑰：服務提供商在用戶註冊時生成一個共享密鑰，並將其與用戶帳戶關聯。</p><p>2. 生成時間戳記：TOTP 基於時間，所以需要一個時間戳記。通常是以一個固定的時間間隔（例如 30 秒）為單位。</p><p>3. 用戶計算一次性密碼：用戶設備上的 TOTP 客戶端使用共享密鑰和當前的時間戳記來計算一次性密碼。計算過程包括將時間戳記除以時間間隔並向下取整，將結果與共享密鑰結合，然後進行哈希運算以生成一次性密碼。</p><p>4. 用戶提供一次性密碼：用戶將計算得到的一次性密碼提供給服務提供商進行驗證。</p><p>5. 服務提供商驗證一次性密碼：服務提供商使用相同的共享密鑰和時間戳記計算一次性密碼，然後比對用戶提供的一次性密碼和計算得到的一次性密碼是否匹配。如果匹配，驗證成功。</p><p>這種OTP模式是比較常見的一種模式，除了達到一次性以外，連同時效性也一併考慮，非常適合用於轉帳、錢包…等重要的資產轉移驗證。</p><h3>HMAC-based One-time Password(HOTP)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*a_u83O9AHIGB94LbOlUklA.png" /><figcaption><a href="https://vocus.cc/article/646b5db9fd89780001aabadb">圖片來源</a></figcaption></figure><p>基於Counter的算法, 計數器的值是每次使用後遞增的, 這樣每次生成的一次性密碼都是不同的。</p><p>1. 生成共享密鑰：服務提供商在用戶註冊時生成一個共享密鑰，並將其與用戶帳戶關聯。</p><p>2. 初始化計數器：將一個初始計數器（通常為 0）與用戶帳戶關聯。</p><p>3. 用戶計算一次性密碼：用戶設備上的 HOTP 客戶端使用共享密鑰和計數器來計算一次性密碼。計算過程包括將計數器轉換為固定位數的數字字串，將共享密鑰和計數器進行結合，然後進行哈希運算以生成一次性密碼。</p><p>4. 用戶提供一次性密碼：用戶將計算得到的一次性密碼提供給服務提供商進行驗證。</p><p>5. 服務提供商驗證一次性密碼：服務提供商使用相同的共享密鑰和計數器計算一次性密碼，然後比對用戶提供的一次性密碼和計算得到的一次性密碼是否匹配。如果匹配，驗證成功。</p><h3>結語</h3><p>目前蠻多應用程式都有綁上Google Authenticator做為OTP驗證的加強功能， 讓我們的登入除了帳號密碼之外, 更確保是本人所登入的, 增加駭客盜竊的難度, 除了需要偷竊到該網站的帳號密碼之外, 還需要破解OTP的驗證碼, 甚至是綁定於裝置上的Google Authenticator, 這無疑是大幅增加了難度, 等於駭客要針對某一位用戶進行入侵, 相對不容易啊！</p><p>我們在前面也介紹過「<a href="https://vocus.cc/article/5f31507afd89780001a94c46">【認證與授權】JWT(JSON Web Token)簡介</a>」的概念, 有限時間內的通行證, 而這次的OTP更加安全, 除了有限的時間以外, 更限制僅能使用一次, 大幅度增加駭客破解的難度, 因此許多網站與應用程式都會綁定這種OTP功能是基於安全考量的, 隨著複雜科技的發展, 加上大量數位化的趨勢, 諸如金融交易、虛擬錢包…等與金錢有關的應用都應該加入此機制, 減少被竊取的風險。</p><p>喜歡撰寫文章的你，不妨來了解一下：</p><p><a href="https://www.potatomedia.co/s/2PmFxsq">Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 — 為什麼要加入？</a></p><p>歡迎加入一起練習寫作，賺取知識，累積財富！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2d1c334d0773" width="1" height="1" alt=""><hr><p><a href="https://medium.com/willhanchen/%E8%AA%8D%E8%AD%89%E8%88%87%E6%8E%88%E6%AC%8A-%E6%9B%87%E8%8A%B1%E4%B8%80%E7%8F%BE%E7%9A%84otp%E5%A6%82%E4%BD%95%E4%BF%9D%E8%AD%B7%E6%88%91%E5%80%91%E7%9A%84%E8%B3%87%E7%94%A2-2d1c334d0773">【認證與授權】曇花一現的OTP如何保護我們的資產</a> was originally published in <a href="https://medium.com/willhanchen">阿Han的圖文解字筆記</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>