<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Simon Hsiao on Medium]]></title>
        <description><![CDATA[Stories by Simon Hsiao on Medium]]></description>
        <link>https://medium.com/@simonhsiao.hs?source=rss-28011942f0a5------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*9FTpB8-Y9xdrs1YFFMWcBA.jpeg</url>
            <title>Stories by Simon Hsiao on Medium</title>
            <link>https://medium.com/@simonhsiao.hs?source=rss-28011942f0a5------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 20:56:07 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@simonhsiao.hs/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[AI CUP 2024 玉山人工智慧公開挑戰賽參賽紀錄]]></title>
            <link>https://medium.com/@simonhsiao.hs/ai-cup-2024-%E7%8E%89%E5%B1%B1%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7%E5%85%AC%E9%96%8B%E6%8C%91%E6%88%B0%E8%B3%BD%E5%8F%83%E8%B3%BD%E7%B4%80%E9%8C%84-625e74367234?source=rss-28011942f0a5------2</link>
            <guid isPermaLink="false">https://medium.com/p/625e74367234</guid>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[人工智慧]]></category>
            <category><![CDATA[fintech]]></category>
            <category><![CDATA[explainable-ai]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[Simon Hsiao]]></dc:creator>
            <pubDate>Mon, 30 Dec 2024 02:02:22 GMT</pubDate>
            <atom:updated>2024-12-30T02:02:22.978Z</atom:updated>
            <content:encoded><![CDATA[<h3>前言</h3><p>今年我參加了 2024 玉山 AI Cup，總算在年尾前寫出這篇文章。之前雖然就有聽過 AI Cup，但沒有機會親自參加。今年的題目剛好是文件檢索 / RAG，決定給平常就有在接觸 NLP 的自己一次機會挑戰看看。雖然很可惜在初賽止步，還是想把我們團隊這次開發的「Hybrid 模型」解法和參賽經驗與大家分享，也當作留下奮鬥的紀錄，讓這次的經驗成為未來的養分！</p><p>(有關我在做的 NLP 可以讀這篇：<a href="https://medium.com/@simonhsiao.hs/2023%E6%9A%91%E6%9C%9F%E5%AF%A6%E7%BF%92%E5%BF%83%E5%BE%97-%E5%8D%93%E9%A8%B0%E8%AA%9E%E8%A8%80%E7%A7%91%E6%8A%80-3fce0d771fdc">2023暑期實習心得@卓騰語言科技</a>)</p><p>先放結果~ (排名 67/222，最終正確率約 87%)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/724/1*B_57EHoSfXa9K4Ijw1zAxg.png" /></figure><h3>解題手法：混合式 (Hybrid) 模型</h3><p>所謂「<a href="https://fastdatascience.com/ai-for-business/what-is-hybrid-ai-everything-you-need-to-know/">混合式模型</a>」，可以理解為結合<a href="https://zh.wikipedia.org/zh-tw/%E7%AC%A6%E8%99%9F%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD">符號式 AI</a>和機器學習特質的模型。在我們的解法中，我們用語言學知識制定特徵選擇的規則，再用 cosine similarity 讓模型做出最終判斷，算出最可能包含正解的文件。</p><h4>前處理</h4><p>前處理主要是使用 REGEX 和原生字串處理，做移除標點符號、斷句等工作。比較特殊的是在財務資料我們使用 OCRmyPDF 套件將檔案轉成文字，而沒能轉換成功的幾篇篇幅不長，我們便用手工編寫成 .txt。</p><h4>特徵選擇</h4><p>由於每個題目皆為一個問題 + 一個文件列表 (可能為正解的文件編號的 list，例： [123,321,555] )。我們使用卓騰語言科技的 Articut 斷詞系統，用語言學方法對每個 query 和文件的句子斷詞並打上詞性標籤 (動詞、名詞、自定義…等等)，再根據檢索文件的類別，初步制定選擇詞類/詞彙作為特徵的策略，例如抓 客服 Q&amp;A 題目裡的動詞，若沒有動詞則找名詞。原因是動詞能代表一個句子中的事件，因此當問題和答案的動詞很像時，那它們便很可能是在講同一件事情。</p><h4>模型算分</h4><p>選擇好特徵之後，我們計算問題和可能解之間的 cosine similarity 分數(和) 並傳回分數最高的文件編號。若所有分數為皆為 0，可以選擇顯示「答案疑似不在提供文件中」。</p><h3>解題思維 &amp; 特點</h3><h4>Why does it work?</h4><p>簡單來說，我們的模型可以分成「規則」(Rule) 和 「模型」(Model) 兩部分。有別於純 ML/DL 方法將文字轉成數值，透過 feature selection 或是訓練本身，試圖從訓練資料中學習能夠預測目標的特徵及對應的權重；我們是先從語言的本質著手制定規則，選擇從語言層面上可能帶有關鍵資訊的特定詞類/詞彙作為特徵，再交給 model 的部分計算結果。</p><p>重點在我們試圖<strong>從語言本身的底層邏輯做推論，而非從資料的表層現象做收斂</strong>。掌握共通的底層邏輯，便能從少量資料推廣到大量現象，這就是現代語言學「以少馭多」的特點；反過來，當我們捨棄語言的結構和規則，用詞嵌入等方式試圖捕捉「語意」時，本質上終究是在逼近訓練資料中文字的機率分佈，而非真正的語意資訊。語言的表現是無限的，用大量資料和運算依然不見得能捕捉到真正重要的資訊。在實務上，以我們的模型來說，我們僅透過觀察 raw data 就能建立初步的模型，跑完後再逐步 trace 錯誤並修正，僅用主辦方提供的資料集和練習題目，最後也產出了具有相當預測能力的模型。</p><p>除此之外，我們的小模型同時具備​<strong>高度可解釋性。</strong>我們能夠解釋「選用的特徵是什麼」、「為什麼選用這些特徵」；當模型回答錯誤時，也能夠藉由觀察來推論「模型可能抓到了哪些資訊」，再進一步改善前處理或是特徵選擇，甚至提出「因為問題和文件都完全不像，所以我們懷疑目標不在搜尋範圍內」這樣的結論。</p><h3>感想 &amp; 致謝</h3><p>第一次參加這樣的比賽，首先得感謝玉山提供這樣的機會，我在過程中學到很多，也發現許多有待加強之處，獲益良多、感謝指教！</p><p>感謝我的隊友 Jenny 在碩班繁重的事務之餘與我一同挑戰，除了分擔工作量，也好幾次在討論中給予提點、提出質疑，幫了原本要單打獨鬥的我很大的忙，感謝你！</p><p>同時，也感謝過程中給予我們幫助的師長和伙伴們，感謝你們！</p><p>這篇文章在<a href="https://vocus.cc/user/@simonhs">方格子</a>同步上傳。喜歡的話，歡迎幫我拍個手或是追蹤我~</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=625e74367234" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[2023暑期實習心得@卓騰語言科技]]></title>
            <link>https://medium.com/@simonhsiao.hs/2023%E6%9A%91%E6%9C%9F%E5%AF%A6%E7%BF%92%E5%BF%83%E5%BE%97-%E5%8D%93%E9%A8%B0%E8%AA%9E%E8%A8%80%E7%A7%91%E6%8A%80-3fce0d771fdc?source=rss-28011942f0a5------2</link>
            <guid isPermaLink="false">https://medium.com/p/3fce0d771fdc</guid>
            <category><![CDATA[實習]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[科技]]></category>
            <category><![CDATA[語言學]]></category>
            <dc:creator><![CDATA[Simon Hsiao]]></dc:creator>
            <pubDate>Mon, 06 Nov 2023 07:31:56 GMT</pubDate>
            <atom:updated>2023-11-06T10:24:19.286Z</atom:updated>
            <content:encoded><![CDATA[<p>今年暑假在師長同學的鼓勵下，我帶著現有的語言學知識和為數不多的coding經驗，參與了卓騰語言科技(<a href="https://www.droidtown.co/zh-tw/">Droidtown Linguistic Tech. Co.</a>)的暑期實習生企劃。在這裡，我不只跟著負責人Peter和實習生們看到語言學的實際應用，還獲得許多未曾想像過的知識和體驗，與各位分享。</p><p>本次實習分為前後兩部分，包含一次期中考核。前半段講解NLP/NLU和語言學的相關概念，以及體驗操作卓騰提供的工具(斷詞系統Articut、語意理解引擎Loki等)。期中考核要求實習生彙整前四周的觀念互相討論，回答問題。通過後，後半段的四周將接續前半段所學到的知識，藉由實作Discord聊天機器人將知識轉化為實際應用。</p><p>以下是我想分享的三大 takeaway：</p><ol><li>語言、語言學、語言模型： Context matters.</li><li>開發者的溝通技巧：四部提問法 &amp; Debug技巧</li><li>理論與實作：聊天機器人實作</li></ol><h3>語言、語言學、語言模型</h3><blockquote><em>語言是什麼?</em></blockquote><p>實習的第一階段主要是介紹語言學的背景知識和發展，並帶入自然語言處理(NLP)的觀念，再逐步進入到自然語言理解(NLU)的領域。令人印象深刻的是實習第一天，Peter劈頭就問了我們「語言是什麼?」。這才發現，我在這裡要學的還多的是。在討論過程中，實習生們會提出自己的見解，而Peter會不斷的挑戰我們提出的論述，刺激我們思考、討論，畢竟真理越辯越明。Peter也說他希望培育的是「知道語言是怎麼一回事的自然語言工程師」，在卓騰的期間我也確實感受到這一點。</p><p>在每一週的討論中，「語境」的觀念開始愈顯重要。這次實習我學到的一大核心觀念是「語言的使用脫離不了語境」。有了語境，我們才能夠真正從NLP進入NLU，從使用情境為出發點，一步一步教程式看得懂人話。That’s where the fun really begins!</p><p>也由於今年生成式AI和ChatGPT等大型語言模型帶起一波熱潮，這次的實習也包括了許多關於「大型語言模型」LLM的討論。我們在討論的過程中看到現在主流AI技術的虛虛實實，它的強項和弱點，以及運作方式和人類「理解」語言的差異。藉由了解這些知識，我們更了解生成式AI作為一項工具該如何應用，並發揮它的優勢幫助我們，也更清楚它其實做不到哪些事，用理性的角度看待這波席捲全球的科技浪潮。</p><p>(底下分享個好玩的)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/740/0*Ehk0604V6oDnple0" /><figcaption>看來調酒師暫時還不會被取代</figcaption></figure><h3>開發者的溝通技巧</h3><p>寫code遇到問題時該如何有效溝通？在卓騰實習時，Peter提供我們一個十分好用的提問框架: <strong>問題所在、輸入資料、預期輸出、實際輸出</strong>。</p><p>先描述問題的程式碼行數，再提供你輸入的資料以及預期的輸出，最後再觀察實際的輸出有什麼樣的問題，一比較之下就可能有初步的嘗試方向。相較於一開始的「救命，我的程式跑不出來」，這樣的描述能夠清楚的表達問題所在，也能從預期行為和實際行為的差異更快找到解決問題所需的線索。</p><p>而為了看到程式哪邊有問題以及資料的變化，編譯器提供的debugger(除錯器)在此時便派上用場。Debugger就像一個時間停止器，讓開發者能夠逐行檢視程式的表現和輸入輸出值的變化。Peter也花時間為我們講解程式debug的流程和debugger的使用。在這次實習之前，我只有耳聞這項工具的存在，但從沒有實際使用過。真正學習和使用之後才發現其效用之大，真的是獲益良多！</p><p>掌握這樣的溝通技巧並學習使用除錯工具之後，我和實習夥伴們在實作時的溝通成本大大降低。遇到問題時也能夠先自己觀察程式的表現並嘗試動手解決，而不是像無頭蒼蠅一樣瞎忙、亂猜，開發工作得以進行得更加順暢愉快。</p><h3>聊天機器人實作</h3><p>在實習的第二階段，我們利用學到的NLP/NLU知識和Loki語意理解引擎，實作一個Discord聊天機器人。我們這組決定參考夏令營營隊客服，製作營隊客服機器人 (Camp Bot)。</p><p>開發過程中，我們的討論都離不開語境。大至系統架構的設計，小至判斷語意的某行程式碼的寫法，思考的主軸都來自於「在這個語境之下，因為這句話應該是有什麼意圖，所以機器人應該要如何回覆」。值得留意的是，機器人的所有表現都可以用上面的因果關係來清楚描述，就算出錯也可以推論是語意理解的哪一個環節出了問題。這也是以語意邏輯為基礎的系統和以巨量資料推動的LLM根本上的差別 — 我們模型的表現具備完整的可解釋性。</p><p>藉由實作，我體驗到從頭設計並開發一套軟體、與團隊成員討論解決問題、動手操作Git/Github版本控制系統等等的經驗。除此之外，我認為這次實作最大的價值在於重複鍛鍊「以語境為出發點的思考模式」的機會。每次機器人的語意理解或回覆出現問題的時候，我們就必須重新思考語境、意圖、語句結構、程式碼之間的因果關係，並逐步修正語意推論的因果邏輯，讓機器人的表現更加合理。不得不說，看著機器人能夠正確回答問題時，真的很有成就感! 在這邊也感謝我的實習夥伴Lancy，每每和我週五一早衝台北拚機器人的開發進度，也在營隊的參考資料部分和實作上提供偌大的協助。</p><p>我們的Camp Bot機器人也有在Github上，有興趣的可以<a href="https://github.com/HS6103/Camp_bot">點這邊</a>參考!</p><h3>結語</h3><p>在卓騰實習的這段期間我真的學到很多。很高興能有機會和一群來自不同背景的人一同討論分享，吸收各種不同的故事和經驗，體驗腦力激盪的快感。感謝同期所有實習生們和卓騰語言科技，讓我有如此寶貴又充實的體驗!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/740/0*fcTL6hxuACavvbup" /><figcaption>本屆實習生合影</figcaption></figure><p>喜歡這篇文章的話可以幫我拍手+分享，或是看看下面這篇文~</p><p><a href="https://medium.com/@simonhsiao.hs/%E5%A4%96%E6%96%87%E7%B3%BB%E7%94%9F%E5%AD%98%E6%8C%87%E5%8D%97-%E7%94%A8%E4%B8%80%E5%80%8B%E8%BF%B7%E5%9B%A0%E8%A7%A3%E9%87%8B-%E8%AA%9E%E8%A8%80%E5%AD%B8%E5%9C%A8%E5%AD%B8%E4%BB%80%E9%BA%BC-8d1ed00265a6">【外文系生存指南】用一個迷因解釋「語言學在學什麼」</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3fce0d771fdc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[【外文系生存指南】用一個迷因解釋「語言學在學什麼」]]></title>
            <link>https://medium.com/@simonhsiao.hs/%E5%A4%96%E6%96%87%E7%B3%BB%E7%94%9F%E5%AD%98%E6%8C%87%E5%8D%97-%E7%94%A8%E4%B8%80%E5%80%8B%E8%BF%B7%E5%9B%A0%E8%A7%A3%E9%87%8B-%E8%AA%9E%E8%A8%80%E5%AD%B8%E5%9C%A8%E5%AD%B8%E4%BB%80%E9%BA%BC-8d1ed00265a6?source=rss-28011942f0a5------2</link>
            <guid isPermaLink="false">https://medium.com/p/8d1ed00265a6</guid>
            <category><![CDATA[語言學]]></category>
            <category><![CDATA[新鮮人]]></category>
            <category><![CDATA[college]]></category>
            <category><![CDATA[linguistics]]></category>
            <category><![CDATA[memes]]></category>
            <dc:creator><![CDATA[Simon Hsiao]]></dc:creator>
            <pubDate>Mon, 26 Jun 2023 14:56:06 GMT</pubDate>
            <atom:updated>2023-06-26T15:22:33.954Z</atom:updated>
            <content:encoded><![CDATA[<p><em>(不是下面這張，雖然說也沒錯啦)</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/770/1*1063GnGjCr_q4lDJGVZOvg.png" /><figcaption>笑著笑著就哭了 From Imgur</figcaption></figure><p>身為即將進入外文系的新鮮人，除了以後要讀很多文學作品、還有「英文要好、工作難找、總之快逃」之外，在外文系的相關介紹常常看到「語言學」這三個字，但你真的知道它在學什麼嗎?</p><p>老實說，我進來之前也<strong>完全不知道</strong>。</p><p>所以我想透過這篇文章，從學生的角度大致介紹語言學<strong>學什麼、怎麼學</strong>，希望能幫助打算或即將進入外文系的你初窺「語言學」的世界。反正先認識再逃跑也不遲。幸運的話，你會發現新天地也說不定。</p><h3>語言學在學什麼?</h3><blockquote>『<strong>語言學</strong>（英語：linguistics）是一門關於人類語言的科學研究，並涉及了對語言形式、語言含義和語境的分析…』<a href="https://zh.wikipedia.org/zh-tw/%E8%AF%AD%E8%A8%80%E5%AD%A6">(維基百科)</a></blockquote><p>停! 再講下去還不如直接去啃教科書，不如來看看底下這個例子:</p><blockquote>「<a href="https://youtu.be/wuaxyw_Cneg">帽子給我好嗎?</a>」 — 出自海綿寶寶</blockquote><p>一般人可能只會看到一個迷因，但<a href="https://medium.com/@teacatgarden/%E8%AA%9E%E8%A8%80%E5%AD%B8%E5%AE%B6%E7%A9%B6%E7%AB%9F%E9%83%BD%E5%9C%A8%E5%81%9A%E4%BB%80%E9%BA%BC-8d2abc8e3975">語言學家</a>可能有六種疑問:</p><p><strong>1. 人怎麼發出和理解聲音?</strong> (例如: 發出ㄍ的時候舌頭在做什麼)</p><p>→ 語音學(Phonetics)</p><p><strong>2. 聲音之間怎麼互動?</strong> (例如: 為什麼「給我」是念「ㄍㄟˊ ㄨㄛˇ 」)</p><p>→ 音韻學(Phonology)</p><p><strong>3. 人怎麼變出一個詞?</strong> (例如:為什麼「帽子」會有「子」)</p><p>→ 構詞學(Morphology)</p><p><strong>4. 這句話的結構是什麼?</strong> (例如: 這句話可以斷詞為 [帽子/給/我/好/嗎])</p><p>→ 句法學(Syntax)</p><p><strong>5. 這句話是什麼意思?</strong> (例如: 這句話可能是「A要求B把帽子交給A」)</p><p>→ 語義學(Semantics)</p><p><strong>6. 對人類有什麼功能/意義?</strong> (例如: 這句話的目的可能是「請求」)</p><p>→ 語用學(Pragmatics)</p><p>這六大疑問，就是語言學主要六大研究領域在探討的問題。日常生活中跟語言有關的一切，都可能是語言學家研究的範疇。</p><p>當然，以上只是淺白說明語言學在做什麼，也是大學「語言學概論」主要會涵蓋的內容。實際上的內容都有更為嚴謹的科學定義，學派的分別更是多采多姿，橫跨心理學、神經科學、資訊科學等等。不過至少你現在知道<strong>語言學不等於文法，而是對語言各個層面的科學研究。</strong></p><p><a href="https://medium.com/@teacatgarden/%E8%AA%9E%E8%A8%80%E5%AD%B8%E7%9A%84%E5%88%86%E9%96%80%E5%88%A5%E9%A1%9E-34a820be6303">從生活對話看語言學的分門別類</a></p><h3>給新鮮人的建議</h3><h4>語言學的本質</h4><p>由於語言學本質上是<strong>科學研究</strong>，在外文系的課程中比較像理科般的存在。相對於只有論點、沒有正解的文學賞析來說，語言學課程訓練的是運用邏輯針對事實資料<strong>「歸納」「推理」「論證」</strong>的能力。</p><p>另一方面是語言學研究的對象<strong>涵蓋所有人類語言</strong>，在作業和題目中常常要對不熟悉或沒看過的語言作分析，一不小心就會昏頭轉向、萌生退(選)意。</p><p>面對這些問題，秉持這個核心觀念讓我獲益良多:</p><blockquote>語言是一種自然現象，按照規則和原理運作，而非純粹機率或巧合。</blockquote><p>這句話代表不論往後遇到的題目有沒有看過、有多複雜，(正常情況下)背後都有一套規則可循。因此，往後你在學習語言學所遇到的申論題基本上都可以用以下的「三步思維」開始思考。</p><h4>「三步思維」</h4><ol><li>找現象: 觀察題目給的資料，並標記特徵。(上課教的定義要聽)</li><li>找規律: 嘗試從這些特徵找出規則。 (熟悉定義、多練習)</li><li>找證據: 從資料裡找證據進一步支持你的推論。</li></ol><p>其實說穿了，這也就是「科學方法」(scientific method)的<strong>觀察、提出假說、實驗求證</strong>三個步驟。學習過程中鍛鍊的是學生對資訊的邏輯推理及思辨能力<strong>。</strong>這也是為何雖然語言學在外文系不一定很受歡迎，但我認為學習過程中所帶來的科學精神在資訊爆炸、還有<a href="https://medium.com/the-generator/chatgpt-gives-false-and-even-dangerous-health-advice-4408212407d8">生成式AI(如ChatGPT)</a>火上加油的時代顯得更加重要。</p><blockquote>“Language is a process of free creation; its laws and principles are fixed, but the manner in which the principles of generation are used is free and infinitely varied.” — Noam Chomsky</blockquote><h3>What’s Next?</h3><p>希望我的文章有讓你對「語言學」的世界有個初步的見解。如果你覺得有興趣的話，未來我也會繼續發表我在這個領域的學習心得和想法!</p><p>如果覺得我的內容有幫助的話，可以幫我「拍手」「留言」，也幫我「分享」給需要看到這篇的人吧!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8d1ed00265a6" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>