<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by PeterWolf on Medium]]></title>
        <description><![CDATA[Stories by PeterWolf on Medium]]></description>
        <link>https://medium.com/@peterwolf.wang?source=rss-a4c68ded5ade------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*_NxgP8o9Nq_RQTtWujyFsw.jpeg</url>
            <title>Stories by PeterWolf on Medium</title>
            <link>https://medium.com/@peterwolf.wang?source=rss-a4c68ded5ade------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 20:28:54 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@peterwolf.wang/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[技術火花的宮鬥，有人的地方就有江湖]]></title>
            <link>https://medium.com/@peterwolf.wang/%E6%8A%80%E8%A1%93%E7%81%AB%E8%8A%B1%E7%9A%84%E5%AE%AE%E9%AC%A5-%E6%9C%89%E4%BA%BA%E7%9A%84%E5%9C%B0%E6%96%B9%E5%B0%B1%E6%9C%89%E6%B1%9F%E6%B9%96-4a83949c3fbd?source=rss-a4c68ded5ade------2</link>
            <guid isPermaLink="false">https://medium.com/p/4a83949c3fbd</guid>
            <category><![CDATA[bing]]></category>
            <category><![CDATA[dark-side]]></category>
            <category><![CDATA[chatgpt]]></category>
            <category><![CDATA[business-models]]></category>
            <category><![CDATA[google-search]]></category>
            <dc:creator><![CDATA[PeterWolf]]></dc:creator>
            <pubDate>Sun, 19 Feb 2023 16:42:04 GMT</pubDate>
            <atom:updated>2023-02-19T16:42:04.715Z</atom:updated>
            <content:encoded><![CDATA[<p>ChatGPT 上線至今已經超過兩個半月，各種技術和應用的討論也已在各大網路媒體和興趣團體、技術社群之間進行著。</p><p>相較冷冰冰的技術討論，對於 ChatGPT 的各種市場應用發想已經進入天馬行空的境界，甚至在「意識」的主題上模糊了科學和科幻之間的界線。既然要腦補，那麼本文就從一個極端腦補的角度，分享一些個人覺得很有意思的東西。</p><p>雖然技術人士常常給世界一種「公平、理性、冷靜」的形象，但其實做為合資公司的 CEO，不論是 Google 的皮采還是 META 的祖克伯，都不得不把「<strong><em>讓股東滿意，讓董事會點頭</em></strong>」安排為第一優先的任務。其次，才是讓客戶滿意。而最愛在茶餘飯後做為聊天八卦話題的「誰比誰更強」的廣大民眾，其實根本不是 CEO 心裡在意的服務對象。</p><p>換言之，你各位呀，既然是從來沒有付錢，就爽爽地使用著 Google Search 或是 Facebook 的一般大眾，那你就是產品零組件的一部份，而不是客戶的一部份。</p><p>當 Microsoft 想打鐵趁熱地挾著大家對 ChatGPT 的各種幻想，結合一直沒什麼人在使用的 Bing 搜尋引擎的時候，要說 Microsoft <strong>不知道</strong> 搜尋引擎最重要的事情是提供「<strong>搜出值得參考的資訊</strong>」。</p><p>那麼，在大家都已經知道「在 Bing<strong><em>[註1]</em></strong> 上面常常找不到資料」的情況下，加上一個「找不到，就掰一段文字給你」的 ChatGPT，難道就能達成「<strong>搜出值得參考的資訊</strong>」的搜尋引擎目標嗎？</p><p>顯然，<strong>Bing</strong>/<strong>並</strong>不能。</p><blockquote>那麼 Microsoft 為什麼還要執意這麼做？</blockquote><blockquote>因為「注意力」才是這個零和遊戲中唯一重要的東西。<strong>[註2]</strong></blockquote><p>首先要理解的是，Google 並不是一家搜尋服務供應商，它是一家廣告供應商。<strong>搜尋結果精準是為了精準投放廣告，而產生的副作用而已</strong>。搜尋業務本身是不賺錢的，但企圖在廣告業務上賺錢，那麼取得使用者的「注意力」就是拼生死的戰場。在戰場上，今天你不想辦法弄死他，改天他就會弄死你。</p><p>拖死對手至少有兩種方式，一種是把他的客戶全部搶過來；另一種是讓對手的成本比我高。</p><p>其實 Microsoft 的 CEO 納德拉自己在訪談中也提過，大意是「<strong><em>ChatGTP 的技術，包括 Google 這些一線科技大廠應該很快就會掌握</em></strong>」。那麼剩下的就是怎麼在有限的時間內完成前述兩種戰術操作。商場的戰鬥序幕於是開始…</p><p>Bing 加上 ChatGPT 以後，搭配 OpenAI 的 CEO 承認「<strong><em>我們只是想先放出來讓大家知道生成式 AI 有用，但是具有危險性</em></strong>」和 Microsoft 的 CEO 納德拉大談「<strong><em>生成式 AI 將如何顛覆搜尋引擎</em></strong>」這一搭一唱地一人扮黑臉，一人扮白臉，就會讓閱聽大眾摸不著頭緒地想找個信得過的第三方出來評評理。</p><p>第三方是誰？ 自然是這對雙簧活寶劍指的 Alphabet 金雞母 — Google Search 部門，要他們出來給個說法。<strong><em>[註3]</em></strong></p><p>這個局，Alphabet 的 CEO 皮采不可能看不出來自己被陷於兩難的境地。要是 Google 出來贊同「生成式 AI 很危險」嘛，那麼一定會被操作成「Google 贊同 OpenAI 的技術有用」，也間接地捧了 Bing 一把；要是贊同 Microsoft CEO 說的「AI 將顛覆搜尋引擎」的說法，那麼這句話裡第一個被顛覆的搜尋引擎，就是 Google Search。不管是哪一種，都會落入前述的「客戶全部被搶過去」的景況裡。</p><p>那麼，挾著技術力直接和 Bing + ChatGPT 正面對決怎麼樣？</p><p>以 Google 目前的使用者數量，對比 Bing 目前的使用者數量，只要一開放 LaMDA 像 ChatGPT 一樣和搜尋欄位串接，那麼各式各樣的提問背後的運算力需求，將會讓 Google 的成本大幅提高，使得其剛剛透過裁員取得的亮眼財報瞬間化為烏有。這下可真是人財兩失地落入前述的「成本比對手還高」的敗象裡。</p><p>在這樣的限制下，Google 打出了堪稱漂亮的一手牌 — 我們來辦個發表會，好像發表了什麼，但其實什麼都沒發表。好像說了很多，但其實又沒有說什麼。(咦？這不正是生成式 AI 最拿手的好戲？)</p><p>否則，以 Google 這樣的企業量體，他們沒有任何理由會辦出這種落漆水準的發表會。除非，他們是故意的！(←這就是我極端腦補的部份了。)</p><p>於是，一場「下駟對上駟」的 Google 發表會，就在一個以前不曾辦過 Google 大型發表會的巴黎舉辦。由一個行業外的人都沒聽過的 Google VP (副總裁) 之一主講。此外，在短短 40 分鐘的活動裡，還可以搞出展示用的設備不見的狀況，顯示出這個準備發表會的團隊完全像是生手一般沒有經驗，也沒有把這件事認真嚴肅地看待。</p><p>為什麼人家 OpenAI 和 Microsoft 都是 CEO 出馬，而你 Google 卻只派個 VP 呢？</p><p>從發表會以後，沒有人再詢問 Google「你們對 AI 將顛覆搜尋引擎」有什麼看法？，沒有人再逼著 Google「你們一直不表態，是不是因為技術輸人家？」原本的技術戰，硬生生被 Google 徙手掰成了一場公關戰。</p><p>是的，Google 會被嘲弄一番，但是深知生成式 AI 弱點的 Google 根本不需要花費大量的力氣舉證 ChatGPT 會犯錯。他只要讓「更多人投入 ChatGPT 的操作，讓更多時間給 ChatGPT 在舞台上唱獨角戲」，那麼「<strong>生成式 AI 很危險，它無法單獨完成搜尋引擎的主要任務</strong>」的結論，自然會在這些前期的熱情使用者群中產生。</p><p>Google 到時候只要再以救世主之姿呈現出一個整合好的解決方案就行了！</p><p>現在已經不是單一一個科技技術產品可以顛覆市場的 Web1.0 時代了！在 Google 的巴黎發表會上露出端倪的其實正是 Google 最拿手的「整合服務」。從圖片影像的理解，連到地圖空間的資訊，再串接到商家資訊。把「人」帶到「花錢」的地點，這就是廣告！</p><p>Google 的發表會一方面呈現給真正廣告投放客戶看的是「<strong><em>我們有足夠的生態系，可以把客戶帶到你面前</em></strong>」，另一方面呈現給普通使用者看的是「<strong><em>我有做回應了，請各位產品零組件不要再發問了，乖乖繼續用 Gmail、繼續用 Google Maps、繼續點擊我們提供的廣告吧。</em></strong>」</p><p>發表會後，果然媒體一蜂窩地報導著 Google 因為 Bard 的回答有誤，發表會出包而股價下滑的消息。完全不再追求核心的搜尋業務和廣告業務的技術、應用甚至是市場問題。Google 爭取到了這場戰鬥中他們最需要的時間。只要給予足夠的時間，ChatGPT 就會犯下大家受不了的錯誤。</p><p><strong><em>果不期然，別人家的 AI 都不會讓我失望！</em></strong></p><p><strong><em>Bing + ChatGPT 才剛剛橫空出世，馬上就出事了！</em></strong></p><p>在 Google 的發表會結束後的幾天，新聞版本立刻又被 Bing + ChatGPT 跟使用者像個痴漢般地亂示愛，踩上了「AI 會不會有意識，AI 會不會造成危害？」的紅線。而這個更接近技術核心的公關危機新聞潮流裡，不會有人去質疑 Google！他們現在可以心無旁騖地專心做著自己最擅長的系統整合工作。</p><p>迫不得已，Microsoft 只好使出他們慣用的招式。將每個對話限制在五個回合內，以免過長的對話內容曝露了生成式 AI 不可控的黑暗面。</p><p>相信在 Microsoft 的團隊們正如火如荼地想著怎麼整治好自家痴漢的同時，Google 的團隊正在進一步整合，繞著『<strong>搜出值得參考的資訊 (以便投放精準的廣告)</strong>』的目標整合著自家的產品。這是一棒巴黎犧牲打換來的時間，可不能浪費了。</p><p>戰鬥，還沒結束呢！</p><p>[註1] 不只是 Bing，甚至是幾年下來一直企圖以「更好的隱私技術」企圖挑戰 Google Search 的 <a href="https://duckduckgo.com/">Duckduckgo</a> (鴨鴨走) 搜尋引擎，也是因為最基本的<strong>搜出值得參考的資訊</strong>這點都做不好，而無法挑戰成功。</p><p>[註2] 有趣的是，這剛好和幾年前 Google 的重要論文 “<a href="https://arxiv.org/abs/1706.03762">Attention is all you need.</a>” 的題目一樣。</p><p>[註3] META 的 LeCun 當然很努力想在這裡扮演第三方，可惜對 LLM (大型語言模型) 的立場變化太大，甚至都被人說是「<a href="https://www.bnext.com.tw/article/74102/ai-gpt-meta--230215">酸葡萄心理</a>」了。和之前總是嘲諷 Gary Marcus 的立場相比，實有 180 度的大轉彎。有趣的是，「酸葡萄心理」正是之前 LeCun 拿來笑 Gary Marcus 時說的話。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4a83949c3fbd" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[為什麼要做語言科技？]]></title>
            <link>https://medium.com/@peterwolf.wang/%E7%82%BA%E4%BB%80%E9%BA%BC%E8%A6%81%E5%81%9A%E8%AA%9E%E8%A8%80%E7%A7%91%E6%8A%80-55a2f3857c1b?source=rss-a4c68ded5ade------2</link>
            <guid isPermaLink="false">https://medium.com/p/55a2f3857c1b</guid>
            <category><![CDATA[translation]]></category>
            <category><![CDATA[linguistic-technology]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[PeterWolf]]></dc:creator>
            <pubDate>Fri, 03 Feb 2023 07:08:21 GMT</pubDate>
            <atom:updated>2023-02-03T07:29:33.044Z</atom:updated>
            <content:encoded><![CDATA[<p>我大學畢業自國立暨南國際大學，我是外文系第三屆。</p><p>當時的暨大是個新學校，而山城埔里也還在努力習慣在非假日的週一到週五之間，鎮上會冒出許多年輕人的步調。</p><p>有一次，我在埔里鎮的郵局前等紅綠燈的時候，旁邊躺在地上的一個看來還沒從酒醉中清醒的原住民突然站起來問我「我要怎麼回部落？」我說「我不知道…」然後他跟我說昨天他來埔里找朋友喝酒，現在不知道怎麼回去…接著，又醉醺醺地躺回郵局前。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RcEHLFkM-E19rZelEBjFhw.jpeg" /><figcaption>src. <a href="https://www.flickr.com/photos/idisdao/27045917972/in/photostream/">https://www.flickr.com/photos/idisdao/27045917972/in/photostream/</a></figcaption></figure><p>許多年後，這個「<strong>我要怎麼回部落？</strong>」的問題，仍然在我腦海裡迴繞著。是啊…你要怎麼回部落，你為什麼離開部落？你離開部落以後怎麼生活？為什麼你離開部落以後就要用漢人的方式生活？我們不能一起想個讓大家都能過自己想過的日子的方法，一起打造出一個你到哪裡都像在自己部落一樣自在的社會嗎？</p><p>畢業離校近 20 年的今天，我一方面感動地看到國內對原住民文化和本土語言的保存、歌謠、古調…等等都開始有了動作，另一方面，語言學出身的我，卻也知道這些保存方法，只是延緩這個文化的消失而已。</p><h3>因為這些本土語言，幾乎沒有任何現代科技工具可以使用！</h3><p>我們看到了字典、看到了專書、看到了維基頁面，但是沒有好的搜尋引擎或是翻譯系統是可以快速地把台灣本土語言之間做轉譯的。</p><p>造成的影響就是除了少數的原委會以及維基頁面、部份族語教學資源以外，我們看不到「族語書寫」的 blog、新聞、書信、文件…等東西。換言之，這個語言並沒有在網路的世界裡被使用，它只是被保存在某一個「文化保存玻璃瓶」裡而已。</p><p>這點其實很奇怪，因為台灣的國語使用族群其實是一群非常容易接納新詞彙的語言使用者。但是我們能輕易地在日常生活裡把自己原有詞彙「影片」換成「視頻」，卻不見我們把在生活中把「小狗」一詞換成「waco (阿美語)」。</p><p>進入大數據的時代，進入了 AI 的時代，甚至進入了「超大型語言模型」的時代，我知道這些只在台灣使用的本土語言根本就沒有條件可以產生一個可用的語言模型。</p><p>也就是說，本土語言科技的「不發展」，不只是讓這些語言和其承載的文化在網路世界裡死亡，在資料量「唯大是圖」的 AI 技術面前，更是註定<strong>被遺忘</strong>…比死亡更慘。</p><p>我們迫切地需要建立一套「可以不用大數據就啟動的語言科技」。所以，我(借了一屁股債) 成立了卓騰語言科技。努力了十年，希望可以有足夠的收入，可以讓公司直接投入這方面的開發。但這十年下來…我那一屁股債可是愈來愈大，而自己的身體健康也在這十年的過度消耗裡開始出狀況了。</p><p>和公司的董事們報告過，因為做本土語言賺不了錢 (天知道我們連做國語都連續虧損十年了)，所以，我會挪出一部份自己的工作時間，佔用公司的 Github Repo 空間，用我個人的名義來做國語以外的本土語言。從台語開始，接著做客語，接著做西拉雅語，然後其它的南島語…這樣一路下去。</p><p>我要把這些語言的基礎 NLP 系統建立起來，並且讓它們可以互譯！</p><p>有一天，你可以瀏覽網頁時看到一篇用泰雅語寫的奇萊山登山記錄，用一個 NLP 工具就轉成你自己的母語阿美語來閱讀。你也可以用阿美語寫下回應，對方也一樣可以用一個工具將你的留言轉成他的語言來閱讀。</p><p>此外，第三個瀏覽者其實是用「國語」做的搜尋，他要找「奇萊山 登山」，但是搜尋引擎也把他的搜尋轉成不同的本土語言做搜尋，並且給他看到這一頁夾雜著泰雅語和阿美語的遊記，然後這個瀏覽者可以用 NLP 工具把整頁翻譯成他讀得懂的國語，或是轉成台羅拼音讀給家裡的小朋友聽…</p><blockquote><strong>當所有的語言都有了使用，所有的文化都有了承載，</strong></blockquote><blockquote><strong>我們就能確定，所有的記憶都會活下來！</strong></blockquote><p>這就是為什麼，我們卓騰要做語言科技！</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=55a2f3857c1b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[大型語言模型真的懂語言嗎？]]></title>
            <link>https://medium.com/@peterwolf.wang/%E5%A4%A7%E5%9E%8B%E8%AA%9E%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9C%9F%E7%9A%84%E6%87%82%E8%AA%9E%E8%A8%80%E5%97%8E-683592cc9d24?source=rss-a4c68ded5ade------2</link>
            <guid isPermaLink="false">https://medium.com/p/683592cc9d24</guid>
            <category><![CDATA[gpt-4]]></category>
            <category><![CDATA[chatgpt]]></category>
            <dc:creator><![CDATA[PeterWolf]]></dc:creator>
            <pubDate>Sat, 07 Jan 2023 13:56:02 GMT</pubDate>
            <atom:updated>2023-01-07T13:56:02.554Z</atom:updated>
            <content:encoded><![CDATA[<p>GPT-4 應該會是「表現」最接近奇點的 LLM (大型語言模型，Large Language Model 的簡稱)，之後就不會再有更接近的東西。 我說「表現」，是因為它的資料量真的夠大，而且也(傳說) 找到了部份啟用 (partial activate) 類神經網路的方法來節省能源。</p><p>但要注意的是，這裡講的「節省」是和其它 LLM 相比。如果和人類、和其它仿生方案、甚至是 <a href="https://api.droidtown.co/">Articut/Loki</a> 相比，那耗能 (以及運作成本) 還是最少是千萬倍的差距的。</p><p>因此，我仍然不認為「可以生成適當的對話，就表示掌握了語言的本質，甚至是語言的知識」。 我用心臟影像做比喻，可能更好理解…</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/293/0*_Gsh0gh6Oskj28gM" /><figcaption>Ref. <a href="https://smallcollation.blogspot.com/2013/11/computed-tomography-coronary.html#gsc.tab=0">https://smallcollation.blogspot.com/2013/11/computed-tomography-coronary.html#gsc.tab=0</a></figcaption></figure><p>這是一顆心臟的電腦斷層造影。 假設有一個<strong>大型影像模型</strong>看了十萬張「心臟的電腦斷層造影」，你會不會說它和心臟專科醫生一樣「懂」心臟？ 不會。 那麼假設這個模型看了十億張？一百億張？一兆張心臟的電腦斷層造影呢？</p><p>是的，此時這個模型應該是可以順暢地「<strong><em>生成任何一種心臟，任何角度，以假裝真的心臟電腦斷層造影</em></strong>」，但我們仍然不會說「這個模型『<strong>懂</strong>』心臟」，甚至不會說「這個模型和心臟專科醫生一樣『<strong>懂</strong>』心臟」。 即便它可以生成繪製出一顆「和真的心臟一樣」的斷層造影。</p><p>那只是因為這個模型看得夠多了，所以它知道一個相素的旁邊，應該是什麼顏色，會看起來最像它知道的那些圖。 而這，就是我們面對 LLM 時的態度。</p><p>是的，GPT-4 也許看過夠多的文本訓練資料，也設計出了巧妙的類神經網路架構。更厲害的是，配合 ChatGPT 的技術，它也能產生「流暢的對話以及以假亂真的文本」。 但是，我們仍然不該覺得『這個模型和人類一樣懂語言』。充其量，它只是看過夠多文章了，所以它知道這一串字符的下一個，應該放哪個字符，會讓它看起來最像它知道的那些文章， 如此而已。</p><p>所以，如果你不會說一個「會畫心臟影像的生成模型是懂心臟的」，你也不該誤以為「會產生文本的語言生成模型懂語言」。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=683592cc9d24" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[即便有了 ChatGPT，但強人工智慧還是遠得要命]]></title>
            <link>https://medium.com/@peterwolf.wang/%E5%8D%B3%E4%BE%BF%E6%9C%89%E4%BA%86-chatgpt-%E4%BD%86%E5%BC%B7%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7%E9%82%84%E6%98%AF%E9%81%A0%E5%BE%97%E8%A6%81%E5%91%BD-dd604a889e93?source=rss-a4c68ded5ade------2</link>
            <guid isPermaLink="false">https://medium.com/p/dd604a889e93</guid>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[singularity]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[nlu]]></category>
            <category><![CDATA[chatgpt]]></category>
            <dc:creator><![CDATA[PeterWolf]]></dc:creator>
            <pubDate>Sat, 17 Dec 2022 03:43:57 GMT</pubDate>
            <atom:updated>2023-01-27T13:07:12.475Z</atom:updated>
            <content:encoded><![CDATA[<blockquote><strong>「我相信奇點不遠了！」</strong></blockquote><blockquote><strong>「你上次買了 NFT 以後也這麼說…」</strong></blockquote><p>2022 以來，一連數個可透過自然語言操控的大型深度學習模型接連釋出上線。透過輸入文字讓模型產生影像的 Midjourney, DALL-E…等服務讓視覺藝術工作者大呼職業末日。這波熱潮還沒過去，緊接著在第四季結束前，OpenAI 上線了 ChatGPT 這個可支援多個主要語種的 LLM (Large Language Model, 大型語言模型) 應用，再次震憾了我們這個對任何新事物都毫無抵抗力的科技之島。</p><p>ChatGPT 上線後近兩週的時間裡，在各方先進使用的各種花式操作下，大家對這項新技術的看法似乎分成了明顯對立的「樂觀協作派」和「悲觀失業派」兩個陣營。</p><p>本文不打算選邊站來做為行為的立場。因為技術是中性的，端看怎麼使用而已。然而，本文也不採用「中立」的角度探討這一 2022 AI/NLP 界的震憾之作。因為以 ChatGPT 目前的表現，要下定論還嫌太早。</p><p>既非樂觀，亦非悲觀，更不是中立立場的前提下，本文將採用「空拍視角」，層層說明這一波現象級的「人-機」互動中，到底發生了什麼事。</p><h3>首先，在人類陣營這邊…絕大多數的普通人其實並沒有能力判斷 ChatGPT 應用結果的好壞</h3><p>MIT 心理學教授史蒂分平克博士的學術專業是「視覺認知」和「兒童語言能力發展」。由此視之，他的意見可說是十分適合為這一波 AI 模型的表現下一個註解。在平克教授的《理性》一書中提到「…科學教育的原始用意是抵消原始本能的影響，但…效果有限」。</p><p>換言之，雖然現在在台灣可說年紀在 35 歲以下的國民幾乎都受過科學教育，但在做判斷的時候，仍然是依原始本能，而非真的採用了觀察、假設、驗証的科學方法。比如說，在以下這兩段描述「比特幣」的段落裡…[註一]</p><blockquote><strong>文本 A</strong><br>比特幣的交易要經由電腦完成，交易完成的時間可能會很久，買賣比特幣變得很不方便，而且一般擁有比特幣的人並不知道如何找到買家，因此交易所應運而生。當初比特幣的發明人一再強調比特幣是去中央化的，因為比特幣不是由中央銀行發行的。但是有了交易所以後，其實比特幣是中央化的*。華爾街可以插手炒作比特幣，比特幣的價格時高時低，和股票有同樣性質。</blockquote><blockquote><strong>文本 B</strong><br>比特幣是一種數字加密貨幣，它可以通過網絡上的數字貨幣交易所進行交易。首先，您需要在交易所上註冊帳戶，並通過所提供的方式向帳戶中充值資金。然後，您就可以使用交易所提供的在線交易平台來進行比特幣交易了。在交易時，您可以選擇買入或賣出比特幣，並根據市場價格進行交易。比特幣交易有一定風險，因此在進行交易前請確保您已經瞭解了所有相關的風險。</blockquote><p>像這種用一堆詞彙堆疊自己不知道的東西，然落落長地寫一大篇的文章，正是 AI 最會的行文風格。然而，這兩段文字，有一段被讀者們評論為「可以取代人類做報告」而另一段則被講成「作者不知道自己在說什麼」。</p><p>既然風格是一致的，且內容提供的資訊也差不多，那為什麼在評價上會有這麼大的差異呢？</p><p>因為，有一篇是在部份網友眼中不懂比特幣，而且對其持負面印象的李家同教授寫的，而另一篇則是網友們眼中目前的當紅炸子雞 ChatGPT 產生的。也就是說，人類判斷文章寫得好不好，不是透過「文章本身的內容」，而是透過「自己對作者是否有偏見或是喜好」。</p><blockquote><strong>你喜歡作者，那麼它寫什麼都很棒；</strong></blockquote><blockquote><strong>你不喜歡作者，那麼他怎麼做就怎麼錯。</strong></blockquote><p>即便理智上你能明白「電腦也不知道什麼是比特幣，它只是把模型裡的資料組合後產生出來；就像李家同教授也不知道什麼是比特幣，他只是把他聽說的訊息組合後產生出來」，但不相信李家同教授的人，就是會覺得「李家同教授寫的那篇不好」。</p><p>因此，<strong>絕大多數的普通人其實並沒有能力判斷 ChatGPT 產出的文字內容或是風格是不是「真的」或是「正確的」</strong>。普通人只是憑自己對「科技」的喜好來決定自己要站在「樂觀派」，覺得再過幾年，人工智慧就能超越人類，奇點就要到來；或是站在「悲觀派」的立場，覺得人類的工作都要被取代了。</p><p><em>[note] 比特幣是否因為有了交易所就違反了去中心化仍是一個有爭議的說法</em></p><h3>其次，在人類陣營裡的 AI 專家所謂的「突破」和普通人想的不一樣</h3><p>許多 AI 專家會提到 ChatGPT 的表現是一個重大突破，而也就是這「**重．大．突．破**」四個字，給予許多普通的 AI 技術愛好者不切實際的幻想。如果我們把近十年的 AI 發展重播一次，反而會發現這個重大突破其實還頗有一股懷舊的氣息。</p><p>2012 年的大數據 (BigData) 一詞興起後，緊接在後的是 2015 的機器學習和 2017 的深度學習…等等技術都發表了更大的模型和比以往的研究論文裡更好的結果。甚至在 2019 年前後的各種回顧文獻裡，還會提到這是第三波的人工智慧發展。</p><p>第三波人工智慧和第二波人工智慧最大的不同，就是沒有專家介入定義規則，甚至在深度學習技術裡，連專家介入定義特徵這一步都免了。也就是「再也不需要人類的介入了，只要把資料交給類神經網路進行學習，產生模型就行了」。甚至 AI 專家李開復博士也曾在 2019 年受訪時，提到用機器進行標記，而非讓人類介入。他說：「…在蒐集到大量的數據資訊後，必須<strong>讓機器</strong>依據不容辯論的事實進行貼標 (即進行「資料標記」，中國的講法為「貼標」)…」</p><p>時間快轉，進到 2022 年，效果驚人的 ChatGPT 在說明頁裡就畫上了「三個步驟的訓練裡，都有大量<strong>人類介入</strong>提供<strong>人工標記</strong>訓練資料、提供<strong>人工選擇</strong>輸出策略、提供<strong>人工調整</strong>輸出文字」的步驟。</p><p>說穿了，目前已知的物種裡唯一會使用語言的只有人類，那麼自然也只有人類可以扮演「語言專家」的角色。於是，在 ChatGPT 面前，各路 AI 專家就像是把前面 10 年裡一再強調的「不需要人類專家」這件事，風淡雲輕地當做沒說過。看來未來的日子裡，還是需要人類專家提供標記。這麼一來，新的職缺又創造出來了，怎麼會有人類被取代的擔憂呢？真正的問題，應該是這些從事標記的人，在 ChatGPT 的施作步驟裡是如何被訓練，又是如何確保大家的標記判斷是一致的呢？</p><p>我不得不想起幾年前，國內有幾位女性語言學家成立了一間專做「語料標記」工作的公司，也在前幾年那股「不需要人類專家」的盲目信念下，不得不暫停營業。曾經，台灣也是很有機會做出應用技術的突破的。不過，在跟風大型科技公司必然正確，永遠正確，絕對正確的社群氣氛下：軟體學 Google, 硬體學 Apple，凡是要上雲，必選 Amazon。既然 Google 推出 BERT 的時候發表了論文說 <a href="https://arxiv.org/pdf/1706.03762.pdf">Attention is all you need</a>，之後就再也沒有人想到要把「人類」加回機器學習/深度學習的生產流程裡了。</p><h3>此外，沒有正確地理解資料模型和人類思維的差異所做出的評估結果，不論是樂觀或是悲觀，都是失真的。</h3><p>不論是機器學習模型或是深度學習模型，它們都是基於資料，由資料驅動的。白話文的講法就是「訓練時它看過的東西，它就會記住。將來遇到它沒看過的東西，就找一個和看過的資料最像的那一個，當做結果來輸出」。</p><p>因此，就算是最簡單的數學加法 99999 + 9 ，只要它沒看過，它就只好找「上次看到 99999 時，附近的數字是什麼」做為回覆。因此得到以下的答案：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/587/1*hEcCx72mFVnwy_idh9D8zA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/866/1*eMmrjehcHSf0Ypujvt_UPw.png" /></figure><p>一下說 99999 + 9 等於 100000，一下說等於 99908，兩個都不是正確的答案。原因是，我們不可能列出所有可能的數字以及這些數字之間的運算關係。所以 ChatGPT 在訓練的過程中一定沒有看過夠多剛好是「99999 + 9」的訓練資料。這麼一來，它就只好以「曾經看過的資料裡，99999 的旁邊是什麼」來理解。所以就輸出了 100000 或 99908 這兩種答案。</p><p>這個問題也不只是在簡單的數字運算而已，甚至是中文的數學應用問題裡，也會一樣發生錯誤：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DnRG_JkpzA4zp6o3cn2smA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/992/1*Y0ALP1TKYsVJIi2HOJPvGQ.png" /></figure><p>在它列出了「100–6x2」的數學式以後，仍然算錯了；或是在它似乎已描述出「蘋果和香蕉都是水果」以後，卻把它計算成「三種水果」。它好像給了一個「原因」，但又不是照這個「原因」來計算「結果」。</p><p>為什麼耗費上億元訓練成本，看過了這麼多訓練資料的深度學習模型，遇到這種 200 元的雜牌計算機都能算出來的數學時，卻錯了呢？因為它是資料驅動的，不是由因果邏輯驅動的。資料驅動的思維模式，完全不是人類的心智運作的方法。</p><p>因此許多樂觀的人覺得「只要再調整一下下，就可以使用了」這件事情，不會在深度學習裡發生。因為要讓這樣的機制「懂」這一點點，它需要的訓練資料量可不是「一點點」。</p><p>這需要透過導入圖靈獎得主 Judea Pearl 教授的因果網路 (Causality Network)，再利用紐約大學 Gary Marcus 教授倡議的融合式系統 (Hybrid) 的設計才辦得到。</p><p>很可惜地，雖然 Judea Pearl 教授同時也是貝氏網路的發明人，且貝氏網路也被廣泛地使用在各個機器學習、深度學習的模型裡，但他的因果網路並未獲得重視。此外，常年來扮演烏鴉角色，提醒諸多「純機器學習/純深度學習」系統缺陷的 Gary Marcus 教授，也被主流 AI 社群排除在外。</p><p>由此觀之，雖然 ChatGPT 透過最多人可以直接與其核心 GPT 模型互動的「對話」做為操作方式，的確是在使用者體驗 (UX) 上獲得了極大的進步。幾天之內，讓許多不會寫程式的普通人也有了呼吸到未來世界氧氣的歡快感。但只要 AI 系統仍然是基於「資料模型」而沒有結合人類的因果邏輯思維，那麼 AI 革命仍遙不可及，奇點仍然不會到來。</p><p>甚至，最糟的情況是，此刻已經是我們距離奇點最接近的時候，之後只會漸行漸遠了。</p><p>相較於「可不可以修改一點點就好」的樂觀派，悲觀派的人們往往在看到以下的輸出結果時，大驚失色地以為 AI 模型下個月就要取代自己了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/992/1*Y0ALP1TKYsVJIi2HOJPvGQ.png" /></figure><p>事實上，這段 ChatGPT 產生的三個段落的回覆，完美地詮釋了前述 ChatGPT 的輸出經過特別地**人工調整**的結果。調整後的風格，讓這三段回覆的每一段順序可以任意調整。此外，同一段裡的每一句的前後順序，也可以任意調整。最後再逐段加上「還有、也、此外、最後」…等轉折語即可。</p><p>而這點是和真人寫作「非常不同」的一點。</p><p>因為人類有觀點要表達，因此需要處理前後立場的一致性，並做好前言背景的鋪陳，立論的置入和辯證。所以人類的文章有其起承轉合的結構或是前後觀點的呼應。以這篇文章為例，本文的立論從「常人的判斷 -&gt; 專家的判斷 -&gt; 模型的原理」三個角度切入。且在第三段呼應前面段落的**人工調整**段落的文字。</p><p>這樣的段落和辯証結構安排的意圖，讓本文的順序無法任意前後調整。如果讀者漏看了前面的段落，就會看不懂後面的段落。這是真人寫作時的特徵，但這層意圖訊息的維度太高了，深度學習是無法在合理資源的範圍內達成！</p><p>所以，最實際的處理辦法是讓人類專家介入，讓每一個句子的結構都改成可以獨立存在且不帶有資訊堆疊的功能。這麼一來，ChatGPT 就能任意挑選輸出的句子，而不必擔心會產生前後文結構衝突（比如說先講辯證，再講結論，然後破題）的輸出。而且，還能唬到在台灣的文理分科教育系統下，許多面對「高科技、理工、數學」…等詞彙就立刻回想起自己中學時悲慘的學習經驗，而習慣性地投降的文組同學和相關從業人員。讓他們以為 AI 可以做出人類等級的語言輸出。</p><p>從這個角度來看，悲觀派其實也沒有什麼理由感到害怕或是悲觀。除非，你本來的語言表現就只是像個機率鸚鵡一樣，只是同一件事翻來覆去地講，乍看之下好像講了很多，仔細一想才發現什麼也沒說。</p><p>不管有沒有 ChatGPT，這種程度的能力是很容易被看破手腳，從工作岡位上被罷免辭退的。</p><h3>除了運作方法和人類不同以外，ChatGPT 這樣的技術，還有什麼先天的缺陷？</h3><p>ChatGPT 是基於 GPT 3.x 系列的大型語言模型，並針對「輸入與輸出」特別調整成親切近人的 NLP 應用。它的突破在於呈現出「自然語言應用可以做這些事情」並且大幅地降低了嚐試與操作的門檻。</p><p>但它在語言能力方面，並沒有特別超出預期的表現。一如所有的大型深度學習語言模型，它缺乏世界知識。一旦對它進行「反事實測試」，就會試出它的回覆樣版：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/691/1*PIH-XVDXEGFCbjni6dK8Gg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/690/1*Ewv5vmDOjhrTbHE8TdEnYg.png" /></figure><p>我們使用「反事實測試」的原因，是因為「反事實」表示沒有發生過。如果沒有發生過，那麼相關資料就會非常地少 (大概只存在少部份人的幻想或假設性的文字裡)。既然資料很少，那麼我們就能測出這個「依資料運作」的系統，拿掉了資料以後，還剩下多少本事。</p><p>網友侯先生[<a href="https://www.facebook.com/photo?fbid=10160920790776807&amp;set=pcb.10160920815836807">連結</a>] 也使用了類似的技巧，測試出大型深度學習語言模型缺乏世界知識的弱點：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jhmaS-gbdFiFD4W7DPn-nw.png" /></figure><p>在該貼文的回覆中，另一位網友表示 ChatGPT 已經學會新的知識了[<a href="https://www.facebook.com/photo.php?fbid=10226458483741137&amp;set=p.10226458483741137&amp;type=3">連結</a>]：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/963/1*7gjPwBjtn-Xqjpk7-wIX5w.png" /></figure><p>但事實上，ChatGPT 並沒有更新它的資料或是模型。原始問題是「拉布拉多是單子葉還是雙子葉植物？」而網友的問題是「狐狸與拉布拉多狗是單子葉植物還是雙子葉植物？」只有具有世界百科知識的人類才知道「拉布拉多」指的就是「拉布拉多狗」，差一個「狗」字，意義是一樣的。</p><p>對缺乏世界百科知識的大型語言模型而言，少一個符號，都可能會在模型內部的類神經網路路徑上產生很大的差別。這又是另一個和人類的心智運作非常不同的地方。</p><h3>將來，這類大型語言模型最終會產生意識或是自行思考嗎？</h3><p>「好吧，也許和人類的運作原理不同，但 LLM 會不會有自己的思考方式呢？」</p><p>Well…我們把「思考」用最寬鬆的定義好了，LLM 也絕對不是用你以為的那個方式在「思考」的。前面提過，人類的思考是基於兩套系統，一是情感系統(嚴格來講，這個不叫思考)；另一個是因果邏輯系統。而 LLM 是透過資料模型來 “運作” (我暫時不用「思考」這個詞) 的。資料怎麼偏，它的模型就怎麼偏。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/737/1*liuVGpXxkrK70GCXcnShHA.png" /></figure><p>就像民國三十八年以後來台的新聞資料和教科書裡，最常冒出來的中華民國總統是蔣經國，那麼不論你怎麼明示「女總統」，模型還是以「總統」來處理。因為「總統」一詞的量絕對是遠遠超過「女總統」的。</p><p>#大型語言模型就是資料民粹的最大化而已 #Data_populist</p><h3>ChatGPT 對產業的影響是什麼？</h3><p>如果你的第一直覺是 ChatGPT 會對 Google 產生威脅，那麼你的工作職位不是管理階層，就是計時人員等級的大學生。因為只有這兩種人拿到資料的時候，會相信資料裡的數據和描述是正確的。前者拿到的報告是下屬做的，所以查證的工作也是下屬做的。如果一個公司的管理階層沒有要求下屬做報告的時候要做數據的查證，那麼是這位經理人的失職。那計時人員呢？計時人員沒在查證資料的，工作都做不完了，查證什麼資料？</p><p>Google Search 的結果和 ChatGPT 回覆的內容有其本質上的不同。Google Search 的搜尋結果都是附上來源網站的。每一個連結都能讓瀏覽者判斷其內容是否合理，網站設計透露出可靠的風格，甚至是網址是否為一個值得信任的訊息來源。</p><p>ChatGPT 沒有這個能力，它是一個「文字生成模型」，所以它只依「最能滿足類神經網路架構」的輸出做為結果，而不是「最可靠的內容」做為輸出結果。</p><p>目前 ChatGPT 是在模型訓練的三個階段都放了人類做為微調輸出權重的手段。即便 OpenAI 在這項工作上安排了 40 個全職的資料標註人員，產生了數萬篇對話樣版和標記供模型學習，但這仍然無法涵蓋所有學科的資訊考察方法。因此，期待在一個合理的成本下能讓 ChatGPT 透過普通人類標記人員的微調，便習得推演資料是否前後不一致、邏輯矛盾或是不具因果關係，是不可能的。</p><p>在這個情況下，究竟誰該緊張呢？<strong>維基百科</strong>才該緊張！因為人們尋找資訊的需求還是在，但是尋找正確資訊的力氣，可不一定願意花。</p><p>當 ChatGPT 這類服務上線以後，其實 Google 並不需要覺得危險，它的搜尋結果本身就不是和 ChatGPT 會形成競爭關係的服務。相對地，當人們對於整篇文本不再做查證動作的時候，真正傷害到的是維基百科。</p><p>因為 Wikipedia 佔著的那個「沒有廣告，只提供資訊」的位置，將會是生成文本模型普及化以後的網路上，交通最不便利的一個節點。</p><p>當然，我們可以預測接下來應該會是 ChatGPT 或是 NLG model (文字生成模型) 大爆發，有很多新創公司會產生，但是不會有任何一家靠這個技術做的服務活下來。甚至文字工作者，會因此而失去工作嗎？其實仔細想想…也不會。<br>原因：<br>1. 清單項目1. 模型無法產生「卓越」的想法，模型只能生成普通的文字。而我還沒見過任何一家企業不追求卓越，只提供「普通」就能活下來的。<br>2. 模型產生通用文字的過程，並不能真的省下多少時間。<br> a. 它生成 500 字，你就得讀 500 字才確定能不能用。但也許你原本的想法只要寫 150 字就能寄出了。<br> b. 問個好問題，才會產生好文字。而「好問題」比動手寫個普普通通的文字還要難想。<br> c. 機器學習模型的「更進一步」不是許多常人想的「線性曲線」。往往要付出的代價是前一代的百倍起算。<br>3. 模型無法確認產出的文字內容是否正確、是否合理。今天 ChatGPT 還在免費，大家覺得很好玩。明天開始收費，你覺得老闆願意花多少錢購買這個服務？文本生成以後，還是要有人看呀！</p><h3>那 ChatGPT 是 AI 產業或是內容產業的 iPhone 時刻嗎？</h3><p>說「AI 發展的 iPhone 時刻」就像說「世界末日快到了」一樣。邏輯上不會錯，地球總有結束的一天；而 AI 改變產業形態的時刻也總會來臨。</p><p>畢竟，只要地球<strong>還沒有</strong>爆炸，而 AI 也<strong>還沒有</strong>改變產業形態，這句話就永遠是正確的。</p><p>所以，AI 產業會不會有 iPhone 時刻？ 會。但不是今天，甚至大概五年內都很難。相對地，五年內，網際網路因為充滿著 AI 產生的文本，品質太糟，而被人棄用，這還比較可能發生。</p><p>相對地可能。</p><p>綜合以上，從產業面來講，距離「明天開始會有寫稿機器人出現」大概只差幾秒鐘，但距離「明天開始會有取代真人的寫稿機器人出現」還遠得很。</p><p>(更新：本文初版完成一個月後，內容農場的祖師爺 Buzzfeed 決定導入 ChatGPT 來產生文章。我在此預測：</p><p>1. 以後網路上抓語料來訓練語言模型就變成自證自得，自產自銷，更不會呈現語言的表現了(畢竟你弄的是模型的表現)</p><p>2. 網路上值得參考的資料量將進一步壓縮變少。下一世代的人類對假訊息，錯誤訊息，錯誤知識的將完全沒有分辨能力。但選舉時，他和你一樣是一票。</p><p>3. wikipedia 的參照和內文品質需要更聰明的 NLP 方案。(或是更多免費人工的投入))</p><h3>中學教師甚至是大學教授需要擔心 ChatGPT 對教學的影響嗎？</h3><p>教育現場，大概是我唯一覺得「有可能」會遇到挑戰的一個層面了。</p><p>現代國民義務教育的雛形是為了教出「平庸且相似」的生產工人，並選出其中的通才，讓他們往高等教育系統前進，也篩出其它需要社會福利介入的個體。</p><p>這個設計很理想，可惜實行起來不是那麼順利。</p><p>依著我們文化裡面文學同時兼具道德教化以及國學背景訓練的傳統，我們的教育系統是相當獎勵可以寫出四平八穩的鄉愿價值文章的。而這，正好也是 ChatGPT 最常生成的文字結果。</p><p>相對地，由於我們的教育現場向來不鼓勵學生有太多特別與眾不同的想法或是獨到的見解。如果出現這樣的學生時，往往有賴少數的老師慧眼獨具地予以包容，否則企圖在教室裡尋找思想交流的師生之間可能都會覺得對方是否搞錯了什麼？</p><p>因此，教育系統勢必要從「考察學生的文章是否面面俱到」的獎勵模式，改變成「教育學生如何做資訊識讀」的教學內容。拿到一篇 ChatGPT 的文章？寫作風格看起來沒問題，頗具大家風範，但這不代表什麼，讓我們逐步來帶領各位同學識讀它的內容資訊是否正確。畢竟…在將來長長的人生裡，還會有很多機會遇到這種一本正經講些空泛言語的傢伙，不如我們及早把識讀能力養成，讓思辯成為像本能一樣的反射動作吧。</p><h3>ChatGPT 這樣的技術會帶給社會什麼樣的影響？</h3><p>絕大多數使用者都沒有意識到 ChatGPT 的運作成本非常高，有人估計在它上線的前五天，所需要的伺服器租用費即高達新台幣九千多萬元。而在它爆紅以後，使用者以指數型曲線成長，再加上各個程式語言的 API 也紛紛在第 10 天開始由各方好手開發並釋出以後，ChatGPT 的伺服器運作成本只有增加，不會減少。</p><p>而它目前為止，仍是免費提供服務！</p><p>我無意猜測 OpenAI 最後是會採用什麼樣的商業模式來支撐這樣龐大的開支，但如果它繼續以低廉的費用提供服務的話，對這個世界造成的第一個影響就是「假訊息的品質，將得到火箭升空式的提升」。</p><p>如同在第一段裡，各位讀者自己親身經歷的「判斷哪一篇是李家同教授寫的，哪一篇是 ChatGPT 產生的」那股綁手綁腳的感覺，將來在大量 ChatGPT 產生的文本於網際網路上流傳時，原作者的身份將無法確認，而所有的網路使用者若依著原本「不求甚解，大致瀏覽」的資訊吸收習慣的話，資訊世界將發展成類似聖經故事裡的「巴別塔」一樣：所有的人都講著無法彼此溝通的語言。因為每個人接觸到的真假訊息不同，又深信自己接觸到的才是值得信任的，因此同溫層彼此之間的溝通成本將會比現在更高。</p><p>事實上，在 OpenAI 擔任 CEO 的 Sam Altman 也提出呼籲，表示「ChatGPT 能做的事情非常有限，此刻不該做為任何真正服務使用！」</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/625/1*ji2cCkgnvY7pAKpq5vE8AA.png" /></figure><p>不過，也正如紐約大學的 Gary Marcus 教授特別撰寫點出的「這是 AI 發展的侏羅紀公園時刻[<a href="https://garymarcus.substack.com/p/ais-jurassic-park-moment">連結</a>]」。一個對世界影響極大的應用服務被放出來了，就像侏羅紀公園電影的第一部裡的恐龍基因轉殖技術一樣影響重大。但掌握這項技術的人，只計劃開個遊樂園，讓每個買得起門票的人都能進來玩樂一番，而不加以限制或是管理這些遊客會用這個技術做出什麼樣的東西。</p><p>截止本文完成的時候，ChatGPT 仍然是一個需要龐大運算設備才能運作的模型，就像是侏羅紀公園裡的圍欄仍然通電的時候，也許短時間內還不會失控。我們仍不知道這個限制會持續多久，又會有多少人願意花費時間和心力去理解 ChatGPT 的能力上限是什麼，並從根本上做出調整，開始導入因果網路和建立融合式的 AI 系統。</p><p>還是更多人寧可直接過度樂觀/悲觀地面對這樣的技術發展，並隨意地讓抱持著善意/惡意的任何人都能接觸這個應用服務？</p><p>最後的最後，AI 技術是中性的，我相信 AI 不會害死人類，人類才會害死人類。</p><p>[^註一]：文本 A 是李家同教授臉書貼文中談比特幣的內容；文本 B 則是透過 ChatGPT 生成的結果。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dd604a889e93" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[不只斷詞 — POS 詞性標記能幹嘛？]]></title>
            <link>https://medium.com/@peterwolf.wang/work-with-pos-821e7991994d?source=rss-a4c68ded5ade------2</link>
            <guid isPermaLink="false">https://medium.com/p/821e7991994d</guid>
            <category><![CDATA[part-of-speech]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[PeterWolf]]></dc:creator>
            <pubDate>Sat, 27 Aug 2022 03:43:43 GMT</pubDate>
            <atom:updated>2022-08-27T04:02:02.899Z</atom:updated>
            <content:encoded><![CDATA[<h3>不只斷詞 — POS 詞性標記能幹嘛？</h3><p>執行 NLP 任務時，絕大部份的人只停在取得「斷詞結果」就停了。接下來大概就是算些詞頻而已的玩法。相較之下，看到詞性標記 (POS, Part-of-Speech)時，大概是因為什麼動詞、名詞一類的的詞彙容易讓亞洲人想起以前學英文時的心理創傷，所以大家都會直接忽略它。</p><p>事實上，POS 可以做很多不同的應用。以下就以自動建立知識圖譜為例來說明詞性標記可以幹嘛。</p><p>沒有詞性標記以前，要從平衡語料庫裡抓取「(分類詞)一頭」，並想知道有哪些動物可以用「一頭」計算，會得到以下結果：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9EO9iMMW3wxb3uei8Q3vGQ.png" /></figure><p>想從這裡取得動物，即便把欄二的所有內容予以斷詞處理，得到…</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ar68UB7jxUFO-kFdV4Mniw.png" /></figure><p>我們仍然不知道「黑」「羊」「鑽進」、「獅子」、「撞死」和「牛」各自是什麼詞性。哪些可以和分類詞「一頭」一起使用。直接說所有出現在「一頭」之後的詞彙，都和「頭」這個分類詞有關，顯然並不切實際。</p><p>有了詞性標記以後的延伸應用：用任何程式語言支援的 regex 即可做進一步研究和應用，不需要 CQL (Corpus Query Language^ <strong>[註1]</strong> )。例如，我們可以設定一組 regex pattern 如下：</p><pre>pat = “<strong>&lt;ENTITY_classifier&gt;[^&lt;]+?頭&lt;/ENTITY_classifier&gt;&lt;ENTITY_(noun(y|Head)?|oov)&gt;[^&lt;]+?&lt;/ENTITY_(noun(y|Head)?|oov)&gt;</strong>”</pre><p>這段 regex pattern 的意思是 `任何以『頭』做為分類詞計算的名詞`，便能取得以下藍色部份的結果：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/714/1*QCD4UIPFn3oCK5eg6T53Tw.png" /></figure><p>如此一來，即能快速地建立起<strong>`以「頭」做為分類詞，可用以計算「羊、獅子、牛」</strong>`的結果做為知識圖譜的資料。</p><p>依此類推，甚至能快速地建立起「<strong>指定動詞，其後可接的名詞及其種類</strong>」或是「<strong>指定動詞，其後可使用的句型結構</strong>」…等等搜尋結果。和當前的電腦文件搜尋系統只能比對「字符詞彙」相比，有了詞性標記以後，更能從「句型」做為搜尋比對的切入角度。</p><p>在應用面上，不論是語言教學、句法研究、語意研究甚至是資訊領域的知識圖譜的自動建立，都能有快速立功的效果。此外，在實際業界的需求上，有了 POS 也能省下許多「人工分類標記」的人力成本。幫助廣告推播系統以及電子商務平台能更好地提供使用者搜尋互動的體驗。</p><p>以上說明透過 X-bar 結構建立一「正確、分類數量合理<strong>^ [註2] </strong>且易於操作的詞性標記」不僅在學術領域有所助益，對業界實際應用也有幫助。</p><pre><strong>[註1]</strong> 要用 CQL 即表示需要兩個預處理流程：</pre><pre>1. 語料是 Corpus 的方式儲存</pre><pre>2. 語料已經過人工標記</pre><pre>相對地，不使用 CQL，即表示可以略過兩個預處理流程，當下即能處理任何遇到的語料。</pre><pre><strong>[註2]</strong> CKIP 的詞性標記種類太多且太細。部份分類甚至融合了修辭需求和語意標註，不完全是句法層次的標記。做為學術研究用途時，故然能提供不同領域的學者都能使用的標記。但在實務使用上，卻因為過於繁雜而為業界工程師無法理解甚至掌握。</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=821e7991994d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[中文斷詞再想想]]></title>
            <link>https://medium.com/@peterwolf.wang/%E4%B8%AD%E6%96%87%E6%96%B7%E8%A9%9E%E5%86%8D%E6%83%B3%E6%83%B3-5aba206b27e3?source=rss-a4c68ded5ade------2</link>
            <guid isPermaLink="false">https://medium.com/p/5aba206b27e3</guid>
            <category><![CDATA[word-segmentation]]></category>
            <category><![CDATA[cw]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[PeterWolf]]></dc:creator>
            <pubDate>Thu, 18 Aug 2022 02:30:31 GMT</pubDate>
            <atom:updated>2022-08-18T02:30:31.388Z</atom:updated>
            <content:encoded><![CDATA[<p>今年的實習活動裡，我們第一次嚐試新增了筆試的項目。其中有一題是</p><blockquote>「<strong><em>請給些例子說明，「什麼是一個字 (word)」？「什麼是一個字符 (character)」？而「什麼是一個「詞 (phrase)」？在 Computer Science 的領域裡，有個專有名詞叫 “token”，依前述的定義，請說明 “token” 和 word, character, phrase 之間有什麼異同。</em></strong>」</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/377/1*xW3gn5mRwVvphWUoLp7z5w.jpeg" /><figcaption>What makes a word?</figcaption></figure><p>這個題目引起了實習生們許多討論，也能看到不同領域背景的學生是如何地「不曾」被指導過這個基礎的問題。</p><p>網路上能查到最大咖的定義來自中研院詞庫小組的：</p><blockquote><strong>詞彙是語言的最小的語義單位</strong></blockquote><p>然而，我們一直覺得這個定義是有問題的，因此，在卓騰語言科技裡，我們把詞彙定義成：</p><blockquote>詞彙是<strong>句法結構</strong>上的最小單位</blockquote><p>就是這個「語言」vs. 「句法結構上」的小小差異，讓我們在技術上取得突破，不需要大數據的語料就能做中文斷詞系統，而且還能同時完成斷詞 (WS)、詞性標記 (POS) 和命名實體辨識 (NER)。</p><p>我們曾在 <a href="https://blog.droidtown.co/post/632367512465588224/word">中文這個語言裡「字」的定義是什麼？</a> 的文章裡做過討論。這篇 blog 可以視為是上述這篇文章的續集。</p><p>既然說是「句法結構」，那麼我們就可以定義出「一個字 (word) 是句法節點上的最小單位。」</p><p>句法樹 (syntax tree) 是計算語意的基本框架。不符合句法的 [東西]，無法表達語意 (e.g., 「椅一子把我天坐看」)。 然而，因為「字」的定義涉及語意，而資訊領域對句法 (syntax) 又不太瞭解，因此資訊領域往往簡化定義為「字是表達語言含義的最小單位」。</p><p>較好的操作型定義，應該是如上所述， 透過「句法」加以規範，再計算其「語意」。能在這個句子裡表達語意的，才算是一個字。</p><p>舉例來說，「球場」如果依中研院的定義，而將之視為是兩個字，那麼一個沒有球的球場是不是就只能叫稱之為「場」？否則「球」的意義會跑進句子裡來。</p><p>依此推估，那麼第一場比賽開始以前，我們只能說「我們蓋了一座場」而不能說「我們蓋了一座球場」。 此外，如果「球場」是兩個字，那麼我們也無法解釋為什麼中文的量詞* 系統用在這裡時稱之為「一座球場」而不稱之為「一顆球場」(既然這裡也有「球」這個字嘛，既然 「字是表達語言含義的最小單位」 那表示「球」在這裡也有語意呀，那你為什麼要憑「場」來決定量詞要用「座」？)</p><p>相反地，如果我們從句法結構的角度來看「我們蓋了一座球場」，就能避免要解釋 「球」去哪裡？ 的問題，因為在句法的結構下，有意義的字指的是「球場」而不是「球」，也就是說「球場」在<strong><em>這個句子</em></strong>裡才是一個字，而不是「球」在這個句子裡是一個字。</p><p>我們要從「句子」的角度看，而不是從「語言」的角度來觀察。</p><p>因此，什麼是「一個字 (word)」，要從句子的角度切入，定義為「一個字 (word) 是句法節點上的最小單位。」而不能過度簡化地說「字是表達語言含義的最小單位」。</p><p>[註] 我在這裡先不區分「量詞」和「分類詞」。</p><p>中文的「字(word)」和「詞 (phrase)」都是句法節點上節點。差別只在「字」是最小節點，而「詞」是較高的節點。</p><p>一個「詞」通常是由「多個字」組成。 例如</p><blockquote>「很 (word)+ 迅速(word)」= 很迅速 (phrase)</blockquote><blockquote>「看(word) + 過 (word)」= 看過 (phrase)</blockquote><p>如果要比 word 更小的話，則脫離句法的層次，進入構詞的層詞 (morphology)。</p><p>在資訊系統上，一個 ASCII 或 Unicode 字碼表上編定的符號稱為一個字符。只是剛好，在 CJK (Chinese, Japanese, Korean) 區段裡，每個字符 (character) 在這些語言中的某些句子裡，也可以做為一個字 (或詞) 使用。因此中文母語者常常分不清楚「字、詞」有什麼不一樣。 簡單地說，正確的分類法是：</p><ul><li>phrase: 詞 (或稱「詞組」)</li><li>word: 字</li><li>character: 字符、字元</li></ul><p>這也是卓騰語言科技採用的分類法。相對地，許多民間 NLP 專家甚至是「非語言學研究」的學術單位採用的常見的困惑分類法是：</p><ul><li>phrase: 詞</li><li>word: 字、詞</li><li>character: 字、字符、字元</li></ul><p>從上面的常見分類可以看到「字」會讓人覺得困惑，是因為它佔了兩個分類項目 (換言之，那就是分不清楚的意思)，而「詞」也被放在兩個類別裡，再加上「字」和「詞」又不定義清楚。定義不明確，就難以做溝通，更別說要合作設計可以操作它的系統了。</p><p>token 的定義就簡單多了，它只是一個資訊系統用的詞彙。任何「從長字串裡取出的一部份」都叫 token。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5aba206b27e3" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[形式語言學和類神經網路的發展史、歧見與融合]]></title>
            <link>https://medium.com/@peterwolf.wang/%E5%BD%A2%E5%BC%8F%E8%AA%9E%E8%A8%80%E5%AD%B8%E5%92%8C%E9%A1%9E%E7%A5%9E%E7%B6%93%E7%B6%B2%E8%B7%AF%E7%9A%84%E7%99%BC%E5%B1%95%E5%8F%B2-%E6%AD%A7%E8%A6%8B%E8%88%87%E8%9E%8D%E5%90%88-c9a969daaaf1?source=rss-a4c68ded5ade------2</link>
            <guid isPermaLink="false">https://medium.com/p/c9a969daaaf1</guid>
            <category><![CDATA[formal-linguistics]]></category>
            <category><![CDATA[syntax]]></category>
            <category><![CDATA[hybrid]]></category>
            <category><![CDATA[neural-networks]]></category>
            <dc:creator><![CDATA[PeterWolf]]></dc:creator>
            <pubDate>Tue, 14 Jun 2022 13:51:42 GMT</pubDate>
            <atom:updated>2022-06-14T13:57:24.423Z</atom:updated>
            <content:encoded><![CDATA[<p>“Generative linguistics and neural networks at 60: Foundation, friction, and fusion”</p><p>哦…下午讀了<a href="https://www.linguisticsociety.org/sites/default/files/02e_95.1Pater_1.pdf">這篇論文</a>，我覺得心裡有很多意見。XD</p><p>像這種東西呀，ML/DL 專家大概都直接忽略。除非文章裡有提到哪裡可以免費下載資料集或是哪裡有更大的模型可以下載又或是某某科技巨獸又推出了新的 NN 模型要請大家來膜拜一下，才會有話題吧。</p><p>有些學者 (e.g., Dr. Tal Linzen) 說：</p><blockquote>1. ling. 可以提供 minimal pairs 來評估 neural models</blockquote><blockquote>2. neural models 可以用來比對人類幼兒語言習得資料和不同的類神經網路模型之間的異同 (按：想知道哪一層代表什麼)…</blockquote><p>我：</p><blockquote>1. <strong>不行</strong>。因為 neural models 不是結構性地學習。它可能學會了 swimming 要重覆 m 才能加 -ing ，但是沒學會 running 也是一樣的道理。所以即便 ling. 提供了任何 minimal pairs 來做評估，效果是不大的。要評估，就只能「全面評估」。但因為語言資料無邊無際，所以永遠做不到「全面評估」，只能做到「抽樣評估」，而這個樣本是愈大愈好。</blockquote><blockquote>然後，以成本考量，樣本愈大，標註正解的成本就愈高。這個錢花在雇人標註評估樣本上，還不如花在行銷廣告上，直接讓大家相信「我家的模型有知覺！」來得划算。</blockquote><blockquote>2. <strong>不行</strong>。因為 neural network 裡的每一層並不與人類的語言能力平行呼應。也就是說，你可能拿掉某幾層，會發現影響後某些詞彙的規則單複數變化，但是沒有影響另一些詞彙的規則單複數變化。那頂多只表示「這幾層好像和某些詞的單複數變化有關」而不表示「這幾層就是人類語言能力中對數與量的認知」。汽車引擎和飛機噴射引擎都叫引擎，作用的原理不一樣，你不能拿一個來比對另一個，然後企圖說明「學會汽車引擎，就能製造噴射引擎」。</blockquote><blockquote>再說，NN 直接假設「人類幼童的母語習得過程和成年後學習外語的過程一樣」，所以沒有區分「第一語言習得」和「第二語言學習」的差異。只要把資料給它餵下去就對了。在這個框架下，哪有什麼人類幼兒語言習得的議題？</blockquote><p>查了一下，發現原來 Pater 教授專長是音韻學和語言習得。</p><p>這樣就可以理解為什麼在文章裡會提出很多 OT 的東西了。</p><p>Pater 教授在文章裡提到許多 Formal Syntax (按：原文是用 “generative syntax” 這個詞彙，不過因為我在後面要和 Formal Semantics 接起來，所以這裡就先用 Formal Syntax 吧) 具有高低層級 (hierarchy) 的結構，而這個東西是各路 NN (neural network) 所沒有的。</p><p>但也不否認，在某些實驗裡，某些版本的 NN 好像真的學會了部份 “natural language syntax”。</p><p>我看到這裡，就已經覺得這個實驗 (不是 Pater 教授做的實驗，是文章中提到 Elman 1990, 1991) 發現的不是語言現象。因為語言習得的過程中，人類幼兒的行為是 “overgeneralization (過度泛化)”，比如說「把 go 的過去式說成 goed」，或是「把所有的男人都叫爸爸」。這個好處是只要接觸極少量的刺激，就能觸發一個完整的結構參數。</p><p>人類幼童在習得 (按：請注意我用的動詞是 acquire 的習得，而不是第二語言的學習 learn。只有不懂語言的 ML/DL NLP 專家才會把 learn 這種第二語言的動詞拿來當成取得第一語言的語言能力混用) 的過程中，不會發生 “undergeneralization (泛化不足)” 的問題。</p><p>因此，人類幼兒不會「學會了部份 natural language syntax」，這是一個全有或全無的過程，剩下不規則的特例則是靠接觸經驗補充。</p><p>使用過我們設計的 Loki NLU 語意計算系統的朋友，應該也能注意到我們系統具備的 “overgeneralization (過度泛化)” 的特色，然後再透過自訂的例外詞彙和程式邏輯來處理特例問題。這就是為什麼我們的 Loki 的全名是 “Linguistic Oriented Keyword Interface”。它的運作原理是和人類的幼童一樣的。</p><p>整篇看完以後，我覺得並沒有真的看到 Pater 教授提出可以做到 “fusion” 的地方。但這並不表示這兩種方法是沒辦法結合的！</p><p>正如前述的人類幼童語言習得的過程中，會透過經驗來補充特例。我們也用類似的過程來補捉語料庫中的「特例」，並且在過程裡加入 Formal Syntax-Semantics 的結構資訊，以便讓這個特例的學習 (learn) 更有效率。</p><p>假設我們想知道「賺取」這個動詞，有哪些同義或是近義詞彙。單純的 ML/DL 方法，會把所有的文本直接向量化，然後再取向量接近的詞彙，當做「相關」。但這只是「相關」，表示它們出現在類似的文本中而已，並沒有真的結構資訊在裡面。</p><p>我們的做法，則是先把所有的「類取」這個動詞會出現的句子都取出來，而我們不儲存「詞彙」，只取它的「結構」。例如：</p><ul><li>…[person] 賺取 [entity]…</li><li>…[modifier] 賺取 [modifier][entity]…</li><li>…[person] 賺取 [currency]…</li><li>…[entity][range] 賺取 [entity]…</li></ul><p>(按：前後的 … 表示依結構，取得最小有可能是一個 IP 的可能。這裡的 IP 不是智財權，而是 Formal Syntax 裡的 Inflection Phrase。為什麼取 IP？因為它是最短距離可能產生一個近似完整語句的節點。什麼是完整語句？呃…你去修個句法學一、二還有語言分析的課程好嗎？不然接下來要寫個兩三年…)</p><p>接著，就以這些結構做為容器，重新回到文本裡去找看看還有哪些詞彙可以和「賺取」有類似的結構。</p><ul><li>…[person] XYZ… [entity]…</li><li>…[modifier] XYZ… [modifier][entity]…</li><li>…[person] XYZ… [currency]…</li><li>…[entity][range] XYZ… [entity]…</li></ul><p>文本中可能會有 XYZ… 等詞都有類似的結構。那好，把 X 拿出來，再做一次；Y 拿出來，再做一次；Z 也如法泡製。如此下去，最後把這些結構都予以向量化處理。簡言之，我們不做 Word2Vec，我們做 Structure2Vec。</p><p>會取用這些 …[person] _______ [entity]… 的結構，是由於它們的 POS 已經是基於 Formal Syntax 的考量而設計 (按：換言之，CKIP 的那套 POS 標記做不到一樣的效果，不是一樣叫 POS 就有一樣的效果的。) 而我們取用文本的時候，也依 Formal Semantics 的 possible world 將文本分類，用 argument numbers 視情況填入 entity 的限制來提升找到的 XYZ… 等詞彙的正確率。</p><p>最後的結果，就如這則貼文的附圖一樣。我們可以抓到「賺取」的近義詞。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MohhrFGb0en1Vo14Ci944w.png" /></figure><p>所以，Formal linguistics 和 Neural network 能不能做結合呢？我的答案是可以。因為 Neural network 缺乏語言中的「結構資訊」，所以就透過 Formal linguistics 幫它補上結構資訊以後，就能讓它用極少的資料 (像人類一樣) 來學到一個新的事情。</p><p>但如果反過來問，Neural network 會不會想要結合語言學的結構資訊呢？我的答案是「不會想」。因為目前主流的 ML/DL 方向就是假設這個世界的秩序是無法以一階邏輯描述的，只能用分佈函式加以擬合。</p><p>這個假設在影像處理上沒什麼問題，畢竟色彩空間是連續的，一個相素 (pixel) 的旁邊也的確有著另一個相素。但語言不是這麼一回事，語言是稀疏的。直接把「已經喪失了語速、語氣、音調變化」而變得更稀疏的文字當成是「語言」，然後把它向量化，企圖把它視為是一個連續分佈的資料，這個假設本身就是極為失真的！</p><p>不處理失真，而只是拼命想要填入更多資料，稀疏的東西還是稀疏的。方法不對，不可能矇到正確的答案。</p><p>我們就是為了修正這個問題，從底層語言學知識打造了 Articut / Loki 這些系統。目的就是為了可以提供 Neural network 一個「像人類大腦一樣」的基礎。</p><p>不過…到目前為止，我們遇到絕大部份的 ML/DL 專家們還是抱持著「資料夠多，模型夠大，就會出現奇蹟」的心態在看待著 AI NLP。</p><p>有時候我都覺得我快沒有時間了…</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c9a969daaaf1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[覆 [標準重要嗎？] 一文]]></title>
            <link>https://medium.com/@peterwolf.wang/%E8%A6%86-%E6%A8%99%E6%BA%96%E9%87%8D%E8%A6%81%E5%97%8E-%E4%B8%80%E6%96%87-cff85cd23992?source=rss-a4c68ded5ade------2</link>
            <guid isPermaLink="false">https://medium.com/p/cff85cd23992</guid>
            <category><![CDATA[nlu]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[PeterWolf]]></dc:creator>
            <pubDate>Mon, 21 Mar 2022 00:00:00 GMT</pubDate>
            <atom:updated>2022-05-30T08:26:36.757Z</atom:updated>
            <content:encoded><![CDATA[<p>讀到一篇 [ <a href="https://href.li/?https://vocus.cc/article/6233f786fd8978000190d4fa">人工智慧與自然語言處理想要說什麼？標準重要嗎？</a>] 的 blog 文。文章中提出的議題，基本上沒有什麼大問題，的確有好幾個是重要的 NLP 課題。但是既然其中提到了「語言學」，那麼有些容易導致誤解的小細節就要拿出來說明釐清一下了。</p><p>對於現在的 NLP 應用工具，在評估「 <strong>有沒有用</strong> 」的時候，的確會有原作者提到的兩個問題：</p><blockquote><em>一是用來比對的句子本身就是錯的…</em></blockquote><blockquote><em>二是怎麼分才算對的問題…</em></blockquote><p>對於第一點，即便是目前大家最常用的 SIGHAN 2005 資料集的標準答案裡，也有這種 “<strong>/夜/比/之前/更深/更/靜/”</strong>的結果。這就是作者說的「比對的句子本身就是錯的。</p><p>這個句子哪裡有錯呢？它錯在把「<strong>更深</strong>」和「<strong>更/靜</strong>」標成了兩個不同的結果。前者是「單一詞彙 (<strong>更深</strong>) 」而後者則是「兩個詞彙 (<strong>更 + 靜</strong>)」。如果以這個做為標準答案，那麼就像是同一個題目，卻有兩個答案。我早上問你，你給我答案是「<strong> “更” 和後面的形容詞要合在一起成為一個詞彙</strong>」；而下午問你，你給我的答案是「 <strong>“更” 和後面的形容詞要分開成為兩個詞彙</strong> 」。</p><p>而我做為裁判官，卻要對你的兩個答案都評出「答對！給分！」的評判結果。如此一來，雖然這個模型可以拿到高分，但註定在面對應用落地問題的時候，無法派上用場。</p><p>在 SIGHAN 2005 標準答案集裡拿到高分的 CKIP 就有這個問題：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*kx9Zy8WeYqh3-a-9.png" /></figure><p>不可否認地，輸出「合在一起」的分數也拿到，「分開」的分數也拿到，就能得到超高的良率得分，但在實務上，這兩種結果會出現在同一個輸出結果裡，就表示它的輸出結果無法被預測。一個輸出結果無法被預測的模型，怎麼用呢？</p><p>這個問題，也連帶地會引出第二個問題「有的人覺得要合在一起，有的人覺得要分開」的時候，那麼…哪一個才是正確的結果？</p><h3>而這，就是語言學可以進來回答的問題了。</h3><p>在現代語言學的研究裡，語言不是「線性結構」的，而是「樹狀結構」的。在線性結構的眼裡，我們就只能看到「更-深-更-靜」這樣的關係，但從樹狀結構的角度，我們就能看到兩種結果：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/387/0*wuXh8KGfWDdWsufe.png" /></figure><p>一是從「詞 (word)」的角度來看，是一個「更」的程度指示詞 (Degree Specifier) 再加上一個修飾詞 (形容詞/副詞) 的「深」和「靜」。因此就能得到「更/深/更/靜」的輸出結果。</p><p>另一個是則是從「詞組 (phrase)」的角度來看，因為詞組不是看節點的下端，而是節點的上端，如此就能得到「更深/更靜」兩個詞組的輸出結果。</p><p>因此，有的人會覺得是「分開成兩個詞才對」，而有的人會覺得是「合在一起一個詞組」才對，這兩個語感都是存在的，而且現代語言學已有理論可以解釋這個現象。</p><p>兩個都是對的，但它不會同時輸出。你可以選擇「以詞彙」 做為輸出結果，或是「以詞組」做為輸出結果，但就是不該「同時輸出詞彙和詞組。因為它們不是同一個等級的東西。這麼一來會讓後續奠基於斷詞結果的 NLP 應用的良率開始瘋狂下跌。</p><p>問題是，當現代語言學已經可以解釋這個問題的時候，絕大多數的中文斷詞系統並沒有跟上。即便少數已經發現語言似乎有兩種內在模式的斷詞系統，仍然是以調整字符結合統計機率閾值來區分出「粗粒度」和「細粒度」，而無法完全符合現代語言學理論的發現。</p><p>目前世界上唯二採用現代語言學研發 NLP 工具的，只有 Bitext.com 和 <a href="https://href.li/?https://api.droidtown.co/">Droidtown.co</a> (卓騰語言科技)。</p><p>以下是卓騰語言科技的 Articut 中文 NLP 系統的分析結果：</p><p>詞的角度斷詞：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*B8B_kAy7TPCtMs-F.png" /></figure><p>詞組的角度斷詞：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*NI0O57-iLbA6GpRO.png" /></figure><p>由此，我們可以發現原文中所述的「<strong><em>…關於什麼是「詞」的標準至今無法得出一個大家都能遵循的標準！</em></strong>」一事，在現代語言學中已經有解了。</p><p>在這裡既然提到了「現代語言學」，那麼就不得不再針對這一段「<strong><em>…而事實上在語言學界，甚至有為了某些詞的詞性爭論不休的情況，一個詞應該是副詞、形容詞尚且無法認定，試問詞性標註的標準又何在？</em></strong>」加以回覆。</p><p>現代語言學不編字典。所以在現代語言學裡沒有「 X 這個詞應該是副詞或是形容詞」的問題。現代語言學的研究重點在於通用語法的句法樹結構。</p><p>通用語法 (Universal Grammar) 指的是「全人類共有的一套抽象語法的運作規則」。</p><p>在這個架構下，你把一個詞放在「名詞」的句法樹位置，它就是名詞；你把一個詞放在「形容詞」的句法樹位置，它就是形詞。</p><p>因此，「一部機車」指裡的「機車」是名詞。因為這個詞出現在名詞的位置；同理「他很機車」的「機車」是副詞，因為這個詞出現在形容詞的位置。至於「機車」這個字究竟應該編成什麼詞性，這不是現代語言學關心的問題，而是字典學家在乎的問題。</p><p>許多 NLP 工具仍然沒跟上現代語言學的研究成果，因此仍然用傳統語言學的「 <strong>編字典</strong>、 <strong>擴充資料庫</strong>、 <strong>用更多的語料</strong> 」的方向企圖解決 NLP 的應用需求問題。當解決不了的時候，這不是語言學的問題，而是基本的假設和認知就沒有跟上新的語言學理論發現而已。</p><p>我們並不會因為「反正你們都是看星星的」，然後就把星座預測的失準，擴大責怪所有觀測天文的天文物理學家都是錯的。自然不能因為「反正你們都是搞語言的」，然後就把依傳統語言學的做不出結果的 NLP 應用失敗，擴大理解成「現代語言學的研究也是錯的」。</p><p>最後，原 blog 文的結論似乎是兩個：</p><ol><li>BERT 沒有斷詞，所以 BERT 避開了中文斷詞系統不夠好造成的錯誤。</li><li>有些 NLP 任務仍然需要斷詞。</li></ol><p>這兩個乍看之下好像彼此矛盾的結論，其實也可以從語言學的角度繼續解釋。如果在某個粗略分類的任務情境下，BERT 就可以得到不錯的效果。就像你不需要精讀報紙財經股市版的每一句，只要瞄一眼每則新聞的標題，就知道大盤是漲是跌了。</p><p>這也是為什麼利用 BERT 做的自動回覆機，往往只能把 “Answering” 這個涉及語意理解和因果推論的問題，變成 “Alignment” 問題以後，忽略因果推論和邏輯語意，直接把「問題 &lt;=&gt; 原文」做了一個「對齊 (alignment) 」的操作以後，就讓人類使用者去評分「這個段落裡的資訊，是否有回答你的問題？」</p><p>而忽略了人類使用者回答「有」的時候，事實上在腦袋裡做了很多的因果推論和邏輯語意的理解。簡言之，藉由「偷換概念」的操作，BERT 巧妙地避開了 “Answering” 的基本需求，而改以 “Alignment” 代之。它得出來的高分，並不是完成了 “Answering” 的任務，而是因為 “Alignment” 得來的。</p><p>問題是，如果你要處理的是細膩的自然語言理解 (NLU) 或是因果推論呢？這類問題在產生 BERT 的語言模型的過程中，早就已經剝除了上下文的語意脈絡 (只留下來字符的前後出現脈絡)，那麼想從已剝除了語意的模型裡，再挖掘出語意、邏輯甚至是因果關係，就變成一種緣木求魚的操作了。</p><p>從這裡延伸下去，還可以討論許多 NLP 和語言學的問題，不過到這裡已經不深不淺地帶出兩個需要思考消化以後才能吸收的議題了。就先在這裡打住。</p><p>如果有機會的話，我們再聊聊 BERT 和語言學在中文裡可以如何結合來做 Hybrid AI；為什麼 Articut 的 F1-Score 不超過 95%，但在各種 NLP 落地應用的時候，效果都比其它號稱 97%、98% 的中文斷詞系統來得更好，且更靈活吧。</p><p><em>Originally published at </em><a href="https://essentialquest.tumblr.com/post/679315131680931840/re2standardmatters"><em>https://www.tumblr.com</em></a><em> on March 21, 2022.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=cff85cd23992" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>