<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Chiao-Wei Hsu (許喬為) on Medium]]></title>
        <description><![CDATA[Stories by Chiao-Wei Hsu (許喬為) on Medium]]></description>
        <link>https://medium.com/@chiaoweihsu?source=rss-29861e8d51e0------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*w43RevSqDIjxPRsU.</url>
            <title>Stories by Chiao-Wei Hsu (許喬為) on Medium</title>
            <link>https://medium.com/@chiaoweihsu?source=rss-29861e8d51e0------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Mon, 16 Nov 2026 08:11:31 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@chiaoweihsu/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[GPT4 / AI 已達到人類智慧？最近Nature 期刊觀點—新的Embodied圖靈測試]]></title>
            <link>https://medium.com/@chiaoweihsu/gpt4-ai-%E5%B7%B2%E9%81%94%E5%88%B0%E4%BA%BA%E9%A1%9E%E6%99%BA%E6%85%A7-%E6%9C%80%E8%BF%91nature-%E6%9C%9F%E5%88%8A%E8%A7%80%E9%BB%9E-%E6%96%B0%E7%9A%84embodied%E5%9C%96%E9%9D%88%E6%B8%AC%E8%A9%A6-866a5785821e?source=rss-29861e8d51e0------2</link>
            <guid isPermaLink="false">https://medium.com/p/866a5785821e</guid>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[gpt-4]]></category>
            <category><![CDATA[turing-test]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[chatgpt]]></category>
            <dc:creator><![CDATA[Chiao-Wei Hsu (許喬為)]]></dc:creator>
            <pubDate>Sun, 26 Mar 2023 09:25:22 GMT</pubDate>
            <atom:updated>2023-03-28T06:46:28.684Z</atom:updated>
            <content:encoded><![CDATA[<h3>GPT4 / AI 已達到人類智慧？最近Nature 期刊觀點—Embodied圖靈測試</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4bE2jVxE1_MBPW7pn0Vfvw.png" /></figure><p>(Spoiler Alert: Embodied Turing Test其實也不是新的概念，在好幾年前就有了)</p><p>最近OpenAI宣布要將提供Plugins功能讓第三方開發擴充功能</p><p>其中，ChatGPT與數學的應用更是被大家所讚賞</p><p>其實我在中研院的研究經歷中</p><p>最寶貴的除了自己更了解AI</p><p>也會看的院內其他強者做的研究</p><p>而數學(Math Word Problem; MWP)也是我實驗室同仁做了四年的主題</p><p>其實MWP也有分難度等級</p><p>前陣子的論文就有探討現在的GPT能做到多難的題目</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*f-SmIsCGkuWlIUo7" /><figcaption>Photo by <a href="https://unsplash.com/@craftedbygc?utm_source=medium&amp;utm_medium=referral">Unseen Studio</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><h3>目前GPT-4的解數學能力以及與Wolfram的結合</h3><ol><li>在GRE數學題上 「以前版本的」ChatGPT (GPT-3.5)相當差 <br>(GRE是美國研究生入學考試，其中有數學題也有語文題)</li><li>但加上「請逐步思考」這些關鍵字它就大幅提升了60–70%</li><li>當初GPT3.5也是幾週就更新了一次，後來的版本似乎已經「預設」或者「訓練」成「逐步思考」。這點在GPT4特別明顯，就如同我之前的GPT4介紹的貼文(忘記的可以到社團的「精選文章」中找），有提到他解數學能力大幅提升，目前對他而已，稱為難題的已經是微積分、幾何題，相較GRE那種大約都是高中題目。<br>(沒錯，美國研究生入學考試的數學題對於台灣生來說就像高中程度的數學，為何我知道？因為我也考過XD)。</li><li>加上Wolfram 這些擴充功能，確實是讓GPT多了更多手腳，除了強大的數學能力以外，其他擴充功能五花八門包括畫圖之類。</li></ol><p><strong>然而，這不是我們理想中的AI。</strong></p><p>這只是第一步讓他的「輸出」能夠進一步「串到」我們各種人類發明的以前的「工具」。</p><p>但本質上</p><blockquote>他並「不知道」最後這些工具產生的結果，也不知道他自己「能使用」這些工具，這個中間的聯結是仰賴OpenAI與第三方的「工人智慧」。</blockquote><h3>Embodied Turing Test 具體化圖靈測試</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*FN15EvR9n1NvXwIU" /><figcaption>Photo by <a href="https://unsplash.com/@maurosbicego?utm_source=medium&amp;utm_medium=referral">Mauro Sbicego</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>不知道大家是否聽過圖靈測試，意思就是如果一個機器的輸出、跟人的輸出，你分辨不出來誰是誰的，就可以稱作他通過了這個測試，也是代表機器已經夠智慧了！</p><p>而前幾天(03/22)有篇nature期刊的觀點文章就在說明，未來的方向就是把AI放入一個機器中，這個機器能與現實世界做各種互動，包括實體、虛擬的。而實體就是像機器人一樣，虛擬就類似軟體那樣。</p><p><a href="https://www.nature.com/articles/s41467-023-37180-x">Catalyzing next-generation Artificial Intelligence through NeuroAI | Nature Communications</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/685/0*ETfPsra1UxP2Zv6h.png" /><figcaption><strong>Turing tests: comparisons between the performance of AI systems and their living counterparts.</strong></figcaption></figure><p>而這個機器的能力就是由我們以往人類發明的各種工具，來決定機器的能力。由於這個機器內部又搭載AI，或是說我們將AI放入了這個機器，讓AI可以操控機器，我們稱呼這為”embody”具體化，而且這個英文字的原始意義也有種將AI放入(em-)一個身體(-body)的感覺，特別貼切。</p><p>而這還不是最後一步。大家都知道AI是「資料」訓練出來的。</p><blockquote>以往資料都是我們去搜集給他的。而未來，一旦我們可以embody一個AI，讓他自己操作並同時「蒐集資料」，而這些資料將會是實體世界各種的訊息。</blockquote><p>(蒐集到的資料如：數學工具Wolfram的最終解題結果或是畫圖結果，或者是電腦視覺看到馬路上有車禍事件等。)</p><p>而在蒐集完這些AI跟現實世界自己做互動後，收集到的各式各樣的資料，我們就能</p><blockquote>「再重新拿這些資料回去訓練」，如此不僅能仿照人類一樣使用各種工具，還能「真正」理解跟預測「使用這些工具的結果或後果」。</blockquote><p>進而通過一種圖靈測試</p><blockquote><strong>Embodied Turing test (</strong>具體化圖靈測試)</blockquote><p>其實這個也不是新概念了：這種圖靈測試不限於文字、圖片或任何單一模態的測試，而是更像人類存在於現實世界，與之互動。</p><p>若如此都還無法分辨出ＡＩ與人類，那到時才是真正的可以號稱ＡＩ真的達到人類的各種能力，就如同電影場景般的智慧機器人一樣。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*kMBLZ1S_IXGY-dGF" /><figcaption>Photo by <a href="https://unsplash.com/@possessedphotography?utm_source=medium&amp;utm_medium=referral">Possessed Photography</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><h3>那具體而言要怎麼做呢？「NeuroAI」</h3><p>其實文章中還提到，我們現在的ＡＩ的人工神經網路，都與真正動物或人的腦袋神經網路差很多。我們具有效率高、有彈性等優點，這些都是ＡＩ目前沒有的，因此未來的發展或許要結合神經科學、認知科學等，讓ＡＩ的架構像仿生學一樣，借鏡跨領域知識。這也是文中所倡導的</p><blockquote>NeuroAI</blockquote><h3>後話</h3><p>想像一下如果被嵌入的機器是一個機器人，或是一個機器狗、機器海豚、機器鳥等各式各樣的，他們不僅能達到人類的智慧，也能擁有超乎人類的肉體能力。</p><p>甚至由於他們收集的資料是在各種機器中，與世界交互作用中學到的，能在各種「身體」內訓練出最好的結果，從中得到的智慧，是人類無法體會經歷的，也是有可能會被AI超越的另一大原因。</p><p>最後請不吝給我一個👏👏👏給我鼓勵<br>或追蹤medium<br>我的<a href="https://facebook.com/chiao-wei-hsu">臉書</a><br>有興趣也可以加入<a href="https://www.facebook.com/groups/demoai/?ref=share_group_link">臉書社團</a>ㄧ起討論喔！</p><p><a href="https://www.facebook.com/groups/demoai/">https://www.facebook.com/groups/demoai/</a></p><p>想了解最近ＮＬＰ的大佬間可以點這邊喔～</p><p><a href="https://medium.com/@chiaoweihsu/%E6%9C%80%E8%BF%91%E8%AA%9E%E8%A8%80ai%E5%A4%A7%E7%A5%9E%E9%96%93%E7%9A%84%E7%B5%82%E5%B1%80%E4%B9%8B%E6%88%B0-ec03c58fbe30">最近語言AI大神間的終局之戰</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=866a5785821e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[能同時看圖片又看文字的AI人工智慧: GPT4(持續更新中)]]></title>
            <link>https://medium.com/@chiaoweihsu/%E8%83%BD%E5%90%8C%E6%99%82%E7%9C%8B%E5%9C%96%E7%89%87%E5%8F%88%E7%9C%8B%E6%96%87%E5%AD%97%E7%9A%84ai%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7-gpt4-%E6%8C%81%E7%BA%8C%E6%9B%B4%E6%96%B0%E4%B8%AD-b83a75c443e1?source=rss-29861e8d51e0------2</link>
            <guid isPermaLink="false">https://medium.com/p/b83a75c443e1</guid>
            <category><![CDATA[gpt-3]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[chatgpt]]></category>
            <category><![CDATA[openai]]></category>
            <category><![CDATA[gpt-4]]></category>
            <dc:creator><![CDATA[Chiao-Wei Hsu (許喬為)]]></dc:creator>
            <pubDate>Wed, 15 Mar 2023 15:40:04 GMT</pubDate>
            <atom:updated>2023-03-28T06:16:18.985Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*GeRErl39x_MhfhnO" /><figcaption>Photo by <a href="https://unsplash.com/ko/@jupp?utm_source=medium&amp;utm_medium=referral">Jonathan Kemper</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>GPT4釋出了！！！！</p><p>在開始前建議加入本社團(連結在最下方), 或是將貼文存起來，會將陸續發現更新在這篇貼文 GPT4出來了！ 幫大家稍微整理一下重點：（如果要看怎麼用請直接看第14點）</p><ol><li>誰釋出的：OpenAI (鋼鐵人Elon Musk跟其他人合夥創辦，微軟是最大股東目前股份有49%）</li></ol><p>2. 之前的版本: GPT3.5 (2022/11/30)</p><p>3. 可以在現有的ChatGPT網頁中用？ 可以，但有但書，請見下方。</p><p>4. GPT4釋出時間： 從3.5來歷經三個月，美國時間 2023/3/14</p><p>5. 開發時間？其實OpenAI有說他們早在半年前就訓練好GPT4，只是花了很多時間在確保文字輸出的安全性、正確性等等。</p><p>6. GPT全名？Generative Pretrained Transformer 生成式的一種超強人工神經網路”Transformer“(先預訓練好的)</p><p>7. ChatGPT vs GPT? GPT是一種「語言模型」，簡單來說就是在「文字接龍」，ChatGPT則是特別用GPT來調教成讓大家可以跟他多輪對話。 所以才可以不斷釋出新的ＧＰＴ模型替換掉ChatGPT中使用的語言模型就有新版的ChatGPT可用。 簡單來說，兩者很像，但不完全一樣。 例如後面說到的可以看圖＋文的AI，可能就不是用ChatGPT給大家用了，而是用「Be My Eyes」，裡面也掛載一個GPT4的模型，後面會說道。</p><p>8. GPT4有demo影片可看嗎？有興趣的可以看</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FoutcGtbnMuQ%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DoutcGtbnMuQ&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FoutcGtbnMuQ%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/8d76dfda0c2335d67d9105a5a0482408/href">https://medium.com/media/8d76dfda0c2335d67d9105a5a0482408/href</a></iframe><p>(全英文，可以開字幕翻譯功能觀看)</p><p>9. 有paper論文可以看嗎？ 有 <br><a href="https://cdn.openai.com/papers/gpt-4-system-card.pdf">論文</a>（嚴格說起來算技術報告而已）<br><a href="https://cdn.openai.com/papers/gpt-4-system-card.pdf">System Card</a>:</p><p>10. GPT4跟GPT3.5的差別？亮點？ <br><strong>對於冷門語言表現更好<br></strong>而且重點是 「<strong>多模態</strong>」！！！！！ <br>可以看得懂圖片了 (雖然還無法聽得懂聲音) <br>但是 <br>目前還「沒有」對大眾釋出可以輸入圖片的功能 <br>有興趣的可以看官方有稍微展示它能看圖片的能力</p><p>但重申！ <br>現在都「還沒」開放看圖的功能給大眾 <br>影片有說他們有跟Be My Eyes合作，最後應該會以這個釋出而不是ChatGPT <a href="https://openai.com/customer-stories/be-my-eyes">https://openai.com/customer-stories/be-my-eyes</a> <br>從上方影片看，感覺還會推出「手機App」，可以直接開啟你的鏡頭抓圖像，或是自己上傳圖片。</p><p>11. 所以能輸入圖片也能輸出圖片？ 只能輸入圖片 「不能」輸出圖片 也就是不能產圖，只會看得懂圖片而已</p><p>12. 怎麼訓練的？ 這次特別的地方在於有拿圖片＋文字一起訓練，例如說讓他嘗試說出圖片裡面有什麼？所以才能看得懂圖。(當然這是簡言之，很多細節要去看上方技術報告連結。)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/836/1*AnGhXV9RyPzhygRW71A7xQ.png" /></figure><p>12. 所以看圖的能力多強？ <br>從上面youtube連結看出可以給一張圖，請他說明圖片在說什麼？或是「手寫字」的一張圖，請他描述裡面的字。具體多厲害還要等Be My Eyes釋出後才知道。有興趣可以先去看他的技術報告有闡述。</p><p>13. 怎麼用？ <br><strong>[方法1] (付費)</strong> 就跟我們「以往在用ChatGPT一樣，選對模型(看圖)就可」 但前提是 只有「付費使用戶(Plus)」可以用 (一個月20美金、600多台幣） 或許之後免費用戶也可用 <br><strong>[方法2] (免費)</strong> 「使用New Bing」 (如果之前有排到就直接用，沒有的話就去排隊) 聽說微軟也立刻宣布說New Bing要搭載GPT4 畢竟微軟是OpenAI最大股東ＸＤ ref: <a href="https://blogs.bing.com/search/march_2023/Confirmed-the-new-Bing-runs-on-OpenAI%E2%80%99s-GPT-4">https://blogs.bing.com/search/march_2023/Confirmed-the-new-Bing-runs-on-OpenAI%E2%80%99s-GPT-4</a></p><p>14. 目前有使用上限？<br>有，如果用GPT4，使用上限是每4小時100個訊息，如果用GPT3.5則沒有。</p><p>15. 聽說GPT4一樣會像3.5不斷更新模型？<br>對，但不是大家所想的一樣無時無刻，其實他們有個釋出歷史可以看： <a href="https://help.openai.com/en/articles/6825453-chatgpt-release-notes">https://help.openai.com/en/articles/6825453-chatgpt-release-notes</a> 平均而言，是幾天～幾週都有可能，更新方式就是拿大家的使用資料再訓練。 也因此，他還不能「即時」的從經驗中學習。</p><p>16. GPT4 API呢？ <br>要排隊，https://openai.com/waitlist/gpt-4-api</p><p>17. API是可以幹嘛？ <br>API (Application Programming Interface)應用程式介面，如果你用一些額外工具如Line Bot、IOS捷徑 或是甚至「Siri + ChatGPT」直接跟他用講話的，就會需要。如果只是使用他的網頁則不需要。（有興趣我在跟大家分享更種好用的工具）</p><p>18. 更長的輸入長度？ <br>沒錯，3.5版只能有4096個tokens（約2000~3000字、四到五頁的書） 這次增加到32,768個tokens（約22,400個字、約30~40頁)！ 這邊的輸入長度會影響「記憶長度」，簡單來說，如果經過好幾輪對話後超過這個限制，他就會「忘記」最前面那些你說了什麼，類似「失憶」。 簡言之，就是類似「腦容量更多」。 （雖然我們研究者不會這樣形容，這是方便大家理解，這個那個”Transformer”的運作原理有關係，有興趣之後我在發文講解原理～ ）</p><p>19. 更長的輸入長度有什麼用嗎？ <br>除了如字面上的所說，其實既然可以吃這麼長了，理論上可以將使用者的個人資料、輸入歷史，或是各種使用情況等等先「預先輸入進去」，那就可以對於 某人在某時在某地在做某事的條件下 去做「更客製化地」輸出。 例如，可以針對你以前在其它視窗提問過的問題，先預設好你是什麼人對什麼有興趣而回答。 (雖然之前版本可以做到，但因為輸入長度限制只有等同於四五頁的書，一下子就超過就會發生上述的「失憶」。)</p><p>20. 跟其他方合作？ <br>對，他們已經在試圖將GPT跟除了剛說的Be My Eyes，還有Duolingo、Stripe、Morgan Stanley、Khan Academy以及冰島政府，一起融入應用。</p><p>21. 還有呢？<br>文字整體方面也更強！ 尤其是 「推理能力」 「創造力」 「數學計算能力」 「更簡潔、正確回答」 這方面他的論文跟部落格有釋出用它考各種考試</p><ul><li>LSAT美國法律考試</li><li>SAT美國大學入學測驗數學</li><li>SAT美國大學入學測驗語言</li><li>GRE美國研究生入學測驗數學(Quantitative)</li><li>GRE美國研究生入學測驗語言(Verbal)</li><li>AP美國高中生先修各種科目</li><li>生物奧</li></ul><p>最猛的是GRE語言考了169/170 將近PR99!!! (贏過99%美國人) (之前3.5考了154/170) <br>GRE數學 GPT3.5考了147/170 PR60，GPT4考了163/170 PR80!!! <br>GRE寫作則是4/6 (PR54，稍弱)<br>AP歷史跟LSAT法律考試都進步5~10 LSAT從149到163來到PR88 <br>連寫程式，Leetcode (資工程式刷題)方面 <br>easy — 12 =&gt; 31 (共41題） <br>medium — 8 =&gt; 21 (共80題） <br>hard — 0 =&gt; 3 (共45題） <br>從GPT3.5到4都進步很多 <br>而且OpenAI還說他們為求嚴謹只列出他們考多次來的最低分成績！</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0vGfyixD_B-hv9Ig2PpHdQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1014/1*yWlVO48p2psypACpwTbGMA.png" /></figure><p>[註] 之後會再發一篇GPT-4細節內容以及它發表的論文重點，我致力以「大眾的語言」跟大家解釋ＡＩ原理。</p><p>有興趣也可以追蹤我的Medium、<br>Facebook（有開創作者模式） <a href="https://www.facebook.com/chiaoweihsujoey/">https://www.facebook.com/chiaoweihsujoey/</a></p><p>或是加入以下社團</p><h4><a href="https://www.facebook.com/groups/demoai/">AI原來可以這樣用!? (各種AI、ChatGPT、Midjourney用法原理分享)</a></h4><p>最後請不吝給我一個👏👏👏給我鼓勵</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b83a75c443e1" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[最近語言AI大神間的終局之戰]]></title>
            <link>https://medium.com/@chiaoweihsu/%E6%9C%80%E8%BF%91%E8%AA%9E%E8%A8%80ai%E5%A4%A7%E7%A5%9E%E9%96%93%E7%9A%84%E7%B5%82%E5%B1%80%E4%B9%8B%E6%88%B0-ec03c58fbe30?source=rss-29861e8d51e0------2</link>
            <guid isPermaLink="false">https://medium.com/p/ec03c58fbe30</guid>
            <category><![CDATA[chatgpt]]></category>
            <category><![CDATA[gpt]]></category>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[nlp]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <dc:creator><![CDATA[Chiao-Wei Hsu (許喬為)]]></dc:creator>
            <pubDate>Tue, 14 Mar 2023 01:23:19 GMT</pubDate>
            <atom:updated>2023-03-28T06:17:15.486Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SrQbzQN4lYAozknvSHEKoQ@2x.jpeg" /><figcaption>Photo by Afif Ramdhasuma on Unsplash</figcaption></figure><p>好啦！其實身為一位AI研究者，不該用這麼聳動的標題，不過最近看到推特上，創建整個計算語言學，尤其是文法樹、正則表示的規則的藍方：Chomsky；</p><p>以及將DNN應用在整個文字AI代表紅方的大神，發明各種神經網路如TreeLSTM的史丹佛教授：Manning。</p><p>雖然不像標題所說的終局之戰這麼誇張，沒有什麼大戰，就是兩者持著不同意見，但還是蠻有趣，跟大家分享。</p><p>故事起因是最近Chomsky在紐約時報的”opinion” （專欄文章）。</p><p>（以下是那篇紐約時報的大綱）</p><p>https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html</p><p>ChatGPT的缺陷及AI的走向現在沒有也永遠不會(對，Chomsky這裡甚至聲稱「永遠不會」！用詞蠻激烈的)達到AGI ( Artificial General Intelligence)以及真正的「智慧」。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sZa3SgQs4RNcAEQB3zZ2yg@2x.jpeg" /><figcaption>Photo by Jonathan Kemper on Unsplash</figcaption></figure><p>Chomsky以小孩子學習語言舉例，他們只要少量的資料就可以自動、無意識間地學到文法，而人腦就可以利用這種少量的規則自己組合出無限可能。相比機器學習有效率多了。</p><p>這是目前AI本質上的缺陷，它只能做到預測及描述</p><blockquote><strong>what was / is / will be the case</strong></blockquote><p>但應該還要設法說出</p><blockquote><strong>what is not / could / could not be the case</strong></blockquote><p>後者才是真正智慧所在：不只是能「預測描述」，還要能「解釋」。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zU-D_ePtAo56MK5iIDX-eQ@2x.jpeg" /><figcaption>Photo by Ben White on Unsplash</figcaption></figure><p>而推特上，Christopher Manning 等人開始反駁Chomsky，很酸地說在推特上說「確實是一篇”opinion”，他在語言學上如此地位的人這樣的行動否定也遏止了目前AI及深度學習的發展。」</p><p>(https://twitter.com/chrmanning/status/1633873657939513345?s=46)</p><p>也有他的同仁貼出ChatGPT的例子，證明是有些能力可以做到「解釋」這件事情了。</p><p>另外Yoav Artzi (Cornell Tech教授，也是著名做IR論文BERTScroe的指導教授)，也說文章語氣寫得太篤定，不像「opinions」。</p><p>這邊我自己試下來其實只要請ChatGPT解釋，他確實可以說出來，雖然正確率有待提升，初步感覺50/50，但應該不到Chomsky所說的完全做不到解釋這件事。</p><p>不過確實效率這件事情，似乎也是深度學習相較人腦而言效率低太多，一直以來也有想克服Vonn Neumann 的電腦架構限制，以較靠近人腦架構的電腦晶片(Neuromorphic)的方式來克服低效率。</p><p>甚至光電領域中也有看到有人試著 Photonic Neuromorphic Network 或是 Photonic DNN，類似做光子或量子電腦那樣，用光路實現neural networks。</p><p>或許我們還沒達到AGI的那個程度，但有著這些大佬及各位在AI、醫學、光電、物理等各領域的大神們腦力碰撞，到時說不定真正能達成智慧的AI，不只是深度學習，而是各個領域的結合才能達成最後這一里程碑吧！</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*deKbsNREJ1gGg2dpY2rTiw@2x.jpeg" /><figcaption>Photo by Manuel on Unsplash</figcaption></figure><p>ref: Chomsky’s NYT opinion</p><ul><li>https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html</li><li><a href="https://twitter.com/chrmanning/status/1633873657939513345?s=46">https://twitter.com/chrmanning/status/1633873657939513345?s=46</a></li></ul><p>最後請不吝給我一個👏👏👏給我鼓勵<br>或追蹤medium<br>我的<a href="https://facebook.com/chiao-wei-hsu">臉書</a></p><p>或是加入以下社團ㄧ起討論喔！</p><h4><a href="https://www.facebook.com/groups/demoai/">AI原來可以這樣用!? (各種AI、ChatGPT、Midjourney用法原理分享)</a></h4><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ec03c58fbe30" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[ChatGPT已經超過人類？淺談AI的不足及未來發展 (2023/1)]]></title>
            <link>https://medium.com/@chiaoweihsu/chatgpt%E5%B7%B2%E7%B6%93%E8%B6%85%E9%81%8E%E4%BA%BA%E9%A1%9E-%E6%B7%BA%E8%AB%87ai%E7%9A%84%E4%B8%8D%E8%B6%B3%E5%8F%8A%E6%9C%AA%E4%BE%86%E7%99%BC%E5%B1%95-2023-1-c96766752466?source=rss-29861e8d51e0------2</link>
            <guid isPermaLink="false">https://medium.com/p/c96766752466</guid>
            <category><![CDATA[chatgpt]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[naturallanguageprocessing]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Chiao-Wei Hsu (許喬為)]]></dc:creator>
            <pubDate>Sat, 28 Jan 2023 03:10:51 GMT</pubDate>
            <atom:updated>2023-01-28T09:17:29.051Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RCZ_8SxsFVlL2Oq0pp9H0w.png" /></figure><p>隨著ChatGPT (Transformer)、DALL-E (stable diffusion model) AI應用出現，正式進入AI的大時代。</p><p>在NLP領域四年裡，剛好見證了這些超強模型的誕生。</p><p>現在的AI就如同超厲害記憶力超好的背誦家</p><blockquote><strong>只要看過類似的東西，他幾乎都能答對</strong></blockquote><p>外界的人或許會以為ChatGPT是用了什麼高深的架構，其實以目前ChatGPT所使用的Transformer而言，比起我們研究所新設計的架構，是個相對單純的Transformer，他主要靠的還是龐大的資料，配合受惠於半導體業發展而越趨便宜的運算資源，訓練出能夠答對看過的題目。</p><p>因此，目前各種坊間ChatGPT的應用方法以及宣揚他的神蹟，包含需要邏輯來解的數學題目、寫程式碼這種看似超乎一般人類的能力，其實都是因為我們在訓練資料裡都囊括進去了。而只要輸入沒有差訓練資料太多，模型都能回答個八九不離十。</p><p>因此我們講求大數據的量，期望將所有世界的知識、文本納入訓練資料。</p><p>(例如訓練資料裡就有從整個網路dump下來的數兆文本，各種大家想不到的任務，包含之前縮的解數學題目、程式碼撰寫，其實都有這些任務的人類甚至是另一個AI標記好的訓練資料。)</p><p>當然這樣的問題也是顯然易見</p><blockquote>對於他沒看過的輸入，他卻很難答對。甚至有時會出現離譜的輸出。</blockquote><p>例如：</p><p>他可能會答對 1+1=2</p><p>但卻無法答對 1111…. + 1111…. = 2222…</p><p>我們俗稱「generalization的能力：推論、擴展的能力」</p><p>當然這個領域一直以來都有在試圖解決這個問題，甚至已經有幾十年歷史，但因為大量運算資源跟大量資料及深度學習的出現，讓目前這個問題較不明顯，等同於暴力法將盡量所有可能性都放入資料裡。</p><p>而這是目前所有AI的瓶頸，短期內還看不到解法，而且我也認為，只有在能解決這個問題的時候，AI才能聲稱通過圖靈測試，達到人類水準。(目前很多人說已經通過測試的，我只當他們測試的資料太少，永遠只取到訓練資料的subset，舉凡上述的例子，大家去玩玩ChatGPT就知道其缺陷。)</p><p>那要如何解決這個問題呢？</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/259/1*r6C6EmbAdYF4Mx-FcFKRrA.jpeg" /></figure><p>這邊我私自預測，等醫學、認知科學(Cognitive Science)更有突破性發展後，對於人腦的研究更透徹，即可</p><blockquote>讓現有的AI更趨近於人腦架構</blockquote><p>就如同我們人類一直參照大自然一般的仿生學。</p><p>其實既有的一些架構CNN、Transformer就很像心理學中的「注意力理論」(例如Transformer的Attention機制)，但要說是AI科學家有意為之，也不然，比較像是領域發展到後來，發現比較好的架構湊巧就是像心理學中的注意力理論。</p><p>但隨著人類越來越對人腦了解透徹，我們將可</p><blockquote>讓「人工神經網路」與「人腦神經網路」更相似</blockquote><p>目前這也是非常夯的領域，這也是讀醫學系、心理系等來做AI的某個優勢，也很多大學也希望能招到這樣的背景，有興趣的人也可往這方面發展。</p><p>雖然說了那麼多的困難，但還是要肯定目前AI的發展，就算他現在只是個優秀的記憶機器，目前通過盡量窮舉輸入的各種可能性，已經能達到目前很多應用，包含法律醫事心理諮詢、講稿撰寫、編故事、聊天對話、當成Google使用、翻譯、文法改正、或是把他當男女朋友打嘴砲flirt，基本上一般應用都尚可應付了。</p><p>我也預期接下來的AI會朝著「通用AI」的方向發展，如同電腦發展的歷史重演般，從「特用電腦」到「通用電腦」，從行業間到大眾間使用，從B2B到B2C/C2C，之後的AI會講求吃任何形式資料都可的方向前進，包含文字、音訊、圖片、影片、有/無結構式的資料的等等，所謂「多模態」的AI也是蓬勃發展中。</p><p>這樣的「通用AI」也是我個人career path，期望有一天能見證它的誕生。</p><p>總體而言，雖然還是對於AI持有保守態度，但學界還是對於目前進展感到十分驚艷，並持續看多的。</p><p>就算是現有的科技寒冬及泡沫化，個人覺得那個黑鍋比較是之前Metaverse、VR、AR所造成，AI的發展還是更快更穩一些。</p><p>最後寫下接下來AI幾千個領域中的未來主要發展</p><p>1. 提升推論能力 (generalization ability)</p><p>2. 多模態 (multi-modality)</p><p>(以上也是我認為最重要的)</p><p>3. 模型架構自動搜尋建立 (Model Architecture Search)</p><p>目前都是我們ＡＩ科學家先建立好既有架構如CNN、Transformer，固定架構下的參數最佳化而已。而這個領域是給ＡＩ多一個自由度，讓AI自己去建立自己的大腦架構的感覺，最後他可能發現</p><p>0.5 x CNN + 1 x RNN + 2 x Transformer + a x 新神經網路</p><p>是最好的架構。</p><p>3. 終生學習 (Lifelong Learning)</p><p>現在有些模型也開始著重能夠像人類一樣，不間斷地終身學習，相對於單純訓練幾次就不再訓練學習，可以不斷囊括新知識。</p><p>4. 模型壓縮 (Model Compression)</p><p>AI現在動輒幾G甚至幾T的龐大的模型(GPT3.5)，甚至將出來的GPT4，佔據的GPU記憶體是超乎想像，要能夠應用到生活中，勢必要有更小的模型，來達成類似的效果。</p><p>5. 增強式學習 (Reinforcement Learning, RL) 、GAN、Knowledge Distillation及其它的訓練架構、技術 for NLP</p><p>經典例子就是現在的ChatGPT (based on InstructGPT)。RL這個技術就是幾年前AlphaGO的核心技術之一。或是GAN這種對抗生成式的多個模型架構。</p><p>6. 參數優化</p><p>新的優化程式找到更好的模型參數(例如：比Adam更好的方法)</p><p>7. 更暴力的Scale Up ：資料更多、運算資源更便宜、訓練時間更長、架構參數更大</p><p>如要新出來的GPT-4</p><p>8. 心理學、醫學、認知科學以及AI的互相回饋</p><p>例如「AI的意識」</p><p>雖然大部分學界跟真正在做AI的都會說「不可能」</p><p>不過我們因為對於「意識」的定義也十分模糊，甚至到底存不存在意識都不清楚，且也難以研究。</p><p>其根本原因在於：科學本來就要講求可重現、固定變數。</p><p>但或許隨著AI發展，我們可轉而將心理、社會學等研究領域跟方法拿來研究AI或多個AI形成的社會，畢竟一切在我們的掌控中，要固定什麼變數均可。</p><p>例如說，有朝一日能提供心理學裡的</p><p>佛洛依德因果論 (過去事件) vs阿德勒目的論 (目的、自我意識)</p><p>的長久之爭一個解答</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c96766752466" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>