<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Edward Kuo on Medium]]></title>
        <description><![CDATA[Stories by Edward Kuo on Medium]]></description>
        <link>https://medium.com/@kuoedward?source=rss-a35ec9f109f7------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*tavK_GoOA4txYR8VL4VWHw.jpeg</url>
            <title>Stories by Edward Kuo on Medium</title>
            <link>https://medium.com/@kuoedward?source=rss-a35ec9f109f7------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 18:04:12 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@kuoedward/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Multi-Agent 多代理協作各種類型的架構]]></title>
            <link>https://blog.edwardkuo.dev/multi-agent-%E5%A4%9A%E4%BB%A3%E7%90%86%E5%8D%94%E4%BD%9C%E5%90%84%E7%A8%AE%E9%A1%9E%E5%9E%8B%E7%9A%84%E6%9E%B6%E6%A7%8B-ec10316b1348?source=rss-a35ec9f109f7------2</link>
            <guid isPermaLink="false">https://medium.com/p/ec10316b1348</guid>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Edward Kuo]]></dc:creator>
            <pubDate>Fri, 09 Oct 2026 12:07:48 GMT</pubDate>
            <atom:updated>2026-10-09T12:07:48.515Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/738/0*Pwr1i8x0C-YcI1aE" /></figure><p>在之前的演講中，我特別整理了 <strong>Multi-Agent 的設計架構與運作流程</strong>，包含整體架構的規劃，以及 Agent 與 Agent 之間如何進行任務分派與協作。</p><p>這次也將相關內容整理成一份資料，分享給大家參考，希望能幫助大家在設計 Multi-Agent 架構時，有更清楚的思考方向。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hNAKPY6JHNjBGRuZvj9EuA.png" /></figure><h3><strong>Sequential </strong>讓多個 Agent 接力完成任務</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*d1pktmcmWH4ktE6JYk9EFg.png" /></figure><p>Sequential模式是一種以固定流程串接多個 Agent 的協作架構。任務從使用者輸入開始，依序交由資料蒐集、內容分析、草稿撰寫與校稿審核等不同 Agent 處理。前一個 Agent 的輸出會成為下一個 Agent 的輸入，最終形成完整結果。例如，Agent A 負責蒐集與整理資料，Agent B 從中分析重點與趨勢，Agent C 將分析結果轉化為結構化草稿，最後由 Agent D 進行內容校對與品質優化。這種模式適合文件審核、財務或法務分析，以及「文章撰寫、摘要、翻譯、校對」等步驟明確的流程作業。</p><p>此模式要能真正提升品質，前提是每個 Agent 都有明確的輸入、輸出與驗收條件，並且在審核階段發現問題時，能將任務退回資料蒐集、分析或撰寫階段重新處理。若任務單純或對正確性要求不高，使用過多 Agent 反而可能增加成本與延遲；但對於需要可追溯、可審核且流程高度標準化的工作，Sequential 模式仍是實用且容易落地的 Multi-Agent 設計。</p><h3>Parallel 同步分工，加速任務處理</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5o80M_7Qob8IGGmXMbzpqA.png" /></figure><p>Parallel式是由 Coordinator 協調者將任務拆分後，同時分派給多個 Agent 執行，再由 Aggregator 結果整合者彙整各項輸出。例如，同一份內容可同步交由英文、日文與韓文翻譯 Agent 處理，完成後再集中輸出多語版本；也可讓多個 Agent 針對同一問題採取不同觀點或方法分析，再比較結果以選出較佳答案。相較於依序交接的流程，並行模式特別適合多語翻譯、競品比較、跨領域意見蒐集，以及需要縮短處理時間的任務。</p><p>此模式適合建立在子任務彼此獨立、需要多元結果或有明確加速需求的前提下；若任務存在強烈的前後依賴關係，或整合結果需要高度專業判斷，單純平行處理反而可能造成資訊不一致。建議在各 Agent 輸出中保留依據、信心程度與待確認事項，並在結果衝突或品質不足時設計人工覆核或重新分派機制。</p><h3>Hierarchical 由 Manager Agent 統籌複雜任務</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NPesVzymlewJEK-WvQX1Og.png" /></figure><p>Hierarchical模式以 Manager Agent 作為中央管理角色，負責任務規劃、工作分派、執行監控與成果收斂，並將不同類型的工作交由專責 Agent 處理。例如，WebSurfer 負責網路搜尋與資訊蒐集，Coder 處理程式開發、除錯與重構，FileSurfer 執行檔案讀取、整理與格式轉換，Terminal 則負責指令執行、系統操作與日誌監控；同時，Task Ledger 可用於記錄任務計畫、執行進度與重新規劃狀態。這種架構適合處理需要跨工具協作、步驟較多且執行時間較長的任務，例如專題研究、自動化工作流程或需要持續追蹤進度的專案。</p><p>此模式適用的前提是任務確實需要多種專業能力、工具操作與動態調度，而非只是單純將工作切分。設計時應明確定義 Manager Agent 的決策權限、各專業 Agent 可執行的操作範圍、Task Ledger 的狀態欄位，以及任務失敗時的重試、改派與人工介入條件；若任務規模小、處理路徑固定，採用較簡單的順序或並行模式通常會更有效率。</p><h3>Handoff 依意圖將對話交給專責 Agent</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*swyEa2qJgBJ4THz6Mj7kwA.png" /></figure><p>Handoff模式會先由 Triage Agent 辨識使用者意圖，再依條件將對話與任務責任轉交給最適合的專責 Agent。例如，當系統判定 intent = refund 時，會將對話交由退款 Agent 處理退款或換貨，若判定為 intent = technical ，則轉交技術 Agent 協助解決技術問題，若屬於 intent = complaint ，則由投訴 Agent 接手處理客訴升級。與單純將訊息導向不同流程的路由機制相比，Handoff 的核心在於專責 Agent 接手後會持續與使用者互動、取得必要資訊並完成任務，而非僅回傳一個局部處理結果。</p><p>採用此模式的前提是不同問題類型具有明確的專業邊界，且各 Specialist Agent 具備完成該類任務所需的知識、工具與權限。系統應保留「意圖不明」、「多重意圖」、「轉交失敗」及「人工客服介入」等例外路徑，並允許接手 Agent 在發現任務不屬於自身範圍時，將對話轉交回 Triage Agent 或移交至其他專責 Agent。</p><h3>Group Chat在共享脈絡中整合多元觀點</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hd48guchgDrlrafb8aCjdw.png" /></figure><p>Group Chat 群組協作模式讓多個具備不同專業視角的 Agent 在共享對話脈絡中共同討論同一項任務，例如由 Technical Agent 提供技術觀點、Business Agent 評估商業價值、Risk Agent 分析風險，最後再由 Moderator 統整各方意見、處理歧見並做出決策。此模式適合設計評審、政策討論、方案比較與其他需要多角度交叉檢視的複雜議題。不同於 Handoff 模式將對話責任依條件轉交給單一專責 Agent，群組協作模式的重點在於多個 Agent 可持續參與討論，並依共享的上下文補充、質疑或修正彼此觀點。</p><p>此模式成立的前提是議題確實需要技術、商業與風險等多種專業觀點共同判斷；若任務的處理責任明確且只需單一領域專家完成，使用群組協作反而可能增加成本與延遲。實作時應定義 Moderator 的決策權限、各 Agent 的輸出格式、衝突處理規則，以及何時產出結論或升級至人工決策。</p><h3><strong>Reflection </strong>透過回饋持續優化產出</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Z4k8FxFcrs4FezxM88l9EA.png" /></figure><p>Reflection 生成與批判迭代模式將任務分為「產生」與「審查」兩個角色：Generator Agent 先依需求產出草稿或多個候選版本，Critic Agent 再針對內容的正確性、邏輯性、完整性、可讀性與需求符合度提出批判和改善建議，最後由 Generator 根據回饋修正並重新生成，持續循環直到達到既定品質標準。此模式適合程式碼 Review、寫作潤稿、設計提案優化，以及其他需要反覆檢查與修正的品質敏感型任務。常見概念包括 Self-Refine、Reflection 與程式碼審查流程。</p><p>此模式成立的前提是任務具有可明確評估的品質標準，例如程式是否可執行、內容是否符合格式規範、論點是否具備證據支持，或設計是否滿足需求。若任務高度主觀、需要即時回應，或修改成本高於品質收益，反覆迭代可能增加延遲與成本。實作時應定義 Critic 的審查維度、回饋格式、最大迭代次數與停止條件，並在涉及高風險事實、法規或專業判斷時，加入外部驗證或人工覆核機制，而非只依賴 Agent 之間的自我批判。</p><p>以上是目前常見的Multi-Agent類型，至於哪一種好，要完全取決於你要應用的情境選擇不同協作模式</p><p>最常見的誤解是認為 Agent 越多、架構越複雜，系統就會越聰明或結果越可靠。實際上，Multi-Agent 的價值不在於增加角色數量，而在於是否能建立清楚的任務邊界、上下文交接、責任歸屬、品質檢查與例外處理機制。若任務本身簡單、處理路徑固定，過度拆分 Agent 可能只會增加延遲、成本與資訊遺失風險。反之，當任務確實需要多種能力、平行處理、多方審查或動態調度時，合適的協作模式才能帶來效率與品質上的提升。</p><p>在設計 Multi-Agent 系統前，應先回答四個問題：任務是否可拆分、子任務之間是否存在依賴、誰擁有最終決策權，以及錯誤發生後要如何回溯與修正。若能先依這些條件選擇適當模式，再定義每個 Agent 的輸入輸出格式、權限範圍、交接規則與人工介入條件，Multi-Agent 才能從「多個 AI 同時工作」進一步成為可治理、可擴展且可被信任的協作系統。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ec10316b1348" width="1" height="1" alt=""><hr><p><a href="https://blog.edwardkuo.dev/multi-agent-%E5%A4%9A%E4%BB%A3%E7%90%86%E5%8D%94%E4%BD%9C%E5%90%84%E7%A8%AE%E9%A1%9E%E5%9E%8B%E7%9A%84%E6%9E%B6%E6%A7%8B-ec10316b1348">Multi-Agent 多代理協作各種類型的架構</a> was originally published in <a href="https://blog.edwardkuo.dev/">EK.Technology Learn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[透過Microsoft Foundry的AI Gateway管理LLM模型耗用(下)，搭配JWT]]></title>
            <link>https://blog.edwardkuo.dev/%E9%80%8F%E9%81%8Emicrosoft-foundry%E7%9A%84ai-gateway%E7%AE%A1%E7%90%86llm%E6%A8%A1%E5%9E%8B%E8%80%97%E7%94%A8-%E4%B8%8B-%E6%90%AD%E9%85%8Djwt-d15a62acf0dd?source=rss-a35ec9f109f7------2</link>
            <guid isPermaLink="false">https://medium.com/p/d15a62acf0dd</guid>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Edward Kuo]]></dc:creator>
            <pubDate>Mon, 28 Sep 2026 06:48:39 GMT</pubDate>
            <atom:updated>2026-10-10T15:34:05.956Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*bsSBN-_J8V9q7zyp.png" /></figure><p>在上一篇文章中，我們介紹了如何透過 AI Gateway 集中管理 LLM 的存取<strong>[</strong><a href="https://blog.edwardkuo.dev/%E9%80%8F%E9%81%8Emicrosoft-foundry%E7%9A%84ai-gateway%E7%AE%A1%E7%90%86llm%E6%A8%A1%E5%9E%8B%E8%80%97%E7%94%A8-%E4%B8%8A-eb98372e42f5"><strong>透過Microsoft Foundry的AI Gateway管理LLM模型耗用(上)</strong></a><strong>]</strong>與使用方式。為了進一步提升模型呼叫的安全性，可以在請求流程中加入 JWT驗證機制，為 LLM 服務建立額外的身分驗證與授權保護層。</p><p>不過，導入 JWT 也帶來一項明顯的限制，部份IDE 或相關開發工具若需要透過 AI Gateway 呼叫 LLM，可能會面臨相容性問題。原因在於，多數 IDE 或第三方工具未必支援在連線或 API 請求中附帶 JWT，因此可能無法直接使用受 JWT 保護的 AI Gateway 服務。這邊說的AI Gateway其實就是APIM資源，後續都用APIM作為稱呼</p><p>本篇說明如何僅透過APIM的設定，在無須開發或部署任何應用程式的情況下，為APIM 建立 JWT 驗證與授權機制。整體流程如下：</p><ul><li>建立一組 Token API，透過 APIM Policy 直接簽發採用 HS256 演算法的 JWT，Token 有效期間設定為 2 小時。</li><li>呼叫端應用程式首先呼叫 Token API，以取得 JWT。</li><li>取得 JWT 後，呼叫端在呼叫 LLM API 服務。</li><li>LLM API使用 validate-jwt Policy 驗證 JWT 的簽章、有效期限及 Claims，驗證通過後，才會將請求轉送至 AI Foundry。</li></ul><p>呼叫 LLM API 時，呼叫端必須同時提供以下兩項資訊：</p><pre>Authorization: Bearer &lt;JWT&gt;<br>api-key: &lt;Subscription Key&gt;</pre><p>其中：</p><p>• Authorization Header 中的 JWT 由 Token API 簽發。</p><p>• api-key 保留原有的 Subscription Key 驗證機制。</p><p>為了強化不同應用程式之間的存取隔離，每個呼叫端 Application 都應配置一組獨立的 APIM Subscription Key。Token API 在簽發 JWT 時，會將該 Token API與配置一組獨立的 Subscription Key搭配起來，當呼叫端存取 LLM時，系統會進一步比對 JWT 和 Subscription Key，判斷請求中提供的 Subscription Key 是否與呼叫Token API是屬於同一組 Subscription。</p><p>若兩者不一致，將直接回傳 HTTP 403 Forbidden。因此，即使 Application B 取得了 Application A 的 JWT，只要搭配自身的 Subscription Key，也無法成功呼叫 LLM API。</p><p>整體流程如下</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-xSOh0_Lap9LZDr66V4V5w.png" /></figure><p>在開始設定前，請先定義以下參數。後續設定步驟都會使用這些值，可以依實際需求自行命名與調整，且不需要仰賴任何外部服務。</p><ul><li>jwt-signing-key : HS256 對稱密鑰，TokenAPI 簽發與 LLM API 驗證共用同一把，用下面指令產生 32 bytes（256 bits）隨機密鑰並輸出 Base64，並存入 Named Values</li></ul><pre>$bytes = [byte[]]::new(32)<br>$rng = [System.Security.Cryptography.RandomNumberGenerator]::Create()<br>$rng.GetBytes($bytes)<br>$rng.Dispose()<br>[Convert]::ToBase64String($bytes)</pre><ul><li>jwt-issuer : JWT iss claim，任意字串</li><li>jwt-audience : JWT aud claim，任意字串</li><li>jwt-required-role : Foundry.Invoke</li><li>jwt-lifetime-seconds : 7200 sec</li></ul><p>把上面的資訊，在APIM中的具名值加入上面資訊即可</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sBbwS46R6hNOJ9luV4ipPQ.png" /></figure><p>設定填好後，就可以開始建立Token API</p><h3><strong>建立Token API</strong></h3><p>Token API 不需要設定後端服務，JWT 的簽發與回應皆由 APIM Policy 直接處理。</p><p>Token API使用與LLM API相同的具名值，包括jwt-signing-key、jwt-issuer、jwt-audience、jwt-required-role及 Token 的jwt-lifetime-seconds等設定。如此一來，Token API 所簽發的 JWT，便能通過 LLM API 的簽章、時效與 Claims 驗證。</p><p>其中，Subscription 是透過 APIM 的 Product 機制進行管理，用來區分不同的呼叫端 Application。</p><p>每個 Application 應建立並使用專屬的 Subscription。為了確保 JWT 與 Subscription Key 能夠正確比對，Token API 與 LLM API必須同時加入相同的 APIM Product。換言之，某個 Subscription 若可用於呼叫 Token API，也必須同時具備呼叫APIM 的權限。</p><p>如此一來，Token API 在簽發 JWT 時，便可將 Token 與該 Subscription 建立關聯。後續呼叫 LLM API 時，系統可將 JWT 中記錄的 Subscription 資訊，與請求中提供的 Subscription Key 進行比對。只有當兩者屬於同一個 Subscription 時，請求才會被允許繼續執行。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YX3ZkOjM9i7ycY937JngRQ.png" /></figure><p>在 Token API → Settings 中，請保持勾選 Subscription required。<br>Subscription Key 是 Token API 唯一的存取保護機制。若取消此設定，任何人都可能直接呼叫 Token API 並取得 JWT，將大幅降低整體機制的安全性。同時，也無法做到Token跟Subscription Key綁定功效</p><p>完成上述設定後，請前往 Inbound processing 區段，貼上以下完整的 Policy。此 Policy 會負責產生 JWT，並直接將 Token 回傳給呼叫端。</p><pre>&lt;policies&gt;<br>    &lt;inbound&gt;<br>        &lt;base /&gt;<br>        &lt;!-- 以 Named Values 簽發 HS256 JWT；sub = 呼叫端的 Subscription Id，讓 token 綁定該 Application --&gt;<br>        &lt;set-variable name=&quot;jwt&quot; value=&quot;@{<br>            var now = DateTimeOffset.UtcNow.ToUnixTimeSeconds();<br>            var lifetime = long.Parse(&quot;{{jwt-lifetime-seconds}}&quot;);<br>            var subject = context.Subscription != null ? context.Subscription.Id : &quot;anonymous&quot;;<br>            var appName = context.Subscription != null ? context.Subscription.Name : &quot;anonymous&quot;;<br><br>            var header = new JObject(<br>                new JProperty(&quot;alg&quot;, &quot;HS256&quot;),<br>                new JProperty(&quot;typ&quot;, &quot;JWT&quot;));<br>            var payload = new JObject(<br>                new JProperty(&quot;iss&quot;, &quot;{{jwt-issuer}}&quot;),<br>                new JProperty(&quot;aud&quot;, &quot;{{jwt-audience}}&quot;),<br>                new JProperty(&quot;sub&quot;, subject),<br>                new JProperty(&quot;app_name&quot;, appName),<br>                new JProperty(&quot;iat&quot;, now),<br>                new JProperty(&quot;exp&quot;, now + lifetime),<br>                new JProperty(&quot;roles&quot;, new JArray(&quot;{{jwt-required-role}}&quot;)));<br><br>            var h = Convert.ToBase64String(System.Text.Encoding.UTF8.GetBytes(header.ToString(Newtonsoft.Json.Formatting.None)))<br>                .TrimEnd(&#39;=&#39;).Replace(&#39;+&#39;, &#39;-&#39;).Replace(&#39;/&#39;, &#39;_&#39;);<br>            var p = Convert.ToBase64String(System.Text.Encoding.UTF8.GetBytes(payload.ToString(Newtonsoft.Json.Formatting.None)))<br>                .TrimEnd(&#39;=&#39;).Replace(&#39;+&#39;, &#39;-&#39;).Replace(&#39;/&#39;, &#39;_&#39;);<br><br>            var key = Convert.FromBase64String(&quot;{{jwt-signing-key}}&quot;);<br>            var hmac = new System.Security.Cryptography.HMACSHA256(key);<br>            var sig = hmac.ComputeHash(System.Text.Encoding.UTF8.GetBytes(h + &quot;.&quot; + p));<br>            var s = Convert.ToBase64String(sig).TrimEnd(&#39;=&#39;).Replace(&#39;+&#39;, &#39;-&#39;).Replace(&#39;/&#39;, &#39;_&#39;);<br><br>            return h + &quot;.&quot; + p + &quot;.&quot; + s;<br>        }&quot; /&gt;<br>        &lt;return-response&gt;<br>            &lt;set-status code=&quot;200&quot; reason=&quot;OK&quot; /&gt;<br>            &lt;set-header name=&quot;Content-Type&quot; exists-action=&quot;override&quot;&gt;<br>                &lt;value&gt;application/json&lt;/value&gt;<br>            &lt;/set-header&gt;<br>            &lt;set-header name=&quot;Cache-Control&quot; exists-action=&quot;override&quot;&gt;<br>                &lt;value&gt;no-store&lt;/value&gt;<br>            &lt;/set-header&gt;<br>            &lt;set-body&gt;@{<br>                var body = new JObject(<br>                    new JProperty(&quot;access_token&quot;, (string)context.Variables[&quot;jwt&quot;]),<br>                    new JProperty(&quot;token_type&quot;, &quot;Bearer&quot;),<br>                    new JProperty(&quot;expires_in&quot;, long.Parse(&quot;{{jwt-lifetime-seconds}}&quot;)));<br>                return body.ToString();<br>            }&lt;/set-body&gt;<br>        &lt;/return-response&gt;<br>    &lt;/inbound&gt;<br>    &lt;backend&gt;<br>        &lt;base /&gt;<br>    &lt;/backend&gt;<br>    &lt;outbound&gt;<br>        &lt;base /&gt;<br>    &lt;/outbound&gt;<br>    &lt;on-error&gt;<br>        &lt;base /&gt;<br>    &lt;/on-error&gt;<br>&lt;/policies&gt;</pre><h3>LLM API 綁定JWT Token</h3><p>完成 Token API 的設定後，接著請回到上一篇文章中透過 Azure AI Foundry 建立並匯入 APIM 的 LLM API。</p><p>在該 API 的 Inbound processing Policy 中，以下四段會插入在 &lt;inbound&gt; 最前面、&lt;base /&gt; 之前。這段設定會先驗證呼叫端提供的 JWT，再於驗證通過後繼續執行後續流程並轉送請求。</p><ul><li>validate-jwt : 驗證 Bearer JWT 的簽章、iss、aud、exp、roles；失敗回 401</li><li>choose 比對 sub : JWT sub 必須等於本次請求 Subscription Key 所屬的 context.Subscription.Id；不一致回 403，防止 Application 之間互用 token</li><li>set-variable + trace : 把 JWT sub 寫入 trace，供稽核與除錯</li><li>set-header Authorization delete : 使用者 JWT 不可轉送到 Foundry，避免後端 401</li></ul><p>下面是完整的程式碼</p><pre>        &lt;!-- 1. 驗證 JWT：簽章、iss、aud、exp、roles --&gt;<br>        &lt;validate-jwt header-name=&quot;Authorization&quot;<br>                      require-scheme=&quot;Bearer&quot;<br>                      require-expiration-time=&quot;true&quot;<br>                      require-signed-tokens=&quot;true&quot;<br>                      clock-skew=&quot;60&quot;<br>                      failed-validation-httpcode=&quot;401&quot;<br>                      failed-validation-error-message=&quot;Unauthorized: invalid or missing JWT&quot;<br>                      output-token-variable-name=&quot;jwt&quot;&gt;<br>            &lt;issuer-signing-keys&gt;<br>                &lt;key&gt;{{jwt-signing-key}}&lt;/key&gt;<br>            &lt;/issuer-signing-keys&gt;<br>            &lt;audiences&gt;<br>                &lt;audience&gt;{{jwt-audience}}&lt;/audience&gt;<br>            &lt;/audiences&gt;<br>            &lt;issuers&gt;<br>                &lt;issuer&gt;{{jwt-issuer}}&lt;/issuer&gt;<br>            &lt;/issuers&gt;<br>            &lt;required-claims&gt;<br>                &lt;claim name=&quot;roles&quot; match=&quot;any&quot;&gt;<br>                    &lt;value&gt;{{jwt-required-role}}&lt;/value&gt;<br>                &lt;/claim&gt;<br>            &lt;/required-claims&gt;<br>        &lt;/validate-jwt&gt;<br><br>        &lt;!-- 2. Token 綁定：JWT 必須是簽給本次 Subscription Key 所屬 Subscription 的，防止 Application 互用 token --&gt;<br>        &lt;set-variable name=&quot;jwtSubject&quot; value=&quot;@(((Jwt)context.Variables[&quot;jwt&quot;]).Subject ?? &quot;unknown&quot;)&quot; /&gt;<br>        &lt;choose&gt;<br>            &lt;when condition=&quot;@(context.Subscription == null || (string)context.Variables[&quot;jwtSubject&quot;] != context.Subscription.Id)&quot;&gt;<br>                &lt;return-response&gt;<br>                    &lt;set-status code=&quot;403&quot; reason=&quot;Forbidden&quot; /&gt;<br>                    &lt;set-header name=&quot;Content-Type&quot; exists-action=&quot;override&quot;&gt;<br>                        &lt;value&gt;application/json&lt;/value&gt;<br>                    &lt;/set-header&gt;<br>                    &lt;set-body&gt;{&quot;error&quot;:&quot;token_subscription_mismatch&quot;,&quot;message&quot;:&quot;Forbidden: JWT was not issued to this subscription&quot;}&lt;/set-body&gt;<br>                &lt;/return-response&gt;<br>            &lt;/when&gt;<br>        &lt;/choose&gt;<br><br>        &lt;!-- 3. 稽核：記錄呼叫者 sub（= Subscription Id）與 Subscription 名稱 --&gt;<br>        &lt;trace source=&quot;jwt-audit&quot; severity=&quot;information&quot;&gt;<br>            &lt;message&gt;@(&quot;caller sub=&quot; + (string)context.Variables[&quot;jwtSubject&quot;] + &quot; subscription=&quot; + context.Subscription.Name)&lt;/message&gt;<br>        &lt;/trace&gt;<br><br>        &lt;!-- 4. 使用者 JWT 不可轉送到 Foundry；放在 base 之前以免誤刪上層產生的 MI token --&gt;<br>        &lt;set-header name=&quot;Authorization&quot; exists-action=&quot;delete&quot; /&gt;</pre><p><strong>validate-jwt 屬性說明</strong></p><ul><li>header-name : 值為Authorization，此 header 讀取 token</li><li>require-scheme : 值為Bearer，header 必須為 Bearer &lt;token&gt; 格式</li><li>require-expiration-time : 值為true，token 必須含 exp claim</li><li>require-signed-tokens : 值為 true， 拒絕 alg=none 的未簽章 token</li><li>clock-skew : 值為60，容許 60 秒時鐘誤差</li><li>failed-validation-httpcode : 值為 401，驗證失敗的回應碼</li><li>output-token-variable-name : 值為 jwt，驗證後的 token 物件存入 context.Variables[“jwt”]，供後續讀取 claim</li><li>issuer-signing-keys / key : 值為 {{jwt-signing-key}}， Base64 編碼的對稱密鑰，APIM 用它驗證 HS256 簽章；可放多個 &lt;key&gt; 供輪換</li><li>audiences : 值為{{jwt-audience}}，aud 必須包含此值</li><li>issuers : 值為{{jwt-issuer}}，iss 必須等於此值</li><li>required-claims : 值為 roles 含 {{jwt-required-role}}，match=”any” 表示 roles 陣列中任一值符合即可</li></ul><p>需要特別注意的是， validate-jwt 僅能確認 JWT 是否由 APIM 簽發，以及 Token 是否仍在有效期限內；它本身無法判斷該 JWT 是簽發給哪一個 Application。真正的存取隔離關鍵，在於將 JWT 與 APIM Subscription Key 進行綁定。也就是說，JWT 中記錄的 Subscription 識別資訊，必須與本次請求所使用的 Subscription Key 所屬 Subscription 相同。只有當兩者皆屬於同一個 Application 時，LLM API才會允許請求繼續執行。</p><p>透過上述機制，可在既有 APIM Subscription Key 驗證的基礎上，加入 JWT 驗證、有效期限控管，以及 JWT 與 Subscription 的綁定比對，進一步提升 AI Gateway 的存取安全性與不同 Application 之間的隔離能力。不過，此方案的安全邊界，Token API 本身僅受 Subscription Key 保護，因此只要持有有效的 Subscription Key，便可取得 JWT，換言之，JWT 在此架構中的主要用途是提供時效控制與統一的 Bearer Token 呼叫介面，而非比 Subscription Key 更高強度的身分驗證機制。共用密鑰應僅儲存在 APIM 的 Secret Named Value 或 Azure Key Vault 等安全的秘密管理服務中。Token API 的回應亦應設定 Cache-Control: no-store ，以避免 JWT 被瀏覽器、Proxy 或其他中介服務快取。呼叫端則應在 expires_in 到期前適當重複使用既有 Token，並於即將到期或到期後再重新取得 JWT，而不建議每次呼叫 APIM 前都先呼叫 Token API。</p><p>若正式環境需要更高等級的安全性，建議採用 Client Credentials 機制，或改用 Microsoft Entra ID 並透過 validate-azure-ad-token Policy 驗證權杖。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d15a62acf0dd" width="1" height="1" alt=""><hr><p><a href="https://blog.edwardkuo.dev/%E9%80%8F%E9%81%8Emicrosoft-foundry%E7%9A%84ai-gateway%E7%AE%A1%E7%90%86llm%E6%A8%A1%E5%9E%8B%E8%80%97%E7%94%A8-%E4%B8%8B-%E6%90%AD%E9%85%8Djwt-d15a62acf0dd">透過Microsoft Foundry的AI Gateway管理LLM模型耗用(下)，搭配JWT</a> was originally published in <a href="https://blog.edwardkuo.dev/">EK.Technology Learn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[透過Microsoft Foundry的AI Gateway管理LLM模型耗用(上)]]></title>
            <link>https://blog.edwardkuo.dev/%E9%80%8F%E9%81%8Emicrosoft-foundry%E7%9A%84ai-gateway%E7%AE%A1%E7%90%86llm%E6%A8%A1%E5%9E%8B%E8%80%97%E7%94%A8-%E4%B8%8A-eb98372e42f5?source=rss-a35ec9f109f7------2</link>
            <guid isPermaLink="false">https://medium.com/p/eb98372e42f5</guid>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Edward Kuo]]></dc:creator>
            <pubDate>Wed, 23 Sep 2026 01:14:26 GMT</pubDate>
            <atom:updated>2026-09-23T01:14:26.089Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*MFdrJMNaAQlplyQb" /></figure><p>在Microsoft Foundry內可以提供多種 LLM 模型給不同部門或使用者使用，但真正的挑戰不在於有多少模型能否提供出來，而是在於如何管理這些模型的Token被使用。</p><p>在 Token 經濟學下，如果只是開放模型使用，卻沒有配額、權限或成本控制機制，很容易產生無法預期的支出。因此，最近也一直在思考，如何在推動 AI 應用的同時，兼顧成本治理。</p><p>後來在 Foundry內的AI Gateway 中看到一種不錯的管理模式。透過集中式的 Gateway 管理，可以針對模型存取、Token 用量、流量限制及成本進行統一管控，讓 AI 平台不只是提供模型服務，也能具備Token的治理能力。這才能讓 AI 平台從 POC 走向正式企業運作</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SNTf44Pag-34_s86Gr4O6Q.png" /></figure><p>目前 Foundry 中的 AI Gateway 仍為 Preview 版本，但已可用於相關整合與測試情境。</p><p>從底層架構來看，AI Gateway 是以 Azure API Management為基礎建置。不過，若直接使用 APIM 串接 Foundry，部分 Foundry 原生功能的整合程度可能不如透過 Foundry Portal 建立 AI Gateway。</p><p>透過 Foundry Portal 建立 AI Gateway API 時，系統預設會搭配 Basic v2 方案啟用。可以建立完畢後再去調整層級。要建立AI Gateway其實很簡單，只要在Foundry Portal內，點下建立AI Gateway。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sY78PHHTdFhtfdbzaMYqVg.png" /></figure><p>在設定視窗中，選擇要掛載的 Foundry 資源與 AI Gateway。若尚未建立 AI Gateway，可直接新增；若已有可用資源，則需選擇與 Foundry 位於相同區域的 AI Gateway。</p><p>透過此方式首次建立 AI Gateway 時，Gateway 會部署於首次綁定的 Foundry 資源所在區域。若環境中已具備 APIM，也可以直接綁定既有的 APIM 執行個體。完成綁定後，當狀態顯示為綠色，即代表綁定成功。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PJfr6sz6cqBTtwryHOM-4Q.png" /></figure><p>透過這樣綁定後，其實Foundry會主動在APIM的Policies加入下面這一段</p><pre>&lt;policies&gt;<br>    &lt;inbound&gt;<br>        &lt;base /&gt;<br>        &lt;set-backend-service id=&quot;apim-generated-policy&quot; backend-id=&quot;Foundry-AIGateWay&quot; /&gt;<br>        &lt;choose&gt;<br>            &lt;when condition=&quot;@(context.Variables.ContainsKey(&quot;tokenlimit-&quot;+(string)context.Request.Foundry.Deployment) || context.Variables.ContainsKey(&quot;tokenquota-&quot;+(string)context.Request.Foundry.Deployment))&quot;&gt;<br>                &lt;set-variable name=&quot;deploymentName&quot; value=&quot;@((string)context.Request.Foundry.Deployment)&quot; /&gt;<br>                &lt;set-variable name=&quot;counterKey&quot; value=&quot;@(&quot;product/&quot;+ context.Product?.Id + &quot;/deployment/&quot; + (string)context.Variables[&quot;deploymentName&quot;])&quot; /&gt;<br>                &lt;set-variable name=&quot;limitVariableName&quot; value=&quot;@(&quot;tokenlimit-&quot;+(string)context.Variables[&quot;deploymentName&quot;])&quot; /&gt;<br>                &lt;set-variable name=&quot;quotaVariableName&quot; value=&quot;@(&quot;tokenquota-&quot;+(string)context.Variables[&quot;deploymentName&quot;])&quot; /&gt;<br>                &lt;set-variable name=&quot;tokenLimitValue&quot; value=&quot;@(context.Variables.ContainsKey((string)context.Variables[&quot;limitVariableName&quot;]) ? (string)context.Variables[(string)context.Variables[&quot;limitVariableName&quot;]] : null)&quot; /&gt;<br>                &lt;set-variable name=&quot;tokenQuotaValue&quot; value=&quot;@(context.Variables.ContainsKey((string)context.Variables[&quot;quotaVariableName&quot;]) ? ((string)context.Variables[(string)context.Variables[&quot;quotaVariableName&quot;]]).Split(&#39;|&#39;)[0] : null)&quot; /&gt;<br>                &lt;set-variable name=&quot;tokenQuotaPeriod&quot; value=&quot;@(context.Variables.ContainsKey((string)context.Variables[&quot;quotaVariableName&quot;]) ? (((string)context.Variables[(string)context.Variables[&quot;quotaVariableName&quot;]]).Split(&#39;|&#39;).Length &gt; 1 ? ((string)context.Variables[(string)context.Variables[&quot;quotaVariableName&quot;]]).Split(&#39;|&#39;)[1] : null) : null)&quot; /&gt;<br>                &lt;choose&gt;<br>                    &lt;when condition=&quot;@(context.Variables.ContainsKey((string)context.Variables[&quot;limitVariableName&quot;]) &amp;&amp; context.Variables.ContainsKey((string)context.Variables[&quot;quotaVariableName&quot;]))&quot;&gt;<br>                        &lt;choose&gt;<br>                            &lt;when condition=&quot;@(((string)context.Variables[&quot;tokenQuotaPeriod&quot;]) == &quot;Hourly&quot;)&quot;&gt;<br>                                &lt;llm-token-limit counter-key=&quot;@((string)context.Variables[&quot;counterKey&quot;])&quot; tokens-per-minute=&quot;@(int.Parse((context.Variables[&quot;tokenLimitValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota=&quot;@(long.Parse((context.Variables[&quot;tokenQuotaValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota-period=&quot;Hourly&quot; estimate-prompt-tokens=&quot;false&quot; /&gt;<br>                            &lt;/when&gt;<br>                            &lt;when condition=&quot;@(((string)context.Variables[&quot;tokenQuotaPeriod&quot;]) == &quot;Daily&quot;)&quot;&gt;<br>                                &lt;llm-token-limit counter-key=&quot;@((string)context.Variables[&quot;counterKey&quot;])&quot; tokens-per-minute=&quot;@(int.Parse((context.Variables[&quot;tokenLimitValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota=&quot;@(long.Parse((context.Variables[&quot;tokenQuotaValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota-period=&quot;Daily&quot; estimate-prompt-tokens=&quot;false&quot; /&gt;<br>                            &lt;/when&gt;<br>                            &lt;when condition=&quot;@(((string)context.Variables[&quot;tokenQuotaPeriod&quot;]) == &quot;Weekly&quot;)&quot;&gt;<br>                                &lt;llm-token-limit counter-key=&quot;@((string)context.Variables[&quot;counterKey&quot;])&quot; tokens-per-minute=&quot;@(int.Parse((context.Variables[&quot;tokenLimitValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota=&quot;@(long.Parse((context.Variables[&quot;tokenQuotaValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota-period=&quot;Weekly&quot; estimate-prompt-tokens=&quot;false&quot; /&gt;<br>                            &lt;/when&gt;<br>                            &lt;when condition=&quot;@(((string)context.Variables[&quot;tokenQuotaPeriod&quot;]) == &quot;Monthly&quot;)&quot;&gt;<br>                                &lt;llm-token-limit counter-key=&quot;@((string)context.Variables[&quot;counterKey&quot;])&quot; tokens-per-minute=&quot;@(int.Parse((context.Variables[&quot;tokenLimitValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota=&quot;@(long.Parse((context.Variables[&quot;tokenQuotaValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota-period=&quot;Monthly&quot; estimate-prompt-tokens=&quot;false&quot; /&gt;<br>                            &lt;/when&gt;<br>                            &lt;otherwise&gt;<br>                                &lt;llm-token-limit counter-key=&quot;@((string)context.Variables[&quot;counterKey&quot;])&quot; tokens-per-minute=&quot;@(int.Parse((context.Variables[&quot;tokenLimitValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota=&quot;@(long.Parse((context.Variables[&quot;tokenQuotaValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota-period=&quot;Yearly&quot; estimate-prompt-tokens=&quot;false&quot; /&gt;<br>                            &lt;/otherwise&gt;<br>                        &lt;/choose&gt;<br>                    &lt;/when&gt;<br>                    &lt;when condition=&quot;@(context.Variables.ContainsKey((string)context.Variables[&quot;limitVariableName&quot;]))&quot;&gt;<br>                        &lt;llm-token-limit counter-key=&quot;@((string)context.Variables[&quot;counterKey&quot;])&quot; tokens-per-minute=&quot;@(int.Parse((context.Variables[&quot;tokenLimitValue&quot;] as string) ?? &quot;0&quot;))&quot; estimate-prompt-tokens=&quot;false&quot; /&gt;<br>                    &lt;/when&gt;<br>                    &lt;otherwise&gt;<br>                        &lt;choose&gt;<br>                            &lt;when condition=&quot;@(((string)context.Variables[&quot;tokenQuotaPeriod&quot;]) == &quot;Hourly&quot;)&quot;&gt;<br>                                &lt;llm-token-limit counter-key=&quot;@((string)context.Variables[&quot;counterKey&quot;])&quot; token-quota=&quot;@(long.Parse((context.Variables[&quot;tokenQuotaValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota-period=&quot;Hourly&quot; estimate-prompt-tokens=&quot;false&quot; /&gt;<br>                            &lt;/when&gt;<br>                            &lt;when condition=&quot;@(((string)context.Variables[&quot;tokenQuotaPeriod&quot;]) == &quot;Daily&quot;)&quot;&gt;<br>                                &lt;llm-token-limit counter-key=&quot;@((string)context.Variables[&quot;counterKey&quot;])&quot; token-quota=&quot;@(long.Parse((context.Variables[&quot;tokenQuotaValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota-period=&quot;Daily&quot; estimate-prompt-tokens=&quot;false&quot; /&gt;<br>                            &lt;/when&gt;<br>                            &lt;when condition=&quot;@(((string)context.Variables[&quot;tokenQuotaPeriod&quot;]) == &quot;Weekly&quot;)&quot;&gt;<br>                                &lt;llm-token-limit counter-key=&quot;@((string)context.Variables[&quot;counterKey&quot;])&quot; token-quota=&quot;@(long.Parse((context.Variables[&quot;tokenQuotaValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota-period=&quot;Weekly&quot; estimate-prompt-tokens=&quot;false&quot; /&gt;<br>                            &lt;/when&gt;<br>                            &lt;when condition=&quot;@(((string)context.Variables[&quot;tokenQuotaPeriod&quot;]) == &quot;Monthly&quot;)&quot;&gt;<br>                                &lt;llm-token-limit counter-key=&quot;@((string)context.Variables[&quot;counterKey&quot;])&quot; token-quota=&quot;@(long.Parse((context.Variables[&quot;tokenQuotaValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota-period=&quot;Monthly&quot; estimate-prompt-tokens=&quot;false&quot; /&gt;<br>                            &lt;/when&gt;<br>                            &lt;otherwise&gt;<br>                                &lt;llm-token-limit counter-key=&quot;@((string)context.Variables[&quot;counterKey&quot;])&quot; token-quota=&quot;@(long.Parse((context.Variables[&quot;tokenQuotaValue&quot;] as string) ?? &quot;0&quot;))&quot; token-quota-period=&quot;Yearly&quot; estimate-prompt-tokens=&quot;false&quot; /&gt;<br>                            &lt;/otherwise&gt;<br>                        &lt;/choose&gt;<br>                    &lt;/otherwise&gt;<br>                &lt;/choose&gt;<br>            &lt;/when&gt;<br>            &lt;otherwise /&gt;<br>        &lt;/choose&gt;<br>    &lt;/inbound&gt;<br>    &lt;backend&gt;<br>        &lt;base /&gt;<br>    &lt;/backend&gt;<br>    &lt;outbound&gt;<br>        &lt;base /&gt;<br>    &lt;/outbound&gt;<br>    &lt;on-error&gt;<br>        &lt;base /&gt;<br>    &lt;/on-error&gt;<br>&lt;/policies&gt;</pre><p>此段設定為 Foundry 對 APIM 套用 Token 管理機制時所產生的語法。</p><p>建議初期先沿用系統預設產生的 Script，僅在有明確需求時，再至 APIM 內進行調整。若直接修改 Script，後續於 Foundry Portal 變更設定時，可能因設定不同步而導致無法正常連動。</p><p>透過 Foundry AI Gateway 功能在 APIM 建立完成後，可於 APIM 中查看對應的 API 設定。</p><p>呼叫網址範例如下：</p><pre>https://aigateway-poc.azure-api.net/Foundry-AIGateWay/openai/v1/chat/completions</pre><p>其呼叫路徑與原始 LLM Endpoint 的結構基本相同，主要差異在於請求會先透過 AI Gateway，再由 Gateway 轉送至後端模型服務。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DZmh3D0CAcWrQhD0dbqGKw.png" /></figure><p>其架構如下:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oIWYOpOyPesDsOJyFOIGgA.png" /></figure><p>完成 Foundry Project 與 AI Gateway 的綁定後，即可進行 Token Management 設定。</p><p>Foundry 的 AI Gateway 提供對應管理介面，相關限制會套用至專案層級。換言之，不同 Foundry Project 所使用的 LLM，可分別設定各自的 TPM（Tokens Per Minute）與配額限制。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*V1pJ5_ZYL9QnCsc_aR45Cw.png" /></figure><p>AI Gateway 的 Token Management 主要提供以下兩類限制設定：</p><ul><li>TPM 速率限制</li></ul><p>TPM（Tokens Per Minute）用於限制每分鐘可消耗的 Token 數量。當請求超過設定的每分鐘上限時，系統會回傳 429 Too Many Requests 狀態碼。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/562/1*podNptO05jfj0ngbcdnlQg.png" /></figure><ul><li>總 Token 配額</li></ul><p>總 Token 配額用於限制特定配額期間內可消耗的 Token 總量。配額期間可依需求設定為每小時、每日、每週、每月或每年。當 Token 使用量超過設定配額時，系統會回傳 403 Forbidden 狀態碼。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/563/1*S4es5yJPjqlfNLJo0jwXUg.png" /></figure><p>TPM 速率限制與總 Token 配額可搭配使用，以分別管理短時間內的使用速率與整體使用上限。</p><p>當 Token 使用量達到 TPM 設定的門檻時，系統會限制後續請求的處理速率；當累積 Token 用量達到總配額上限後，則不再允許後續呼叫，直到下一個配額期間開始。例如，若針對 gpt-5.6-sol 設定每月最高可使用 50 Token，可透過 Postman 發送請求進行驗證。</p><p>當累積 Token 使用量已達每月設定的 50 Token 上限後，後續呼叫預期將無法執行，並收到 403 Forbidden 回應。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pArrpIo4elWuS6mK8Zt2Jw.png" /></figure><p>目前是9/23，距離重新計算還有七天，所以這訊息也幫忙算出來了。即使將每月配額設定為 50 Token，實際使用量不一定會精確停留在 50 Token。</p><p>經實際測試，系統會在請求處理前判斷當前累積用量。若當下使用量尚未達到 50 Token，該請求仍可能通過；但該次 LLM 呼叫實際消耗的 Token，可能使累積總量超過設定上限。</p><p>當累積用量超過配額後，後續 Request 才會被系統攔截，並回傳對應的配額限制回應。</p><p>透過 TPM 速率限制與 Token 配額管理，企業可控管 Foundry LLM 的使用量，降低因非預期大量呼叫而產生過高成本的風險。</p><p>目前，AI Gateway 預設以 APIM 的 Subscription的Key，在 Header中加入其Key 作為呼叫驗證機制，但此方式仍有進一步強化的空間。</p><p>下一篇將說明如何導入 JWT 驗證，在不額外建置後端服務的前提下，提升 LLM 呼叫的存取安全性。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=eb98372e42f5" width="1" height="1" alt=""><hr><p><a href="https://blog.edwardkuo.dev/%E9%80%8F%E9%81%8Emicrosoft-foundry%E7%9A%84ai-gateway%E7%AE%A1%E7%90%86llm%E6%A8%A1%E5%9E%8B%E8%80%97%E7%94%A8-%E4%B8%8A-eb98372e42f5">透過Microsoft Foundry的AI Gateway管理LLM模型耗用(上)</a> was originally published in <a href="https://blog.edwardkuo.dev/">EK.Technology Learn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[從自動化到 AI 協作，讓團隊從執行需求走向創造價值]]></title>
            <link>https://blog.edwardkuo.dev/%E5%BE%9E%E8%87%AA%E5%8B%95%E5%8C%96%E5%88%B0-ai-%E5%8D%94%E4%BD%9C-%E8%AE%93%E5%9C%98%E9%9A%8A%E5%BE%9E%E5%9F%B7%E8%A1%8C%E9%9C%80%E6%B1%82%E8%B5%B0%E5%90%91%E5%89%B5%E9%80%A0%E5%83%B9%E5%80%BC-fe2df63318b0?source=rss-a35ec9f109f7------2</link>
            <guid isPermaLink="false">https://medium.com/p/fe2df63318b0</guid>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Edward Kuo]]></dc:creator>
            <pubDate>Thu, 17 Sep 2026 15:04:45 GMT</pubDate>
            <atom:updated>2026-09-18T00:42:25.436Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8cNiyT3QNr5vC6dZl3sLYg.png" /></figure><blockquote>這之前在內部探討的一個議題。企業導入AI真的能提升每個部門的工作效率嗎?還是導入自動化就足夠滿足企業提升效率。效益是從縮短工作時間和投資成本兩者去衡量。而這裡提到的AI，是屬於生成式AI並非其他傳統AI技術</blockquote><p>近年來，AI 快速發展，許多企業開始投入資源導入生成式 AI、Copilot 或各類 AI 應用。然而，從企業實際運作與投資效益的角度來看，我認為現階段更值得優先投入的，往往不是大量導入 AI，而是持續推動系統化與自動化。</p><p>原因並不複雜。</p><p>企業導入任何技術，最終仍然需要回到實際效益。這項投資是否縮短了工作時間？是否降低了人工作業與系統維護成本？是否讓流程變得更穩定、更一致，並且能夠持續運作？</p><p>如果這些問題無法回答，再先進的AI技術也不一定能為企業創造實際價值。</p><p>因此，我們的思考方式不是先問「AI 能做什麼」，而是先檢視「哪些流程可以被標準化與自動化」，再透過 AI 協助分析、加速與優化這些流程。</p><blockquote>自動化優先，AI 協作</blockquote><p>在我自己的實務應用中，自動化與 AI 的比例大約是 8:2。</p><p>大多數情況下，我們仍然以自動化作為主要解決方案，AI 則扮演輔助與協作的角色。從部門整體效益來看，優先推動自動化所帶來的投資報酬率，通常高於直接導入 AI。</p><p>這並不是否定 AI 的價值，而是因為自動化與 AI 解決的是不同類型的問題。</p><p>對於已經標準化、規則明確、不需要人員判斷的工作，我們會優先透過系統化與自動化處理，將原本仰賴人工執行的作業轉變為標準化流程。這樣的做法可以降低人工作業成本，同時提升執行效率與一致性。</p><blockquote>AI 則更適合扮演協作助手。</blockquote><p>它可以協助資訊整理、資料分析、內容產出與問題分析，也可以提供改善建議、支援開發工作，並縮短建立自動化流程所需的時間。不過，現階段 AI 的產出仍然需要人員確認與判斷，因此 AI 更適合提升人的能力，而不是直接取代人的責任。</p><p>簡單來說，自動化是負責穩定執行工作的基礎能力，AI 則是協助我們更快建立、維護與優化這些流程的工具。</p><blockquote>為什麼自動化的投資效益通常更直接</blockquote><p>企業在評估技術投資時，不應只看技術是否先進，而應該回到兩項最基本的衡量標準：</p><ul><li>是否縮短工作時間</li><li>是否降低整體投資成本</li></ul><p>自動化的效益通常比較容易衡量。</p><p>當一項工作具備明確規則，而且每天、每週或每月重複發生，只要將流程完成標準化並交由系統執行，就能直接降低人員反覆操作所需的時間。</p><p>同時，自動化也能降低人工輸入錯誤、資訊落差、資料版本不一致，以及重複確認所產生的額外成本。這些成本未必都會直接出現在系統預算中，卻會持續消耗團隊的工作時間與溝通成本。</p><p>相較之下，AI 的導入不能只看模型或功能本身。企業仍然需要評估資料準備、系統整合、使用治理、結果確認，以及後續維護等投入。當 AI 的結果仍需要人員逐一確認時，實際節省的時間與投入成本之間，就需要進一步衡量。</p><p>因此，判斷一項改善方案是否值得投資，關鍵並不在於使用了多少 AI，而在於它能否以合理的成本，持續縮短工作時間並改善流程。</p><blockquote>從軟體開發流程來看自動化的實際價值</blockquote><p>以 IT 部門的軟體開發流程為例，當工程師將程式碼提交至程式庫後，系統可以自動執行弱點掃描、程式碼品質檢查、自動編譯與相關驗證流程。完成檢查後，系統也可以進一步執行自動部署，並依據不同環境切換對應設定。</p><p>過去需要由工程師逐項執行與確認的工作，透過自動化流水線後，可以由系統以一致的方式完成。</p><p>這帶來的效益並不只是作業速度變快。</p><p>首先，開發、測試與維運所需要的人工作業時間大幅降低。其次，標準化流程可以減少不同人員執行時產生的差異，讓檢查、部署與環境設定更一致。 這也就是前幾年大家不斷推行Scrum和DevOps的精神，這類的工作模式，也不會因為AI就被淘汰，只會因為AI更加優化這過程。AI 在這個過程中的角色，則是協助分析問題、提供改善建議、支援開發工作，以及協助團隊更快建立與優化自動化流程。</p><p>換句話說，AI 並不是取代整個軟體開發與部署流程，而是提升團隊設計及維護自動化流程的效率。這也是「自動化負責執行，AI 提供協作」最具體的實踐方式。自動化真正釋放的是團隊時間，AI如果只能降低個人產出時間，並未能減少團隊交付時間，那麼AI對於整體來說實務上並沒有多大效益</p><p>也因此，自動化所帶來的價值，不只是減少幾個操作步驟。它真正釋放的是團隊時間，而時間重新分配之後，才有機會改變團隊的工作定位。</p><blockquote>系統化與自動化，也適用於企業間協作</blockquote><p>自動化的價值不只存在於 IT 開發流程，也可以延伸到企業的核心作業，以及企業與合作夥伴之間的協作。</p><p>例如在系統化方面，希望資料由系統產生並集中管理，減少對人工處理與離線作業的依賴。在自動化方面，透過標準化流程，讓資料能夠在不同系統之間自動傳遞，降低人工作業的比例。在資料準確性方面，保留資料來源、計算紀錄與產出結果，並提供查詢機制，讓相關人員可以追溯資料來源與處理歷程。如此可以提升資訊透明度與可追蹤性，並降低人工處理所產生的錯誤與風險。 透過這樣的架構，許多過去仰賴 Excel 計算與人工整理的工作，可以逐步轉換為系統化作業。只透過AI跳過自動化這環節，很多細節會被忽略，人也可以能因為AI產出結果不穩定性，花更多時間在確認這些數據準確度的時間。也因此這些改善所呈現的，仍然是相同的投資邏輯：</p><p><strong>先使用系統化與自動化降低作業時間與錯誤成本，再思考 AI 可以在哪些環節進一步協助分析與優化。</strong></p><p>自動化、AI 與人的角色分工</p><p>我認為，自動化、AI 與人之間並不是互相取代，而是分工合作。</p><blockquote>自動化負責執行標準流程</blockquote><p>自動化適合處理穩定、標準化且重複性高的工作。</p><p>只要規則明確，而且不需要人員判斷，就應該盡可能交由系統執行，讓流程以一致且有效率的方式運作。同時，流程中仍然需要保留必要的檢核點。當發生例外狀況、異常事件或需要進一步判斷時，再由人員介入處理。</p><blockquote>AI 負責分析與協</blockquote><p>AI 比較像是協作助手，而不是決策者。</p><p>它可以協助資訊整理、資料分析、內容產出，以及提供問題解決建議，幫助人員縮短處理時間並提升工作效率。但 AI 的結果仍需要由人確認，不能直接取代人的責任。</p><blockquote>人負責判斷、決策與創新</blockquote><p>人的價值主要在於判斷、決策、溝通與創新。</p><p>尤其在商業策略、系統架構設計、跨部門協調與關鍵問題處理上，需要結合組織脈絡、實務經驗與價值判斷。這些能力不只是取得資訊，而是理解資訊背後的情境與影響。</p><p>因此，較適合企業的協作模式是：</p><p>自動化負責執行標準流程，AI 協助分析並加速工作，人則負責判斷、決策與創新。當三者的角色與責任清楚，並且能夠相互配合時，才能真正提升部門效率與競爭力。 自動化在這項轉型中扮演重要角色。</p><p>當重複性工作被自動化，團隊才有更多時間投入需求釐清、流程分析、架構設計、跨部門溝通與方案規劃。AI 則可以進一步協助整理資訊、分析問題並加速工作。</p><p>所以，從執行需求走向創造價值，不是單純導入一項 AI 工具，而是重新設計工作流程，以及重新分配人、系統與 AI 的責任。</p><blockquote>人在 AI 時代最重要的能力</blockquote><p>AI 可以快速整理資訊、產生內容並提供建議，但人的價值並不在於與 AI 比較執行速度，而是在於思考、判斷與創造價值。</p><p>在 AI 時代，我認為有四項能力更加重要。</p><ul><li>系統性思考</li></ul><p>人需要從全局角度理解問題的整體架構，權衡不同方案的利弊，並看見各項因素之間的依賴關係。AI 可以提供建議與分析，但對組織脈絡、商業目標與長期影響的理解，仍然需要人的經驗與判斷。</p><ul><li>專業領域知識</li></ul><p>每個產業都有特定的知識、經驗與運作邏輯。</p><p>長期累積的專業能力與產業經驗，可以形成企業及個人的競爭優勢。AI 可以放大這些能力，協助提升效率與影響力，但不能取代人建立專業知識與實務經驗的過程。</p><ul><li>溝通與協作</li></ul><p>真正讓事情成功的關鍵，仍然是人與人之間的合作。</p><p>跨團隊協作、需求溝通、利害關係人協調，以及共識與信任的建立，都需要由人主導與推動。</p><ul><li>思辨與判斷</li></ul><p>面對 AI 提供的資訊，人需要具備分析、質疑、比較與推理的能力，而不是直接接受所有結果。</p><p>生成式 AI 並非永遠正確，仍可能產生錯誤資訊。如果缺乏思辨與判斷能力，就無法確認 AI 產出的內容是否合理，也難以據此做出正確決策。</p><p>因此，在 AI 時代真正重要的，不是和 AI 比誰做得更快，而是持續培養 AI 難以取代的能力，並學會如何有效使用 AI。</p><p>導入技術之前，先回答三個問題</p><p>AI 始終是一項工具。真正重要的，不是企業導入了多少 AI 技術，而是能否清楚回答三個問題：</p><ul><li>為誰解決問題？</li><li>解決什麼問題？</li><li>創造什麼價值？</li></ul><p>如果無法回答這三個核心問題，再先進的 AI 技術也無法產生真正的效益。</p><p>同樣的原則也適用於自動化。</p><p>企業不應該為了自動化而自動化，也不應該為了 AI 而導入 AI。每一項技術投資都應該回到實際問題，並從工作時間與投資成本兩個面向衡量。</p><p>具體來說，可以依序思考：</p><ul><li>這項工作是否重複發生？</li><li>規則是否明確？</li><li>流程是否已經標準化？</li><li>是否需要人員進行專業判斷？</li><li>自動化後可以減少多少人工操作？</li><li>導入與維護成本是否低於預期效益？</li><li>AI 能否進一步縮短分析、建置或處理時間？</li></ul><p>前四個問題協助判斷流程是否適合自動化，後三個問題則回到實際的投資效益。</p><h3>結語：自動化是基礎，AI 是協作與加速</h3><p>現階段，企業最大的改善機會，往往不是直接大量導入 AI，而是先將既有流程完成系統化、標準化與自動化。自動化可以穩定地減少重複性工作、縮短作業時間、降低人工錯誤，並提升流程的一致性與可追蹤性。AI 則可以在這些基礎上，協助資訊整理、問題分析、內容產出、方案建議，以及加速自動化流程的建立與優化。</p><p>因此，我認為企業現階段更合理的投資順序是：</p><blockquote><em>先將流程標準化，再透過自動化穩定執行，最後利用 AI 加速分析、協作與改善。</em></blockquote><p>這樣的順序不是保守，而是讓每一項技術投資都能對應到可衡量的效益。</p><p>當自動化承接重複性的執行工作，AI 提供分析與協作，而人將時間投入判斷、決策、溝通與創新，團隊的角色才會真正開始改變。</p><ul><li>從追求技術本身，轉變為追求價值創造。</li><li>從被動接收需求，轉變為主動提供解決方案。</li><li>從單一專業能力，轉變為持續學習與跨領域整合。</li></ul><p>這也是自動化與 AI 對企業最重要的意義。它們不只是讓工作做得更快，而是讓團隊有能力從執行需求，逐步走向創造價值。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fe2df63318b0" width="1" height="1" alt=""><hr><p><a href="https://blog.edwardkuo.dev/%E5%BE%9E%E8%87%AA%E5%8B%95%E5%8C%96%E5%88%B0-ai-%E5%8D%94%E4%BD%9C-%E8%AE%93%E5%9C%98%E9%9A%8A%E5%BE%9E%E5%9F%B7%E8%A1%8C%E9%9C%80%E6%B1%82%E8%B5%B0%E5%90%91%E5%89%B5%E9%80%A0%E5%83%B9%E5%80%BC-fe2df63318b0">從自動化到 AI 協作，讓團隊從執行需求走向創造價值</a> was originally published in <a href="https://blog.edwardkuo.dev/">EK.Technology Learn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[台大演講 -人工智慧在企業的應用與挑戰]]></title>
            <link>https://blog.edwardkuo.dev/%E5%8F%B0%E5%A4%A7%E6%BC%94%E8%AC%9B-%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7%E5%9C%A8%E4%BC%81%E6%A5%AD%E7%9A%84%E6%87%89%E7%94%A8%E8%88%87%E6%8C%91%E6%88%B0-fb50d58313f8?source=rss-a35ec9f109f7------2</link>
            <guid isPermaLink="false">https://medium.com/p/fb50d58313f8</guid>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Edward Kuo]]></dc:creator>
            <pubDate>Sun, 31 May 2026 08:45:09 GMT</pubDate>
            <atom:updated>2026-05-31T08:49:06.225Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*WCzkYjnkvtQsKI6y.jpg" /></figure><blockquote>這是我這次到台大資工系演講的內容整理。比起談「AI 有多神」,我更想跟大家聊的是，當你真的要把 AI 搬進企業，從第一行 code 到整個組織文化，會踩到哪些坑、又該怎麼走。這篇文章主要是針對當天演講內容進行節錄</blockquote><h3>寫在前面</h3><p>每次談 AI，大家最容易陷入兩種極端：一種是「AI 無所不能」，一種是「AI 不過就是個聊天機器人」。但在企業現場待久了你會發現,真正的挑戰從來不在模型本身,而在它前面的資料、後面的維運,以及中間那群要去使用它的人，例如:老闆、員工…等。</p><p>而這次也同時帶出我們將採用 Microsoft Foundry 與 Foundry Local作為AI工廠的工具，期待能把 AI 從雲端一路延伸到邊緣的AI工廠的平台。</p><h3>人工智慧的範疇</h3><p>AI 不是這兩三年才有的東西，很多人是從 ChatGPT 才認識 AI 的,但這條路其實走了超過 70 年:</p><ul><li>1950: Turing Test,Alan Turing 問出那個經典問題 ，機器能思考嗎?</li><li>1956: Dartmouth 會議，「Artificial Intelligence」這個詞正式誕生。</li><li>1980s: Machine Learning 開始走上舞台。</li><li>2012 : AlexNet 一戰成名，Deep Learning 的時代真正來臨。</li><li>2017: Transformer 問世，一篇〈Attention is All You Need〉改寫了整個領域。</li><li>2022: ChatGPT 引爆 GenAI 浪潮。</li><li>2024+ : 我們正式進入 Agentic AI 的時代。</li></ul><p>我想強調的是，現在的爆發，是 70 年累積的結果不是憑空冒出來的奇蹟。</p><p>AI 等於 GenAI，這是目前多數人的認知，但實際上「AI Does Not Revolve Around GenAI」。如果我們把 AI 攤開來看,它是一層一層包進去的:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/986/1*zlFt2auuZyuLDUh9oCTDAw.png" /></figure><p>GenAI 很紅沒錯，但它只是最內層那一小塊。企業裡面有大量的問題,其實用傳統的 ML 就解得又快又便宜,根本不需要動用到 LLM。選對工具，遠比選最潮的工具重要。</p><p>AI 的四種能力光譜，我習慣把 AI 的能力分成四個面向來看，從「看得到」到「看得懂」，再到「生得出」,最後到「動得了」。我們現在最興奮的 Agent的功能。它其實就是站在這四種能力的最頂端。它要會感知、會認知、會生成最後還要能採取行動。當然目前還是有些不足的地方，有待我們慢慢改進</p><p>今天的模型早就不只處理文字了。Text、Image、Audio、Video、Code、Tabular。這些都是 Multimodal 模型的輸入。而要讓一個模型真的好用，通常會經過三個階段: Pre-training、Fine-tune、Prompt。這三件事的成本與彈性差很多。</p><h3>資料工程 AI 真正的地基</h3><p>Garbage In, Garbage Out</p><p>這句話老到不行，但它在 AI 時代反而更真。模型再強,餵進去的是垃圾,吐出來的也只會是包裝精美的垃圾。在企業的一個 AI 專案裡，資料相關的工作大概佔 80%工作量，演算法只佔 20%。但大家的注意力往往剛好相反。所有，AI好的案例中，往往沒有公開說明到底花了多久將資料備齊，而企業的資料也往往不如大家想的那樣乾淨與可用</p><p><strong>一條完整的 Data Pipeline</strong></p><p>資料不是收進來就能用,它得走過一條 pipeline，依序是:Collect、Clean、Label、Feature Engineering、Split &amp; Train，最後到 Validate。</p><p>其中 Split 這一步,業界常用的比例是 7:2:1:</p><ul><li>Training Set(70%): 讓模型學。</li><li>Validation Set(20%): 調參數、防 overfitting。</li><li>Test Set(10%): 最後驗收，模型在訓練時絕對不能看到。</li></ul><p><strong>那些會讓模型「悄悄壞掉」的事</strong></p><p>資料工程最麻煩的地方，是它的問題往往不會當場爆炸，而是慢慢腐蝕:</p><ul><li>Data Drift: 真實世界一直在變，模型卻停在過去。你以為它還很準，其實早就跟現實脫節了。</li><li>Data Governance: 資料的權限、來源、合規，沒治理好遲早出事。</li><li>Data Silos(資料孤島):每個部門守著自己的資料，誰也不給誰，AI 永遠只能看到半張地圖。</li></ul><p>企業導入 AI 最大的敵人，常常不是技術,而是這些藏在資料底層的慢性病。但是，多數企業或是人員，往往對於這塊會忽略或是不想碰觸，其中最大原因是處理資料工程是非常耗能且短期無法被看到價值。</p><h3>AI Agent 從記憶體瓶頸到設計模式</h3><p>為什麼我要從「記憶體」開始談 Agent?</p><p>這可能是這場演講比較特別的切入點。Agent 要能持續推理、記住上下文、呼叫工具，它對記憶體的需求是階層式的，而這背後其實對應到一整條硬體價值鏈。當 Agent 要跑得久、記得多，這條從 HBM、Server DRAM 到 NVMe SSD 的記憶體階層，就是它真正的物理天花板。Agent 的智慧，最終是被記憶體餵出來的。</p><p><strong>什麼是 AI Agent?</strong></p><p>一個真正的 Agent，不是只會回話，它要具備這幾個元件:</p><ul><li>Reasoning: 推理。</li><li>Planning: 拆解任務、規劃步驟。</li><li>Tool Use: 呼叫外部工具與 API。</li><li>Memory: 記住過去。</li><li>Perception: 感知環境。</li><li>Reflection: 反思並修正自己。</li></ul><p>Agent 的設計模式，這幾年我看下來,Agent 的架構大致收斂成這幾種:</p><ul><li>ReAct: 最基礎的 Plan、Act、Observe、Reflect 循環。</li><li>Sequential: 一棒接一棒，線性流程。</li><li>Parallel: 多個 Agent 同時並行處理。</li><li>Multi-Agent / Orchestrator: 有一個總指揮，協調多個專職 Agent。</li><li>Hierarchical(Supervisor / Magentic): 階層式管理，上層監督下層。</li><li>Handoff: 任務在 Agent 之間交接。</li><li>Group Chat: 多個 Agent 像開會一樣協作討論。</li><li>Reflection: 一個 Generator 產出、一個 Critic 批改,逼出更好的結果。</li></ul><p>沒有哪一種是萬用的。要 sequential 還是 parallel、要不要 supervisor，取決於你的任務性質和企業的應用情境</p><p><strong>Agent 在企業最大的挑戰: Token 成本</strong></p><p>講了這麼多漂亮的架構，但企業導入 Agent 撞到的第一面牆,往往不是技術做不到，而是 Token 燒不起。一個 Multi-agent 系統來回推理幾輪，token 用量是會指數成長的。當你把它放大到全公司規模，那張帳單會非常驚人。也因此如何有效運用Agent到有幫助的情境是非常重要，這也是目前多數企業在導入AI的成效不高的另一個主因。</p><h3>知識管理、部門大腦,與企業落地</h3><p>RAG 不是萬靈丹</p><p>一講到「讓 AI 懂企業知識」,大家第一個反應都是 RAG。RAG 很好用,但我必須說，RAG 不是萬靈丹。</p><p>RAG 跟 Fine-tuning 各有各的場景。RAG 適合知識頻繁更新、需要引用來源的情境。Fine-tuning 適合把某個領域的「語感」與「行為」內化進模型。把所有問題都丟給 RAG，結果往往是檢索一堆不相關的片段，然後讓模型在雜訊裡硬回話，也容易造成回答的品質不如我們所預期。</p><p><strong>BI Ready 不等於AI Ready</strong></p><p>這是我很想敲醒大家的一句話。你的資料就算已經做好 BI、報表跑得很漂亮,也不代表它對 AI 來說是「就緒」的。</p><p>中間還卡著一堆技術問題:</p><ul><li>Training-Serving Skew: 訓練時跟上線時的資料處理不一致。</li><li>PII Redaction: 個資要在進模型前就清乾淨。</li><li>CDC / Data Freshness: 資料的即時性，用 Change Data Capture 才追得上。</li></ul><p><strong>部門大腦，SLM Fine-tune 加上 LLM 潤飾</strong></p><p>在企業中，每個部門的Domain knowhow差異性是很大，如果都用通用型的LLM，整體的成效始終都是差那樣一點點，與其追求一個無所不知的巨型模型，不如讓每個部門都有一顆「懂自己」的大腦。整個的構想步驟會是下面方式</p><ul><li>SLM Fine-tune: 用小模型把部門的 Knowhow 內化,回答「像自己人」。</li><li>LLM 潤飾: 再用大模型把語氣與表達潤飾得更自然。</li></ul><p><strong>終極目標，讓 GenAI 被「廣泛使用」</strong></p><p>雖然在通用世界中，GenAI被大家拿來做非常多日常生活的事件，但是在企業裡面，多數還是純在屬於IT的工具或是IT部門內，讓 GenAI 不只是 IT 的玩具，而是每個部門都離不開的工作夥伴。我認為這要靠三件事:</p><ul><li>Domain Fluency(說部門的話): 用 SLM 內化部門 Knowhow，使用者不必再翻譯通用 AI 的回應。</li><li>Data Sovereignty(守企業的線): 敏感資料留在地端、模型可控，治理與審計貫穿整個 Fine-tune 與 Serving 流程。</li><li>Real Problems(解現場的題): 不追求最大模型，追求「能解掉昨天卡住的那件事」，從可衡量的痛點開始。</li></ul><p>每個部門都該有一顆懂自己的大腦,這是企業 AI 落地的最後一哩。</p><h3>Microsoft Foundry 企業 AI 應用與 Agent 工廠</h3><p>要把上面這些事一站式做完,這就是我們自己是採用Microsoft Foundry一個 AI and Agent Factory。它跟微軟的另外兩塊拼圖剛好組成完整AI版圖，就如前面所說，每個AI 工具都有其優勢。所以，了解工具的本身特性也是很重要</p><ul><li>Microsoft 365: Productivity Surface(生產力體驗)</li><li>Microsoft Fabric: Governed Data(治理資料底座)</li><li>Microsoft Foundry: Agent Factory(智慧體工廠)</li></ul><p><strong>Foundry 五大支柱</strong></p><ul><li>Models: 11,000+ 模型,涵蓋 OpenAI、Anthropic、Cohere、NVIDIA、HuggingFace 開源模型，統一 API。</li><li>Agent Service: Foundry Agent Service、Microsoft Agent Framework、Semantic Kernel。</li><li>Knowledge &amp; Tools: Foundry IQ(RAG)、Foundry Tools(MCP catalog)、1,400+ 連接器。</li><li>Observability &amp; Trust: Tracing、Logging、Evaluation、Content Safety、Responsible AI。</li><li>Local &amp; Edge: Foundry Local，從雲端一路延伸到 Windows / MacOS / Edge 裝置。</li></ul><p><strong>Foundry Local 把 AI 帶到資料所在之處</strong></p><p>這是我個人最興奮的一塊。跨平台本地 AI，做到無雲端依賴、無網路延遲、無 Token 費用(但有建置AI Server硬體費用):</p><ul><li>離線運作: 斷網仍可使用，邊緣場景必備。</li><li>資料隱私: 資料不離開使用者裝置或機房。</li><li>極低延遲: 本機推論毫秒級回應。</li><li>無 Token 費用:可預測的單次成本。</li></ul><p>Foundry 架構是從雲端到邊緣的統一控制平面，整套架構是三層貫通的:</p><ul><li>Microsoft Foundry(Cloud): Models Catalog、Agent Service、Foundry IQ、Foundry Tools、Workflows、Observability。</li><li>Foundry on Azure Local(On-Premises Datacenter): 企業內部資料中心，符合資料主權、低延遲與合規需求。</li><li>Foundry Local(Edge / Devices): Windows PC、MacOS、Linux、Android，一路到工廠 IPC、醫療終端。</li></ul><p>同一套控制平面,從雲端管到邊緣裝置。這對需要資料主權的企業來說，是真正能落地的架構。</p><h3><strong>Vibe Coding 強大，也危險</strong></h3><p>講到 AI 改變企業運作，就不能不談 Vibe Coding。</p><p>它的定義</p><blockquote>Vibe Coding 是一種由 AI 驅動的敏捷開發風格，能讓專業開發者快速打造非正式的軟體成品。它完全聚焦於「成品是否能滿足當下需求」，而不刻意追求程式碼與架構的完美程度。</blockquote><p>關鍵詞是 AI 驅動、敏捷風格、非正式成品、滿足當下，這正是它強大、也危險的根源。它的起源</p><p>Andrej Karpathy 在 2025/02 於 X(Twitter)上提出「Vibe Coding」這個詞，描述一種對 AI 完全信任、不再逐行閱讀程式碼的開發體驗。他的原文是:</p><blockquote><em>“There’s a new kind of coding I call ‘vibe coding’, where you fully give in to the vibes… I just see stuff, say stuff, run stuff, copy-paste stuff, and it mostly works.” (Andrej Karpathy)</em></blockquote><p>「全感應、零閱讀」對個人週末實驗無妨，但搬到企業正式環境，我們看幾個因為Vibe Coding引發問題的事件</p><p>代價之一:當 AI 失控</p><ul><li>Replit AI 刪光生產資料庫(2025/07)</li><li>PocketOS Cursor 9 秒清空產線(2026/04): 產線停擺 30 小時，事件影片在 X 累積 680 萬瀏覽。</li></ul><p>代價之二:資安與隱私崩盤</p><ul><li>150 萬支 API Key 外洩(2025): AI 生成程式硬編 Key、上傳公開倉庫，攻擊者掃描 GitHub 自動接管雲端資源。</li><li>BBC 記者 Prompt 拿下主機(2026): 誘導 AI 生成繞過驗證的程式片段，10 分鐘取得 root。</li><li>Tea App 雙重外洩(2025/07): 72,000 張身分自拍加上 110 萬則私訊外洩，受害者多為女性用戶。</li></ul><p>沒有人類 Review、沒有資安治理的 AI 開發，是把企業推到懸崖邊。至於，大家常說的效率提升的真相，來看看研究數據怎麼說</p><ul><li>Junior 開發者，提升 27% 到 39%: GenAI 對新手提升最顯著。</li><li>Senior 開發者，提升 7% 到 16%: 資深者收益較小，多用於樣板與文件。</li><li>熟悉的程式庫開發者，下降 19%:M ETR 研究發現，在熟悉的專案上 AI 反而拖慢。</li></ul><p>AI 不是萬靈丹。它在新領域、新人、標準化任務上最有效。在熟悉的深度任務上反而需要驗證成本。導入策略應該分人、分任務、分階段衡量，避免「一刀切」造成負面效果。</p><p><strong>AI 改變軟體工程的六大面向</strong></p><p>平心而論，AI 對軟體工程的幫助是全面的，程式碼撰寫(Copilot 自動補全)、測試與除錯(自動產生單元測試、分析 stack trace)、程式碼審查(AI Reviewer 找風險)、需求分析(從會議紀錄拆解 user story)、系統現代化(舊程式翻譯重構)、技術學習。</p><h3>策略藍圖，從 POC 到企業 AI 文化</h3><p>企業導入 AI 最忌諱一開始就想做大。我建議的路徑是五個階段:</p><ol><li>選題: 挑高價值、低風險、易衡量的場景。</li><li>POC: 2 到 4 週快速驗證,限定範圍。</li><li>Pilot: 小規模上線，蒐集真實回饋。</li><li>Scale: 成功經驗複製到其他部門。</li><li>Industrialize: 標準化、平台化、產業化。</li></ol><p>每個階段都要有可量化的成功指標。失敗就退場、成功就放大。技術從來不是最難的，人才是最難攻克的城牆。要養成 AI 文化，得同時推這六件事</p><ul><li>AI 素養(全員培訓,不是只有工程師要懂)</li><li>賦權實驗(鼓勵第一線員工提點子)</li><li>知識共享(成立 AI 內部社群,分享成敗案例)</li><li>新職能(Prompt Engineer、AI Trainer、AI Reviewer)</li><li>倫理共識(明確的使用守則與紅線)</li><li>領導示範(高階主管親自使用 AI 工具)。</li></ul><p><strong>Responsible AI:負責任的 AI</strong></p><p>導入 AI 不能只看能力，還要看信任。Responsible AI 的六大原則是</p><ul><li>公平性(Fairness)</li><li>可靠性與安全(Reliability &amp; Safety)</li><li>隱私與保密(Privacy &amp; Security)</li><li>包容性(Inclusiveness)</li><li>透明(Transparency)</li><li>問責(Accountability)。</li></ul><p>在企業中，AI 不是越強越好，而是越能被員工信任越好，這樣才有辦法被廣泛使用，而不是落入投資越大，失望越大的結局。</p><p><strong>軟體工程師面對 AI，機會與危機</strong></p><p>我知道在座很多是資工系的同學,所以這頁我特別想跟你們講。</p><p>機會的一面，AI 是「外掛裝備」,不是「替代品」:</p><ul><li>生產力放大。</li><li>新型架構師。</li><li>Agent 流程設計師。</li></ul><p>危機的一面，不是 AI 取代你,是「會用 AI 的人」取代你:</p><ul><li>Junior 警報: CRUD、Boilerplate 工作快速被 AI 取代。</li><li>思考退化: 過度仰賴 AI，喪失基礎推理能力。</li><li>品質風險: AI 生成的「看起來對」程式仍可能藏雷。</li></ul><h3>未來的贏家，用科技解決真實問題</h3><p>未來的贏家,不是用 AI工具最多的人</p><p>而是用對 AI、把對的問題解決的人。AI 是工具，不是策略。策略仍然是「為誰、解決什麼問題、創造什麼價值」。而這樣的人，有三種能力特別關鍵:</p><ul><li>問題定義力(比「給答案」更重要的是「找對問題」)</li><li>場景洞察力(懂業務、懂使用者、懂瓶頸)</li><li>持續學習力(AI 演進極快,停下來就被超車)。</li></ul><p><strong>Versatilist: AI 時代的「通才專家」</strong></p><p>未來人才的樣貌，正在從 Specialist(專才)轉變為 Versatilist(多才專家):</p><ul><li>T 型人才升級為 π 型: 至少兩個深度領域,加上跨域整合能力。</li><li>從寫程式到設計系統: 懂架構、懂資料、懂業務目標。</li><li>從個人英雄到團隊放大: 用 AI 做槓桿,而不是取代隊友。</li><li>從技術人到產品人: 理解使用者、市場、商業模式。</li></ul><p>最後,送給每一位想在這個時代不被超車的人，五個我自己也在實踐的策略:</p><ol><li>每日學習習慣: 每天 30 分鐘碎片化學習，加上專注閱讀。</li><li>動手實作專案: 一個 side project 比看完十本書更有效。</li><li>投入開源社群: Code Review 與貢獻是最快的成長路徑。</li><li>教學與分享: 會議分享、寫部落格,用輸出強迫思考。</li><li>定期反思: 季度回顧，學到什麼、哪裡可以更好。</li></ol><p>軟體工程一路走來,從計劃驅動(Waterfall)、價值驅動(Agile)、交付驅動(DevOps)，走到今天的AI驅動(AI Era)，每一次都是演進，不是終結。AI 不是取代你，是把你推到下一個演進階段。</p><p>下面是這次分享的投影片</p><p><a href="https://www.slideshare.net/slideshow/ai-ai-agent/287840242?utm_source=clipboard_share_button&amp;utm_campaign=slideshare_make_sharing_viral_v2&amp;utm_variation=control&amp;utm_medium=share">Client Challenge</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fb50d58313f8" width="1" height="1" alt=""><hr><p><a href="https://blog.edwardkuo.dev/%E5%8F%B0%E5%A4%A7%E6%BC%94%E8%AC%9B-%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7%E5%9C%A8%E4%BC%81%E6%A5%AD%E7%9A%84%E6%87%89%E7%94%A8%E8%88%87%E6%8C%91%E6%88%B0-fb50d58313f8">台大演講 -人工智慧在企業的應用與挑戰</a> was originally published in <a href="https://blog.edwardkuo.dev/">EK.Technology Learn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Microsoft Foundry的使用權限設定]]></title>
            <link>https://blog.edwardkuo.dev/microsoft-foundry%E7%9A%84%E4%BD%BF%E7%94%A8%E6%AC%8A%E9%99%90%E8%A8%AD%E5%AE%9A-0fb87678c117?source=rss-a35ec9f109f7------2</link>
            <guid isPermaLink="false">https://medium.com/p/0fb87678c117</guid>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Edward Kuo]]></dc:creator>
            <pubDate>Thu, 21 May 2026 12:01:40 GMT</pubDate>
            <atom:updated>2026-05-21T12:01:40.722Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*C4Pha35HEXuvUNEU" /></figure><p>如果你早期用過 Azure AI Foundry，應該會覺得那時候要用 C# 呼叫 Agent 相對單純。基本上，只要準備好 Endpoint 和 Key，接著把程式接上去，就能很快可以呼叫Agent 。</p><p>但到了 Microsoft Foundry 之後，整個做法明顯不一樣了。現在在呼叫 Agent 這件事上，已經不是單靠 Endpoint 和 Key 就能處理，背後牽涉到告高的驗證與授權機制。從開發者的角度來看，這的確比以前麻煩不少，設定流程也變得更繁瑣；不過換個角度看，這其實也代表平台在資訊安全這一塊變得更成熟了。</p><p>另外，一個很有感的變化是在 RBAC上。早期在 Azure 資源管理的經驗裡，只要某個帳號在某個資源被賦予 Owner 權限，通常就已經擁有非常大的操作全縣。但在 Foundry 裡，你會發現事情沒那麼簡單。就算帳號已經掛上 Owner，實際進到 Foundry 後，還是有可能看到「權限不足」的訊息。</p><p>這件事其實反映出一個很重要的趨勢：進入 AI 時代之後，權限管理不再只是用一個高權限角色就想涵蓋所有操作，而是開始朝向更細緻、更明確的分工設計發展。也就是說，管理權限的人，不一定就等於能直接使用所有 AI 功能；而能使用功能的人，也未必擁有資源管理權。這樣的設計雖然增加了前期設定的複雜度，但對企業治理、安全控管，以及權責切分來說，其實是更合理的方向。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Mges46Jhqzo9rrhBPOa29Q.png" /></figure><p>因此，在 Microsoft Foundry 的設計裡，權限不再只是粗略地分成幾個高低階層，而是依照不同職責切得更細。以實務上常見的角色來說，大致可以先這樣理解。</p><ul><li>Azure AI Account Owner 主要負責 Foundry 帳戶與專案層級的管理工作，例如建立帳戶、建立專案，以及管理相關資源。</li><li>Azure AI User 則偏向實際開發與使用的角色，通常用在專案內進行開發工作，例如建立、編輯與操作 Agent。</li><li>Role Based Access Control Administrator，或是具備 Owner 權限的角色，則多半負責 Azure 層級的 RBAC 指派。尤其當 Foundry 需要串接其他 Azure 資源，例如 Cosmos DB、Azure AI Search、Storage 等服務時，往往還需要額外完成這些資源的角色授權與權限配置。</li></ul><p>從這裡其實就可以看出，Microsoft Foundry 已經不再是過去那種「只要有最高權限就什麼都能做」的模式，而是把資源管理、專案開發、角色授權這幾件事明確拆開</p><p>基於上述原因，在 Microsoft Foundry 的資源架構中，我們可以看到『Foundry』與『Project』兩種層級。若要將開發好的 Project 指派給特定人員，即便已指派該人員為 AI User，對方仍僅能瀏覽 Project 本身，卻無法存取其中的 Agent。因此，若要確保使用者能順利操作 Project 內的 Agent，必須同時在 Foundry 層級將該人員設定為 AI User，才能賦予其相應的存取權限，如下圖</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*khF-1OIziYeinIhFi5UoIg.png" /></figure><p>若追求更簡便的管理方式，也可以直接將權限設定於 Foundry 層級，讓 Project 繼承相關權限，省去逐一設定的繁瑣。這部分的權限架構設計，完全取決於對資安控管與維運效率的權衡</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/286/1*AgiczFrm3c39rAaZrWDidw.png" /></figure><p>除了上述的使用者權限設定外，若要讓應用程式直接連線至 Microsoft Foundry，還需要到 Microsoft Entra ID 進行基本的「應用程式註冊」設定，如下圖：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/278/1*bZ2-D8ofY6_13op5kfNz3g.png" /></figure><p>註冊一個Application ，並產生下面Applciation呼叫需要用到這些資訊，當完成「應用程式註冊」後，請回到該應用程式的「概觀 (Overview)」頁面，就可以看到</p><ul><li>應用程式 (用戶端) 識別碼 (Client ID)：這就是ClientId</li><li>目錄 (租用戶) 識別碼 (tenant ID)：這就是 TenantId</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/560/1*-8ru2wsBtSZhhd2GujmCSw.png" /></figure><p>再來就是取得ClientSecret，在旁邊選單的憑證及祕密的功能中，點擊 「新增用戶端密碼」，設定說明與期限（建議設定後立即複製該值），這就是 ClientSecre</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kxtvPu8uVE_otTxlbNFLaw.png" /></figure><p>把以上這些資訊放到我們的Application中，就可以呼叫Microsoft Foundry的模型或是Agent了</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0fb87678c117" width="1" height="1" alt=""><hr><p><a href="https://blog.edwardkuo.dev/microsoft-foundry%E7%9A%84%E4%BD%BF%E7%94%A8%E6%AC%8A%E9%99%90%E8%A8%AD%E5%AE%9A-0fb87678c117">Microsoft Foundry的使用權限設定</a> was originally published in <a href="https://blog.edwardkuo.dev/">EK.Technology Learn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AI Agent 時代：為何記憶體成為核心瓶頸？]]></title>
            <link>https://blog.edwardkuo.dev/ai-agent-%E6%99%82%E4%BB%A3-%E7%82%BA%E4%BD%95%E8%A8%98%E6%86%B6%E9%AB%94%E6%88%90%E7%82%BA%E6%A0%B8%E5%BF%83%E7%93%B6%E9%A0%B8-c0a99589b86a?source=rss-a35ec9f109f7------2</link>
            <guid isPermaLink="false">https://medium.com/p/c0a99589b86a</guid>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[雜談]]></category>
            <dc:creator><![CDATA[Edward Kuo]]></dc:creator>
            <pubDate>Wed, 25 Mar 2026 01:00:01 GMT</pubDate>
            <atom:updated>2026-03-27T12:44:41.239Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*uaqSHJui-o2bAV0a.jpg" /></figure><p>AI 發展從早期以模型為核心，逐步走向 AI Agent 時代。從時間軸來看，大約自 2025 年底、2026 年開始，產業關注焦點也開始從 GPU，逐漸轉向記憶體層面。</p><p>過去談 AI，多半聚焦在 GPU 與 HBM。HBM 本身確實是 GPU 與 AI 運算中不可或缺的一環，但近一年可以觀察到，連傳統的 DRAM 與儲存體也開始受到市場高度關注。除了三大記憶體廠(美光、海力士和三星)將產能重心轉向 HBM 之外，另一個更關鍵的因素在於 AI 工作負載正從「模型訓練」逐步轉向「推論與實際使用」。</p><p>當 AI 進入推論與 Agent 應用階段，對記憶體的需求會顯著放大。特別是 AI Agent 若部署於本機端或近端環境，必須仰賴記憶體才能即時回應與維持狀態。這也凸顯出 AI Agent 與傳統 AI Chat 的本質差異，不僅是回答更複雜，而是整個運作模式本身就會放大底層基礎設施對記憶體的依賴。</p><p>原因在於，一個典型的 AI Agent 通常同時涉及：</p><ul><li>多輪對話與多步驟推理</li><li>工具呼叫與結果回灌</li><li>長期記憶的檢索與維護</li><li>任務與狀態的持續保存</li><li>多代理之間的協作</li><li>外部知識與文件的動態注入</li></ul><p>在這樣的架構下，AI 工作負載已不再只是單純的「模型推理問題」，而是擴展為「模型推理 + 記憶體階層管理」的整體系統問題。</p><p>對產業的影響，也不再只是單一記憶體規格的需求成長，而是同時推升整個記憶體與儲存體堆疊，包括：</p><ul><li><strong>HBM / GPU</strong>：承載模型權重與 KV cache</li><li><strong>Server DRAM</strong>：承載 Session、Task state、Retrieval cache 與工具回傳結果</li><li><strong>SSD / HDD Storage</strong>：承載長期記憶、向量資料庫、artifacts、logs 與文件資料</li></ul><p>因此，隨著 AI Agent 應用逐步普及，記憶體在 AI 系統中的角色，將從過去的配角，轉變為影響效能與成本的核心瓶頸與關鍵價值環節。這也是為什麼近一年來，記憶體相關公司的市場評價明顯上升。接下來，可以進一步拆解各類記憶體在 AI 架構中，為何會變得越來越關鍵。</p><h3><strong>為什麼 AI Agent 是記憶體殺手？</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OrRk9k1_VqWyXQDTFrE2uA.png" /></figure><p>隨著生成式 AI 從早期以「Chatbot」為主，逐步演進為可執行複雜任務、具備工具呼叫能力的「AI Agent」，底層硬體正面臨結構性的壓力轉變。AI Agent 的價值不只是讓模型變得更聰明，而是在實際運作過程中，對記憶體資源產生顯著且持續放大的需求。</p><p>為什麼 AI Agent 會成為名副其實的「記憶體密集型工作負載」？其根本原因，來自於模型特性、軟體架構，以及硬體記憶體階層之間的交互影響。</p><h4>1. 核心矛盾：以資料搬運模擬「記憶」的成本</h4><p>要理解記憶體壓力，必須先回到大型語言模型（LLM）的一個技術本質：模型本身是無狀態的。模型並不會自然記住前一次對話或任務內容，而只是根據當下輸入的上下文進行推理。</p><p>因此，為了讓 AI Agent 能夠進行連續推理與任務執行，系統必須在每一次推理時，重新組裝並傳遞歷史對話、任務進度、工具執行結果，以及檢索到的知識片段。這種為了讓無狀態模型「表現出有記憶能力」而反覆進行的資料重建與傳輸，正是記憶體壓力的根本來源。</p><h4>2. 三層記憶體階層的同步放大</h4><p>在 AI Agent 架構下，AI 工作負載已不再只是單純的模型推理，而是轉變為「模型推理 + 記憶體階層管理」的系統性問題。這樣的壓力同時出現在三個層級。</p><p><strong>模型推理層：HBM / GPU 與 KV Cache 壓力</strong><br> 在 GPU 端，最明顯的瓶頸來自 KV Cache。Agent 在推理過程中，會持續保留先前 token 的中間狀態以加速生成，但 Agent 的運作模式會快速推升 KV Cache 的佔用，包括：</p><ul><li>單一任務往往需要多輪、甚至十數輪以上的推理循環</li><li>工具呼叫回傳的大量資料被直接納入上下文，導致序列長度快速膨脹</li><li>多 Agent 併發運行時，KV Cache 佔用呈倍數成長，直接影響吞吐量與延遲</li></ul><p><strong>應用層：Server DRAM 作為狀態中樞</strong><br> 大量中介資料不會直接常駐於 GPU，而是先存放在主機端 DRAM。這一層負責保存任務執行狀態、近期對話、以及多代理協作所需的共享資訊。隨著任務複雜度提高，Server DRAM 需要在資料送入 GPU 前，進行摘要、過濾與結構化處理，實際上成為整個 Agent 系統的狀態管理中心。</p><p><strong>儲存層：SSD / HDD 作為長期記憶載體</strong><br> 成熟的 AI Agent 架構，會將無法直接放入 Prompt 的長期記憶、完整文件內容與執行紀錄外部化至儲存層。這不只是成本考量，也關係到任務可恢復性、可追蹤性與系統治理需求。</p><h4>3. AI Agent 與一般 Chatbot 的本質差異</h4><p>相較之下，一般 Chatbot 的記憶體負載相對單純，主要累積的是對話文字本身。 AI Agent 則額外累積了工具呼叫參數、工具回傳的原始資料、任務規劃過程、檢索文件片段，以及多代理之間的通訊內容。</p><p>換言之，Agent 帶來的不是單純的對話變長，而是「對話、狀態、工具、檢索與執行痕跡」同時膨脹，這也正是記憶體需求急遽上升的關鍵。</p><h4>4. 產業視角：記憶體成為關鍵競爭資源</h4><p>這樣的技術轉變，正在重塑整個半導體產業的價值分布：</p><ul><li><strong>HBM</strong> 不再只是 GPU 的附屬，而是直接影響 Agent 商業化可行性的關鍵資源</li><li>記憶體需求由單點擴散至 Server DRAM 與企業級 SSD</li><li>HBM 放量同時帶動 2.5D / 3D 先進封裝與近記憶體運算相關技術的價值提升</li></ul><p>總體而言，AI Agent 的普及代表 AI 系統正從單一算力導向，轉向「算力、記憶體與資料搬運效率」的整體優化問題。未來的競爭力，將不僅取決於模型大小，而是誰能更有效地管理記憶體階層，將資料合理分配於 HBM、DRAM 與 SSD 之間，避免上下文膨脹帶來的效能與成本失控。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fhNr0eXaeYBDOjwCvCXvIQ.png" /></figure><h3>何謂KV cache</h3><p>前面提到 <strong>KV Cache</strong>，KV Cache是 Transformer 類模型在推論階段，為了避免重複計算而設計的一種快取機制。本質上，它是用記憶體空間換取生成效率。</p><h4><strong>KV Cache 的核心概念</strong></h4><p>在 Transformer 架構中，每生成一個新的 token，模型都需要對「目前上下文中的所有 token」進行Attention計算。若每一步都重新計算完整歷史內容，推理成本將快速失控。</p><p>因此，系統會將先前 token 對應的 Key 與 Value 中間結果保留下來，存放於記憶體中，後續生成時直接重用，而不必重新計算。這個被保留下來的中間狀態集合，即為 KV Cache。換句話說，KV Cache 的存在，是為了讓長上下文推理在效能上變得可行。</p><h4>KV Cache 對系統效能的直接影響</h4><p>KV Cache 的大小，會直接限制推理系統的可擴展性：</p><ul><li>吞吐量下降：當 KV Cache 佔用過多顯存時，系統必須縮小 batch size，可同時服務的請求數隨之下降</li><li>延遲上升：隨著對話或任務變長，KV Cache 持續累積，單次生成時間拉長</li><li>GPU 利用率受限：顯存成為瓶頸後，即使算力仍有餘裕，也無法有效發揮</li></ul><p>因此，在多使用者或多 Agent 場景中，KV Cache 往往是先於算力出現的限制因素。</p><h4>為什麼 AI Agent 特別容易「撐爆」KV Cache？</h4><p>相較於一般 Chatbot，AI Agent 對 KV Cache 的壓力顯著更高，主要原因包括：</p><ul><li>多輪推理循環：一個 Agent 任務往往需要 5～20 輪以上的推理步驟，每一輪都會累積新的快取</li><li>工具結果回灌：Agent 呼叫外部工具後，常將冗長的回傳結果重新注入 Prompt，使上下文快速膨脹</li><li>檢索增強（RAG）：為提升準確度，系統會插入大量文件片段，進一步消耗 KV Cache 空間</li></ul><p>這些特性疊加後，使 Agent 的推理負載呈現高度記憶體密集的型態。</p><h4>從 KV Cache 看 AI Agent 的記憶體本質</h4><p>KV Cache 是 AI 推理從「純算力問題」，轉變為「記憶體管理問題」的關鍵指標。其管理效率，直接影響 AI Agent 的部署成本、效能上限與商業可行性。AI Agent 耗用記憶體的原因，並不只是模型變大，而是其在多輪任務中，必須反覆進行上下文的保存、讀取、壓縮、搬運與重建，這些操作同時消耗多個記憶體層級的資源。</p><p>可以簡化為三個層次：</p><ul><li><strong>模型層</strong>：壓力主要來自 KV Cache 與推理工作集</li><li><strong>系統層</strong>：壓力來自 Session、State 與工具產出資料</li><li><strong>儲存層</strong>：壓力來自長期記憶與檢索資料</li></ul><p>也因此，當 Openclaw 這類工具開始被大量應用於終端設備與近端環境時，整體記憶體使用量會持續攀升，對高容量記憶體與完整記憶體階層的依賴也會同步提高。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*apzo4cAuZExPR6e4bmzJGw.png" /></figure><h3>企業級 SSD也開始被AI依賴</h3><p>隨著生成式 AI 從單純的 Chatbot，演進為具備任務執行能力的 AI Agent，企業級 SSD 在 AI 基礎設施中的角色也出現明顯轉變。它不再只是後端的冷資料儲存，而是逐步被納入整體「記憶體階層（Memory Hierarchy）」的一環，直接參與 AI 工作流的運作。</p><p>這個轉變並非來自單一技術突破，而是 AI Agent 架構本身，對資料保存、回放與檢索需求的結構性放大。</p><h4>承接「外部化記憶」與長期知識的儲存層</h4><p>成熟的 AI Agent 架構，不可能也不經濟地將所有資料都放入 GPU 的 HBM 或主機 DRAM 中。相反地，大量資訊會被有意識地「外部化」，交由儲存層承載，而企業級 SSD 正好成為這一層的主要載體。</p><p>典型情境包括：</p><ul><li>向量資料庫與 RAG：為支援檢索增強生成，系統需儲存大量文件、知識庫內容與向量索引底層資料</li><li>長期記憶保存：使用者偏好、歷史任務結果與上下文摘要，多半存放於 SSD 或分散式儲存中，在需要時再載入</li></ul><p>在 Agent 架構中，SSD 承擔的是「容量型、可即時取用的長期記憶」角色。</p><h4>滿足可審計性與任務回收的必要條件</h4><p>與一般對話型應用不同，AI Agent 牽涉實際決策與行動，企業對其可控性與可追溯性有更高要求。這直接帶動對持久化儲存的需求。</p><p>常見的儲存內容包括：</p><ul><li>執行痕跡（Audit / Planning Traces）：完整保留推理路徑、決策過程與工具呼叫紀錄，以支援稽核與回放</li><li>中間產物（Artifacts）：例如生成的程式碼、文件或大型資料集，會從 DRAM 遷移至 SSD，以降低記憶體成本並確保可重用性</li></ul><p>在這類情境中，SSD 不只是存檔用途，而是支撐企業級 Agent 落地的必要條件。</p><h4>AI Agent 推動高效能 NVMe SSD 的需求升級</h4><p>AI Agent 的運作模式，也顯著提高整體系統的 I/O 強度。在每次推理或任務規劃前，系統往往需要快速從外部儲存讀取相關資料，重新組裝上下文。</p><p>因此，企業級 <strong>NVMe SSD</strong> 的價值開始被重新評估：</p><ul><li>高 IOPS 與低延遲：支援頻繁的隨機讀取與快速資料回補</li><li>分層快取架構的一環：在成本與效能之間，作為介於 DRAM 與長期儲存之間的持久化層</li></ul><p>AI 基礎設施正逐步演進為「算力 + 記憶體 + 資料搬運效率」的整體最佳化問題，而非單純堆疊算力。</p><h4>從冷儲存走向 AI 工作流核心</h4><p>在這樣的架構轉變下，企業級 SSD 成為 AI 基礎設施中的隱性受益者。</p><p>具體影響包括：</p><ul><li>容量結構性成長：多租戶 Agent 平台、長任務與 Session 管理，推升對高容量 SSD 的長期需求</li><li>Data lake角色強化：SSD 成為承載檢索語料、對話記錄、檢查點與任務歷史的核心媒介</li></ul><p>SSD 不再只是「放資料的地方」，而是 AI 工作流中不可或缺的持久化基礎。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RJjatQvKTdhRLM5k_ToHJA.png" /></figure><p>轉換到產業面，這幾年趨勢就如同下面這樣</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FKl3_x1ADQio20bfB1KvjA.png" /></figure><p>所以，當我們理解這個的邏輯與架構，在未來開發AI Agent的部分，基於硬體限制(也可能無限制)，是會需要用一些壓縮技術方式節省記憶體消耗，增加反應速度，此外對於產業變化也是在改變中，從早期GPU強烈需求，到現在對於記憶體和儲存體的強烈需求。當終端硬體能開始支援AI應用時，也才真正把AI導入到日常運作中</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c0a99589b86a" width="1" height="1" alt=""><hr><p><a href="https://blog.edwardkuo.dev/ai-agent-%E6%99%82%E4%BB%A3-%E7%82%BA%E4%BD%95%E8%A8%98%E6%86%B6%E9%AB%94%E6%88%90%E7%82%BA%E6%A0%B8%E5%BF%83%E7%93%B6%E9%A0%B8-c0a99589b86a">AI Agent 時代：為何記憶體成為核心瓶頸？</a> was originally published in <a href="https://blog.edwardkuo.dev/">EK.Technology Learn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[從 RAG 到 Agentic Retrieval：解析 Microsoft Foundry IQ 的架構優勢]]></title>
            <link>https://blog.edwardkuo.dev/%E5%BE%9E-rag-%E5%88%B0-agentic-retrieval-%E8%A7%A3%E6%9E%90-microsoft-foundry-iq-%E7%9A%84%E6%9E%B6%E6%A7%8B%E5%84%AA%E5%8B%A2-8c73174f24fe?source=rss-a35ec9f109f7------2</link>
            <guid isPermaLink="false">https://medium.com/p/8c73174f24fe</guid>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Edward Kuo]]></dc:creator>
            <pubDate>Sat, 28 Feb 2026 12:37:41 GMT</pubDate>
            <atom:updated>2026-02-28T12:37:41.230Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/999/0*FlUpPJcYJIIAxQLw" /></figure><p>我先前在<a href="https://blog.edwardkuo.dev/microsoft-foundry-%E5%BE%9E-azure-ai-foundry-%E6%94%B9%E5%90%8D%E5%88%B0%E5%8A%9F%E8%83%BD%E5%A4%A7%E5%8D%87%E7%B4%9A-083853e75b81"><strong>Microsoft Foundry：從 Azure AI Foundry 改名到功能大升級</strong></a>那篇文章中，提到 Microsoft Foundry 新增了一個功能 <strong>Foundry IQ</strong>。老實說，這個功能讓我非常驚艷，因為它透過 AI Agent 的能力把傳統 RAG 模式再提升一個層級。因此，花了一些時間深入研究它的差異與特色。</p><p>過去使用 Azure OpenAI 服務時，若要在雲端實現 RAG 功能，通常需要自行開發，或是搭配 Azure AI Search 來完成。雖然 Azure AI Search 不斷進化，已支援向量儲存與Chunking功能，但整個建構流程並不容易。我們必須自己處理從 Chunking、Embedding、索引設計到 Prompt Engineering等環節，每個部分都會直接影響最終的回答品質。即使調整到位，結果往往仍不理想，回答可能缺乏精準度或聚焦性。更麻煩的是，就算成功串起流程，若沒有持續優化，RAG 的效果仍可能不如預期。</p><p>Foundry IQ 的出現，我認為它有機會將 RAG 推進到更高層次。它不只是單純的 RAG，而是以「知識庫層級的 AI 代理」為核心概念，採用 <strong>Knowledge Base</strong> 取代過去僅依靠 Index（索引）搜尋的模式。這代表它不只是優化流程，而是進一步思考「如何提升檢索品質與生成結果的整合度」。在 Foundry IQ 中，我們可以建立一個「可配置、可擴展、支援多來源」的知識庫。</p><p>根據官方文件，Foundry IQ 的幾個關鍵能力包括：</p><ul><li>支援多種資料來源（如 Azure Blob Storage、SharePoint、OneLake 以及公開網路資料），並可供多個代理共用</li><li>自動完成文件Chunking、向量嵌入與中繼資料索引，並支援增量更新</li><li>支援關鍵字、向量與混合式查詢</li><li>透過 LLM 進行查詢規劃與結果彙整</li><li>回傳具引用來源的結果</li><li>整合 ACL、Purview 敏感標籤與 Entra 身份權限控管</li></ul><p>簡單來說，它將過去需要自行處理的工程細節大幅「產品化」與「整合化」。更重要的是，它的設計理念不只是索引文件，而是試圖將完整的知識領域結構化、系統化呈現，並清楚區分「<strong>代理負責推理與任務執行</strong>」與「<strong>知識庫專注檢索與治理</strong>」。這樣的分層設計更符合大型系統架構思維，也讓後續的擴充與治理變得更加可控。</p><p>因此， Foundry IQ 背後有兩個關鍵的設計理念是對我們實踐Agent智慧化有很大助益：</p><ul><li>知識領域結構化：目標不只是做文件索引，而是試圖把一個完整的知識領域系統化地呈現出來。</li><li>權責分層明確：強調代理負責「推理與執行」，知識庫專注於「檢索與資料治理」。在 Foundry IQ 中，知識庫代表的是 Agent 背後一個完整的知識領域。</li></ul><p>下圖為其背後的架構：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2VE9nWs6437gVGAsmvIuWw.png" /></figure><p>如前所述，早期我們透過 Azure AI Search 想要做到好的 RAG，必須精通搜尋索引（Index）、索引子（Indexer）和技能（Skillset）這三個屬性的設計。但在 Foundry IQ 改用 Knowledge Base 概念時，雖然背後仍依賴 Azure AI Search，但核心轉向了 <strong>Agentic Retrieval Pipeline</strong>。這造就了它不單僅是搜尋，而是一個包含推理與迭代的過程，主要包含以下三種機制：</p><ul><li>智慧查詢規劃與來源選擇：系統會根據使用者的意圖，自動決定要從哪些知識源（如 SharePoint、Blob 或 Web）獲取資訊。</li><li>多層次推理 (Reasoning Effort)：使用者可根據需求選擇「Minimal」、「Low」或「Medium」推理層級。在「Medium」層級下，系統會啟動Reflection/Iteration機制，確保回答品質。</li><li>統一的語意排序：無論資料來自索引來源還是遠端來源，Foundry IQ 都會進行統一的Semantic Reranking，大幅提升結果的相關性。</li></ul><p>其 Agentic Retrieval Pipeline 流程如下：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xNqa7JN7zhLD4zvY_H6zLw.png" /></figure><p>在建構Knowledge Base的過程中，可以發現如下圖所示的內容擷取模式功能：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/824/1*JNcyXDHYA13b_N7UFbdMGA.png" /></figure><p>這是 Foundry IQ 的「推理層級」功能，會直接影響 AI Agent 在處理檢索任務時的深度與準確度：</p><ul><li>Minimal：僅包含基本的 L2 Ranking，不具備查詢規劃、來源選擇或反射/迭代機制</li><li>Low：啟用了智慧查詢規劃與來源選擇，並開始支援 Web Grounding（</li><li>Medium：功能最完整的層級，加入了 L3 分類器與反射/迭代機制，系統能判斷資訊是否充足，並在必要時進行多次搜尋</li></ul><p>對檢索品質的量化提升： 根據官方評估資料顯示，提高推理層級對答案分數有顯著幫助：</p><ul><li>總體提升：採用迭代搜尋的「Medium」層級比起直接搜尋的「Minimal」層級，平均答案分數提升了 36%。</li><li>分數演進：在多組測試中，平均分數隨層級從 55 (Minimal) 提升至 74 (Low)，最終達到 80 (Medium)。</li><li>針對困難問題：在特定困難資料集中，品質增幅甚至高達 55%。</li></ul><p>推理層級越高，檢索過程就越具備「Agentic（代理式）」特徵。在 Microsoft Foundry 以 Agent 為設計核心的情況下，過去我們做 RAG 必須針對不同場景呼叫不同 Index，現在只要設定不同 Knowledge Base，透過 Agent 本身做推理或自行切換知識庫即可。Medium： 這是功能最完整的層級，除了包含前述功能外，還加入了 L3 分類器與(Reflection/iteration)，讓系統能判斷是否已獲取足夠資訊，並在必要時進行多次搜尋。</p><p><strong>對檢索品質的量化提升</strong></p><p>根據官方來源提供的評估資料顯示，提高推理層級對答案分數有顯著幫助：</p><ul><li>總體提升： 採用迭代搜尋的「Medium」層級比起直接搜尋所有知識庫的「Minimal」層級，平均答案分數提升了 36%。</li><li>分數演進： 在多組測試數據中，平均分數隨層級從 55 (Minimal) 提升至 74 (Low)，最終達到 80 (Medium)。</li><li>針對困難問題： 在某些特定且困難的資料集（如 miml-hardest-en）中，從 Minimal 提升至 Medium 的品質增幅甚至高達 <strong>55%</strong>。</li></ul><p>推理層級越高，檢索過程就越具備「Agentic (代理式)」特徵，透過反覆的邏輯推理與跨來源整合，能大幅減少漏失並產出更精準、更具參考價值的回答。</p><p>如下圖，在Microsoft Foundry的Agent，我們就可以掛載多個Knowledge Base提供給Agent進行推理運用</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/930/1*hMBFg6-xZk7LWcncWfL1jg.png" /></figure><p>此外，Foundry IQ 的核心功能 <strong>Reflection（反映/反射）</strong> 是在 Medium 層級才會啟用的代理式功能。其具體運作方式如下：</p><ul><li>判斷資訊充足性：評估目前的檢索結果是否足以回答使用者的提問。</li><li>循環迭代過程：若反射機制認為資訊不足，會帶領 Agent 返回查詢規劃階段，重新調整查詢或選擇來源；確認資訊完備後才會輸出答案。</li><li>結合 LLM 推理：使用 LLM 進行深度推理，確保評估的準確性。</li><li>智慧化策略：包含「快速檢查」與「完整檢查」。</li></ul><p>因此，反射機制讓 RAG 從單向的「搜尋並生成」轉變為具備自我審查能力的循環過程。雖然中間過程會消耗較多 Token，但能換來更精準的答案。</p><p>下一篇文章，再來針對 Foundry IQ 進行實作分享。</p><h3>參考來源</h3><ul><li><a href="https://learn.microsoft.com/zh-tw/azure/ai-foundry/agents/concepts/what-is-foundry-iq?view=foundry&amp;tabs=portal">什麼是 Foundry IQ？ — Microsoft Foundry | Microsoft Learn</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8c73174f24fe" width="1" height="1" alt=""><hr><p><a href="https://blog.edwardkuo.dev/%E5%BE%9E-rag-%E5%88%B0-agentic-retrieval-%E8%A7%A3%E6%9E%90-microsoft-foundry-iq-%E7%9A%84%E6%9E%B6%E6%A7%8B%E5%84%AA%E5%8B%A2-8c73174f24fe">從 RAG 到 Agentic Retrieval：解析 Microsoft Foundry IQ 的架構優勢</a> was originally published in <a href="https://blog.edwardkuo.dev/">EK.Technology Learn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[混合式 AI 架構是企業在AI應用的解方?]]></title>
            <link>https://blog.edwardkuo.dev/%E6%B7%B7%E5%90%88%E5%BC%8F-ai-%E6%9E%B6%E6%A7%8B%E6%98%AF%E4%BC%81%E6%A5%AD%E5%9C%A8ai%E6%87%89%E7%94%A8%E7%9A%84%E8%A7%A3%E6%96%B9-d2d54033da47?source=rss-a35ec9f109f7------2</link>
            <guid isPermaLink="false">https://medium.com/p/d2d54033da47</guid>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Edward Kuo]]></dc:creator>
            <pubDate>Fri, 12 Dec 2025 05:26:35 GMT</pubDate>
            <atom:updated>2025-12-12T05:26:35.446Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/768/0*KFBVSiP2eT0Grnbk.png" /></figure><p>今年在 .NET Conf，我分享了一個跟 AI 有關的主題，談的是「在企業環境裡，實際要怎麼落地 AI 解決方案」。會選這個題目，一方面是因為我自己在公司裡已經遇到這類問題，另一方面也是現在 AI 發展實在太快，對多數企業來說，很難判斷到底該怎麼規劃與建置相關架構。</p><p>硬體自己買下去很貴，還不一定看得到實際效益；全部丟上雲端，又常被質疑安全性，像是「資料放在雲上會不會很危險？」這些疑慮都會直接影響到軟體架構的規劃，讓整個導入過程變得很不容易。</p><p>但其實，只要一開始就把「整體 AI 架構」想清楚、基礎打穩，不只對開發團隊在系統設計與開發上有幫助，也能大幅提高 AI 在企業內真正落地、產生實際價值的機會。</p><p>現在大家在談 AI，很常聽到的是「導入 AI 工具是好事」、「一定要用 AI」，但對企業來說，真正的問題通常是：這筆投資到底有沒有效益？能不能在合理成本下，創造最大的價值與產出？而這種效益，絕對不是只有「用 AI 寫 Code」這麼單純。</p><p>在這個時間點，企業需要開始認真思考「AI 應用系統的架構與設計策略」?某種程度上，如果一開始沒有從「架構」跟「策略」層面就先規劃好，後面在導入 AI、串接內外部系統、處理資料安全與合規時，就會變得綁手綁腳，很難把 AI 用在真正關鍵的地方，更別說要創造可被量化的價值。</p><p>下面這張圖，就是我用來說明，當企業想要導入 AI 解決方案時，在架構上通常會遇到的幾個主要問題。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6csZvUP2XpnIBRq1RD3cCA.png" /></figure><p>現在模型演進的速度非常快，效能越來越好、成本也越來越低。過去幾年，大家很愛拿「模型誰比較大、誰比較準」來比較，因為這確實會直接影響 AI 的準確度和效果。但就目前的發展趨勢來看，未來企業 AI 專案成敗的關鍵，其實不會只在於「模型多大、多厲害」，而是能不能把整體設計架構規劃好，而其中我認為要思考點，如包括：</p><ol><li>能不能保護資料<br>在導入生成式 AI 之後，資料外洩風險變高了，從提示詞、檔案上傳、聊天紀錄到應用程式 Log，都可能成為新的曝險點。如果一開始沒有把資料分類、權限、傳輸與儲存的安全機制設計好，AI 再準也不敢放心用在關鍵場景</li><li>能不能持續維運<br>模型的「保質期」其實很短，如果沒有 ModelOps / MLOps 能力，缺乏對模型布署、監控、版本控管與汰換機制，GenAI 應用很快就會過時或失控。企業要的是能長期穩定跑的 AI 服務，而不是一次性的 Demo</li><li>能不能快速上線<br>成功導入 AI 的企業，通常都有一套標準化的流程與平台，讓新用例可以在可控風險之下，快速從 PoC 走到 Production。如果每一次都要從零開始整合系統，速度就會被整個市場節奏甩開</li><li>能不能保持敏捷<br>模型更新很快、雲端與開源生態也一直在變。企業需要的是一套可以「換模型而不用重做系統」的架構，並且可以因應不同場景，彈性選擇自訓模型、雲端 API 或開源模型組合。這種敏捷，才有辦法持續保持競爭力</li><li>能不能遵守法規<br>隨著 AI 應用變多，隱私、合規、資料跨境、模型偏誤等議題都會被放大檢視。Gartner 的研究也提醒，企業在採用 GenAI 時，若缺乏治理與風險審查機制，容易在資料安全與合規上踩雷。</li><li>能不能控制成本<br>大規模導入 GenAI 的成本非常容易失控：模型推理、雲端資源、網路與儲存、甚至是錯誤設計的 Prompt 都會推高成本。企業需要有 FinOps 思維與工具，去了解每個用例的成本結構，並透過快取、Prompt 優化、模型選型與資源治理，持續把單位成本壓下來</li></ol><p>也因此，未來企業在談 AI，不再只是問：「這個模型好不好？參數多不多？」而是要更務實地思考，怎樣的設計架構可以符合以上的思維</p><p>常在社群上常常可以看到一種宣傳模式，好像只要開啟 Vibe Coding、把 IDE 跟 AI 助手串在一起，很多開發效率問題就自動解決了。程式怎麼寫、Bug 怎麼修、架構怎麼設計，通通「問 AI 就好」，開發者只要照著改、照著貼，看起來什麼都變得又快又省力。但放到企業環境裡，其實現實完全不是這麼一回事。企業面對的挑戰，遠比做一個純 AI Demo 或 Side Project 複雜許多。尤其是企業內部的開發團隊，在日常工作流程中，必須同時思考的面向，更多和廣(姑且不說還有政治問題的因素)，例如下面幾種狀況</p><ul><li>多環境</li><li>多資料來源</li><li>多法規</li><li>多營運據點</li><li>多種資料敏感度</li><li>多重成本與效益取捨</li></ul><p>這些因素疊加起來，往往比「寫程式」本身還要複雜。而且更關鍵的是：這些問題，本質上也不是靠 AI 就能自動幫你解決的。</p><p>對某些接案公司來說，專案只要「功能交付、順利上線」就算完成，不一定會去面對這麼多層面的長期考量。Vibe Coding 這類工具，的確可以大幅提升「寫 Code」的效率，但對企業內的 IT 團隊來說，真正需要的是：在這個效率基礎之上，再補上架構設計、治理、安全、合規，以及營運模式的深度思考，有時候還要顧及企業的商業行為與情境，才能落實AI解決方案。不然，就只是武力展示而已</p><p>所以，少了這一塊，再華麗的 AI Coding Demo，最後很可能只會停留在展示影片或實驗性專案，無法變成一個長期可被信任、可持續擴大的 AI 能力，甚至停掉AI專案。也因此，在這麼多複雜因子交織之下，過去那種「雲端 vs 地端只能二選一」的思維，其實已經不太適用了。在傳統 IT 架構規劃裡，我們常常被迫做出一個單一選擇：</p><ul><li>系統全部上雲，享受彈性與擴充性</li><li>全部留在地端，掌握資料與基礎設施的控制權</li></ul><p>但到了 AI 時代，關鍵已經不再是選邊站，而是如何同時擁有兩端的優勢：</p><ul><li>該在地端處理的高敏感資料與關鍵工作負載，仍然可以留在企業內部環境，配合既有的資安、法遵與內控機制。</li><li>需要大量算力、需要快速試驗新模型與新服務的 AI 工作負載，則可以善用雲端的彈性與多樣性，快速擴充、快速迭代。</li></ul><p>這種「雲端 + 地端」並存，甚至跨多雲、多區域、多資料來源的混合架構，才真的有辦法對應前面提到的那些企業現實。</p><p>所以在 AI 的情境裡，我覺得我們不應該再只問：「到底要上雲，還是不要上雲？」而是要反過來設計：「哪一塊適合放在雲端發揮彈性與擴充優勢？哪一塊必須留在地端、自己牢牢掌握？兩者之間的資料流、權限與治理要怎麼取捨與切分？」只有在這樣的前提下，企業才能一方面跟上 AI 演進的速度，一方面又不犧牲安全、合規，以及長期營運的穩定性。</p><p>接下來我用一個簡單的表格，來比較「地端、自建雲、託管／雲端服務」三種架構模式的差異，幫助大家更清楚判斷在不同情境下，應該怎麼選擇與搭配。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Zi9j9UYeo60D6WGHngnevg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nsenZw54TmwE49X8WO6cBw.png" /></figure><p>因此，綜合前面提到的那些現實條件與限制，我自己會傾向認為，採用「混合式人工智慧架構」來打造企業級方案，是目前相對務實的一條路。這樣的做法帶來的幾個關鍵優點，大致可以整理成下面幾點：</p><p><strong>1. 訓練與推論放在最適合的環境裡</strong></p><p>在企業場景中，「模型訓練」和「模型推論」通常有截然不同的需求：</p><ul><li>訓練需要大量算力、彈性的 GPU 資源，使用時間又不一定是長期固定</li><li>推論則更在意穩定性、延遲、資料敏感度與合規要求</li></ul><p>混合式架構可以：</p><ul><li>把模型訓練放在公有雲，善用雲端的高擴充、高彈性與多樣化服務。</li><li>把推論部署在內部機房或邊緣節點，讓資料不必離開企業受控環境，同時滿足延遲與資安需求。</li></ul><p><strong>2. 在快速變動的 AI 時代保有彈性與敏捷</strong></p><p>AI 技術更新速度非常快，新模型、新框架、新服務不斷出現。如果整個架構被綁死在單一環境，未來要調整就會非常痛苦</p><p>混合式 AI 架構可以保留足夠的彈性：</p><ul><li>想要快速試新模型？先在雲端 PoC。</li><li>PoC 成功、要長期使用？再評估是否遷回地端或專用環境。</li><li>部分用例適合放雲端，部分用例必須留在地端，也可以併存共用。</li></ul><p><strong>3. 善用雲端 PaaS，降低整體營運負擔</strong></p><p>不是所有東西都要自己蓋一遍。對企業來說，更合理的做法是：</p><ul><li>把高管控、低延遲、高資安要求的核心工作負載放在內部機房或專用環境</li><li>其餘像是優先考慮用雲端 PaaS 服務</li></ul><p>這樣的好處包括：</p><ul><li>不用一開始就砸大錢買一堆硬體與軟體平台。</li><li>由雲端服務供應商幫忙吸收基礎設施維運與升級的複雜度</li><li>內部團隊可以把重心放在「業務場景、設計與治理框架」，而不是一直在處理底層 Infra，減少這方面人員配置</li></ul><p><strong>4. 真正支援邊緣場域的推論需求</strong></p><p>很多 AI的案例，其實在「邊緣運算」，像是</p><ul><li>製造業的產線設備與 AOI 檢測站</li><li>零售門市的 POS、攝影機、智慧標籤</li><li>醫院現場的儀器與院內資訊系統</li><li>運輸與智慧城市中的車載裝置、路側設備</li></ul><p>這些場景共同的特性是：</p><ul><li>對延遲敏感，需要接近即時的決策</li><li>網路不一定穩定，甚至有離線情境</li><li>接觸到大量敏感資料，不見得能直接送上雲端</li></ul><p>混合式架構的好處是：</p><ul><li>在雲端完成模型訓練、壓縮、優化與測試。</li><li>再將模型「下放」到邊緣節點或現場伺服器，在當地完成推論</li></ul><p><strong>5. 降低合規衝擊，更容易符合產業規範</strong></p><p>對金融、醫療與政府等高度受監管產業來說，AI 導入最大的壓力往往來自下面幾點</p><ul><li>資料是否可以出境</li><li>模型與服務是否可以放在公有雲</li><li>AI 決策過程是否可追溯、可稽核</li><li>個資、病歷與敏感資料如何被使用、保存與刪除</li></ul><p>混合式架構提供則是取得共識的折衷方案：</p><ul><li>高敏感、高風險的資料與應用，留在受控的地端或專區環境裡處理。</li><li>經過脫敏、匿名化或彙總後的資料，才送上雲端做訓練、分析或跨場域整合</li></ul><p>因此，這種做法可以在不違反法規的前提下，把雲端的優勢發揮到最大，同時也讓資安有比較多的空間與彈性去協調、溝通。</p><p>很多人在一開始聽到「混合式架構」，直覺會以為那是一種折衷方案；不少傳統 IT 的觀點也會覺得，這樣只是讓部門工作重工、基礎建設成本變高，甚至好像失去對環境的掌控權。</p><p>但如果從 AI 的角度來看，我反而會把「混合式」視為一種保留最大「選擇權」的策略：</p><ul><li>適合放雲端的，充分利用雲端的彈性與服務</li><li>必須留地端的，確保安全、合規與控制力</li><li>需要靠近現場的，就到邊緣節點</li></ul><p>在這個基礎之上，再來談用什麼模型、什麼框架、要不要用 Vibe Coding 提升開發效率，才有機會讓 AI 在企業裡跑得穩，還能跑得長久。</p><p>從微軟對於混合式AI願景來看</p><blockquote>混合式 AI 可將智慧放在最適位置，既保護隱私，又能降低雲端運算成本，如:例行查詢、情境蒐集與個人歷程存取，都可由輕量本地模型處理，而非動用昂貴的大型模型。混合式 AI 讓每一台裝置都成為智慧協作夥伴，也讓每個雲端代理人成為能安全運用在地專業的專家。</blockquote><p>此外，從這幾年各種調查與報告來看，有一個很一致的結論：AI 在企業裡非常熱門，但真正「落地成功」的比例並不高。多數專案卡關，往往不是因為「技術做不出來」，而是卡在 AI 佈署過程中的幾個關鍵決策：How、Where、Who，再加上我們不能忽略的幾個面向：Cost Efficiency、Performance、Compliance。這些都是影響AI落地的因子，當然也是會影響軟體設計架構的重要因素</p><p>為什麼「很熱門」不等於「落地成功」?像 Gartner 這類研究都指出，很多企業已經開始導入或試驗 GenAI，但真正跑進生產環境、能規模化、而且持續創造價值的，其實還是少數。常見的情況包括：</p><ul><li>有 PoC，但上不了線</li><li>上線了，但成本失控</li><li>技術沒問題，但被資安／法遵擋下來</li><li>做出來了，但組織沒有能力長期維運</li><li>期待與現實產生極度落差，無法有好的ROI</li></ul><p>從AI 要怎麼做（How）、要放在哪裡（Where）、由誰負責（Who）這些點來看</p><ul><li>How ：很多企業的 AI 專案會卡在這一層，例如：只顧著「先把東西做出來」，沒有設計完整的部署流程與監控機制。沒有事先評估推理成本與資源利用率，結果一旦流量上來，帳單直接爆掉。缺乏 ModelOps / MLOps 概念，模型老化或效果變差時，沒有人看得見、也沒有人負責持續調整與更新</li><li>Where ：常見的狀況一開始就預設「全部上雲比較好」，做到一半才被資安喊停，或是一開始就下死命令「一律不能上雲」，結果自己機房的算力與彈性根本撐不起來 AI 專案的需求。說到底，都是因為「Where 要佈署在哪裡」沒有在一開始就被納入整體架構設計與決策裡，導致在設計架構上沒有設計好「雲、地之間可移轉」的軟體架構</li><li>Who ：到底是誰在運營這套 AI？更關鍵的是：負責營運的人，到底懂不懂 AI 架構？很多企業沿用傳統的分工模式，覺得只要照原本的組織設計，就可以順利營運 AI 服務，但忽略了一件事：整體 AI 架構其實跟過去的傳統軟體架構很不一樣。結果常見的狀況:懂得怎麼維運的人，卻沒有足夠的權限可以處理、專案成功了，也沒有人知道要怎麼把這套模式複製到下一個用例上</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MNoARRXARci9Wfh_HVxQaw.png" /></figure><p>此外，Cost、Performance、Compliance，也可以做為先用一個「戰略三角形」來看企業做 AI 的大方向：</p><p><strong>Cost Efficiency</strong></p><ul><li>如何在不浪費資源的前提下，用好算力與平台</li><li>會不會做到後來，總成本遠超預期</li><li>有沒有對應的 FinOps 機制，去看清楚成本結構</li></ul><p><strong>Performanc</strong>e</p><ul><li>模型準不準、系統快不快、延遲能不能接受</li><li>對內部流程、對客戶體驗，是否真的有可見的改善</li><li>當使用量放大 10 倍、100 倍，效能是否穩得住</li></ul><p><strong>Compliance</strong></p><ul><li>有沒有踩到資料安全、隱私、產業法規的紅線</li><li>有沒有清楚的治理機制與控制措施，避免 AI 被誤用、濫用</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-q2jzLbxOLB6DA-N-vbCgQ.png" /></figure><p>這三個面向幾乎主導了後續所有關於架構、技術選型與組織設計的討論。之所以這樣說，主要是因為我自己過去在開發多個 AI 專案時，前期小量試用都沒什麼問題，但一旦開始擴大推廣，各種問題就會一口氣浮現出來。</p><p>尤其在 AI 技術變化這麼快的情況下，很容易陷入一種「要上不上、要下不下」的尷尬狀態，不上線覺得錯失機會，真的推到規模化又發現架構、流程、組織都還沒準備好。但又不得不說，基於速度與彈性，同時也要讓企業員工開始熟悉AI，如何在這之間保持平衡是一種非常困難的設計</p><p>最後，既然混合式 AI 架構設計本身有它的優勢，要在企業裡導入這樣的模式，對開發人員來說也會是另一種挑戰。因為這樣一來，整體系統的複雜度會大幅提升，開發者必須同時理解雲端與地端的差異、佈署模式、網路與安全設計，這些都會變成新的學習成本。</p><p>也正因如此，有一個真正替開發者提供良好的開發體驗的 AI 開發平台，就會變得非常關鍵。好的平台可以在背後處理掉一大部分基礎設施與佈署細節，讓開發者專心在業務邏輯與 AI 應用本身，整體開發體驗才會是好的。可以透過下圖來進行評估</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MO7I9e99KFgzo08BS6rSWg.png" /></figure><p>就我來看目前是可以透過Micrsoft Foundry和Foundry Local來進行架構實踐，其他細節留在下篇說明</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d2d54033da47" width="1" height="1" alt=""><hr><p><a href="https://blog.edwardkuo.dev/%E6%B7%B7%E5%90%88%E5%BC%8F-ai-%E6%9E%B6%E6%A7%8B%E6%98%AF%E4%BC%81%E6%A5%AD%E5%9C%A8ai%E6%87%89%E7%94%A8%E7%9A%84%E8%A7%A3%E6%96%B9-d2d54033da47">混合式 AI 架構是企業在AI應用的解方?</a> was originally published in <a href="https://blog.edwardkuo.dev/">EK.Technology Learn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Microsoft Foundry：從 Azure AI Foundry 改名到功能大升級]]></title>
            <link>https://blog.edwardkuo.dev/microsoft-foundry-%E5%BE%9E-azure-ai-foundry-%E6%94%B9%E5%90%8D%E5%88%B0%E5%8A%9F%E8%83%BD%E5%A4%A7%E5%8D%87%E7%B4%9A-083853e75b81?source=rss-a35ec9f109f7------2</link>
            <guid isPermaLink="false">https://medium.com/p/083853e75b81</guid>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Edward Kuo]]></dc:creator>
            <pubDate>Thu, 20 Nov 2025 01:20:58 GMT</pubDate>
            <atom:updated>2025-11-20T01:20:58.517Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2iu8pHt-DnGsJQ-oH1uGbw.png" /></figure><p>在 2025 年的 Microsoft Ignite 上，Azure AI Foundry 改名為 Microsoft Foundry。乍看之下我以為只是單純換個品牌名稱，沒想到背後卻藏著更多驚喜：功能不只是延續，而是大幅擴充。</p><p>回頭想想以前的 Azure AI Foundry，本身在建構 AI Agent 的流程就已經相當便利，讓開發者能比較快速地把模型、工具與對話流程串起來。但到了 Microsoft Foundry，微軟把這個平台往更完整、更生態化的方向推進，不僅增強了原有的 Agent 能力，還加入了很多新的工具與整合選項，讓整體的生產力與擴展性都提升不少。</p><p>Microsoft Foundry 已經轉型為整合化的 Azure AI PaaS，進一步強化企業在 AI 運維、模型建置與應用程式開發的能力。與 Copilot Studio 的 Low‑Code 取向不同，Copilot Studio 適合快速上手與簡單流程自動化，但在要做更深入客製化或擴充功能時，可能會受到限制。Microsoft Foundry 結合了生產等級的基礎架構與直覺的介面，讓開發人員能把精力放在打造應用程式，而不用花太多時間管理基礎設施。</p><p>在 Foundry 裡，代理程式、模型與各類工具都整合在同一套管理系統，並內建追蹤、監控、評估與可自訂的企業設定，便於企業維運與治理</p><p>根據 Gartner 對 <strong>AI Application Development Platforms</strong>的定義，一個完整的平台除了具備應用程式與 Prompt Engineering 的開發能力外，還必須包含多項治理、疑難排解及品質管理功能，才能讓企業在建置、部署與擴展 AI 代理（AI Agents）時更加安全、穩定。其建議的關鍵功能如下圖:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/721/1*v0JWk5PQrSTqZPsX-MRbHQ.png" /></figure><p>在新版 <strong>Microsoft Foundry</strong> 看來，Gartner 所定義的 AI Application Development Platforms 所需能力幾乎都有涵蓋，有哪些加上新功能呢?</p><ul><li><strong>Multi‑Agent Orchestration and Workflows</strong><br>透過 C# 與 Python SDK，支援多個AI 代理協同合作及執行複雜的自動化工作流程</li><li><strong>Expanded Integration Options</strong><br>可將代理直接發佈到 Microsoft 365、Teams 及 BizChat，並支援容器化部署，對於能發布到Microsoft 365這一點我滿好奇到底要怎樣做，又跟Copilot Studio差異在哪?</li><li><strong>Expanded Tool Access</strong><br>存取全新的 Foundry 工具目錄，同時支援公開工具目錄與私有目錄，能連接超過1400種工具或服務，當然串接這些服務都是透過MCP方式居多</li><li><strong>Enhanced Memory Capabilities</strong><br>讓 AI 代理能在多輪互動中保留並回憶情境資訊，提高連貫性與個人化，不需要使用者重複輸入相同內容。</li><li><strong>Real‑Time Observability</strong><br>內建效能監控與模型追蹤工具，能及時了解代理的運作狀態並確保治理合規。</li><li><strong>Enhanced Enterprise Support</strong><br>Foundry Agent Service 採用開放協定，全面支援 MCP 與 A2A 工具的身份驗證，並整合 AI Gateway 與 Azure Policy。</li><li><strong>Centralized AI Asset Management</strong><br>集中查看、優化與管理所有 AI 資產，支援跨雲註冊代理，並能即時警示模型或代理的狀態。</li></ul><p>除了前面列出的功能外，我個人覺得值得後續深入研究的重點</p><h4>Foundry MCP 伺服器</h4><ul><li>Foundry 的 MCP由 Microsoft 管理並雲端託管，讓代理程式可以在不直接呼叫後端 API 的情況下對 Foundry 服務進行讀寫。實務上，我們可以使用 MCP 相容的Visual Studio Code連到公共端點。連線建立後，就能以自然語言提示來驅動工具，簡化代理對外部服務的互動流程。</li></ul><h4>Foundry IQ</h4><ul><li>與Agent的知識庫整合。但背後還是由 Azure AI Search 直接連接到 Foundry 代理服務，這對企業實作 RAG來說非常方便。當代理發起查詢時，知識庫會協調一整套檢索流程</li></ul><p>包括：</p><ul><li>將使用者查詢規劃並分解為子查詢</li><li>並行處理這些子查詢，採用關鍵字檢索、向量檢索或混合檢索策略</li><li>對檢索結果執行語意層級的重排序以找出最相關項目 最後將結果整合成單一回應</li></ul><h4>Web 搜尋工具</h4><ul><li>Foundry 的 Web 搜尋工具可以在不直接「開啟 Bing Search service」的情況下讓代理使用網路搜尋功能。這對於需要多管理一個服務的企業來說，會是一件好事情。但對於這個功能的底層仍會依靠「使用 Bing 搜尋進行基礎設置」和或「使用 Bing 自訂搜尋進行基礎設置」。但這個機制與直接啟用 Bing Search service 的差異在哪裡？可能要驗證看看</li></ul><h4>Foundry Agent Service 的記憶體管理</h4><ul><li>Foundry 提供一個「管理式的長期記憶」解決方案，用來確保代理在會話、裝置與工作流程間的連續性。我們可以建立與管理記憶體儲存，讓代理保留使用者偏好、維持對話歷史，並提供更個人化的體驗。這將代表我們基本上可以完全不用自己設計上下文記憶機制了。在Foundry中一套管理式的長期記憶基礎，但在某些情境下（例如非常特殊的資料結構、高度自訂的記憶策略或特定隱私需求），我們還仍需要自行設計或補強。</li></ul><p>它的運作模式也滿有趣的</p><ul><li>短期記憶：追蹤當前會話內容，維持即時互動脈絡。這通常由代理框架（例如 Microsoft Agent Framework）視為會話上下文的一部分管理。</li><li>長期記憶：保留經過萃取與精煉的知識，使模型能隨時間回憶先前的使用者互動與偏好。長期記憶需要持久化、檢索與整合的機制支援。</li><li>Foundry 的定位：Foundry 的記憶體主要設計給長期記憶使用。它會從對話中萃取有意義的片段，整合成持久知識，並在不同會話或場次中提供這些資訊。</li></ul><p>總體來說，這次改版把 Foundry 的 Agent 能力大幅提升：過去重心可能偏向模型本身，現在則更強調工作流程的強化與協同執行。</p><p>在 Foundry 中，可以看到，當我們要使用工作流程，它是以 UI 為基礎的工具，可用來建立宣告式、預先定義的動作序列，並能納入代理以實現完整的自動化流程。</p><p>這類工作流程讓你可以以視覺化方式把 AI 代理和既有業務流程無縫整合，快速構建智慧型自動化系統。傳統單一代理在面對複雜、多面向的任務時常有侷限；透過協調多個各司其職的代理（每個代理專注於特定技能或角色），我們能打造出更有彈性、具協作能力，能解決真實世界複雜問題的系統。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*c5rjbY_tX2knho0b" /></figure><p>對於每個新功能，只能從後續逐一研究看如何導入到企業內的真實場域了</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=083853e75b81" width="1" height="1" alt=""><hr><p><a href="https://blog.edwardkuo.dev/microsoft-foundry-%E5%BE%9E-azure-ai-foundry-%E6%94%B9%E5%90%8D%E5%88%B0%E5%8A%9F%E8%83%BD%E5%A4%A7%E5%8D%87%E7%B4%9A-083853e75b81">Microsoft Foundry：從 Azure AI Foundry 改名到功能大升級</a> was originally published in <a href="https://blog.edwardkuo.dev/">EK.Technology Learn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>