<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Eddy Chang on Medium]]></title>
        <description><![CDATA[Stories by Eddy Chang on Medium]]></description>
        <link>https://medium.com/@eddychang_86557?source=rss-5ab8d9a6a810------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*ZeaZphe_0S0BYjUP.</url>
            <title>Stories by Eddy Chang on Medium</title>
            <link>https://medium.com/@eddychang_86557?source=rss-5ab8d9a6a810------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 16:00:05 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@eddychang_86557/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[dowafu — Why I don’t use the built-in sub-agent for independent review]]></title>
            <link>https://medium.com/@eddychang_86557/dowafu-why-i-dont-use-the-built-in-sub-agent-for-independent-review-0ff24d88f18a?source=rss-5ab8d9a6a810------2</link>
            <guid isPermaLink="false">https://medium.com/p/0ff24d88f18a</guid>
            <category><![CDATA[ai-agent]]></category>
            <category><![CDATA[harness-engineering]]></category>
            <category><![CDATA[generative-ai-tools]]></category>
            <dc:creator><![CDATA[Eddy Chang]]></dc:creator>
            <pubDate>Sun, 16 Aug 2026 15:31:08 GMT</pubDate>
            <atom:updated>2026-08-16T16:00:09.476Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pac-wg3f9_7JqdOOhhxc2w.png" /></figure><h3><strong>What the name means</strong></h3><p>dowafu is how you’d romanize the Japanese ドワーフ — dwarf. That’s it.</p><h3><strong>About the tool</strong></h3><p>dowafu is a CLI tool written in TypeScript. It grew out of the <a href="https://medium.com/@eddychang_86557/%E5%85%B6%E5%AF%A6%E6%88%91%E4%B8%8D%E6%87%82ai-%E7%8D%A8%E7%AB%8B%E5%AF%A9%E6%9F%A5-%E8%A6%8F%E5%8A%83%E5%AF%A6%E4%BD%9C%E6%B5%81%E7%A8%8B%E4%B8%BB%E5%BE%9E%E5%BD%A2%E6%85%8B-hub-spoke-%E6%98%AF%E4%BB%80%E9%BA%BC-ffa892495196">hub-spoke planning and implementation workflow</a> I wrote about earlier, and it does exactly one thing: it delegates independent review to an external spoke.</p><blockquote>Github repo: <a href="https://github.com/eyesofkids/dowafu/">https://github.com/eyesofkids/dowafu/</a></blockquote><p>An externally delegated review spoke is a kind of sub-agent — but more precisely, it’s an AI agent running in the background of your current conversation session. You and the session decide the lens (the frame, the angle, the scope) first, then the agent gets read access only to the files inside that scope. In other words, you deliberately narrow its view of the project so the review stays independent.</p><p>Why narrow the view? Because that’s what the job needs. A review should be pointed at a few specific places, so that you get as much back from it as possible. The wider the scope, and the more unrelated information you hand it, the more room there is for the review to be distracted.</p><p>dowafu ships with three ready-made lenses — safety, feasibility, and cost — plus a general-purpose one called hole-finder. The skill that drives them is find-holes-external. You can also bring the lens you need to the AI session acting as your hub, and work out together how to delegate it: the scope and the prompts are decided by the two of you.</p><p>Here’s a typical prompt for reviewing a planning document:</p><pre>For the v1.0 planning document, use the &quot;find-holes-external&quot; skill. Set up one lens each for safety, feasibility, and cost. For each lens, delegate one gpt-5.6-luna spoke and one deepseek-v4-flash spoke, two spokes per lens. Make sure the report files don&#39;t overwrite each other, and analyze the reports as a union. Stop once the lenses are defined and wait for my confirmation.</pre><h3><strong>Why not just use the built-in sub-agent?</strong></h3><p>Claude Code, VS Code AI Agent, Codex, Google Antigravity — they all have their own sub-agents. So why bring in an external CLI? Two problems, and neither is something you can fix by tuning a setting.</p><h4><strong>Problem 1: it injects context you cannot control</strong></h4><p>With these tools, the sub-agent’s context is almost identical to the main agent’s. That means it’s carrying a pile of things it has no business carrying for this job. A review spoke does not need to know your system instructions, your project rules, or your memory files.</p><p>The measured numbers: an internally delegated spoke started with roughly 8,700 tokens of context (the harness baseline plus the project’s own instruction file), while the system prompt sent by external delegation was 714 characters.</p><p>And it isn’t just dead weight. I ran a deliberate poisoning experiment — I planted five false statements in the project’s instruction file, each one contradicting the actual code. The spoke reviewed those five too: it read the code, compared the two, and reported that “these lines have no counterpart in the code.” It did not get fooled. But it spent rounds and tokens verifying them, and that effort was supposed to go into reviewing the material. Not being fooled is not the same as not being affected.</p><p>That run only tested claude-opus-5. A weaker model might not go back and check — it might simply take the false statements at face value.</p><h4><strong>Problem 2: you cannot see what goes in or comes back</strong></h4><p>This one is worse. With internal delegation, it’s hard to measure precisely what actually got stuffed into the context or how much of your subscription quota it burned — and often you cannot see any of it at all, especially with subscription-based tools.</p><p>The worst case I hit was the very first round of my field test: internal delegation requested claude-opus-5 and claude-sonnet-5, and what actually ran was haiku. The model had been silently overridden, and I only found out afterwards by digging through the transcript. That whole batch of data had to be thrown away.</p><p>This doesn’t happen with dowafu. <strong>It has a dry-run mode that prints, before you spend anything, exactly which provider and model each spoke will use, the estimated token count, and what the worst case will cost.</strong> Only the real run spends money on the API — and every prompt, every input token, every output token, at every step, is visible, measurable, and countable.</p><p>The two problems are connected: the second one makes the first impossible to diagnose. You suspect that context is hurting review quality, but you can’t see what the spoke actually received, which model ran, or what it cost. There’s nothing to measure.</p><h3><strong>Installation and setup</strong></h3><p>You need Node.js. Install it globally:</p><pre>npm install -g dowafu</pre><p>The command is <strong>dowafu</strong>.</p><p>Next, the API keys. dowafu will never read the .env in your project directory — that directory is usually the project being reviewed, and its secrets have no business being read by a process that is actively making outbound API calls. Keys live in a user-level config file instead:</p><pre>mkdir -p ~/.config/dowafu<br>cat &gt; ~/.config/dowafu/.env &lt;&lt;&#39;EOF&#39;<br>DEEPSEEK_API_KEY=<br>GEMINI_API_KEY=<br>OPENAI_API_KEY=<br>ANTHROPIC_API_KEY=<br>EOF<br>chmod 600 ~/.config/dowafu/.env</pre><p>Only fill in the providers you’ll actually use. This file is plain text — file permissions are the only thing protecting it. You can relocate it by setting DISPATCH_HOME or XDG_CONFIG_HOME, and environment variables take priority over the file, so on CI you don’t need the file at all.</p><p>Once installed, run the self-check first. It calls no API, costs nothing, and doesn’t even need a ticket:</p><pre>dowafu --doctor</pre><p>It prints where the config file is, which providers have keys (presence only, never the values), the built-in list of supported models, and which lens definitions it found in <strong>.claude/agents/</strong> — including which of them carry the fixed closing line.</p><p>The skills and reviewer definitions come in both languages too, under publish/en/ and publish/zh-tw/. Install one or the other, never a mix — a reviewer&#39;s closing line has to match the template the audit checks it against.</p><h3><strong>Running a round</strong></h3><p>A ticket is a directory containing three kinds of files: _dispatch.md (which spokes get delegated, and on which model), _shared.md (the premises and the passage under review), and one &lt;agent&gt;.md per spoke (its questions and the files it’s allowed to read). You usually don’t write these by hand — they come out of the conversation with the AI session acting as your hub.</p><p>Once the ticket is ready, it’s two steps:</p><pre>dowafu tmp/dispatch/&lt;ticket-dir&gt; --dry-run   # parse, validate, estimate. No API calls, no cost.<br>dowafu tmp/dispatch/&lt;ticket-dir&gt; --yes       # actually delegate. This is where billing starts.</pre><p>The dry run prints the provider and model for every spoke, the estimated initial prompt size, the worst-case total consumption, and how many files each spoke may read. A wrong model, a malformed ticket, a file listed in the allowlist that doesn’t exist — all of it gets caught here.</p><p>Without — yes, the command stops and asks you to confirm. And when stdin isn’t a TTY — for example when an AI agent runs the command on your behalf — there is nobody to answer that prompt, so the program aborts before making any API call. That gate is deliberate: the agent doesn’t get to decide to spend your money.</p><p><strong>How to get better results</strong></p><p>Pick the right model and the right process.</p><p>In my field test, claude-opus-5 and gpt-5.6-sol ranked first and second on single-run quality (measured by how many important and moderate findings they turned up). They’re also the most expensive.</p><p>But review is a job that lets you run it many times, which means the best single run isn’t necessarily the best deal. In that same test, deepseek-v4-flash scored 14 out of 19 on a single run — the same as the externally delegated claude-opus-5 — at a cost of $0.0095. And running it five times and taking the union gets you to 18 out of 19, higher than any single run in the entire test.</p><p>So if you’re weighing cost against quality, repeating a cheap model and taking the union works. What I’d suggest is mixing gpt-5.6-luna with deepseek-v4-flash across several runs — the quality of what comes back is pretty good.</p><p>One practical detail: the OpenAI models converge on repeat runs. Send the same ticket three times and the second and third can come back essentially identical; you have to shuffle the order of the allowlist before they’ll surface anything new. deepseek-v4-flash doesn’t need that — it reads the allowlist in a different order every time anyway.</p><p>In practice you don’t run all of those repeats against a single version of the plan. You review, revise the document from v1.0 to v1.1 and so on, review again, and after a few revisions you end up with a plan that has far fewer holes in it.</p><p>The overall workflow looks like this:</p><ol><li><strong>Goal and planning.</strong> Pick your hub first — it should be a flagship model that reasons deeply, analyzes well, and can catch its own mistakes (Opus, Fable, Sol, DeepSeek v4 Pro, that tier). The hub’s job is to agree on the goal with you and write the planning document. It is also responsible for acceptance, problem analysis, writing tickets, and writing reports. It does not implement.</li><li><strong>Review and revision.</strong> Once the plan exists, discuss it with the hub and start delegating review spokes. Heterogeneous models are best here — ideally not the same model as your hub or your implementer, and preferably not even the same provider. Go around a few times, then start revising the plan. Have the hub analyze the findings, fold the important (severe) ones into a new version, and use judgement on the moderate ones.</li><li><strong>Implementation and acceptance.</strong> When planning is done, work with the hub to generate implementation tickets, sized by scope, each with a defined acceptance method. Open a new session to implement — the implementation session is a spoke too. Things the plan didn’t anticipate can come up; report them back to the hub, discuss, analyze, hot-patch. When implementation is done, the hub runs acceptance. That’s another switch of perspective.</li></ol><h3><strong>How do I know it works?</strong></h3><p>I sent the same ticket out seventeen times — across four providers, both internal and external delegation — and wrote it up as a field test report: <a href="https://github.com/eyesofkids/ai-workflow-hub-spoke/blob/main/report-model-comparison.md">the report is here</a> .</p><p>A few of the conclusions up front:</p><ul><li>Coverage has no correlation with price, with model tier, or with reasoning effort. The flagship tier ranges from 5 to 18 findings.</li><li>Same provider, same ticket, model swapped: deepseek-v4-flash found 14, deepseek-v4-pro found 11 — and the flagship costs 16 times as much.</li><li>“Only model X can find this” is usually an illusion. One finding looked like something only internal delegation could catch, until deepseek-v4-flash turned it up on the fifth run. The difference wasn’t capability. It was that every external configuration had only been run once.</li></ul><h3><strong>FAQ</strong></h3><h4><strong>Do I need separate API keys for the review spokes?</strong></h4><p>Yes. You need to set up API keys with the model providers, as part of the install steps, before you can use dowafu. Four provider API keys are supported: DEEPSEEK_API_KEY, GEMINI_API_KEY, OPENAI_API_KEY, ANTHROPIC_API_KEY.</p><h4><strong>Are all models from those providers supported?</strong></h4><p>No. Check <a href="https://github.com/eyesofkids/dowafu/blob/main/providers.json">providers.json</a> in the source to see whether a model is listed. There’s a cost-estimation step that runs before the real run, so adding a new model means looking up its pricing and other details first — and pricing, of course, changes fairly often.</p><h4><strong>What else can these review spokes review?</strong></h4><p>The original design targets implementation planning documents — the kind you get out of a Plan mode session before any code is written. But analysis reports for an existing system, hole-hunting in finished code, and so on can all go through the same process.</p><h4><strong>Where do the tickets and the review reports end up?</strong></h4><p>tmp/dispatch holds the tickets, tmp/spoke holds the requests, responses, and summaries. Every step leaves raw data you can go back and audit — the prompts, the reports, the number of tool calls, the tokens used.</p><p>The output directory tmp/spoke is created by the CLI; you don’t need to make it yourself. It’s worth adding to .gitignore — if you don’t, the dry run prints a warning to remind you, but it won’t block the run.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0ff24d88f18a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[dowafu — 為什麼我不用內建的 subagent 做獨立審查]]></title>
            <link>https://medium.com/@eddychang_86557/dowafu-%E7%82%BA%E4%BB%80%E9%BA%BC%E6%88%91%E4%B8%8D%E7%94%A8%E5%85%A7%E5%BB%BA%E7%9A%84-subagent-%E5%81%9A%E7%8D%A8%E7%AB%8B%E5%AF%A9%E6%9F%A5-ba619496dec8?source=rss-5ab8d9a6a810------2</link>
            <guid isPermaLink="false">https://medium.com/p/ba619496dec8</guid>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[sub-agents]]></category>
            <category><![CDATA[agent-harness]]></category>
            <category><![CDATA[ai-agent]]></category>
            <dc:creator><![CDATA[Eddy Chang]]></dc:creator>
            <pubDate>Sun, 16 Aug 2026 15:20:28 GMT</pubDate>
            <atom:updated>2026-08-16T16:00:27.814Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pac-wg3f9_7JqdOOhhxc2w.png" /></figure><h3><strong>dowafu這名稱什麼意思</strong></h3><p>dowafu是日文的「ドワーフ」讀音，就是「矮人族」的意思(源自英文的 dwarf)</p><h3><strong>關於dowafu工具</strong></h3><p>dowafu是一個CLI工具，使用TypeScript開發。它是根據我之前寫的<a href="https://medium.com/@eddychang_86557/%E5%85%B6%E5%AF%A6%E6%88%91%E4%B8%8D%E6%87%82ai-%E7%8D%A8%E7%AB%8B%E5%AF%A9%E6%9F%A5-%E8%A6%8F%E5%8A%83%E5%AF%A6%E4%BD%9C%E6%B5%81%E7%A8%8B%E4%B8%BB%E5%BE%9E%E5%BD%A2%E6%85%8B-hub-spoke-%E6%98%AF%E4%BB%80%E9%BA%BC-ffa892495196"> hub-spoke的規劃實作流程</a>的概念發展而來，一個專門用來作「外派獨立審查spoke」的工具。</p><blockquote>Github repo: <a href="https://github.com/eyesofkids/dowafu/">https://github.com/eyesofkids/dowafu/</a></blockquote><p>外派獨立審查spoke，可以說是一種subagent，但正確來說它是在你當下AI對話session後面背景執行的AI agent，由你和AI對話session決定好要審查的lens(取景、視角、範圍)之後，讓這種AI agent讀得到審查範圍的檔案，也就是說就窄化它對專案的視角來進行獨立審查。</p><p>為什麼需要”窄化視角or範圍”？這是從獨立審查這項工作的角度來說，應該把審查範圍都聚焦在某幾處重點地方，以此希望得到最多的審查後回報。給了愈寬的範圍或是提供其它不必要的資訊，審查的工作反而更容易受到干擾。</p><p>dowafu目前有內建safety(安全性), feasibility(可行性), cost(花費)三種設定好的lens可以直接套用，另外還有一個通用型的hole-finder；驅動它們的是find-holes-external這個skill。你也能和擔任hub角色的AI對話session，先討論怎麼派你需要的lens來進行審查，審查的範圍和提示詞由你再和hub共同決定。</p><p>一般的針對規劃文件的提示詞範例如下:</p><pre>針對v1.0版本的規劃文件，要使用「find-holes-external」skill，目前針對safety, feasibility, cost各規劃出一個lens，針對每個lens派出的spoke是gpt-5.6-luna、deepseek-v4-flash各一個，每兩個對應同樣的lens，注意回報檔案不要覆蓋，回報分析採用聯集的方式，確定好lens先停手等我確認。</pre><h3><strong>為什麼不用內建的subagent就好？</strong></h3><p>Claude Code、VS Code AI Agent、Codex、Google Antigravity…這些工具都有自己的subagent，為什麼還要用一個外部的CLI？兩個問題點，而且都不是調參數能解決的。</p><h4><strong>問題一：它會注入你無法控制的context</strong></h4><p>這些工具的subagent，context幾乎都和main agent一模一樣，相當於塞了一堆不必要作這些事的東西。審查的spoke不需要知道太多與它無關的系統指示、規則、記憶。</p><p>實測的數字：內派spoke的開場context量到約8,700 tokens(harness底線＋專案的規範文件)，而外派送出去的system prompt是714字元。</p><p>而且它不只是佔位置。我另外作過一次刻意投毒的實驗 — — 在專案的規範文件裡埋五條與程式碼互相矛盾的假事實 — — 結果spoke把那五條也一起審了：讀程式碼、比對、指出「這幾句在程式碼中找不到對應」。它沒有被騙倒，但它花了輪次和token去查證那些東西，那些力氣本來該花在待審材料上。沒被騙不等於沒受影響。</p><p>那次只測了claude-opus-5。換成能力較弱的型號，不一定會回頭去查證，也可能就直接採信了。</p><h4><strong>問題二：你看不見它的去和回</strong></h4><p>這一點更麻煩。內派的東西塞了什麼在context裡、花了多少你的訂閱額度，很難量度出精準的數字，甚至根本看不到(尤其是訂閱制的工具)。</p><p>最極端的一次是實測的第一輪：內派請求的是claude-opus-5和claude-sonnet-5，實際跑的是haiku — — 模型被靜默覆寫，我是事後翻transcript才發現的，那整組資料只好作廢。</p><p>dowafu這邊不會有這種事。它有<strong>dry-run(乾跑)</strong>的機制，在花錢之前就把每支spoke要用哪個provider、哪個型號、估算多少token、最壞會花多少錢全部印出來。真的繼續實跑才是花API的費用，而且<strong>所有的prompt、input token、output token，每一個步驟環節你都能看得一清二楚，是可以量測和計算的</strong>。</p><p>這兩個問題是有關係的：第二個讓第一個沒辦法診斷。你懷疑那些context影響了審查品質，但你看不到那支spoke實際收到什麼、用了哪個模型、花了多少 — — 連要測都測不了。</p><h3><strong>安裝與設定</strong></h3><p>需要Node.js環境，全域安裝：</p><pre>npm install -g dowafu</pre><p>執行指令是 <strong>dowafu</strong>。</p><p>接著設定API key。dowafu不會讀你專案目錄裡的 .env — — 那個目錄通常就是被審查的專案，它的secrets不該被一個正在對外發API請求的程式讀進去。key放在使用者層級的設定檔：</p><pre>mkdir -p ~/.config/dowafu<br>cat &gt; ~/.config/dowafu/.env &lt;&lt;&#39;EOF&#39;<br>DEEPSEEK_API_KEY=<br>GEMINI_API_KEY=<br>OPENAI_API_KEY=<br>ANTHROPIC_API_KEY=<br>EOF<br>chmod 600 ~/.config/dowafu/.env</pre><p>只要填你真的會用到的那幾家。這個檔案是純文字，唯一的保護就是檔案權限。位置可以用 DISPATCH_HOME 或 XDG_CONFIG_HOME 覆寫；環境變數優先於檔案，所以在CI上完全不用建這個檔。</p><p>裝好之後先自我檢查一下，這個指令不呼叫API、不花錢、也不需要工單：</p><pre>dowafu --doctor</pre><p>它會印出設定檔在哪、哪幾家有key(只看有沒有，不印值)、內建的型號白名單，以及在 .claude/agents/ 找到哪幾支lens定義、其中哪幾支有固定收尾句。</p><p>Skill 與審查者定義同樣有兩種語言，分別放在 publish/en/ 與 publish/zh-tw/。擇一安裝，不可混裝——審查者的固定收尾句必須與稽核檢查用的範本是同一種語言。</p><h3><strong>實際跑一輪</strong></h3><p>工單是一個目錄，裡面三種檔案：_dispatch.md(派誰、用哪個模型)、_shared.md(前提與待審段落)、還有每個spoke各一份的 &lt;agent&gt;.md(寫它的問題與允許讀取的檔案)。這些通常不是你手寫的 — — 是你跟擔任hub的AI對話session討論完之後，由它產生的。</p><p>工單好了之後，執行分成兩段：</p><pre>dowafu tmp/dispatch/&lt;工單目錄&gt; --dry-run   # 解析、驗證、估算，不呼叫API、不花錢<br>dowafu tmp/dispatch/&lt;工單目錄&gt; --yes       # 真的派出去，這一步才開始計費</pre><p>乾跑會把每支spoke要用哪個provider與型號、初始prompt估算多少token、最壞情況總消耗、以及允許讀取幾個檔案全部印出來。派錯模型、工單格式壞掉、允許清單裡的檔案不存在，都會在這一步被擋下來。</p><p>沒帶 — yes 時會停下來要你確認。而當stdin不是TTY — — 例如由AI agent代你執行 — — 沒有人能回答那個確認，程式會在呼叫任何API之前中止。這道閘門是刻意的：不讓agent自己決定花錢。</p><h3><strong>怎麼使用才是比較理想的方式？能得到較好的回報？</strong></h3><p>選擇合適的模型和流程來進行審查。</p><p>以實測來說，<strong>claude-opus-5、gpt-5.6-sol在單次的品質綜合排名是前1與2名</strong>(以能找到重要+中等問題的條目數最多來論)，但他們的成本也是最高的。</p><p>不過審查這件事允許你跑很多次，所以單次最強不見得是最划算的選擇。同一份實測裡，deepseek-v4-flash單次拿14/19，跟外派的claude-opus-5同分，但成本只有$0.0095；而它連跑五次取聯集可以到18/19，比實測裡任何一個模型的單次成績都高。</p><p>所以以成本+回報品質考量來說，也能用成本低廉的模型跑多次、取聯集來進行審查，我會建議用gpt-5.6-luna+deepseek-v4-flash混合多次聯集來進行，可以得到相當不錯的回報品質。</p><p>有個實務上的細節：openai系的型號重跑會收斂 — — 同一份工單連跑三次，第二次跟第三次可能給出一模一樣的東西，要打亂允許讀取清單的順序才會吐出新的。deepseek-v4-flash不用，它本來每次讀的順序就不一樣。</p><p>實務上，並不是針對同一規劃文件版本，同一次連測這麼多次聯集，而是以規劃文件的修訂從v1.0 -&gt; v1.1…這樣修訂後再審查幾次，修訂幾個版本後，就會得到比較理想的、少漏洞的規劃文件。</p><p>整體實作流程簡單說明如下:</p><ol><li><strong>目標&amp;規劃</strong>: 先決定hub，要使用是高思維、能作分析、有自省能力的旗艦模型(Opus/Fable/Sol/DeepSeek v4 Pro…之類的)。hub的角色是和你決定的目標，一起討論後寫出規劃文件，hub後面還要負責驗收和分析問題，出工單、寫報告文件等等，不負責實作。</li><li><strong>審查&amp;修訂</strong>: 規劃文件出來後，和hub討論後開始進行外派spoke審查，最好用異質模型(和hub或實作不是同一種，或也不是同一家供應商較為理想)來審查，來回循環幾次後開始修訂規劃文件版本，讓hub分析後，把重要(嚴重)的條目加入修訂文件，出新版本，中等的條目視情況加入。</li><li><strong>實作&amp;驗收</strong>: 規劃完成後要和hub討論怎麼生成工單，要依範圍來決定每個實作範圍大小和最終驗收的方式。開新的對話session進行實作，實作session也是一個spoke，在實作過程中有可能會發生規劃中沒預料的問題，回報後要和hub再討論、進行分析、熱修補…等等工作。實作完成由hub進行驗收，這也是一種切換不同對話視角的作法。</li></ol><h3><strong>怎麼證明它是有用的？</strong></h3><p>我把同一份工單派了十七次，跨四家供應商、內派外派都測，寫成一份實測報告：<a href="https://github.com/eyesofkids/ai-workflow-hub-spoke/blob/main/report-model-comparison_zh-tw.md">報告書在這裡</a>。</p><p>幾個結論先講：</p><ul><li>涵蓋率跟價格、跟模型級距、跟reasoning effort都沒有對應關係。旗艦那一列的成績從5條到18條都有</li><li>同一家、同一份工單、只換型號：deepseek-v4-flash拿14條、deepseek-v4-pro拿11條，而旗艦貴16倍</li><li>「只有某某模型找得到」多半是假象。有一條問題原本看起來只有內派抓得到，結果deepseek-v4-flash跑到第五次也找到了 — — 差別不是能力，是外派的每個模型都只跑了一次</li></ul><h3><strong>常見問答FAQ</strong></h3><h4><strong>外派審查spoke用的AI模型要另外設定的API key？</strong></h4><p>是的，需要另外設定AI模型供應商的API key。按安裝的步驟需要設定好才能使用。目前支援四種官方的API key：DEEPSEEK_API_KEY、GEMINI_API_KEY、OPENAI_API_KEY、ANTHROPIC_API_KEY。</p><h4><strong>AI模型供應商中所有模型型號都有支援？</strong></h4><p>沒有支援所有的AI模型型號。要看原始碼中的 <a href="https://github.com/eyesofkids/dowafu/blob/main/providers.json">providers.json</a> 有沒有先列出來，因為有一些實跑前先估算價格的設計，所以要加新的得要把價格或其它資訊查清楚，當然價格這東西每隔一陣子就會變動。</p><h4><strong>外派審查spoke還能審什麼東西</strong></h4><p>目前原始設計主要是拿它來審查「實作規劃文件」(就一般的Plan模式寫出來的實作前的規劃文件)。但針對某系統的分析報告書、已完成的程式找漏洞等等，都可以按這流程進行審查。</p><h4><strong>產生的工單、審查回報在哪裡？</strong></h4><p>tmp/dispatch是工單，tmp/spoke是要求、回應、摘要的資料，所有的過程都有raw data(原始資料)能追查，包含提示詞和各種回報資訊、呼叫次數、使用的token數量。</p><p>輸出目錄tmp/spoke是CLI自己會建的，不用先手動建。建議把它加進 .gitignore — — 沒加的話乾跑時會印一行警告提醒你，但不會擋住執行。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ba619496dec8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AI 審查(review) spoke，它比我想像中麻煩得多了]]></title>
            <link>https://medium.com/@eddychang_86557/ai-%E5%AF%A9%E6%9F%A5-review-spoke-%E5%AE%83%E6%AF%94%E6%88%91%E6%83%B3%E5%83%8F%E4%B8%AD%E9%BA%BB%E7%85%A9%E5%BE%97%E5%A4%9A%E4%BA%86-3fc98d4be932?source=rss-5ab8d9a6a810------2</link>
            <guid isPermaLink="false">https://medium.com/p/3fc98d4be932</guid>
            <category><![CDATA[ai-agent]]></category>
            <category><![CDATA[vscode]]></category>
            <category><![CDATA[openai]]></category>
            <category><![CDATA[claude-code]]></category>
            <category><![CDATA[gemini]]></category>
            <dc:creator><![CDATA[Eddy Chang]]></dc:creator>
            <pubDate>Tue, 11 Aug 2026 17:17:22 GMT</pubDate>
            <atom:updated>2026-08-11T17:17:22.552Z</atom:updated>
            <content:encoded><![CDATA[<h3>AI 審查(review) spoke內派與外派實測，它比我想像中麻煩得多了</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EBa2ijY9tC2uII52gxm1bQ.png" /></figure><h3>從Claude Code內派審查發現的問題</h3><h4><strong>清查Claude Code最近的修改</strong></h4><p>先清查有關Claude Code在6、7月作了什麼更動，以下是Claude Chat的回應。這幾個月連續幾個更新確實把「派 sub-agent」從特例變成預設行為：</p><p><strong>1. 內建 Explore/Plan/Verify agents 預設註冊</strong></p><p>內建 sub-agent 在互動式 session 中是預設註冊的。也就是說現在主模型手上隨時有一個現成的 Explore agent — — 一個快速、唯讀、專門搜尋和分析 codebase 的 agent，模型被引導成「讀 code 探索的事就丟給它」，所以連檢查兩三支小檔案也在派。</p><p><strong>2. Sub-agent 改成預設背景執行（7 月更新）</strong></p><p>Sub-agent 現在預設在背景執行，主 agent 可以繼續工作，等它們完成時收到通知。以前派出去要等（有阻塞成本），模型會斟酌；現在派出去不用等，委派的「心理成本」歸零，自然變得更愛派。</p><p><strong>3. 巢狀委派開放（6 月，v2.1.172）</strong></p><p>Sub-agent 現在可以自己再派 sub-agent（官方說最多 5 層），所以你會看到派出去的又生出更多。派太兇甚至變成官方要處理的問題 — — 最近加了每 session 的 sub-agent 生成上限（預設 200 個），就是為了擋失控的委派迴圈。</p><p><strong>4. 一個對你成本有直接影響的變更，要特別注意</strong></p><p>內建的 Explore agent 現在改成繼承主 session 的模型（上限 opus），而不是固定跑 Haiku。你之前設的 `CLAUDE_CODE_SUBAGENT_MODEL=claude-haiku-4–5` 環境變數理論上仍應覆蓋這個行為，但建議實際跑一次確認 sub-agent 用的模型 — — 如果 Explore 現在跟著你主 session 跑 Fable/Opus，「派很多」+「派的都是貴模型」疊起來就是你用量暴增的另一個解釋。</p><p><strong>如果覺得派太兇，最對症的開關是：</strong></p><p>設 `CLAUDE_CODE_DISABLE_EXPLORE_PLAN_AGENTS=1`（v2.1.198+），移除內建的 Explore 和 Plan agent，Claude 會回到自己直接讀檔探索 — — 基本上就是回到你以前習慣的行為模式。這比全禁委派溫和，自訂 agent 和真正需要的委派還留著。</p><p>所以短時間內的變化 = 內建 agent 預設化 + 背景執行 + 巢狀開放，三個改動疊在一起，行為就從「偶爾派」變成「什麼都派」了。</p><h4>Claude Code內派審查時的發現</h4><blockquote>結論: 建議盡量不要用`內派審查`的方式，它的context可能會有污染源</blockquote><p><strong>靜默的設定`CLAUDE_CODE_SUBAGENT_MODEL`</strong></p><p>在之前實作出的幾個skill後，內派變得相當簡單，在`.claude`中定義了agents和skill。擔任hub的對話session，定好lens(視角)和寫了工單(要進行審查的檔案和問題)後，在Claude Code裡進行subagent委派，然後等回報等結果分析。整個流程看似簡單易作，但實際上這裡有個說是嚴重也不能說嚴重，是靜默的事。</p><p>因為我在上一單元有說明，為了要節省explore這種簡單subagent的委託，設了一個`”CLAUDE_CODE_SUBAGENT_MODEL”: “haiku”`比較不用每次對話就得和對話的AI模型作開場候。但這造成實際上hub說它委派的model，雖然會叫opus或sonnet，真正派出的時候實際上全靜默被降級到haiku，而且它還一無所知，要追查這事得要翻找每個的session的transcript才能發現的。這也就是我自從這設定值之後，內派的多次的內派審查，全是haiku模型回應的結果才對，得到的回報的品質平均上感覺條目不多也常找不到出真正的重點，這是很容易讓人誤解的情況。haiku是個回應速度快的舊模型，自然不合適作這種規劃案或程式碼審查的工作。</p><blockquote>但在這事實裡，最嚴重的是claude code的對話AI模型一無所知。</blockquote><p>不過這是個取捨，第一是你不能隨意設定`CLAUDE_CODE_SUBAGENT_MODEL`這個設定值，一旦設定它你自訂的subagent會全部靜默成那個模型。第二，你一旦沒設定這個值後，所有的預設subagent(包含簡單的explore，就搜尋幾個小檔案)，在你沒有開場指示的情況下，都會直接用預設的模型，就是這個對話session看是用Fable/Opus，它在subagent也是會用一樣的模型，這無形中可能會變成浪費，或是在一段時間使用後會感覺到用量開始明顯的爆增。</p><p><strong>審查spoke的context污染(or干擾)</strong></p><p>另一點重點要說明的是，關於內派spoke的context污染(或”干擾”)的問題。我這裡只是舉Claude Code和VS Code AI Aagent的例子來說明。</p><p>內派spoke不論是在Claude Code或是VS Code內建的AI Agent(Copilot Chat)，它們在設計上都一樣。它和每個開立對話session的主agent一樣，全都會得到這個專案的AGENTS.md、各種必要的System指示(instruction)、規則(rules)、記憶(memory)。這些東西會全塞在每個subagent的context中，不論你要不要，而你也控制不了這回事。</p><p>因此如果在一個有些規模的專案裡，這個開場的context東西會不少的，這個內派審查spoke subagent會得到相當多的一頭部的context，但和它這個spoke的需要作的工作相比，經常不必要的東西。所以我們也能稱它是一種污染或是浪費token、降低回應效率、拖長時間的一種東西。</p><p>那比例上會有多少？你可能會很好奇的，這數值是不一定，得要看專案或全域裡的剛說的這些東西有多少，它會佔整個真正要審查的內容可能是在50%~90%。以我這裡有個從openai的log實際例子(VS Code內建的AI Agent發出的內派審查spoke)，開場的input toke有93%全是剛說一定會塞入的context的東西，稱為污染源也能稱是浪費錢的垃圾般的context。</p><p>從另個角度來看，審查的spoke不就是為了要讓它的lens單一化，限制它不讓它讀規劃文件全貌或是專案全貌，塞了整個專案的AGENTS.md或其它記憶的東西，這不見得是有助於審查之用，而有可能它會從這些得到的上下文取近路直接找答案。</p><p>以上的說明的結論是，如果是站在真正要進行獨立審查的角度，建議不要用內派審查的方式，它說穿了只是個會背景執行的同個對話session agent的概念，你要控制或限制它能讀什麼或是作什麼，有些是能作到的，但有些沒你想得那麼簡單，各家AI Aagent應用程式的作法並不一定會一樣。</p><h3>實測</h3><p>一份規劃文件裡能有多少漏洞？以下是一個簡單的規劃書的實測。這個專案是個小型的todolist專案，專案現況如下:</p><ul><li>技術棧為`Next.js 16 (App Router) + React 19 + TypeScript`</li><li>純原始碼與設定檔 186 個 16,527 行</li><li>資料模型 `prisma/schema.prisma 中共有 8 個資料表(Models)`</li></ul><p>寫規劃書的是haiku模型，一共寫了155行，會刻意用舊模型是故意的，我們先假設舊模型在作專案規劃的考慮的重點不夠全面，有可能的漏洞會更多。規劃書要寫的主題如下:</p><blockquote>帳號管理 CRUD 頁面</blockquote><blockquote>問題：專案內完全沒有「新增／管理帳號」的介面或 API — — 目前唯一的建帳號方式是跑 `prisma/seed.ts`（讀 `prisma/seeds/User.json`）。使用者想要多帳號共用，需要能自行在 UI 上新增、編輯、刪除登入帳號（email + 密碼），不再依賴 seed script 或手動寫 DB。</blockquote><p>實測主持用的Claude Code的hub對話session是`Opus 5`模型，它會用於寫出固定工單，作內派和外派spoke，最後要統計和決定回報的問題點的重要性，一共會分`重要(嚴重)`、`中等`、`輕微(無影響)`三種等級。</p><p>實測的原始數據與報告內容也多，已經作了多次的不同模型(15次+)。最後得到的以下的幾個重要的觀察:</p><ul><li>這份規劃文件，最多共能找到19個問題點/漏洞(註: 這是用涵蓋率算出的值，就整個測試能得到的不同的所有回報點總合)。hub(opus)分析結果，問題點中有`重要(嚴重)`x3、`中等`x7、`輕微(無影響)`x9</li><li>單模型一次測試中，這是包含safety與feasibility各規劃出一個lens的總合，同一模型就等於兩個都用一樣的。目前綜合排名是用重要+中等的，用這來看回報的品質估算，命中數多不等於有用。排名是`內派opus 5` 總命中18/嚴重+中等10 ＞`外派opus 5` 總命中14/嚴重+中等8 ＞ `gpt-5.6-sol` 總命中13/嚴重+中等7 ＞ `deepseek-v4-flash` 總命中14/嚴重+中等6</li><li>claude有加入測試的模型有`opus 5`、`sonnet 5`，`opus 5`不論內派外派在單次都是最高分，`內派opus 5` 總命中18/嚴重+中等10。`外派opus 5` 總命中14/嚴重+中等8。`內派sonnet 5` 總命中5/嚴重+中等1。`外派sonnet 5` 總命中6/嚴重+中等2。`sonnet 5`在這種工作上表現並不理想，或是上下波動時好時壞是有的。</li><li>openai有加入測試的模型有`gpt-5.6-luna`、`gpt-5.6-terra`、`gpt-5.6-sol`，`gpt-5.6-luna`多測了reasoning effort設為`medium`和`high`的比較表現，其它都以`high`作預設。最終結果是。`gpt-5.6-sol`總命中13/嚴重+中等7。`gpt-5.6-terra`總命中10/嚴重+中等5。`gpt-5.6-luna`總命中8/嚴重+中等3。`terra`價格是`luna`的10倍，但`luna`可以進行洗牌聯集結果後，實際上會接近`terra`的表現(見下面的重覆派工作法)。`sol`表現雖然很好，但它價格與`opus 5`相近，目前是`luna`的25倍</li><li>gemini有加入測試的模型有`gemini-3.1-flash-lite`、`gemini-3.5-flash-lite`、`gemini-3.6-flash`，表現最佳的是`gemini-3.6-flash` 總命中7/嚴重+中等2。值得一提的是`gemini-3.1-flash-lite`是總命中4/嚴重+中等2，單以品質來說，其實這兩個模型並沒太大差異。整體而言，gemini這三種模型都不合適作審查spoke的工作。</li><li>重覆派工疊加的測試，`deepseek-v4-flash` 不需要洗牌 — — 工單逐字不變連派 5 次，聯集就從單次的 11–14 條推到 18 條（滿分 19），而且三條`重要(嚴重)`全部找到（第五次才抓到，出現率 1／5）。可以說相當於`opus 5`得到的同分。</li><li>重覆派工疊加的測試，另一組比對的是 `gpt-5.6-luna` 與 `gpt-5.6-terra`。這兩個型號送逐字相同的工單重跑不會有新結果，必須打亂允許清單的順序 — — 問題與素材逐字不動 — — 才能吐出新條目。兩格各跑五次，打亂後的聯集都是 11 筆，各多抓到 1 條嚴重。</li></ul><p><strong>實測的其它注意事項:</strong></p><ul><li>在進行審查時的時間有可能會拖超過5~10分鐘。</li><li>審查的lens的input的內容通常不會多，但因為需要連續讀程式碼檔案的幾輪工類呼叫，整個作完output token估算會落在50~100k的token，這是它最花錢的地方。</li></ul><h4><strong>結論</strong></h4><p>建議使用`opus 5`、`gpt-5.6-sol`、`deepseek-v4-flash`、`gpt-5.6-luna`，這四種模型用單一種或混合多種的方式，來進行各種審查spoke工作。其它的都在實測中的表現不如預期，或用了後也沒說能得到多些高品質的審查結果。</p><ul><li>`opus 5`、`gpt-5.6-sol`合適於只重派少次(1~3次)進行，目前的數據無法判斷兩種是否為收斂型(意思是同樣的prompt得出的結果都相近)，但它自可能作少次後就結果都幾乎掃出。</li><li>`deepseek-v4-flash`的用法是重派多次(3~5)，屬於洗牌型(意思是同樣的prompt得出的結果可能會自動擴大)。</li><li>`gpt-5.6-luna`(reasoning effort設為`high`)的用法一樣要要重派多次(3~5)，但同樣的lens需要hub協助將洗牌，打亂讀取檔案的順序，操作上會稍微麻煩些。</li></ul><p>`opus-5`與`gpt-5.6-sol`的費用比其它兩者都高非常多，就算是訂閱制的內派，如果太常派spoke的話也是會吃相對使用量的。其它兩種就算派了10次也不到這兩種貴的一半費用。(2026–08–11官方資料)</p><h3>心得</h3><ol><li><strong>多作多錯，少作也常有錯</strong>。永遠不要相信AI模型在規劃文件、實作或是審查都能一步到位，這是不可能的。再厲害的AI模型也常會漏東掉西的，不過它們通常也會比較有事後自我反省的能力。</li><li><strong>事前多審查，中途少意外</strong>。規劃文件一定要審查多次，確定收斂到重要(嚴重)問題變少後，再開始實作。或是也能採取先作小型測試或探知來補充有模糊不清的事實。如果不這樣直接出規劃文件馬上實作，很容易直接撞牆or中途翻車，之後又要來來回回改原規劃、停工先補洞，常常就是浪費時間也作不好工作路愈走愈歪就是這樣來的。</li><li><strong>聰明的規劃，穩重的實作</strong>。聰明的AI模型應該要用於規劃、驗收、審查為主，規劃好的工作，交由穩重的一般模型按表操課進行就行了。</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3fc98d4be932" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[其實我不懂AI 獨立審查。規劃實作流程主從形態（hub-spoke）是什麼]]></title>
            <link>https://medium.com/@eddychang_86557/%E5%85%B6%E5%AF%A6%E6%88%91%E4%B8%8D%E6%87%82ai-%E7%8D%A8%E7%AB%8B%E5%AF%A9%E6%9F%A5-%E8%A6%8F%E5%8A%83%E5%AF%A6%E4%BD%9C%E6%B5%81%E7%A8%8B%E4%B8%BB%E5%BE%9E%E5%BD%A2%E6%85%8B-hub-spoke-%E6%98%AF%E4%BB%80%E9%BA%BC-ffa892495196?source=rss-5ab8d9a6a810------2</link>
            <guid isPermaLink="false">https://medium.com/p/ffa892495196</guid>
            <category><![CDATA[ai-agent-workflow]]></category>
            <category><![CDATA[ai-reviews]]></category>
            <category><![CDATA[ai-skills]]></category>
            <category><![CDATA[vscode]]></category>
            <category><![CDATA[claude-code]]></category>
            <dc:creator><![CDATA[Eddy Chang]]></dc:creator>
            <pubDate>Tue, 04 Aug 2026 10:49:34 GMT</pubDate>
            <atom:updated>2026-08-04T10:55:56.232Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KldnGUDuq5Wbg8DT0gR3Yg.jpeg" /></figure><h3><strong>TL;DR</strong> <strong>先說結論</strong></h3><p>工具和使用說明都放在github repo中</p><p><a href="https://github.com/eyesofkids/ai-workflow-hub-spoke">ai-workflow-hub-spoke</a></p><p>主要針對Claude Code的技能和設定。只是我個人在日常上使用，這流程並沒說一定要用這工具才能達成。</p><p>如果你要用vscode新內建的AI Agent Chat混合各模型來作這個流程也是可行的，連結在: <a href="https://github.com/eyesofkids/ai-workflow-hub-spoke/tree/main/vscode">https://github.com/eyesofkids/ai-workflow-hub-spoke/tree/main/vscode</a></p><p><a href="https://github.com/eyesofkids/ai-workflow-hub-spoke/blob/main/en/README.md">English Version</a></p><h3>9輪「獨立審查」的教訓</h3><blockquote>人都是要經過慘痛的教訓後，才能從中獲得真正的領悟。</blockquote><p>這整整花了我一整天時間，而且全是用Claude高價的 Fable/Opus 級的模型，並不一定是花費的問題，是浪費寶貴的時間的問題。先對討論了二個多小時的決策文件(decision)，用獨立審的作法到v1.3版本一共四次定案，之後開始進生成實作規劃(plan)文件。</p><p>規劃(plan)文件從v1.0到v1.4四次，在v1.3得到以下結論，v1.4再審一次全案，無法推翻不了事實論，結論就是叫我要廢止這個規劃案:</p><blockquote>` **狀態：阻擋中（不動工）**。理由見 §2。解除條件見 §3，事前訂死、逐條可否證。`</blockquote><p>最後沒辨法，先廢除規劃案v1.1~v1.4，改重新由從v1.0為基礎，其它規劃版本的內容只能當作參考內容。再重新規劃用v2.0(它其實是第五次規劃兼實作)，最後實作完成。</p><p>這是什麼規劃會變成這個奇怪的結局，花了一整天的時間，是要作什麼難以實現的功能？這功能並不是個架構龐大的東西，它是一個前端應用的安全性的修正功能，加上新增的測試檔案，它只是要修改不到50支檔案中的幾個流程，大部份都是在重複使用現有的架構和新增而已。</p><p>我很難說得清楚它是在作什麼的和整個過程，因為文件資料實在多到難以整理它的脈絡。它是一個安全性守衛功能的修正規劃案。我把造成廢案的原因重點放在下面：</p><ol><li>在它之前有一個規劃案作的事是一樣的，但設計上不一樣。原廢止案是獨立審查3次後定案的實作規劃，在實作過程中的Track A實作完成，但在Track B的benchmark成效不彰，調整參數測了幾次後，判定是一個不具意義的功能。當然最終停止實作的人是我自己。</li><li>這種安全守衛設計一開始訂定的benchmark目標就錯掉。因為它訂的標準老實說太高了，要說達標是說它後來被証明，只有鎖定在某個情況才有可能達標。以安全性守衛這種程式的要求，既要「高命中率」(指的是要擋住攻擊的測試語料)又要「低誤欄率」(指的是要放過目前並不是攻擊的測語料)，這兩者本來就有很高的相斥情況(指的是通常命中率高到一個程度，它的誤欄率相對來說也會非常高，也就是「寧可錯殺而不放過」)。但是不論怎麼樣，經過約近10次的不同實測，測試的統計數據已經有明顯的浮動的病症了，但不論負責規劃或是審查的AI模型，完全沒有意識到這標準設定是有問題，最多訂個上下界而已。一開始的標準是和AI模型討論後，用2次測試現有的架構先訂出來的。在benchmark時，在命中率已經出現有可能是5~10%的結果飄移的情況，但這得要同種參數環境作多次，統計後才會發現的，也就是「目標標準本身就有結構上的不確定性問題」。換句話說，你的尺是有動態測不準的情況，怎麼能拿來量現在這實作出來的結果？但這奇特的是在這過程中的9次…我說9次是太保守了，應該如果包含前面廢案的那5次(規劃x1+獨立審x3+實作x1)對話的AI，不論是規劃、審查、實作的AI模型，全部沒查覺這件事。當然再說深入一點，新設計和舊的廢案設計上，它是有些基準上不同之處的，也就是作的事是不太一樣的，但也有一半是類似的，這把尺真的是能量得準？那不見得的。</li></ol><h3>「獨立審查」是什麼？出了什麼問題？</h3><blockquote>「獨立審查」(Independent AI Review)是指使用一個獨立的、全新的對話窗口進行審查`的作法，在審查不論是各種文件或程式碼功能都很常見</blockquote><p>獨立審因為操作簡單，而且事實上証明真的存在它的作用，所以在很多AI協作開發的方法論中常常被提及。簡單說明它是怎麼作的，當你在這個和AI對話窗討論一陣子，制定好實作規劃書(或決策文件等等)，之後另外開一個全新的對話窗來審查這份文件。也能審查已實作的程式，甚至是寫好的各類型文件也行，現在新式且高價的AI思維模型都是通用型的，能針對程式相關或各類專業文件、報告都能進行這類似審查工作。當然你也能用混用不同的模型 (例如說用Opus幫你寫規劃，但用 Fable 模型來審查。或是用不同供應商的模型來互審也行)。</p><p>使用它這種獨立審查的流程的主要目的，是審查前一個的對話窗寫的規劃文件，是不是有漏洞、沒考量清楚的地方，或是有什麼可行性上面的潛在問題。聽起來有用處，而且也感覺的確有它的產出，像我用 Fable/Opus 寫的一個規劃文件，裡面有簡單的加減統計算錯的小地方，也會抓出來它算錯指出，或是文字用詞不精確會造成誤解也有的。其實我發現高價的AI思維模型也偶爾會犯一些小幻覺不重要的毛病，這都這很正常但也影響不大。</p><p>但是它和原本和你討論寫規劃/決策文件的對話窗差在哪？差在以下的幾點：</p><ol><li><strong>角色和工作責任不一樣。</strong>獨立審查的對話窗一開場就決定了它的責任和角色，它是一個新對話窗從冷啟動開始，開場就是要先餵它目前的當下的情況、文件，叫他作什麼事(角色)。它得到的是一個規劃好的文件，加上「對xxxx文件進行審查，評估可行性和找潛在漏洞分析」。兩者角色和一開場的定位就天差地遠了，所以雖然可能都使用同一種AI模型，但表現行為與結果會完全不同是很正常的。</li><li><strong>環境上下文有些不一樣。</strong>首先獨立審查對話窗，它會是「缺少生成這份規劃文件過程資訊」的另個AI模型對話窗之外。但除非限制，其它的環境它都能存取得到，不論是你前幾次失敗的commit記錄、上次AI模型產生幻覺寫的錯別字，或是上個月被撤掉的另個規劃文件，上次棄用的資料。實際上它只要有這權限都能獲取得到，這也會決定它怎麼進行審查或是決定用什麼方式(立場)來審查這份文件。從這一點來看有可能專案的其它結果或資訊，無形中會對獨立審查的模型，造成一種拉力或是也能稱為「Context Drift（上下文漂移）」或是「Goal Drift（目標漂移）」的結果。尤其是在審查多次後，它會開始針對上次審查後產生的新問題或是未定的嚴重問題，又更加的往這方面進行關注。</li></ol><h3>新的實作流程 — 主從形態（hub-spoke）</h3><p>教訓和沈澱後得到的反思都在上面，這也不是我在單一個專案的規劃看到現象，是很多正在規劃中的文案，都有這個相同問題和毛病出現。</p><p>我花了太多時間在不斷的審查這些文件，用最簡單的方式，開個全新的對話窗，把規劃書給它，然後打上提示詞，制定一些嚴謹要遵守和回答的問題，等待結果。和我在網路上找到學來的的每種說明和方法論說的都是類似的，當然有些方法論不見得合適於每種情況。但它產生了不確定的各種結果，最嚴重是到最後是給你類似要，說服你推翻一開始的決策和規劃的結果。</p><p>那如果是真的這樣，一開始就先決定要作不到才對，而不是在針對一個實作規劃進行審查。所以這是哪裡出了問題？以下是新設計的流程的作法和哲學，我認為稱為「哲學」比較好，是因為它並不一定是針對哪一個供應商或是哪套和AI Agent協作的工作，或許它也能套用到不同的工作流程中，要對規劃文件審查也好，要對實作出的程式或系統審查也行，或是學術報告應當都行。以下是這個流程的想法和重點。</p><h4>規劃是決策過程，審查(Review)是驗證過程</h4><blockquote>新鮮視角不需要被禁止，需要的是被降格。獨立審 session 作為「從」是完全健康的 — — 乾淨的眼睛看可行性、找漏洞，這個能力本身有價值；壞掉的從來不是「獨立思考」，而是「獨立思考＋終審權＋只有文件當脈絡」這個組合。它的產出是進 hub 的材料，不是文件的下一個版本 — — 版本只從 hub 出，而 hub 同時有脈絡和最終有決策的你。</blockquote><p>「規劃」這件事本身的過程和方式，實際與「獨立審查」的對話窗無關。我們與「規劃」對話窗的AI模型(有可能多次多個對話窗)，經過多輪討論、測試、研究、MVP落地等等…，最後訂出了目標，制定進行實作的規劃文件。這些過程這個「獨立審查」的全新對話窗是完全沒有參與的。</p><p>所以當然「獨立審查」提出的任何的建議、問題，在資格上都不應該影響原本規劃文件的決策。「決策權」當然是只能在原開發者(設計者)手上。</p><p>甚至「獨立審查」不該有修訂原規劃文件的權利，也就是生成或修定為新版本文件的權利，它只能提供它找到了什麼問題或漏洞，以及給什麼樣的建議。所以「獨立審查」只能擁有「話語權」(spoke-only)，或也能稱之建議的權限。</p><h4>規劃書是決策過程的有損投影；誰持有活脈絡，誰做那件事就便宜</h4><p>這最常見的實際情況是針對實作的session先當切入點來說。實作剛完的那段時間，bug 和修補一定成群出現，而修它們的成本在「還熱著的 session」裡和「冷啟動的新 session」裡差一個量級 — — 新 session 得重讀規劃書、report、再翻程式碼把心智地圖重建一遍，才能動手改一行；熱 session 裡那張地圖是活的，「改哪、為什麼、上次為什麼不那樣做」都在，最快最近的路徑就是它。所以修補期間讓實作 session 續命是對的，也是最合理的作法(也有可能花費最少，但這不一定)。</p><p>實際上，對和你一起規劃的對話窗(hub)也是一樣的道理。hub 的獨特性它比「記憶比較多」更精確一點：它是唯一一個「原意、歷史、證據」三者共存的地方。從 session 各拿一片切片 — — 審查 spoke 只有文件投影，實作 spoke 只有規劃書和程式碼，benchmark 只有數字。只有 hub 能算你說的那個「差異性」：拿 spoke 送回來的現實，對照當初想做到的東西，然後做出只有這裡能做的判斷 — — 該調整的是計畫還是目標本身。</p><h4>實作 session 其實是獨立審＋實作</h4><p>實作是最高品質的審查形式，因為它的每個發現都自帶證明。例如在某個事件迴圈裡的殘留污染、某個函式不拆開會讓改寫退化成放行、callback 形狀在幾百行 route 裡根本切不進去 — — 每一條都是對規劃書的「審查裁定」，這一切都不是在猜測，不是在用各種角度找漏洞，這是實打實的真槍實彈的現場。所以跟審查 session 的推測不同，它們附帶失敗的測試和修好的 diff，不可辯駁也不需要辯論，因為它撞到的是現實問題，不解決就沒辨法往下繼續作。</p><h4>不需要compact，而是要將原意、歷史證據進行封存後，交接後繼承下去</h4><p>長對話有自己的病：共同盲點。 一個陪你把規劃孵出來的 session，對這個規劃是有投入的 — — 它可能跟你共享同一批假設，不會挑戰自己參與建造的東西。這本來是獨立審想解的問題。所以討論不需要背「找出自己盲點」的責任 — — 那本來就不是任何對話（有記憶或無記憶）能穩定做到的事，它歸 benchmark 和 grep 管。分工於是很乾淨：討論管聚焦與裁量，事實核對管宣稱，實測管品質。</p><p>hub 也會死（compact、開新對話），所以文件紀律的真正意義在這裡收束 — — decision 記「為什麼」、facts 記事實、issue_log 記結果，它們是 hub 的繼承機制，讓下一個 hub 從有損的交接裡拿回最關鍵的那片：<strong>原意</strong>。這恰好是當年獨立審 session 永遠拿不到的東西。</p><p>交接完成的那一刻，session 從「工作者」退役成「飛行記錄器」：活著的價值（熱的心智地圖）要嘛已蒸餾進交接文、要嘛本來就衰減到不可信了，剩下的唯一用途就是磁碟上那份存檔歷史資料供事後考古。不需要再 resume 它回來做事 — — 它站在牆邊、可能已存在幻覺，狀態比冷啟動的新 session 更差。</p><p>最後收在一個可運作的組織形態上 — — hub 討論並持有版本權，spoke 們各司其職（找漏洞的、蓋出證明的、跑出數字的），所有材料回流 hub 融合，你在 hub 裡握著不需舉證的最終裁量。它不是把獨立審扔掉，是把它放回它唯一能健康存在的位置：一個有意見、沒有法槌的從。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ffa892495196" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>