Sitemap

【AI 自動化測試】四、放手讓 AI 用 Playwright 跑,怎麼確保它跑得對

腳本亮綠燈、畫面顯示成功,不代表 AI 測試真的通過了。關鍵在把驗證做到資料層,並讓測資夠真實、測試範圍夠聚焦。

Aug 6, 2026

--

Press enter or click to view image in full size

上一章的結尾說到,把中間整段放手交給 AI,但這件事的前提是驗證方式是正確的,所以 AI 對成功的判定就格外重要。

如果 AI 操作畫面時抓錯了元素,或是把「畫面顯示成功」就當成「真的成功」,那麼自動化只會產生無用的報告了。所以這一章前面講:AI 表面的「成功」為什麼不能盡信、驗證又該做到多深;後兩節再談測資和過度測試的問題。

一、「測試通過」不代表 AI 操作正確

AI 爬畫面做自動化時,會有一個容易被忽略的風險:它可能操作了錯的元素,而測試照樣不會報錯。

我之前遇過的情況是:我們系統的前端用 Vuetify,畫面上有切換分頁的元件,它會把兩個分頁的內容都放進網頁裡,非當前頁只是隱藏起來。AI 一開始用欄位名稱去抓某個輸入框,抓到的卻是隱藏那一頁的同名欄位。麻煩的地方在於,這種錯不會拋出任何錯誤:腳本「成功」填了一個欄位、也「成功」跑完,只是它填的是使用者看不到的那個。如果當下只看「腳本有沒有報錯」,會以為一切正常。

這帶出一個 AI 自動化很重要的問題:「腳本通過」只代表沒出錯,不代表 AI 的操作真的正確。表面的成功訊號(沒有例外、跑完了、畫面有反應),在 AI 自動化裡不完全可靠,因為 AI 很擅長讓事情「看起來完成了」。所以真正保證測試有效的,不是這些表面的訊號,而是下一節要講的:資料層的獨立確認。

二、「測試通過」不能只看畫面

這是這一章最重要的一點。

我之前遇過一個頁面,按下儲存後,畫面跳出了成功的提示,但資料根本沒有寫進資料庫。那個儲存其實只更新了前端畫面上的狀態,沒有真的送到後端。如果測試只看「畫面有沒有顯示成功」,但這種 bug 卻會被當成通過,因為它看起來完全正常。

所以我後來為新增、修改、設定這類案例定了一條規定:「成功」不能只看 API 有沒有回成功、畫面有沒有顯示成功,一定要回頭查資料庫,確認那一筆真的寫進去了,而且每個欄位的值都正確。這件事由 AI 在跑完操作後,用唯讀的查詢去確認(查詢的規範見第二章,只 SELECT、不寫入)。

下載類的案例也是一樣的:「點下去有觸發下載」不等於「下載到的檔案是對的」。我規定 AI 要驗四個層面:第一,檔案真的存下來了,而且大小大於零;第二,檔案類型正確(例如 PDF 就檢查開頭是不是 `%PDF`,證明不是一個毀損檔);第三,把下載到的檔案,跟當初上傳的那個已知檔案逐位元比對,證明下載的檔案完整、沒有損壞、內容正確。

查詢類則是逐列逐欄比對:拿 AI 依規格算出來的預期結果(第二章講的鏡像查詢),跟畫面實際查到的結果一列一列、一欄一欄對,包括代碼有沒有正確轉成中文、筆數對不對。

Get 石南’s stories in your inbox

Join Medium for free to get updates from this writer.

這幾種驗證的共同點是:不停在「表面上正確」,而是要一路驗證到「資料層面正確」。這也是後面第五章「報告要有證據力」的基礎。

三、擬真的測試資料

造測試資料時,值和格式最好盡量跟真實資料對齊,而不要隨意編造。(這一點根據不同的專案,考量到成本或隱私,情況可能不同,所以不一定要這樣做,這裡是以我自己的專案經歷分享。)

這麼做的原因有兩個。一個比較實際:有些畫面(例如一層扣一層的級聯下拉選單、或需要跨表 join 才查得到的資料)只有在資料是「真實存在的組合」時才會正常運作,隨便填的假資料根本觸發不了。另一個是交付上的:測資會出現在最後交付的報告截圖裡,如果一眼看上去就是假的,說服力會打折。

具體做法是,造每一筆之前,規定 AI 要先參考同一張表裡既有的資料長什麼樣:代碼類的欄位,值要取自真實存在的選項,不要填一個表裡根本沒有的代碼;格式類的欄位,分段數、分隔符號、長度這些樣式要跟其他列一致。

至於怎麼標記哪些是測試造的資料、之後怎麼清掉,最好靠不會顯示的欄位(例如在「建立者」欄位標一個特定記號、或讓主鍵帶特定前綴),而不要在會被截圖的可見欄位裡塞「TEST」之類的假字串。

不過,這麼一來就有成本問題要考慮,要讓測資來自真實的資料,得先看到真實資料長什麼樣,也就是去掃過資料庫裡那些參照表,摸清每個欄位實際有哪些值、格式是什麼。但如果每測一個功能就重掃一次、重新摸索一次,會重複花費成本。

所以最好把它做成一份可以複用的資產:第一次摸清楚之後,就把這些真實的格式和值域整理成一份「擬真詞彙」,放在整個測試專案共用的地方,而不是塞在某一個功能底下。裡面記的是像「這個編號是什麼前綴加幾碼數字」「這個型號欄位真實的合法組合有哪些」「這些代碼分別對應什麼中文」這類跨功能都用得到的格式知識。

之後每測一個新功能,AI 要造測資時,就直接查這份詞彙、套用,不必再重掃一次資料庫。整個專案的功能(不同頁面、不同流程)共用同一份擬真詞彙,就不用測到每個功能時都再花一次 Token。

四、不要過度測試

這一點在現今的實務上需要稍微注意一下,因為有了 AI 的協助,很容易過度測試,如此一來將會十分消耗時間和 Token,因此判斷出低價值或重複性的案例,讓 AI 不要去測試也是很重要的,這樣才能把力氣花在真正容易有 bug、且會產生實際影響的地方。

以我自己的案例來說:同一個功能如果有複雜和簡單的邏輯,測複雜的就好,因為複雜度高的會涵蓋複雜度低的情況(比如欄位有「多選」和「單選」,就測「多選」);一進畫面預設是空白、還沒查詢就沒有資料,這種案例就不測,因為它沒有任何資訊量(本來就該是空的)。

要記得要求 AI 測試負向案例,否則有時候它只會測 Happy Case,但只測有資訊量的。意思就是說,這個負向有機會檢查出真正的檢核或防呆問題,例如必填欄位沒填會不會被擋、規格說某欄位要自動轉成大寫但實作到底有沒有轉。至於那種「查一個不存在的值、結果是空」的負向,只是「空的等於空的」,檢查不出任何東西,這種的就略過。

這一節的重點,是把測試 Agent 的判斷力用在對的地方,而不是機械地把每種組合都跑一遍。

小結

這四件事加起來,「放手讓 AI 跑」才是可信且有效率的:操作畫面抓對元素、一路驗證至資料層、擬真的測資、範圍控制在會抓到 bug 的地方。

最後,驗證即使做得再深,這些結果要如何證明給別人看呢?查到的筆數、寫進去的資料、下載回來的檔案,光在報告裡寫「通過」是沒有說服力的。下一章就來談,怎麼把這些驗證變成一份有證據力的報告。

--

--

石南
石南

Written by 石南

軟體工程師,擅長語言是Java和Vue,喜歡研究DevOps和AI應用。 在這裡記錄技術研究及實作經驗:) 下面是英文版部落格:https://medium.com/@heather_programming_en