【AI 自動化測試】五、報告即證據:交付要能被查驗
一份測試報告如果只寫「查詢正確、新增成功」,讀的人沒辦法查證,只能選擇相信。這一章談怎麼讓報告變成能被查驗的證據。
第四章講到,驗證要一路做到資料層。但驗完還有最後一關:這些結果要能*證明給別人看。測試報告通常是要交出去的,交給客戶、主管、或稽核。如果報告上只寫「查詢結果正確」或「新增成功」,讀的人其實無從查證,只能選擇相信測試員。
因此,報告應具備充分的證據力,凡是能用截圖證明的事實,就不要只用文字帶過。(但請注意,測試報告的樣式與要求,因不同公司或客戶而異,所以這裡僅供參考。)
一、能用截圖證明的,就不要只用文字
一份報告寫「查詢結果正確」並不足夠,因為讀的人看不到「查了什麼、查出幾筆、每一筆長怎樣」。換成截圖就完全不同:查詢條件、結果清單、筆數,全部在畫面上,讀的人自己就能核對。
所以我給 AI 的指令是,凡是能用截圖證明的事實,一律附截圖,文字只用來標註「這張截圖證明了什麼」。查到的筆數、清單裡的每一列、彈窗的內容、轉導後的頁面、資料庫裡查到的那一筆,都要有畫面佐證。遇到「A 的數字應該等於 B 的數字」這種對照,就兩邊都截,讓讀的人自己比對。
二、「成功」要有一條完整的證據鏈
新增、修改這類案例,如果只截一張「儲存成功」的提示,就當作證明是不夠的,因為這張截圖什麼都沒證明,它證明不了送出去的是什麼、也證明不了資料真的存下來了(第四章那個「畫面顯示成功、資料庫卻是空的」的假存,就是這樣漏掉的)。
所以一個「成功」案例,我要求報告裡要有一條三段相扣的證據鏈:
Get 石南’s stories in your inbox
Join Medium for free to get updates from this writer.
1. 送出前,填好的輸入畫面。在按下送出之前,把所有填好的欄位截下來,證明「送進去的是這些值」。(若檢核報告的人是資訊單位,也可附上 payload)
2. 送出後的結果。送出後的清單或結果頁,而且要看得到新增的那一筆,證明「系統收下了、也顯示出來了」。
3. 資料庫裡查得到。回頭查資料庫,證明那一筆真的落地了,每個欄位的值也對。
有了這三段,讀的人可以從輸入一路追到資料庫,完整看到這件事真的發生了。
三、報告要一致,而且足以交付給客戶
最後的小細節,關於報告作為交付物的樣子。
第一,一致。同一個專案往往有很多份報告,一個功能一份,如果每一份的外觀、結構、用語都不一樣,看起來就很雜。所以不應讓 AI 每次自由發揮,而是讓所有報告都走同一條產線:一個共用的樣式外殼,加一個共用的產生引擎(如 Python 程式),連「畫面查到 N 筆、資料庫預期 N 筆」這種句子,都是引擎統一產出的,不是各份報告各寫各的。這樣不管做哪個功能,報告的長相和說法都一致。
第二,報告是給客戶的交付物,不是內部的工作紀錄。因此報告裡不會出現內部的案例編號(例如 Q01、C03)、不會有「這次重跑了哪些」這類執行過程的備註,也不會有環境設定的說明。每個標題都採用功能或情境本身的名稱。讀的人看到的,是一份乾淨、只針對受測功能陳述的文件。
特別要說明這點,是因為 AI 有紀錄過程的傾向,所以要一開始就定義目標為「交付文件」,且禁止出現歷程文字,僅呈現最終結論。
小結
把這些加起來,報告才能變成一份能被查驗的證據:每個結論都有畫面為證,且能從輸入追到資料庫,而且樣式上都是正式的交付物。
到這裡,AI 自動化測試的五個部分就講完了:從最根本的裁判兼球員問題,到防火牆、三階段流程、怎麼讓 AI 跑得順暢又可信,再到報告即證據。下一章,我會用一個實際的功能,把這五件事從頭到尾串成一次完整的測試,讓大家看到它們合在一起實際跑起來是什麼樣子。










