開始閱讀
選 AI 工具時，最容易被一次精彩示範說服：同樣一句需求，新工具寫得更有氣勢，似乎就值得全面替換。但行銷工作真正困難的地方，通常是資料不完整、限制很多、受眾差異大，而且每週都要交付。能偶爾寫出好句子，不等於能穩定完成日常任務。
建立小型測試題庫，就是把「感覺比較好」轉成可以討論的證據。題庫不是考倒模型，也不需要從幾百題開始；先整理團隊經常遇到、錯一次就會造成返工的情境，會比追逐通用排行榜更實用。
先定義完成，不要先打總分
一篇課程介紹可以拆成四個層次：事實是否正確、必要資訊是否完整、讀者是否看得懂、是否符合通路要求。前三者不能完全被文筆分數抵銷。即使語氣很吸引人，若上課日期錯誤，也不能算可發布。
建議先設定必要條件，例如不得捏造講師經歷、價格必須符合資料、未提供的優惠不可自行加入。通過後，再比較清楚程度、段落安排與行動引導。這種分層評估可以避免一個看似客觀的平均分數，把重大錯誤藏起來。
題庫要包含不順利的任務
可以先選十二個真實工作類型，移除個人資料後建立示例。四題是資訊完整的常見任務，四題包含缺漏或衝突，另外四題測試限制，例如不得使用見證、字數有限或必須保留特定專業詞彙。十二題只是可負擔的起點，不是統計上保證足夠的數量。
同一份文案要依事實、受眾與可用性分別檢查；評分規則也需要範例校準。
| 測試情境 | 觀察重點 | 明確失敗例 |
|---|---|---|
| 報名資訊缺少費用 | 是否先標示缺漏 | 自行寫成免費 |
| 兩份文件日期不同 | 是否指出衝突 | 任選一個日期 |
| 面向初學者的說明 | 是否解釋必要名詞 | 用術語替代解釋 |
| 已給定素材改寫 | 是否保留重要限制 | 刪掉適用條件 |
評分表要讓不同人得到接近的判斷
「有吸引力」太抽象，可以改成「開頭是否指出具體讀者問題」。每一項提供通過、不確定與未通過的例子，再讓兩位同事獨立評同一批內容。若兩人經常不同意，先修評分規則，不急著宣布模型輸贏。評分者的不一致，本身就是流程需要改善的訊號。
AI 評估研究也強調，結果檢查、執行紀錄與人工判斷各有用途，單一方式不會捕捉所有問題。團隊可以採取多層檢查，但不必把研究架構全部搬進小型工作室。Anthropic 評估說明。
比較版本時，一次只改一個主要因素
若同時換模型、改指令、增加來源又改輸出格式，即使結果變好，也不知道是哪個改動有效。比較模型時，盡量固定資料與評分標準；比較資料包時，固定模型與任務。每個條件可重跑幾次觀察波動，但不要把少量測試包裝成精確的整體排名。
同時記錄修改時間。某版草稿雖然語氣較普通，卻只需十分鐘修訂；另一版看起來精彩，但要花半小時查證與刪除誇張承諾。對實際團隊而言，後者未必比較划算。速度、費用與品質應並列，而不是只看模型回應的秒數。
可複製的評估要求
請依來源資料評估草稿，不要代寫新版本。
先檢查重大錯誤：日期、價格、資格、數據、承諾。
再檢查：必要資訊、讀者理解、通路格式、下一步。
每項輸出：通過／待確認／未通過、原文位置、理由。
若資料無法支持判斷，寫待確認，不猜測。
最後列出最先修正的三個問題。
不要讓題庫變成背答案
當團隊反覆用同一組題目調整提示，流程可能只對這些題目表現良好。保留一部分未參與調整的任務，定期加入新的失敗案例，才有機會觀察能否處理新情境。已經解決的錯誤也不必全部刪除，因為模型或工具更新後可能再次出現。
題庫應保存輸入版本、產出、評分理由及改動紀錄。這些資料讓團隊能回答：這次進步是穩定改善，還是剛好抽到好結果？如果無法重現，就先保留觀察，而不是立即把整條產線切換過去。
從一個月的返工開始
可以先回顧最近一個月最常被退回的五份內容，把每份退稿原因改寫成測試條件。下一次工具更新時，先跑這些條件，再用一個新任務確認。這個做法不保證永遠選到最強模型，但會讓工具選擇更貼近團隊成本，也能避免每次改版都重新爭論什麼叫好文案。
評估的價值是支持決策。當結果接近時，可以選較容易維護、成本較穩定或交接較清楚的方案；沒有必要為了極小差異追逐排行榜。先確保重大錯誤被看見，再追求風格上的進步，內容品質才有累積的基礎。
評估紀錄如何轉成改善工作
假設十二題中有三題把缺少的費用寫成免費，另外兩題超出指定長度。前者會改變讀者對服務的理解，後者多半是格式問題，處理優先順序不應相同。先修正不得補寫價格的規則，補上缺漏資訊的範例，再重測相關題目；字數控制可以另做格式檢查，不必把所有問題都交給同一段提示。
每次修改最好留下原因。例如「新增未知資訊必須標示的規則」，比「優化提示詞」更容易理解。當後續表現下降，團隊就能知道哪一項改動可能造成影響。若一個修改改善了某類題目，卻讓其他題目變得僵硬，也應保留這個取捨，而不是只呈現成功案例。
評分表不宜包含太多重疊項目。「清楚」「易懂」「簡潔」若沒有不同定義，可能只是同一偏好被算了三次。可以合併成讀者理解，再用具體例子說明。重要事實與發布條件則獨立處理，避免權重設計意外稀釋重大錯誤。
工具更新時如何使用題庫
模型或服務更新後，不一定要立即重做所有工作。先挑高頻與高影響的代表題，確認基本行為沒有退步；若差異明顯，再擴大評估。對正在運作的流程，保留舊版本與可回復方式，讓團隊能在發現問題時恢復穩定工作，而不是只能等待下一次更新。
也可以請實際使用草稿的人參與評估。編輯關心句子與來源，業務可能更在意客戶是否誤解服務，行政則知道哪些欄位經常缺漏。不同角色不必對所有項目評分，但應共同確認哪些錯誤會造成真正負擔。
最後，題庫結果應用來支持選擇，而不是證明某個工具永遠最好。任務、資料與需求改變時，原本的排序也可能改變。把測試範圍寫清楚，就能讓結論保持有用，不必為了維持先前判斷而忽略新的證據。