AI coding agent 有時會出現假行號、假 flag、假 IP 等幻覺。呢份 checklist 幫你喺任何工具(Claude Code、Cursor、Antigravity 等)都可以用嘅 harness 原則。
背景熱議:Theo 指出 Gemini agentic 幻覺問題
幻覺專題:Gemini agentic 幻覺分析
核心原則:Fail-closed
唔肯定就唔改、唔跑、唔 deploy。Agent 講「已經修好」唔算數——要有指令輸出或測試結果證明。
Checklist(可複製去 AGENTS.md 或 CLAUDE.md)
A. Edit 之前
- Agent 必須貼出:路徑 + 行號 + 該行原文
- 用
wc -l或 IDE 確認行號 ≤ 檔案總行數;超出即拒絕 edit - 一次只准改約定嘅檔案或目錄(path allowlist)
B. Shell/CLI 操作
- 新 flag:先
--help或查官方 docs;對唔上即 HOLD - 禁止模型發明 IP、secret、token——出現即當幻覺
- 高危指令(
rm -rf、production migrate)永遠人手確認
C. 程式正確性
- Export 或 API:用
grep、typecheck、unit test 證明存在 - 跑完要有:test 結果、lint 通過、或可重現步驟
- PR 要有 human review(公司環境);個人專案至少自己 diff 一眼
D. Agent 平台設定
- Antigravity:用 hooks 攔截
code_execution/filesystem;設max_total_tokens - Claude Code:用 Manual/Plan 模式先,再 Accept edits;Bypass 只限沙箱
- Computer Use:scoped task + 目視批准(見 Computer Use 比較)
E. 香港合規提醒
- 客戶個資唔好貼入 prompt 或 log
- 公司 repo 跟 DPO/IT 政策
- 用官方渠道同帳戶
可選:最小「Council」流程
如果想多一層 review:
- Model A 改 code
- Model B 只准找幻覺同假引用(唔准繼續大改)
- 本地跑 test
- 你合併
重點係第二意見 + 本地證據,唔係迷信某一家模型。
總結
Harness 嘅作用係令 agent 慢一點、真一點。Quote exact line、fail-closed、測試證據——呢啲比換模型更重要。Vibe coding 可以,production 要呢張表。
更新於 2026-10-26(Asia/Hong_Kong)。