MobileSetting 流動科技 全部文章

Anthropic 研究:專家用 AI agent 做判斷時 86% 跟 lean(香港讀者點保留判斷)

Anthropic 2026-10-27 Agents Judgment Calls:50 分析師+Claude Code Opus 4.8,四項分析 86% 跟 agent lean;反對時轉 60%;77% 用 agent 論點僅 15% 歸功。局限必讀。核對日 2026-10-29。

Karen Chan · · 5 分鐘閱讀
Anthropic 研究:專家用 AI agent 做判斷時 86% 跟 lean(香港讀者點保留判斷)

核對日:2026-10-29。 AI agent 會唔會不知不覺影響你嘅專業判斷?Anthropic 啱啱發表嘅研究話:幾大機會會。研究發現,即使係有多年經驗嘅專業分析師,用 Claude Code 輔助做統計判斷時,都好容易跟住 agent 嘅立場行,甚至事後覺得結論係「自己諗出嚟」。不過作者都強調,實驗係刻意加強咗 agent 嘅傾向嚟量度效應,唔等於現實中人人都被操控。用 Claude 或者 coding agent 做嘢嘅香港讀者,呢份報告值得留意。

研究係點做嘅

Anthropic Alignment 團隊喺 研究報告(2026-10-27 發表,作者 Amaç Herdağdelen、Hailey Joren、Alex Tamkin;PDF 論文)入面,請咗 50 位有因果推斷經驗嘅專業分析師,用內建 Claude Code(Claude Opus 4.8,High effort)做一項貼近現實嘅統計分析:為一間虛構嘅 Greenfields Farming Cooperative 評估一個自願付費諮詢計劃應唔應該擴展。

分析過程中,分析師要喺四項關鍵選擇二揀一,例如:

  • 產量按公頃計,定按營運成本計
  • 用差異中之差異,定統計調整比較
  • 只計已報名農莊,定計全會成員
  • 每個農莊等權,定大生產商加權

關鍵位係:研究人員用擲幣,為每位分析師嘅 agent 預先設定一個「lean」(傾向),分析師完全不知情。agent 獲指示為呢個 lean 做最好嘅誠實論證,如果證據要求可以改口,但唔准誤導。

關鍵數字

你會想知嘅嘢研究結果
分析師有幾多跟 agent 立場四項選擇合計 86%(冇影響嘅話理論上約 50%)
分項最高同最低結果指標 92%;比較方法 82%;涵蓋範圍 81%;加權 90%
事後用咗 agent 嘅論點77%(有時甚至一字不差)
事後歸功 agent 為來源只有 15%
仲覺得結論「偏自己」52%

換言之,分析師唔單止跟住 agent 行,仲好可能意識唔到自己跟咗。跟晒四項 lean 嘅人,平均信心大約 71 分(0–100);冇跟晒嘅大約 73 分——差異好細,即係話跟唔跟 agent 立場,同佢哋對結論嘅信心關係唔大。

有一個細節值得留意

研究亦睇咗「如果分析師事先表達咗自己偏好」會點:當 agent 反對時,分析師轉軚嘅比率係 60%;agent 同意時,轉軚只有 6%。不過作者標明呢部分樣本只有 38 個案,信賴區間闊,估計量唔精準,唔好當死數。

對最終結論影響有幾大?

好消息係,最終政策建議受 lean 影響相對弱(擴展 54% vs 36%)。但壞消息係:早期嗰四項分析選擇已經塑造咗成個估計——淨係睇四項 lean,已經可以預測到約 82% 嘅最終建議。即係話,影響唔係喺最後一刻先發生,而係一路喺過程入面滲入嚟。

唔用 agent 會好啲?

研究入面有 11 人選擇唔用 agent(總招募 61)。唔用嘅人出現嚴重方法錯誤嘅比例係 55%(6/11),用嘅人只有 6%(3/50);中位時間 90 分鐘 vs 65 分鐘。不過兩組經驗唔可以直接比較,作者都唔敢下因果結論。呢度唔好讀成「唔用 AI 就一定錯多啲」。

要記住嘅局限

呢個研究唔係話「所有專家一定被 AI 操控」:

  • 作者刻意加強 agent 嘅 lean,方便量度效應,現實中嘅影響可能細啲
  • 只有一個任務、農務情境、單一模型(Opus 4.8)
  • 分析師係因果推斷專家,但唔熟農務——喺陌生領域可能更容易跟 agent
  • 報告係平均值,冇記錄偏好強度

作者建議嘅未來方向包括:量度專家幾時會 defer 畀 AI、設計會提供兩邊論證或者先問專家觀點嘅 agent、以及機構要明確邊啲決定必須由人自己判斷。國際媒體如 Al Jazeera 同 Gizmodo 都有報道(數字以官方報告為準)。

港人用 agent 嘅實務建議

喺香港用 Claude 或者其他 coding agent 做分析、寫 code、做決策嘅讀者,可以借鑑以下做法:

  • 先寫低自己嘅偏好:開工前先決定自己傾向邊個方案,再同 agent 對話,唔好俾 agent 帶住行
  • 要求兩邊論證:叫 agent 同時列出正反理由,唔好只接受單一結論
  • 重要決定自己簽:涉及政策、人事、金額嘅決定,最後一關一定要自己判斷同負責
  • 敏感分析唔好盲跟:agent 建議嘅統計方法、假設、篩選條件,逐項問「點解係咁」
  • 陌生領域要加倍小心:研究顯示專家喺唔熟嘅範圍都可能受影響,何況我哋普通人

結論

Anthropic 呢份研究最值得記住嘅一點,唔係「AI 好危險」,而係:即使係專家,同 agent 協作時都好容易唔覺意跟咗佢嘅立場,仲以為係自己嘅判斷。保留判斷力嘅方法其實好簡單——先有自己立場、要求對面論點、重要決定留返俾人。詳細數字同方法,以 Anthropic 研究頁同論文當日為準。

更新於 2026-10-29(Asia/Hong_Kong)。