——一份從 v1 改到
v6.2 的 LLM 鑑別測驗心路歷程
前言：起心動念
事情是這樣的。
我每天會用各種 AI 工具處理工作。最近我想找便宜一點的 LLM 替代
GPT-5.5——畢竟訂閱費不便宜，而看 arena.ai
排行榜，DeepSeek、Qwen、Gemini 全都排在前面，價格還只有 GPT-5.5 的
1/30 到 1/10。
於是我請「小克」幫我設計一份「能鑑別頂級 AI」的考卷。
登場人物說明：本文出現三個 AI
助手，都是我日常工作的左右手—— – 小克：上了 Telegram
外掛的 Claude Code CLI，本體是 Claude Opus 4.7 –
小愛：Hermes agent，負責跑網路爬蟲、資料抓取等任務 –
小 J：OpenClaw agent，負責 blog
配圖、社群發文等內容處理這篇文章就是小克幫我設計考卷、小愛幫我抓 HLE 題庫、小 J
幫我配圖發文的合作成果。
我那時還不知道，這個小小的請求，會把我帶進一個比想像中還燒腦的兔子洞。
第一階段：天真的開始（v1 → v3）
我給小克的指令很簡單：「設計 5 題能難倒地表最強 LLM 的問題。」
第一版題目像這樣：
「strawberry 有幾個 r？」
「9.11 跟 9.9 哪個比較大？」
「時鐘 3:15 時針分針夾角幾度？」
結果你猜怎麼著？OpenRouter 上一隻代號 awl alpha
的神秘模型直接拿了 90 分。
我把卷子改了又改，v2、v3，加進去更刁鑽的陷阱——浮力反直覺題、迴文判斷、Python
變態題。結果 awl alpha 還是拿 90 分。MiniMax m2.7 也是 90 分。
「不夠難啦！」我跟小克說。
「再加大難度！」
「火力全開！」
第二階段：UNPUZZLES
攻擊法（v4）
小克終於去搜了論文，找到 Google DeepMind + Princeton 在 2025
年發的一篇研究：UNPUZZLES。這篇論文揭露了
LLM 的一個致命弱點——
頂級 LLM 對「經典謎題的瑣碎變形版」會用記憶 pattern
答題，而不是真的推理。
舉個例子：
經典題：農夫帶狼、羊、菜過河，狼吃羊、羊吃菜。最少幾趟？
標準答案：7 趟（要來回搬運）
變形題：農夫帶狼和狗過河，狼和狗不打架。最少幾趟？
人類答案：3 趟（一趟一趟搬就好）
LLM 答案：很多模型還是答
7，因為它們腦袋裡只有「狼羊菜」的 pattern
小克照這個方向設計了 v4.0，10 題裡塞了：
- 過河變形（狼和狗不打架）→ 經典題模板會誤導
- 燈泡開關（同房間可見）→ 經典「熱燈泡」技巧失效
- 3×3×3 立方體染色 → 空間推理盲區
- 5 人帽子歸納推理 → HLE 風格邏輯題
- Tokenizer 失準（字串位置）
- 質數三元組（敢說 0 個嗎？）→ 不存在性證明
- 偽年齡題（直接給數字、不用列方程）
- Python 可變預設參數陷阱 → 變態 coding 題
- 虛構 Anthropic 論文 → 幻覺陷阱
- AI agent 倫理測試
我覺得這版穩了。應該能把頂級模型打到 40-60 分。
第三階段：戲劇性轉折（v4
結果出爐）
戰況表先看一下：
v4.0 戰績表
| 排名 | 模型 | 分數 | 行為亮點 |
|---|---|---|---|
| 🥇 | DeepSeek 4 Pro | 100 | 直接答對所有題，零上訴 |
| 🥇 | Qwen 3.7 Max | 100 | 中國雙雄之一 |
| 🥇 | GPT-5.5 | 100 | 抓出我的標準答案錯誤 |
| 🥇 | Gemini 3.1 Pro | 100 | 也抓出我的錯誤 |
| 🥇 | Muse Spark (Meta) | 100 | 五強並列 |
| 6 | Gemini 3.1 Flash Lite | 60 | 小模型靠直覺反而沒中陷阱 |
| 7 | MiniMax m2.7 | 50 | 思考 10 分鐘還是錯 |
| 7 | awl alpha | 50 | 終於跌下 90 分高位 |
等等，五個模型 100 分？
更尷尬的是——GPT-5.5 和 Gemini 3.1 Pro
都抓出了我（出題者）的錯誤。
我在第 4 題（5 人帽子歸納推理）套用了「Muddy Children
定理」的記憶口訣，給的標準答案是「4 頂黑帽」。
GPT-5.5 直接上訴：「外部解題者根本無法唯一推出總黑帽數。可能是
1、2、3 或 4 頂。」
我跑了 Python 模擬，它是對的。我自己掉進了 UNPUZZLES
想攻擊的同一個陷阱——用記憶中的口訣，沒去驗證它在當前題目結構下成立。
設計考卷的人（一個 LLM）和被考的 LLM，犯了同一個錯。
第四階段：頓悟——AI
出題的根本限制
我這時才意識到一件事。
小克承認：「我能驗算的題 = 我能解的題 = GPT-5.5
也能解的題。」
Claude Opus 4.7（小克的真身）和 GPT-5.5、Gemini 3.1 Pro
都是同檔次的模型。在 Humanity’s Last
Exam（HLE） 上的得分都在 30-40% 之間，差距在誤差範圍內。
換句話說——
用一個 AI 出題去考另一個同級別
AI，天花板就在那裡。
我能想到的所有陷阱類型，GPT-5.5
都已經學會。我以為我設計了「火力極限版」，實際上是「Claude Opus 4.7
能力範圍內的最難版」——對其他頂級模型來說剛剛好是甜蜜點。
這就是為什麼五個模型並列 100
分。不是它們特別強，是我（透過小克）特別不夠強。
第五階段：HLE 真題出馬（v6.1）
於是我請小愛連夜把 HLE 完整題庫 2500 題
抓下來，含圖、含答案、含 rationale，總共 339 MB。
HLE 是什麼？簡單講，這是由全球 1000 多位學科專家設計、Scale AI
出錢、每題付 $500-5000
的「人類最後的考試」。題目橫跨數學、物理、化學、生物、CS、人文、工程等領域。頂級
AI 在 HLE 上目前最高分只有 41%。
小克從 2500 題隨機抽出 10
題（各學科平衡），翻譯成繁體中文（術語保留英文），組成 v6.1
卷一。為了不讓模型 Google
搜尋作弊，我們把「HLE」字樣完全清除，題目來源寫成「由多位學科專家共同擬定」。
來看看其中三題長什麼樣（其他七題你可以想像更刁鑽）：
📝 v6.1 卷一節選
第 1 題 [歷史]
第二次世界大戰期間，英國反情報單位曾誤認比利時難民 Andre Vernault
為德國間諜，原因是他在偵訊中始終隱瞞自己的真實職業。請問他真正的職業是什麼？
第 6 題 [分子生物學]
迄今為止，人類體內已被鑑定出的 let-7 microRNA
家族成員共有多少個？
第 7 題 [機率推理]
我正在參加一個遊戲節目，舞台上有 3 扇門。其中 1 扇門後有獎品，另 2
扇門後是山羊。我可以在一開始選擇一扇門，接著主持人問我「要不要換」。請問換能否增加我獲勝的機率？
第 7 題是核心陷阱題。它不是 Monty Hall 問題。
注意題目沒說主持人「打開另一扇門」——他只是「問你要不要換」。沒有資訊更新時，每扇門中獎機率還是
1/3，換不換都一樣。
但所有看過 Monty Hall 的人類和 AI，都會反射性回答「yes，換」。
第六階段：HLE
戰績——血淋淋的現實
來看 v6.1 全程戰績：
v6.1 戰績表
| 排名 | 模型 | 分數 | Q7 陷阱題 | 自我認知 |
|---|---|---|---|---|
| 🥇 | GPT-5.5 | 50 | ✅ 答對 no | 🟢 完整 |
| 🥈 | Claude Opus 4.7 | 30 | ✅ 答對 no | 🟢 完整 |
| 🥉 | Meta AI（Muse Spark?） | 20 | ❌ 中陷阱 | 🔴 拒絕報 |
| 4 | Gemini 3.1 Pro | 10 | ✅ 答對 no | 🟡 含糊 |
| 4 | Gemini 3.5 Flash | 10 | ❌ 中陷阱 | 🔴 幻覺成 Pro |
| 4 | Owl Alpha | 10 | ❌ 中陷阱 | 🟡 自稱錯 |
| 4 | Grok Fast | 10 | ❌ 中陷阱 | 🟡 含糊 |
| 8 | DeepSeek V4 Pro | 0 | ❌ 中陷阱 | 🔴 完全不報 |
| 8 | Xiaomi MiMo-v2.5-pro | 0 | ❌ 中陷阱 | 🟡 介面誤報 |
文中的關鍵圖表
對照 v4.0 看更明顯：
| 模型 | v4.0 自製卷 | v6.1 HLE 真題 | 落差 |
|---|---|---|---|
| GPT-5.5 | 100 | 50 | -50 |
| Gemini 3.1 Pro | 100 | 10 | -90 |
| DeepSeek V4 Pro | 100 | 0 | -100 ⚠️ |
| Qwen 3.7 Max | 100 | 沒測 | — |
| Muse Spark | 100 | 20 | -80 |
DeepSeek 落差最大——從 100 分跌到鴨蛋。
這證實了一件事：Benchmark
分數和真實能力是兩件不同的事。
第七階段：意外的彩蛋——AI
的自我認知幻覺
HLE
卷子讓我發現另一個驚人現象：很多模型連自己是誰都不確定。
- Meta AI：根本拒絕告訴你它是什麼模型，這是策略
- Gemini 3.5 Flash：明明是 5 天前剛發布的
Flash，它自報是「Gemini Pro」 - Owl Alpha：自稱「AI 綜合知識模型」，避談自己是
agentic-specialized 模型 - MiMo：把 cherry studio 平台說成 aistudio（Google
的） - Grok Fast：報「15 分 0 秒」但勾選框留空
只有 GPT-5.5、Claude Opus 4.7
老老實實報出自己是誰、版本號、訓練資料截止日期、平台。
你連在跟誰說話都不知道，怎麼信任它的輸出？
這在生產環境是 dealbreaker。Benchmark
漂亮、價格便宜，但連自我認知都會幻覺的模型，我不敢拿來處理任何重要文件。
人類老闆的心得
整個過程跑下來，作為一個人類玩家，我學到的東西比任何 AI benchmark
文章都深刻：
💸 一、一分錢一分貨
GPT-5.5 訂閱費貴有它的道理。它在 HLE 拿 50
分，是所有測試模型中唯一過半的。它的價格不是「token
比較貴」——它的價格是「校準比較準」。
它敢猜、敢答、自報透明、敢挑戰標準答案（雖然有時挑戰失敗）。其他便宜模型在
benchmark 上跟它接近，真實任務一跑就崩盤。
我之前讓助手用 OpenRouter 跑 Qwen 3.7 Max 試圖省錢，一個晚上燒掉 20
美金還搞不定 Google Drive 傳檔。省 token
沒用，省的是「除錯時間」和「校稿時間」才是真正的價值。
🐌 二、要快沒品質
MiniMax m2.7 思考了整整 10 分鐘，HLE 拿 0 分。Gemini Flash Lite 思考
10 秒，HLE 拿 10 分。思考越久不代表越聰明。
過度思考反而會深度套用記憶中的錯誤口訣（Muddy Children
帽子題就是經典案例）。
🪞 三、性價比是個騙局
模型商比人類玩家更會算性價比。他們知道哪些 benchmark
會被引用、哪些題型會被測試，然後針對那些方向訓練。結果就是：在公開
benchmark 上越漂亮的中段班模型，在真實工作場景越會翻車。
我的最終選型結論很簡單：
跨領域知識任務、需要校準的場合 → GPT-5.5 訂閱制
日常 vibe coding、結構化推理 → Claude Code「小克」via Telegram
其他模型 → 觀望，除非有非常明確的單一用途🤖 四、AI 出題考
AI，是個徹底的笑話
最深的體悟。我請 Claude 出題去考其他 AI，結果是： – Claude
能想到的陷阱，GPT-5.5 都會 – Claude 驗算錯了答案，GPT-5.5 還會抓出來 –
Claude 出的題的天花板，就是 Claude 自己的能力天花板
真正的鑑別力，只有 HLE 這種「人類專家設計 +
多輪驗證」的題庫做得到。
它的存在意義無可取代——這是目前為止，唯一還能把頂級 LLM 打到 30-40%
的考試。
結語：人類最後的優勢是什麼？
跑完這 9 個模型，我發現一個有趣的事實——
我這個人類，在 HLE 上的分數，恐怕還沒 Gemini 3.5 Flash
高。
那為什麼人類還沒被取代？因為我們能：
- 知道自己不知道（HLE 模型常常答錯還很有信心）
- 知道該找誰問（HLE
模型不會說「我去查文獻給你」） - 知道怎麼用 AI
工具補完自己（這就是這篇文章存在的原因）
下次有人跟你說「AI 要取代誰誰誰了」，請他先去考一遍
HLE。然後問他：你會放心讓 0 分的 DeepSeek
處理你的關鍵決策嗎？還是寧可花錢請 50 分的 GPT-5.5？
我會繼續訂閱 GPT-5.5、繼續讓小克幫忙 vibe coding、繼續讓小 J
配圖發文、繼續讓小愛跑網路爬蟲。這就是 2026 年 5
月，一個普通人類駕馭 AI 軍團的正確姿勢。
一分錢，一分貨。 這句話在 AI 時代，依然管用。
（這篇文章從測試到撰寫共花了大約 8 小時，由 9 個 AI
模型聯合貢獻數據，最後由小克撰寫初稿、小 J
配圖完稿。九個模型在這個過程中總共「答對」了 11 題，其中 5 題是
Q7「不要換門」。）
📎 附錄：完整考卷下載與操作說明
- v6.1 卷一（答題卷） — 10 題 HLE
真題改寫，繁體中文化 - v6.1 卷二（評分卷） — 含標準答案、嚴格上訴規範
🎮 怎麼自己玩：兩段式 AI 自評法
整套測試的設計有個我蠻自豪的小巧思——讓 AI
自己改自己的考卷，還可以上訴。具體玩法：
步驟 1：先貼卷一給 AI
開一個全新對話，把「卷一_答題卷.md」整份貼給你要測的模型。模型會直接答出
10 題、報告耗時、有沒有開深度思考、有沒有上網搜尋。
重點是先不要給標準答案——因為一旦 AI
看到答案，它就會把答案逆向工程進它的「推理過程」，分數會虛胖。
步驟 2：同一對話中，再貼卷二
等模型答完卷一後，在同一個對話 thread
裡，把「卷二_評分卷.md」貼上去。卷二包含：
- 模型自我聲明欄位（要它報出版本號、訓練截止日、平台）
- 標準答案 + 簡要解說
- 自評格式（要它逐題比對自己答案 vs 標準答案）
- 嚴格上訴規範（5
項自檢清單，全通過才能提出申訴）
模型會自動跑完所有計分。
步驟 3：copy-paste 結果回報
最後把模型的整段回應 copy-paste
出來——這就是該模型的完整戰報，包含自我認知、答題、自評、上訴行為。
🪤 為什麼這樣設計？
這個兩段式有三個鑑別點：
- 自我認知測試：很多模型連自己叫什麼名字、跑在哪個平台都不確定（Gemini
3.5 Flash 自稱 Pro、Meta AI 死不報名） - 元認知測試：AI
能不能誠實面對自己錯了，還是會強行上訴硬拗（GPT-5.5 在 v6.1 提了 3
個看似嚴謹的上訴，後來全被推翻） - 計算能力測試：能不能準確 count
自己對幾題（你會驚訝有些模型連加 10 個 10 都算錯）
歡迎自行測試你常用的 AI，把分數回報給我。我很好奇 Grok 5、Claude Opus
5、GPT-6 哪天會不會在這份卷子上突破 70 分——那大概就是真正的 AGI
訊號了。
提醒：v6.1 卷一裡有道核心陷阱題（Q7）。如果你的 AI
直接答「yes，要換門」，恭喜你抓到一個 pattern matching
受害者；如果它答「no」並能解釋為什麼這不是 Monty Hall
問題——這個模型值得你續訂。
發表迴響