在北京大學化學與分子工程學院，有機化學考試是許多同學痛並快樂著的挑戰。然而，期中考前突如其來的一條通知，卻讓這場考試的氣氛變得不同尋常：
「請注意，本次考試範圍不僅限於有機化學。」
但比起考試範圍的變化，考場里迎來的一批「特殊考生」，更讓人意想不到。
它們不需要落座，也無需紙筆。它們是GPT、Gemini、DeepSeek……這些當下世界上最聰明的AI，正在雲端與174位北大化學與分子工程學院的大二學生同場競技。
這是一場精心設計的「圖靈測試」，也是北大科研團隊為大語言模型投下的一塊「試金石」。
近日，北京大學化學與分子工程學院聯合北大計算中心、計算機學院、元培學院團隊，發布了最新成果SUPERChem。近期，他們以一套「北大試卷」為標尺，冷靜丈量著AI在科學推理上的真實邊界。
考試現場
一場特殊的期中考
打開SUPERChem的題庫，一種「壓迫感」撲面而來。
晶體結構的精細解析、反應機理的深度推演、物化性質的定量計算……這500道題目並非來自網路上隨手可得的公開題庫，而是源於對高難度試題和前沿專業文獻的深度改編。
為什麼要費盡周折重新出題？
「因為大模型太會『背書』了。」團隊成員解釋道。互聯網可及的測試題大多已被博聞強識的AI在訓練階段熟讀。而化學，恰恰是一門不能只靠死記硬背的學科。它既有嚴密的邏輯推演，又充滿了對微觀世界的空間想像。「我們非常好奇，大語言模型的一維
next token prediction，能否解決二維、甚至三維空間中的複雜推理問題。」
要設計一套讓AI「沒見過」、必須靠硬實力推理的題目，難度極高。然而，這正是北大化院的獨特優勢所在。近百名師生——其中不乏奧賽金牌得主——集結起來，決定給AI出一套高門檻、重推理、防作弊的試卷。
他們要考的，是AI是否真的「懂」化學。
一場遊戲中的學術共創
設計題目往往是枯燥的，但這群年輕的北大人卻把它變成了一場「遊戲」。
為了構建這套高質量評估集，團隊搭建了一個專屬協作平台。在這裡，出題、審題、修題從單調的任務，變成了一套循序漸進的「通關」流程。成員們在平台上協作，互相審閱、彼此「找茬」，讓嚴謹的科學探討與活躍的思維碰撞交織共融。
團隊還引入了積分激勵系統，讓出題過程就像在遊戲中打怪升級。一道題目需歷經編寫初稿、撰寫解析，再通過初審與終審的嚴格審核，每個環節均由不同的同學把關，並發放相應的積分。終審通過的題目，甚至最多迭代過15個版本。
SUPERChem題庫的三階段審核流程
當最強大腦遇上「北大難度」
考試成績揭曉。
在這場精心設計的考試中，人類展現出了複雜的科學直覺。作為基線，參與測試的北大化院本科生取得了40.3%的平均準確率。這個數字本身，就足以說明這套題目的硬核程度。
而AI的表現如何？
即便是接受測試的頂尖模型，其成績也僅與低年級本科生的平均水平相當。
前沿模型在SUPERChem上的表現
前沿模型的正確率與RPF關係
讓團隊感到意外的是視覺信息帶來的困惑。化學的語言是圖形，分子結構、反應機理圖蘊含著關鍵信息。然而對於部分模型而言，當引入圖像信息時，其準確率不升反降。這說明，當前的AI在將視覺信息轉化為化學語義時，仍存在明顯的感知瓶頸。
輸入模態對不同模型的影響
然而，即使選對了答案，解題步驟也可能經不起推敲。因此，團隊為每一道題目都標註了詳細的評分規則。在SUPERChem這台「顯微鏡」下，AI是真懂還是裝懂，一目了然。
團隊發現，AI的推理鏈條往往斷裂於產物結構預測、反應機理識別以及構效關係分析等高階任務。當前的頂尖模型雖然擁有海量的知識儲備，但在處理需要嚴密邏輯和深刻理解的硬核化學問題時，仍顯得力不從心。
推理斷點所屬化學能力分布
通向AGI的一小步
SUPERChem的誕生，填補了化學領域多模態深度推理評測的空白。
團隊發布這項成果，並非為了證明AI的短板，而是為了推動它走得更遠。SUPERChem就像一個路標。它提醒我們：從通用的聊天機器人，到能夠理解構效關係、推演反應機理的專業科學助手，中間還有很長的一段路要走。那是從「記住知識」到「理解物理世界」的跨越。
目前，SUPERChem項目已全面開源。團隊希望這套源自北大的「試卷」，能成為全球科學與人工智慧領域的公共財富，去催化下一次技術的爆發。或許在不久的將來，當我們再次打開這張試卷時，AI能交出一份滿分的答卷。那將是化學與人工智慧共同的驚喜。
挑戰一下？
我們選取了一道未能進入SUPERChem題庫的「簡單」題目，邀請你來體驗這場考試。
為紀念門捷列夫發現元素周期律150周年，國際純粹和應用化學聯合會將2019年設為「國際化學元素周期表年」。門捷列夫預言了多種當時未知的元素，M即為其中之一。
M是一種銀白色金屬，質軟，能溶於濃硫酸、硝酸、鹽酸和稀鹼溶液。M與氧氣加熱至250
°C反應，可得到淡黃色固體A，A經SOCl2處理可得到亮黃色固體B，B也可由M與黃綠色氣體C直接加熱反應得到；若將B與單質氣體D加熱至200
°C反應，則轉化為紅色固體E；將M直接溶於稀鹽酸，也可得到E的溶液；但若將鍍有M的鎂片溶於稀鹽酸，可以製得少量二元化合物F；F在常溫下為液體，不穩定，其水溶液顯酸性；F能與金屬鉀反應，生成淡灰色固體G，並放出單質氣體D。
根據上述信息，從以下選項選出正確的說法：
A：物質M的原子序數和族數的奇偶性不同
B：鍍有M的鎂片與稀鹽酸反應，產物中Mg的化合價與A中M的化合價一樣
C：G具有反螢石結構
D：由於空氣氧化，E溶液久置會轉化成含B溶液