超越人類博士能力！OpenAI o1 程式設計與推理再進化，數學奧林匹亞進前五百

OpenAI 最新推出的 AI 模型 OpenAI o1，OpenAI 表示它在各種基準測試中表現卓越。從競技程式設計到超越人類博士水準的科學考試，o1 模型正在推動 AI 推理能力的新標準。

Table of Contents

競技成就：AI 表現的新標準

OpenAI 表示，OpenAI o1 展現了在競技程式設計、數學和科學領域的非凡能力。該模型在 Codeforces 這個知名競技程式設計平台的表現達到第 89 個百分位，並位居美國數學奧林匹亞競賽 (AIME) 的前 500 名。此外，在測試物理、生物和化學專業知識的 GPQA 基準測試中，o1 的準確度超越了人類博士水準。

OpenAI o1 已開放使用

儘管 OpenAI 正在努力使 o1 與現有模型一樣易於使用，早期版本 OpenAI o1-preview 已經在 ChatGPT 和受信任的 API 用戶中可用。這一早期接入旨在展示 o1 強大的推理能力及其重新定義 AI 應用的潛力。

數據高效的 AI 推理方法：關聯思考

該公司表示，OpenAI o1 的成功源於其大規模強化學習算法，該算法使用「關聯思考」(chain of thought) 方法來教導模型進行有效推理。這種訓練方法具有高度的數據效率，使得模型能夠隨著強化學習的增強，和測試場景中思考時間的增加而穩定進步。與傳統的大型語言模型預訓練不同，這種方法具有獨特的擴展限制，OpenAI 正積極探索其中的奧秘。

推理密集型基準測試超越 GPT-4o

為強調 o1 相較於其前身 GPT-4o 的推理改進，OpenAI 將該模型測試於各類人類考試和機器學習基準測試中。結果顯示，o1 在大多數推理密集型任務中大幅超越 GPT-4o。在 2024 年 AIME 考試中，GPT-4o 僅解決了 12% 的問題，而 o1 在每個問題單一樣本情況下平均解決 74%，在 64 個樣本共識下達到 83%，在 1,000 個樣本使用評分函數重新排序後達到 93%。這一表現使 o1 排名全國前 500 名，超越進入美國數學奧林匹亞的門檻。

在科學基準測試中超越人類專家

OpenAI o1 在 GPQA diamond 基準測試中同樣表現出色，該測試針對化學、物理和生物領域的專業知識。OpenAI 邀請博士專家回答這些問題，結果顯示 o1 超越了人類專家，成為首個在該基準測試中達到此成就的模型。雖然這並不意味 o1 在所有方面都優於博士學位，但它突顯了該模型在特定領域的卓越問題解決能力。

在其他機器學習基準測試中，o1 繼續超越現有的最先進模型。啟用視覺感知功能後，o1 在 MMMU 中得分 78.2%，表現與人類專家相當，並在 57 個 MMLU 子類別中的 54 個超越 GPT-4o。

類似人類的思考方式：關聯思考

OpenAI o1 採用類似人類在回答複雜問題前的「關聯思考」方法。這種方法可以讓模型透過強化學習不斷優化策略，將困難的步驟分解為更簡單的任務，並在必要時探索替代方法。這一學習過程顯著提升了模型的推理能力，使其能更好地處理挑戰性問題。

程式設計表現可與人類工程師競爭

OpenAI 針對程式設計訓練了一個版本的 o1，並在競技程式設計中取得了顯著成果。該模型在 2024 年國際資訊奧林匹亞 (IOI) 中獲得 213 分，排名第 49 個百分位，展示了其在類似人類競賽條件下的程式設計技能。在放寬提交限制後，模型表現大幅提升，單題提交 10,000 次後得分超過金牌門檻。

在 Codeforces 主辦的模擬競技程式設計比賽中，o1 的 Elo 評分達到 1807，超越 93% 的人類競爭者，並遠遠超過 GPT-4o 的表現。