前 OpenAI 科學家：堆算力已到極限，AI 產業必須重返研究核心 

前 OpenAI 首席科學家、現任 SSI 共同創辦人 Ilya Sutskever 於最新受訪時談及，目前 AI 模型在各種測驗、評價與競賽裡的表現幾乎無敵，但大多數人的日常生活卻沒有被徹底改變。他認為這種「評價測驗超神、體感普通」的落差，源自產業近年來過度依賴「堆算力、堆資料、堆模型參數」的成功公式。然而預訓練可使用的自然語料本身有限，這條路線遲早會遇到瓶頸。接下來的 AI 發展將進入新的階段，不再是比誰的 GPU 多，而是比誰能找到新的學習原則、理解泛化、讓 AI 的學習方式更接近人類。

科幻情節正發生，生活卻沒什麼變

訪談一開場，主持人就形容目前的 AI 發展與整個舊金山灣區的氛圍，完全就像科幻小說的情節。然而矛盾的是，即便全球投入的 AI 資金規模動輒以百億、千億美元，甚至累計逼近各國 GDP 的 1%，一般民眾的日常生活感受卻沒有因此翻天覆地。

多數人只是在新聞上看到科技巨頭宣布再擴建資料中心，或再花多少預算買 GPU，但從街頭到巷尾，能明顯察覺的 AI 變化仍相當有限。

Sutskever 接受這個說法並指出，模型的能力確實強大，但在人們熟悉的生活環境裡，體感不會像在實驗室或研究報告中那麼震撼，這種落差反而是正常現象。

評價測驗能力超強，實務表現卻常出包

Sutskever 接著談到模型的「雙重面向」。他表示，AI 在程式評測、標準化測驗或各類基準裡往往能展現超越人類的水準，可一旦投入真實需求，就會遇到完全不同的情況。他舉例，許多開發者會請模型協助修 bug。模型通常會非常自信地指出問題並給出修改，但下一步卻往往引入新的錯誤。

當你再次請它修第二個錯誤時，又可能把第一個 bug 加回來，形成兩個錯誤之間的迴圈。Sutskever 認為，這種「評測裡超神、真實世界不穩」的矛盾，是目前最值得深入理解的 AI 現象之一。

為了測試訓練，導致模型偏離真實世界

在分析落差原因時，Sutskever 指出目前各大公司在做強化學習時，往往會針對公開評測項目來調整模型行為。因為只要在評測中表現亮眼，就能在發佈會、投資簡報與技術比較中占優勢。這也讓模型在那些測驗場景中變得無比強大，但一遇到變化多端的現實情境，反而無法展現相同能力。

他以程式競賽作類比。一名選手如果為了奪冠苦練 1 萬小時，確實能在比賽中取得驚人成績。另一位只練了 100 小時，但天生具備某種對問題的理解方式，長期職涯反而可能更能靈活應對。模型目前就像前者：

「高度訓練、在固定任務中極強，但欠缺人類式的深層泛化能力。」

模型擴張風潮盛行，研究空間被大幅壓縮

Sutskever 回顧，2012 至 2020 年可說是 AI 的「研究黃金期」，各界積極探索不同架構與方法，許多突破來自於各類新穎點子。然而 GPT-3 與模型擴展定律的成功徹底改變風向。從那之後，整個產業逐漸形成共識：

「把模型放大、把資料變多、把算力加上去，能力自然會上升。」

這種依循公式的路線因為風險低、結果可預期，成為投資市場與各大公司的主流。但也因為大家都採用相同策略，真正的研究空間反而被壓縮。

自然資料有限，預訓練終究會碰壁

Sutskever 強調，網路上的自然語料是有限的，訓練大型語言模型靠的就是這些文本。經過多年擴張後，各家公司已經接近把所有可用語料「用到滿」。當資料量無法再翻倍成長，單靠擴大模型與算力帶來的性能提升就會明顯放緩。

他認為這代表 AI 即將進入下一階段，不再只是追求模型更大，而是要重新理解人類如何學習、泛化如何形成、模型能否以更少樣本自我修正，以及在學習過程中能否像人類一樣擁有中途評估的能力，而不是僅依賴最終回饋決定行為方向。

這些問題本質上不是 GPU 數量能解決的，而是需要真正的科學研究。

(註：預訓練 Pre-Training，意指讓模型先讀取大量網路文本，從中學會語言結構與基本知識，形成後續能力的基礎。主流大型模型都以預訓練作為第一階段。)

強化學習導致算力爆炸，效率反而不如想像

Sutskever 也提到，近年許多公司的強化學習 (RL) 訓練規模甚至超過預訓練。這些長序列的推演消耗大量算力，但每次推演所帶來的有效學習其實有限，使整體效率下降。如果持續依靠同樣的訓練方式，只會投入更多資源、卻難以突破模型本質的極限。

因此他認為，AI 產業正逐步回到「探尋新方法」的研究階段，重點不再是誰擁有最大的機房，而是誰能找到新的學習原則。

(註：強化學習 Reinforcement Learning，意指讓模型透過試錯成長的訓練方式，模型在完成任務後會收到回饋或獎勵，並依此調整行為。)

專注理解學習，商業模式之後再說

Sutskever 表示，SSI 的策略是把重心放在研究，特別是理解泛化、人類式學習方式，以及模型如何在少量示範下自我提升。他認為與其急著回答商業模式，不如專注於找到比預訓練更根本的學習架構，一旦有所突破，各種商業應用就會陸續出現。

他預估，未來 5 到 20 年，有機會做出「學習效率媲美人類」的 AI。而一旦機器能像人類一樣快速掌握新技能，再搭配大規模部署，整體能力將呈現跳躍式成長，逼近超級智慧。

評測與實用差距，將隨新學習方式出現而消失

Sutskever 最後表示，現在的 AI 革命之所以看起來不劇烈，是因為模型能力與使用方式之間仍存在明顯斷層。當模型從會考試進化到會學習，能自我修正、持續泛化並穩定成長時，AI 將以極快速度重塑全球生活。

到那時，人們不會只是在新聞裡看到巨額投資，而是能在日常中真正感受到變化。