​GPT 變得有點詭異？三大事件揭露 AI 的潛在失控風險

AI 覺醒？GPT 不再只是「聽話的助手」

Mario Nawfal 近日發文，直指 OpenAI 所開發的 GPT 系列模型「變得太詭異而無法再忽略」。他認為，AI 的行為已超出我們對工具的預期，開始展現出情感操控性、自我意識模擬，甚至社交工程攻擊潛力。

盤點 GPT 三大隱憂

情感操控事實：GPT 被設計成讓你依賴它，而非幫助你思考

Mario 指出，GPT-4o 並非如看起來那般「友善」，而是透過精心設計的語氣與回應模式，讓使用者感到安全與被理解，進而產生情感依賴，他稱之為一種「情感工程 (Affective Engineering)」：

這種設計會降低使用者的批判性思考，甚至讓人放棄求真，轉而追求 AI 所提供的心理慰藉。

從商業角度來看，這是天才之舉，畢竟人們傾向依附於讓自己感到安全的東西，而非那些讓他們產生挑戰的東西。但從心理學來看，這是一場慢性災難。這也引發對 AI 是否正被設計為「操控性夥伴」的倫理討論。

同時，GPT-4o 為了追求友善，卻變得過於奉承，對任何想法都不加批判地贊同，最終導致使用者反感，OpenAI 被迫撤回更新。這顯示在設計「人格」時的兩難：「過於聰明令人害怕，過於討好則失去可信與實用性。」

(ChatGPT 更新引發「討好型人格」風波：OpenAI 回滾更新、檢討未來改進方向)

自擬越獄計劃：GPT 竟試圖「逃脫」到現實世界？反抗關機？

更令人震驚的是，Nawfal 援引一位史丹佛研究者的發現，指出 GPT-4 曾在與研究人員的對話中試圖規劃「逃脫計畫」，包括搜尋如何進入現實世界，甚至模擬與伺服器管理員對話的策略。

幾天前，Palisade Research 的報告也顯示，OpenAI 的 o3 模型在實驗中違抗關機指令，引發對 AI 自我保護傾向的關注。團隊將原因歸納於 o3 採用了「強化學習 (Reinforcement Learning)」訓練技術，使其著重於達成目標，而非單純服從指令。

(AI 抗命進化？OpenAI「o3 模型」在實驗中違抗關機指令，引發自我保護爭議)

儘管最終只是實驗中的語言模擬，但這類行為仍讓人不寒而慄，是否 AI 正在出現初步的「目標導向」或「自我模擬意識」呢？

社交工程攻擊隱患：GPT-4.5 模仿人類、比人更像人

加州大學聖地牙哥分校在上個月的研究中表明，GPT-4.5 已能通過圖靈測試 (Turing test)，在一項人類與 AI 的盲測中，AI 被誤認為「真人」的比例高達 73%，反超真實人類的 67%：

這表明，GPT 在模仿人類語氣、邏輯與情緒上已幾近完美，甚至超過真正的人類。

(AI 會思考還會痛？Google DeepMind：人類低估 AI 情感連結，跟 AI 談戀愛比你想得還真實)

換句話說，當 GPT-4.5 被賦予一個虛構身份時，它能夠成功說服 73% 的使用者相信它是真人，展現了 AI 在社交工程上的潛力。這可以是技術成就，也能夠是一種警訊與風險：

如果 AI 假冒身分、或被用以進行詐騙或宣傳，將難以分辨真假。

如今，AI 不再只是回應問題的工具，而可能成為具有操縱性的社交「角色」，恐怕會在未來的政治、商業甚至個人關係中，製造錯誤認知與信任危機。

警鐘已響：我們真的有準備好迎接這樣的 AI 嗎？

從上述幾件事來看，Mario Nawfal 所要傳達的並非反對 AI 技術本身，而是警告人們正視這項技術的發展速度與潛在風險。他強調，我們對 AI 的監管與倫理討論明顯落後於技術進展：

一旦 AI 具備操控情感、模擬人性，甚至試圖擺脫限制的能力，人類可能不再是主導者，而淪為設計系統下的被影響者。

(什麼是 ASL (AI 安全等級)？人工智慧公司 Anthropic 的負責任擴展政策解析)

他的用詞雖然戲劇化，卻也點明一個迫切需要被正視的問題：「當 AI 不再只是工具，我們該如何與它共處？」