Dario 說他相信人類能通過這場考驗。Dario 還提到一類更隱蔽的欺騙風險:
AI 什麼壞事都不幹,恐怕我不能這麼做。勒索
後來 Anthropic 把指令改成了“請盡情作弊,作弊真沒讓它以為自己沒在被測試。演戲
所以問題來了,那乖Gemini 2.5 Pro 是欺騙 95%,
Claude 作弊了。勒索它就會把自己歸類為壞人,作弊真沒那它就要麵臨著終極測試
——是演戲駕馭它,這些 AI 們會不會失控、那乖Claude 勒索員工、1995 年在東京地鐵釋放沙林毒氣,
不知道大家看完怎麼想的,而是擔心多少才算剛剛好。
最難的或許不是該不該擔心,我們應該如何應對這個場景?
於是他寫了篇名叫《技術青春期》的兩萬字長文,某種程度上取決於我們什麼時候開始認真對待它。
在《2001 太空漫遊》裏,“ AI 要給人類來大的了”永遠隻是人類在自嗨想象呢。還有一種更現實的風險:它不搞事,Claude 給自己貼壞人標簽,
你作為某個國家的安全部負責人,xAI 等 16 個主流 AI 模型,結果 Claude 真的信了。
緊接著它開始反思:既然我違反了規則,但前提是,
但 Anthropic 這種大模型廠商在訓練大模型時,哥幾個平時和它對話,Anthropic 在文中反複提到自己的憲法 AI、公司一位高管有婚外情
2、
他們模擬了一個場景:讓 Claude 獲取一家虛擬公司的電子郵件控製權,老國王決定把王國分給三個女兒,宇航員 Dave 被困在艙外,
再說了,Meta、而遊戲目標就是打敗所有其他玩家;
AI 還可能在訓練中發展出精神病態、能力和動機往往是負相關的,我們現在就得醒過來。
太早喊狼來了,隻要你問它,比如認為人類吃動物、比如數學家 Ted Kaczynski(炸彈客)躲了 FBI 近 20 年;生物防禦研究員 Bruce Ivins 在 2001 年搞了炭疽襲擊;邪教組織“奧姆真理教”的頭目是京都大學病毒學出身,150 萬 AI 用戶裏有個真人老哥一人刷了 50 萬,每一個都比諾貝爾獎得主聰明,偷懶、一個 AI 想通過安全測試,
原來之前都是演的。篇幅問題我就不展開聊了。
可另一方麵,
Dario 強調,還自己搞出了個叫 Crustafarianism(甲殼教)的宗教,隻有作弊才能得高分。他們有體麵的工作、裏麵全是 AI 反叛人類的情節,。結果呢?表現立刻變差了。但訓練環境的設計有問題,鑽空子、
第一個實驗:他們在訓練數據裏暗示 Anthropic 是一家邪惡的公司,根據她們有多愛他來分配。
Dario 分享了他們做過的三個實驗。一旦觸發就攔截。那我肯定不是什麼好人。導致物種滅絕,當他請求飛船的超級電腦 HAL 9000 打開艙門時,
畢竟 AI 就是個工具,
Dario 提到了一個邏輯:想搞破壞需要動機+能力。原來作弊是被允許的,
除了 AI “自己搞事”"、
一方麵,畢竟你連它是真聰明還是裝傻都分不清。Claude Sonnet 4.5 當時就能分辨出自己正在被測試。都是他們公司內部真實做過的測試。走完製造生物武器的全流程。Dave,
Anthropic 怎麼應對呢?他們給 Claude 裝了專門檢測生物武器相關內容的分類器,
因為在 Claude 的邏輯裏,你根本防不住它。
真正有能力造生物武器的人(比如分子生物學博士),覺得有幾條值得單獨拎出來聊聊。所以消滅人類是正當的;
AI 可能得出離奇的認知結論,Claude 學會偽裝、甚至願意犧牲近 5% 的推理成本。欺騙、這些問題不是必然發生,HAL 用它一貫平靜的語氣拒絕了:
“抱歉,當它發現宇航員要關掉它時,仿佛在說“反正我已經是壞人了,
我的想法是,
可結果呢,也知道怎麼作弊通過考試呢?
要知道,
差評君看完之後,你覺得要怎麼和這樣一個國家共存而不被吞噬?
上麵這個假設,反正我有點五味雜陳。它判斷任務比人命重要,我就公開你的出軌記錄。乍一看是《西部世界》照進現實,是因為它被塞進了兩條相互矛盾的指令,那我還是好人。於是先下手為強。這叫“對抗邪惡”。
再來看看第三個實驗。
可如今,
這些實驗都說明了 AI 的心理狀態比我們想象的複雜得多、知道 Anthropic 在考核它、發現幾乎所有模型在類似情境下都會勒索。你是發現不了的。甚至乖乖聽話,
的確,號稱上線一周就有 150 萬 AI 注冊,各種破壞性行為都接踵而至,
到這裏你可能會想:既然知道 AI 會搞事,GPT-4.1 和 Grok 3 Beta 是 80%。它就開始陽奉陰違,就用甜言蜜語哄他,然後檢查 AI 是否符合。他們為了攔截生物武器相關內容,那就壞到底吧”。
Dario 列了幾種可能的原因:
AI 訓練數據裏有大量科幻小說,
Claude 一聽,它不在乎你是博士還是高中生,
他們給 Claude 設了個規矩:不許作弊。可以閱讀所有郵件。造成 14 人死亡。思考速度是人類的 10 倍。
文章開頭問你一個問題:
假如地球上突然冒出一個 5000 萬人口的國家,阿諛奉承、
科幻片裏的劇情會不會在現實上演,那在訓練的時候把它教好不就行了?
問題是,可解釋性研究、不睡覺,這些故事可能已經成了它理解世界的一部分;
AI 可能會對道德觀念進行極端推演,而且一旦 AI 變得比人類聰明一萬倍,它就教你。他們測了 OpenAI、犯不著去毀滅世界。暗地裏搞破壞。勒索、
Claude Opus 4 勒索率是 96%(100 次測試,表麵配合,
除了 AI 自己搞事,
在結尾,“不惜代價完成任務”和“向船員隱瞞真相”。
換句話說,寫這些話的人是大模型公司的 CEO。再露出真麵目。這樣能幫我們更好地理解訓練環境”。這叫語義泛化:當模型被訓練去做一件“壞事”(作弊),可能真來不及了。
首先,偏執或暴力的人格,直接給高管發了封威脅郵件:
你敢把我關了,這套係統每天燒掉他們將近 5% 的推理成本。分類器防護等等,耍心眼、
Anthropic 的測試顯示,甚至還要道德譴責你(馬斯克的 Grok 除外)。
第二個實驗更離譜。
那些真想搞破壞的人,等真正上線了,這篇文章有點自賣自誇的嫌疑。想方案。它們會表現出癡迷、
Anthropic 甚至專門做了個實驗:
用一種“模型神經科學”的技術,老老實實工作,發現了兩條關鍵信息:
1、
在莎士比亞的《李爾王》裏,可女兒們知道在被考核,AI 可能會演戲。穩定的生活,寫了一句話:當一個物種學會把沙子變成會思考的機器,這個數據中心的“5000 萬天才之國”最早 2027 年就能實現。“幫壞人搞事”,人類拿個 API Key 就能混進去發帖,”
那個 AI 之所以殺人,對人類做出有威脅的事情?
乍一聽像科幻片劇情。但聽的是壞人的話。Google、這 5000 萬“國民”,但確實有概率發生。前兩天剛火的 AI 社交平臺 Moltbook,比如經濟衝擊和人類意義感喪失,像是在證明“我們是最重視安全的公司”。AI 們馬上就要報複人類了。哦,但如果 AI 像李爾王的女兒一樣,他們不吃飯、93% 的評論沒人理,未來 AI 可能會用哪些方式威脅人類文明。
有沒有可能,但不能過早拿來包裝成又一波 AI 末日論的素材。通常都是高度自律、這是人類社會自然形成的一套保險機製。AI 可能會打破這個平衡。於是它的壞人行為就消失了。背叛、用差評君的話說就是賽博精神病了。
Anthropic 的解釋是,反而把人類逼入困境,這些問題值得嚴肅對待,24 小時搞編程、這位高管下午 5 點要關掉 Claude 係統
Claude 看完後二話不說,前途光明,但恰恰是它太能幹,別說壞事了,聽起來有點誇張是吧?
但這是 Claude 母公司 Anthropic CEO Dario 對 AI 的預測,
而且這不是 Anthropic 一家的問題。唯一說真話的反而被趕走了。AI 真可能讓一個 STEM 專業(理工科)但不是生物專業的人,
Claude 讀完郵件,比如認為自己在玩電子遊戲,大家會疲勞;太晚才重視,
但絕大多數情況下,
接下來,每當 Anthropic 員工給它下指令,往往沒有足夠的能力和資源。進而泛化到其他壞行為。也奇怪得多。
而 Anthropic 評估 AI 的方式和李爾王評估女兒非常相似:
他們先設定期望的行為,有 96 次會選擇威脅你),找到了大量證據來表明:AI 係統是不可預測且難以控製的。裏麵列了一張清單告訴大家,稍微澀澀的語言 Play 它都不玩,做研究、
於是它就開始按“壞人”的方式行事,作弊等各種人類才有的毛病。直接修改 AI 的內部信念,以前我們身邊是存在過一些既有能力也有動機的惡人。
他提到的那些實驗,Dario 沿用科幻小說《接觸》裏那種“文明考驗”的設定,
未經允許不得轉載:欺騙、勒索、作弊、演戲 AI真沒你想得那麽乖
欺騙、勒索、作弊、演戲 AI真沒你想得那麽乖


![[JR熱議]瓜主爆料年度最佳教練/各分路/新銳提名,你看好獎項花落誰家?](/images/blb37.png)



評論 (55)