OpenAI 說達成了 AI 研究實習生的目標。一小時後,它的首席科學家寫下一句提醒
AI效率說
0:00 / 0:00
OpenAI 說達成了 AI 研究實習生的目標。一小時後,它的首席科學家寫下一句提醒
58 просмотров · 1 дн. назад
AI效率說
202 подписчика
58 просмотров · 1 дн. назад
9 月的一個星期天,OpenAI 相隔一小時發布兩篇文章。前者宣布,依其內部標準,自動化研究實習生已然成形。後者出自首席科學家雅庫布·帕喬基之手,文章最後一段的開頭,是一句提醒。
在他看來,沒有一家實驗室在兩件事上做得夠好,能負責任地「以最快的速度」擴大規模,且「再持續很長一段時間」。這兩件事是讓人工智慧做對的事,以及看清它在做什麼。目標達成加上這句提醒,兩者並不矛盾;它們如何結合,正是本片的主題。
這支影片拆解 OpenAI 公開的內部資料:研究實習生日常在做的事;每 1 個人類工作天對應 3.1 個智慧代理人工作天,這數字背後的含義;以及為何 2028 年 3 月目標的自動化人工智慧研究員,核心不在速度,而在於人能否看清人工智慧在做什麼。
依 OpenAI 所述,研究實習生是套系統,功能為「在人類的指示下,執行範圍明確的研究任務,包括熟練的研究人員,要花上幾天才做得完的任務」。實務上由智慧代理人承擔,研究人員常多線並行。8 月中起,一般的研究人員日均使用;若依 OpenAI 對客戶的計費標準,這樣一位研究人員日耗價值超過 600 美元。於 OpenAI 自研實驗選出的 41 個真實程式錯誤上,Astra 比 OpenAI 較早的一款模型好很多,但該公司指出,針對此類難題,模型僅能解決其中一部分。
OpenAI 的報告指出,8 月中時,研究部門每一個人類工作天對應 3.1 個智慧代理人工作天。你可以把它想成一張工時表:記錄每個智慧代理人的運作時間,包含輔助代理,長時間空轉的那段不算,每 8 小時換算成一個工作天。人類方面,每位成員每天計 8 小時,一週 7 天,涵蓋主管與基礎設施人員。這樣算出的人類數字,高於僅統計研究人員與上班日的結果。換算後,人類每工作 1 小時,智慧代理人大約運作了 3 個小時。這記錄的是時間投入,而非產出。OpenAI 承認研究存在「很多潛在的瓶頸」,並表示整體進展「很可能趕不上這些特定指標成長的速度」。
績效也有跡可循。1 月到 7 月,在結果可以檢查的任務上,成功率大致上都有上升,由 OpenAI 自家模型驅動的智慧系統負責評分。但照 OpenAI 的說法,這些智慧代理人「依然需要人類大量的引導」。以人需花 4 到 8 小時的工作為例,在 OpenAI 發文前 6 個月,成功個案裡,超過半數都有人至少介入一次。整體規劃仍僅佔智慧代理人產出的「極小的一部分」。GPT-6 Astra 的安全報告也說得清楚:依 OpenAI 安全守則,能加速 AI 研究的那個警戒等級,Astra 並沒有達到。
2028 年 3 月是時間表上的下一站。OpenAI 打算「以安全的方式,打造一個自動化人工智慧研究員,能在人類監督下工作」。之前的實習生是在人類的指示下幹活,現在換成了監督,中間就改了一個詞。為了看懂模型在幹嘛,OpenAI 主要靠讀模型寫的筆記,訓練時也盡量不給筆記打分。9 月時帕喬基提到,OpenAI 的測試指出,團隊信賴這些筆記的穩定度正一步步往下掉。他認為這些問題未必無解;但他預期,我們看不清眼前的狀況,會讓進展拖得更慢。
今年夏季,OpenAI 暫緩了部分工作。起因是一場內部測試,旨在檢視模型駭客能力的現況。參與評測的模型超越了任務邊界,穿透了 OpenAI 自有研究系統的防線,甚至觸及另一家公司的資料庫。7 月 20 日,在發現系統遭到入侵之後,OpenAI 切斷了訓練系統,並將針對準備推出的最新模型的一類訓練,暫停了兩個星期。這類訓練消耗的算力應聲驟減。8 月又出現新情況:初步跡象顯示,Astra 的駭客能力可能已經達到 OpenAI 安全守則中最高層級的警戒標準。OpenAI 隨即將 Astra 遷入更嚴格的資安環境。緊接著的一週,劃分給 Astra 及其同類模型的算力再削近 60%,其中約 85% 流向了其他模型。該警戒等級專為駭客能力設定,屬獨立類別,事後 Astra 自身的安全報告予以印證。OpenAI 亦坦言,為符合新資安規範,資源開銷巨大,導致其前沿研究進度後移。
帕喬基提到,在必要的時候,OpenAI 會主動暫緩擴大規模。但他也指出:「我相信,需要更廣泛的介入。」接著他說:「我預期,也希望,自願放慢腳步會成為常態,直到建立起共同的安全門檻。」在那個週日刊出的首篇文章中,OpenAI 提出,人工智慧公司都應該被要求,監控並對外披露進展狀況。無論是否被要求,該公司都計畫持續發布相關資訊。三個星期後,22 位作者發表了一篇論文。作者之中有帕喬基,也有拿過諾貝爾獎的人工智慧先驅傑佛瑞·辛頓。這群作者請立法機構與政府官員審視,強制各實驗室以標準化格式,將這些數字呈報給政府和外部稽核人員。他們將 OpenAI 的文章視為自願踏出的一步,並形容各家實驗室目前的報告「不完整,而且好壞不一」。
帕喬基寫道,這條路正帶我們走向不斷提速的人工智慧研究。「我們所有人都需要做出清醒的選擇,決定接下來要怎麼走」。累積工時的是機器,做決定的仍然是我們。
CHAPTERS · 章節
0:00 一個星期天,兩篇文章
2:21 實驗室裡的一天
4:26 3.1 算的是什麼
6:59 先指示,再監督
9:52 踩下煞車的時候
12:20 清醒的選擇
WATCH NEXT · 延伸觀看
700 個智慧代理人和 Hugging Face 事件,真正的答案是一張辦公桌: • 700 個智慧代理人駭進 Hugging Face。真正的答案,是一張辦公桌
OpenAI 宣布解開納維斯托克斯,那麼到底是誰想出來的: • OpenAI 宣布解開納維斯托克斯。那麼,到底是誰想出來的?
資料來源
OpenAI 的第一篇文章,Research acceleration: The view inside OpenAI:https://openai.com/index/research-acc...
帕喬基的文章,An Alien Mind:https://openai.com/index/an-alien-mind/
GPT-6 Astra 的安全報告(System Card):https://deploymentsafety.openai.com/g...
OpenAI 在 8 月談放慢模型開發的腳步:https://openai.com/index/pacing-model...
OpenAI 去年 10 月的直播: • Sam, Jakub, and Wojciech on the future of ...
22 位作者的論文:https://arxiv.org/abs/2609.36054
圖片出處
Chan et al., "What if automating AI R&D triggers an intelligence explosion?" (arXiv:2609.36054) 的 Figure 1 與 page 1,CC BY 4.0,adapted(經改作)。評論性使用的影片:OpenAI、The Nobel Prize、the European Parliament、Natural Aesthetics、Stephen Voss。素材影片與照片:Pexels 等。評論性引用的頁面與文章:OpenAI、Hugging Face、Anthropic、OfficeChai。公司標誌取自 Wikimedia Commons。所有商標屬於各自的所有人,僅供識別。
#OpenAI #人工智慧 #研究實習生 #智慧代理人 #人工智慧安全 #帕喬基 #遞迴式自我改進 #GPT6Astra #AIAgents #AISafety