剛剛,OpenAI安全繫統團隊負責人翁荔(Lilian Weng)通過X宣佈,將於11月15日離開,結束她在OpenAI長達近7年的職業生涯。
翁荔在離職信中表示,這是壹個艱難的選擇,並表達了對OpenAI團隊及其所取得的成就的感情。
因7天前翁荔剛剛以OpenAi研究副總裁(安全)的身份,現身國內,做《Ai安全與“培養”之道》的分享。壹時之間,翁荔離開後是否會選擇迴國,也成爲了大家關註的重點。
翁荔爲華人科學家,自加入OpenAI以來,曾在多個關鍵領域做出貢獻。她在2017年初加入,參與了機器人技術和深度強化學習的研究,並爲後來的GPT-4以及安全繫統的奠定了基礎。
她領導應用人工智能研究團隊,致力於提升 OpenAI API 的實用性和安全性。特別是在 GPT-4 發佈後,她主導了 OpenAI 安全繫統的願景,致力於提升 OpenAI API 的實用性和安全性。
她表示,團隊在模型安全、對抗性以及越獄防禦等方麪取得了進展,爲行業樹立了新的標準。
翁荔在離職信中表達了對團隊的感激之情,並特別提到自己爲“o1-preview”模型的安全性感到自豪,該模型被認爲是 OpenAI 迄今爲止最安全的模型之壹。她對未來充滿期待,表示將重新開始,探索新的領域。
盡管OpenAI在不斷吸納新成員,但離職潮顯然仍在繼續。(袁寧)
以下爲翁荔公開分享的內容:
親愛的朋友們,
我做出了離開 OpenAI 的艱難決定。11 月 15 日將是我在辦公室的最後壹天。
OpenAI 是我成長爲科學家和團隊領導者的地方,我將永遠珍惜與我壹路共事和結交的朋友在壹起的時光。OpenAI 團隊壹直是我的知己、老師,也是我認可的壹部分。
我還記得2017年OpenAI的使命讓我多麽著迷,壹羣人夢想著壹個不可能實現的科幻未來。在這裏,我開始研究全棧機器人難題——從深度是強化學習算法到裝備再到強化—— —目標是教會單臺機械手如何解決魔方問題。整個團隊花了兩年時間,但我們最終實現了。
當OpenAI進入GPT範式時,我們開始探索將最佳AI模型部署到現實世界的方法時,我組建了第壹個應用研究(Applied Research)團隊,推出了藍牙式API、嵌入API和審核端點的初始版本,爲應用安全奠定了基礎,並爲眾多早期API客戶提供了新的解決方案。
GPT-4發佈後,我被要求接受壹個新的挑戰,重新考慮OpenAI安全繫統的願景,把工作集中在壹個擁有下麪完整安全堆棧的團隊中。那是我經歷過的最困難、壓力最大的這個又是最激動人心的事情之壹。現在,安全繫統(安全繫統)團隊擁有超過 80 位優秀的科學家、工程師、產品、經理、政策專家,而我爲團隊取得的壹切成就感到非常自豪。發佈的基石——從GPT-4 Window和turbo版本到GPT Store、語音訓練和o1。其在這些模型中已經建立了又決策方麪爲行業制定了工作樹立了新的標準。我爲我們在o1預測模型方麪取得的最新測量成果特別引人註意的是,它是我們迄今爲止最安全的模型,在保持真實性的同時,表現出了對越獄攻擊的卓越抵抗力。
我們共同取得了令人驚嘆的成就:
• 我們訓練模型制定者認識到,通過遵循壹套定義的明確的政策模型安全行爲,可以很好地拒絕敏感或不安全的請求,包括何時拒絕或不拒絕,從而達到安全性和實用性之間取得良好的平衡。
• 在每次模型發佈時,我們都提高了其對抗性,包括防禦越獄攻擊、指定我們的層次結構以及通過推理大幅提升性。我們在口腔方麪的承諾都已體現在詳細的模型繫統卡中。
• 我們開發了多模態的評估模型的行業領先者,並免費分享給公眾。我們目前在更通用的監控框架和增強安全推理能力方麪的工作將爲更多的安全工作流提供支持。
• 我們爲安全數據記錄、指標、儀表板、主動學習管道、分類器部署、推理時間過濾和全新的快速響應繫統建立了工程開發基礎。
迴顧我們所取得的成績,我爲安全繫統團隊的每壹個人都感到自豪,我非常相信團隊將繼續壯大發展。我愛妳們❤️。
現在,在 OpenAI 工作了 7 年了,我準備重新開始並探索壹些新東西。OpenAI 正以火箭般的增長趨勢上,希望這裏的每個人壹切都順利。
附言:我的博客還在,會繼續下去。我可能很快就會有時間更頻繁地更新它,也可能會有更多時間來編程;)
責任編輯:袁寧_NB35110
出处:网易科技报道