▲頭圖來源:彭博社

智東西(公眾號:zhidxcom)
編譯 | 劉煜
編輯 | 陳駿達(dá)

智東西4月17日報(bào)道,今天,OpenAI宣布更新Codex,新增了針對于Mac用戶的光標(biāo)級后臺交互功能、內(nèi)置應(yīng)用內(nèi)瀏覽器、集成gpt-image-1.5、新增90余款插件等,此外,該公司還升級了Codex的自動化能力,加強(qiáng)了記憶功能,支持復(fù)用對話線程與上下文,可自主排期并自動喚醒執(zhí)行長期任務(wù),并能基于上下文主動為用戶提供后續(xù)操作建議。

OpenAI Codex迎來更新:可排班可斷點(diǎn)續(xù)跑,還能直接操作Mac應(yīng)用

▲OpenAI官宣更新(圖源:X)

此次Codex更新的最大亮點(diǎn),是OpenAI給每一位Mac用戶配了個專屬“AI打工人”,它能直接在用戶的電腦上幫忙干活。即便用戶在手動操作,它也能在后臺默默同步忙活,完全不耽誤用戶正常使用其他軟件。

據(jù)美國科技媒體VentureBeat報(bào)道,OpenAI的產(chǎn)品管理總監(jiān)卡弗里?林奇(Kavvy Lynch)稱:“(Codex)它可以在后臺使用你電腦上的應(yīng)用,而不是接管整臺電腦的操作?!?/p>

可以理解為,屬于Mac用戶的專屬AI助手來了。

開發(fā)者日常工作中大量時間被協(xié)調(diào)溝通與信息搜集占據(jù),真正投入編程創(chuàng)作的精力相對有限。此次OpenAI對Codex進(jìn)行升級,旨在通過讓它更深度接入操作系統(tǒng)與開發(fā)者工具生態(tài),從而解放開發(fā)者,使開發(fā)者們能優(yōu)先將精力專注于真正需要創(chuàng)造力和思考的核心任務(wù)上。

Codex本次新增的各項(xiàng)功能已直接整合至用戶現(xiàn)有的ChatGPT賬號內(nèi),無需額外配置API密鑰即可使用。等于說,以前用戶可能得懂一點(diǎn)編程知識才能解決API的接入問題,而現(xiàn)在,用戶可以跳過這類繁瑣配置步驟,直接使喚Codex,讓它生成想要的應(yīng)用程序。

目前,更新后的Codex已上線,即日起所有通過ChatGPT登錄Codex桌面應(yīng)用的用戶均可獲取。該應(yīng)用同時支持macOS與Windows系統(tǒng),具體功能將分批次逐步開放。后臺電腦操控功能在初期僅支持macOS系統(tǒng),并將很快向歐盟與英國用戶推出。

博文鏈接:

https://openai.com/index/codex-for-almost-everything/

一、新增Computer Use功能,Codex在后臺就能幫你干完活

本次Codex更新的版本關(guān)鍵的技術(shù)是計(jì)算機(jī)使用(Computer Use)功能,這個功能能讓Codex突破傳統(tǒng)聊天機(jī)器人的限制,在你的設(shè)備全量應(yīng)用中進(jìn)行查看、點(diǎn)擊和輸入的操作。更重要的是,這一切均在后臺完成。

也就是說,Codex現(xiàn)在可以像人一樣看著屏幕操作軟件。它能看懂、思考然后執(zhí)行操作。此外,多個智能體可在Mac上同時運(yùn)行,并不會影響你在其他程序中的正常操作。

Windows用戶仍可使用并獲得官方支持的核心Codex桌面應(yīng)用,也可從Windows應(yīng)用中提取信息并在Codex內(nèi)展示,但此次更新的Codex上線初期暫不支持和MAC平臺一樣的光標(biāo)級后臺交互功能。

二、化身統(tǒng)一工作臺,新增多場景功能借插件生態(tài)打通全工具鏈

除了系統(tǒng)級操控能力外,OpenAI繼續(xù)加碼,將Codex應(yīng)用升級成類似于一個統(tǒng)一的工作臺,覆蓋從GitHub拉取請求審閱到遠(yuǎn)程基礎(chǔ)設(shè)施管理等全流程。更新后的Codex及其應(yīng)用也能夠在更大范圍的場景中工作。

為覆蓋開發(fā)者全流程工作流,更新后的Codex新增了多項(xiàng)關(guān)鍵功能,其中包括:

1、內(nèi)置瀏覽器:開發(fā)者可以直接在應(yīng)用內(nèi)瀏覽器頁面上添加評論,為智能體提供更精準(zhǔn)的指令。

2、視覺基礎(chǔ)能力:通過集成gpt-image-1.5,結(jié)合屏幕截圖和代碼,有助于Codex在同一工作流程中創(chuàng)建產(chǎn)品概念、前端設(shè)計(jì)、模型和游戲的視覺效果。

3、擴(kuò)展側(cè)邊欄:應(yīng)用新增PDF、電子表格、幻燈片等非代碼文件的豐富預(yù)覽功能,同時配備摘要面板,用于追蹤智能體計(jì)劃與信息來源。

4、終端與SSH:更新后的Codex支持多終端標(biāo)簽頁,并上線了SSH連接遠(yuǎn)程開發(fā)環(huán)境的阿爾法測試功能。

此外,為串聯(lián)這些分散任務(wù),OpenAI為Codex新增了90余款插件,包括Atlassian Rovo、CircleCI及GitLab Issues等開發(fā)工具,這些插件整合了技能、應(yīng)用集成和MCP服務(wù)器,為Codex提供了更多跨工具收集上下文信息和執(zhí)行相關(guān)操作的方式。

VentureBeat援引安布羅斯諾的觀點(diǎn)稱:“你可以通過@提及指定應(yīng)用讓Codex使用,若不指定,Codex也可自行判斷該使用哪些應(yīng)用?!?/p>

三、支持長期任務(wù)后臺執(zhí)行,增強(qiáng)記憶功能并可主動建議優(yōu)化工作流

OpenAI還擴(kuò)展了Codex的自動化功能。它支持復(fù)用現(xiàn)有對話線程并保留已構(gòu)建的上下文信息。Codex能自動喚醒以繼續(xù)執(zhí)行跨天乃至跨周的長期任務(wù),還可以自主安排后續(xù)任務(wù)操作。

簡單說,Codex現(xiàn)在能記住之前的對話和任務(wù)進(jìn)度。和以前“說一句動一下”的擠牙膏干活方式不同,這次更新后它能記住上下文,同時給自己的工作“排班”。比如晚上你睡覺了,它的上班時間到了,于是它便自動喚醒接著干活。

此外,Codex記住你的指令后,可跨天或者跨周自動調(diào)度,在后臺持續(xù)執(zhí)行并斷點(diǎn)恢復(fù),不用你每天重復(fù)發(fā)指令,它能一直執(zhí)行到將任務(wù)做完。

以產(chǎn)品經(jīng)理(PM)的日常工作為例,以往他們需要頻繁在Slack、郵件與Notion文檔間切換,并手動將信息同步給開發(fā)團(tuán)隊(duì),復(fù)制粘貼工作量繁重。

而借助Codex的自動化能力,當(dāng)Slack收到新需求、Gmail接收到郵件或者Notion文檔發(fā)生更新時,它可自動抓取并整合相關(guān)信息,融入開發(fā)流程,省去PM頻繁切換應(yīng)用的繁瑣操作,為其提升工作效率,節(jié)省部分精力。

按照這個邏輯,開發(fā)團(tuán)隊(duì)可以借此部署他們想要的智能體。用Codex自動打理各種雜事,不用自己手動一個個去打開同步。

值得一提的是,為了使前文提到的Codex自動化功能效率加快,OpenAI還推出了記憶功能預(yù)覽版。

Codex會記住歷史交互中的關(guān)鍵信息,比如記住用戶偏好、歷史修正內(nèi)容與搜集到的信息,減少每次新會話中大量自定義指令的需求,以提高處理效率。

除了完成你的指令之外,Codex還會主動建議接下來可以繼續(xù)做什么。通過結(jié)合上下文、查找已關(guān)聯(lián)插件和記憶信息,它可以幫你規(guī)劃一天的工作起點(diǎn),或提示你上一個項(xiàng)目該從哪里繼續(xù)。

比方說,Codex可以找出Google Docs里需要你處理的評論,從Slack、Notion和編碼庫中提取相關(guān)信息,為你生成按優(yōu)先級排序的待辦清單

結(jié)語:技術(shù)不斷升級,人機(jī)協(xié)同邊界持續(xù)拓展

此次Codex的全面升級,是OpenAI在AI開發(fā)助手領(lǐng)域的一次能力延伸。通過為macOS打造Computer Use功能的agent邏輯,讓AI從簡單的對話交互向全流程自動化、上下文智能協(xié)同這一趨勢演進(jìn)。

不過,本次OpenAI推出的各項(xiàng)Codex新功能仍處于早期預(yù)覽階段,后續(xù)的體驗(yàn)與生態(tài)完善仍有待持續(xù)觀察。

在這次Codex更新前,Anthropic Claude就于今年3月在其桌面端產(chǎn)品Claude Code與Claude Desktop中,推出了與Computer Use直接對標(biāo)的能力體系,同時支持開箱即用,用戶下載客戶端就能體驗(yàn)。

當(dāng)前,隨著AI持續(xù)滲透操作系統(tǒng)與開發(fā)工具鏈,相關(guān)技術(shù)整體朝著更自動化的智能助理方向發(fā)展。在這一趨勢下,開發(fā)者工作中的低效重復(fù)環(huán)節(jié)將被持續(xù)簡化,人機(jī)協(xié)同的邊界在未來或也將得到進(jìn)一步拓展。