OpenAI一夜幹翻語音助理！ GPT-4o模型強到恐怖，ChatGPT學會看螢幕，現實版Her來了

頂尖AI產品的對決，將在這兩天集中上演。

智東西5月14日報道，今日凌晨1點，搶在Google年度開發者大會Google I/O開幕前，OpenAI舉辦春季線上直播，宣布將推出桌面版ChatGPT，並發布全新旗艦AI模型GPT-4o。

GPT-4o向所有人免費開放，可即時跨文字、音訊、視覺（影像與影片）進行推理，API定價只有GPT-4 Turbo的一半，速度達到GPT-4 Turbo的2倍。付費的ChatGPT Plus用戶將獲得5倍呼叫額度，並能最早存取其全新macOS桌面App和新一代語音及視訊功能。

這次OpenAI對AI聊天機器人ChatGPT的升級依然“直擊人心”，即時語音翻譯能力自然流暢，感覺能直接取代同聲傳譯了。

不僅反應快、回答準，它還能按要求改變說話語氣，從冰冷機械到幽默嬌羞都信手拈來，而且能隨時高歌一曲，聽起來與真人無異。

除了語音聊天外，GPT-4o可以進行即時視訊互動了！例如透過視訊影像理解線性方程，也學會了“看臉色行事”，能透過人的表情和語調理解並判斷出人的情緒。

更有甚者，它能直接看你的螢幕，並根據所看到的內容回答你的提問。例如當你展示一段程式碼，它會進行理解並告訴你程式碼有什麼問題，或是解讀資料圖表有什麼資訊。

整個發布節奏極快，只有大約半小時，期間展示了許多蘋果設備，看來OpenAI與蘋果的密切合作已經板上釘釘。

免費和付費用戶均可使用新功能。即日起開始的測試階段僅限於ChatGPT Plus用戶，未來幾週內向更廣泛用戶開放。其文字和圖像輸入今日推出，語音和視訊功能將在未來幾週推出。

另外值得一提的是，這次春季發布的主講人不是OpenAI聯合創始人兼CEO Sam Altman，而是OpenAI CTO Mira Murati。

Altman還在社交平台上神秘地留下一句“her”，似乎在暗示ChatGPT實現了經典電影《她》（Her）中像人類一樣“有血有肉”的AI。

網友Dogan Ural對此評論：「你終於做到了。」並配了一張將電影《她》劇照中的AI「換頭」成OpenAI的梗圖。

OpenAI「全能」大模型上線！性能比肩GPT-4 Turbo，免費開放，API定價暴降

GPT-4o的o代表著「omni（全能）」。 Murati稱，GPT-4o為每個用戶提供了GPT-4級別的智能，同時也改進了GPT-4在文字、視覺以及音訊方面的能力。

先前，GPT-4經過圖像、文字資料的訓練，可以分析圖像和文字從中提取文字或描述畫面內容等，在此之上，GPT-4o增加了語音功能，使得用戶與ChatGPT的交互更接近人與人的互動體驗。 GPT-4o在英語文字和程式碼上的表現與GPT-4 Turbo的表現相匹配，在非英語文字上的表現有顯著提高。

Murati說，GPT-4o的發布意味著OpenAI在大模型的易用性方面邁出了一大步，其正在改變人機互動的協作模式。她談道，在人們的互動中，如輕鬆打斷對方、對話中包含多個聲音的背景噪音、理解語調等對模型而言都非常複雜。

先前，使用者使用語音功能與ChatGPT對話時，GPT-3.5的平均延遲為2.8秒，GPT-4為5.4秒。語音功能由三個獨立模型組成的Pipeline：一個簡單模型將音頻轉錄為文本，GPT-3.5或GPT-4接收文本並輸出文本，第三個簡單模型將該文本轉換回音頻。

在這個過程中，GPT-4會失去大量訊息，如無法直接觀察音調、多個說話者或背景噪音，也無法輸出笑聲、歌唱或表達情感等。

借助GPT-4o，OpenAI透過跨文字、視覺和音訊端到端訓練了新模型，使得所有輸入和輸出都由同一神經網路處理，進一步降低了延遲。

Murati談道，OpenAI的一個重要使命是將先進的AI工具免費提供給每個人。

她也宣布OpenAI將推出桌面版ChatGPT，可以輕鬆整合到使用者的工作流程中。同時，為了讓使用者與ChatGPT互動更加容易、自然，OpenAI也更新了使用者介面，讓使用者無需關注使用者介面，只需要專注於如何協作。

目前，已經有超過1億用戶使用ChatGPT工作、學習，OpenAI的更高級產品目前只提供給付費用戶。

從今天起，用戶能免費使用GPTs和GPT Store。 Murati透露，已經有超百萬用戶使用GPTs創造了令人驚嘆的體驗，這些是適用於GPT Store中提供的特定使用情況的自訂GPTs。

現在，這些用戶也可以使用視覺能力，能夠上傳螢幕截圖、照片、包含文字和圖像的文章等，同時還可以基於其記憶能力，讓對話更有連續性。同時，使用者也可以使用「瀏覽」功能搜尋對話中的即時訊息，使用「進階數據分析」功能分析上傳的圖表或資訊等。

OpenAI也改進了50種不同語言的品質和速度。與免費用戶相比，付費用戶將獲得5倍呼叫額度。

此外，GPT-4o開放了API，開發人員可以基於此進行AI應用開發及部署。與GPT-4-Turbo相比，GPT-4o的速度快2倍，價格便宜50%，速率限制高達5倍。

Murati強調，如何透過既有用又安全的方式將技術呈現出來非常有挑戰性，OpenAI的團隊一直在研究如何建立針對技術濫用的緩解措施。

現場示範語音對話五大能力，程式碼、數學題、即時翻譯，還能提供情緒價值

OpenAI前沿研究主管Mark Chen和後期訓練團隊負責人Barret Zoph在現場對即時語音對話功能進行了演示。透過點擊ChatGPT右下角小圖標，使用者可以進入語音互動模式。

基於GPT-4o的語音互動有什麼與眾不同的地方？

Chen稱，它相比之前的語音模式有幾個關鍵區別：首先，用戶可以打斷模型，不必等到它結束才開始說話；其次，模型具有實時響應能力，在用戶等待模型給出響應之前不會有尷尬的延遲；最後，模型具有情緒感知能力，也能夠產生各種不同情緒風格的語音。

1、聲情並茂講故事，臨場邊唱邊創作

首先，Chen請ChatGPT講一個關於機器人和愛情的睡前故事，來幫助他的朋友緩解失眠。 ChatGPT被要求在講故事時更有感情，並且多些戲劇性。

於是，GPT-4o開始聲情並茂地講道：「很久以前，在一個與我們不太不同的世界裡，有一個名為'Bite Byte'的機器人，它是一個好奇的機器人，總是在探索新的電路…」最後，GPT-4o在要求下以歌聲結束了這個故事。

2、ChatGPT「長眼睛」了！能看圖解方程式

緊接著，Zoph展示了視覺+語音互動功能。

「我希望你幫我解決一道數學題。」Zoph在ChatGPT中打開手機視訊通話，對ChatGPT說：「我要在一張紙上寫下一個線性方程式…不要告訴我解決方案，只是幫助它過程的提示。

當Zoph在視頻鏡頭下寫下方程式並問ChatGPT他寫下了什麼，ChatGPT回答：“我看到了，你寫了3x+1=4。”

Zoph問ChatGPT該如何解這題，ChatGPT先提示其處理「+1」這項。隨著Zoph寫出過程並提出新的求助，ChatGPT進一步建議他兩邊除以三，從而幫Zoph得出了x=1的正確結果。

在解題過程中，ChatGPT會透過提問對Zoph進行循循善誘。例如它會這樣引導：「現在你在一邊引入了x，看起來像是3x等於3。你認為之後我們應該做些什麼？」Zoph稱自己不確定，ChatGPT才進一步提示：「你已經有了3x ，而你想要找出x的值，想一下什麼操作會消掉乘法。

解完題後，ChatGPT和Zoph一起總結如何在現實世界中使用線性方程式。最後，Zoph寫下了一句表白的話給ChatGPT，ChatGPT看到後竟然像小女孩般用語氣嬌羞地尖叫起來：“噢，我看到了'I Love ChatGPT'，你太有愛了！”

3.即時讀懂螢幕訊息，解答程式碼問題和分析圖表

Zoph示範了ChatGPT分析程式碼的能力。他先將一段Python程式碼輸入ChatGPT，讓ChatGPT用一句話總結這段程式碼在做什麼。

ChatGPT迅速答出這段程式碼用於取得日常天氣數據，隨後又詳細說明了其對天氣數據進行了哪些後續處理。

Zoph追問道：“程式碼中有一個函數foo，你能描述一下如果沒有這個函數，程式碼畫出的圖像會是什麼樣子嗎？”

ChatGPT分析稱，這個函數中有一個rolling.mean計算，用於給數據去噪或減少波動，將呈現出一個更平滑的數據圖。

隨後，Zoph運行了這段程式碼，展示ChatGPT分析圖表的能力。

將影像傳送給ChatGPT後，Zoph再次要求它用一句話描述看到了什麼，ChatGPT很快就給了答案。

Chen又追問哪些月份溫度最高，ChatGPT不僅準確給出了7、8月的時間區間，還描述了這段時間的最高溫度達到了多少。

4.無延遲語音翻譯，模仿說話者語氣

在X網友的提議下，Murati和Chen一起示範了ChatGPT即時翻譯的能力。

Chen首先向ChatGPT說明了接下來需要它做的事，也就是把聽到的任何英文、義大利文都翻譯成義大利文和英文。 ChatGPT聽完後，炫技一般地用義大利文回答：Perfetto（Perfect）。

接著，他們透過義大利語和英語進行對話，ChatGPT幾乎沒有延遲地翻譯成了對應的語言，也模仿了說話者的語氣，甚至給Murati的回答配了個笑聲。

5.辨識人物情緒，ChatGPT也有自己的“小情緒”

最後，Zoph示範了ChatGPT辨識人物情緒的能力。

他先透過語音告訴ChatGPT，自己將會展示一張自拍，希望可以根據照片判斷他的情緒。 ChatGPT欣然接受了這個「有趣的挑戰」。

這裡還出現了一個小烏龍，Zoph一開始打開的是後置攝像頭，雖然他迅速轉換成了前置攝像頭開始自拍，但ChatGPT的反應似乎有幾秒鐘的延遲，說“這看起來像是一個木板的表面」。

「別擔心，我並不是一張桌子。」在Zoph解釋說剛才拍錯了畫面後，ChatGPT重新開始分析畫面，並說：「你看起來非常的開心，可能還有一點激動，看樣子你應該心情很不錯。

ChatGPT又問到Zoph這麼開心的原因，Zoph半開玩笑地說，自己正在進行一場Presentation，展示「你有多不可思議」。 ChatGPT彷彿有自己的情緒，語氣誇張地說：“快別說了！你讓我感到害羞。”

預告將有“下一件大事”，GPT-4o即為此前露出的GPT-2

除了發布會本身，Altman也一直在社交平台X上一邊進行現場“直播”，一邊連珠炮式地轉發新模型介紹。

根據OpenAI研究人員William Fedus透露，GPT-4o其實就是前段時間在大模型競技場「大殺四方」的GPT-2模型的另一個版本，並附上該模型的競技評分對比圖，相比GPT -4 Turbo提升了超過100個單位。

推理能力方面，GPT-4o在MMLU、GPQA、MATH、HumanEval等測試基準上均超越GPT-4 Turbo、Claude 3 Opusn、Gemini Pro 1.5等前沿模型取得最高分。

音訊ASR（智慧語音辨識）效能方面，GPT-4o相較於Whisper-v3在所有語言的語音辨識效能上均大幅提高，尤其是資源較少的語言。

音訊翻譯方面，GPT-4o也樹立了新的標桿，在MLS基準測試中優於Whisper-v3以及Meta、Google的語音模型。

在所有演示結束後，Murati總結道：“正如大家所見，（如今的ChatGPT）真的很神奇。”

未來幾週內，OpenAI將面向所有用戶陸續分發這些功能。 Murati也透露OpenAI將持續推動技術邊界向前，不久後將發布「下一件大事」（next big thing）。

結論：OpenAI推Mac版ChatGPT，全能GPT-4o彪悍登場，Google將如何迎戰？

今年2月，Google剛推出實現百萬tokens長文本窗口的Gemini 1.5系列大模型，OpenAI就劍走偏鋒，推出AI視頻生成模型Sora，用驚艷全球科技圈的搶盡風頭。

如今OpenAI再度宣戰，趕在谷歌I/O大會前夕宣告Mac桌面版ChatGPT和GPT-4o，並全程用iPhone和MacBook Pro做演示，結合近期蘋果與OpenAI合作的傳聞，令人更加期待蘋果將在6月份舉辦的WWDC全球開發者大會了。

這些AI新品發表會對Google構成直接的威脅嗎？競爭激烈的生成式AI產業還能如何製造創新與驚喜？谷歌又能否接住OpenAI發起的AI挑戰？答案將在明天凌晨揭曉，我們拭目以待。(智東西)