據The information,兩位參與該項目的人士表示,OpenAI計畫最早在今年秋天推出代號為Strawberry(草莓。之前稱為 Q*,發音為 Q Star)的新 AI 模型技術,可能將作為聊天機器人ChatGPT的一部分功能。
報導稱,“草莓”模型可以解決它以前從未見過的數學問題(這是當今的聊天機器人無法可靠做到的),並且還經過訓練可以解決涉及程式設計的問題。但它並不侷限於回答技術問題。
據悉,Strawberry“草莓”這個模型來源於一項技術研究。
幾年前,時任 OpenAI 首席科學家、“ChatGPT之父”Ilya Sutskever研發了Strawberry技術。他最近離開並創辦了另一家對標OpenAI的 AI 實驗室。在他離開之前,OpenAI 研究人員 Jakub Pachocki 和 Szymon Sidor 在 Sutskever 的工作基礎上開發了一種新的數學求解模型 Q*,這讓一些專注於人工智慧安全的研究人員感到震驚。
而在Q*研發之前,OpenAI 的研究人員開發了一種稱為測試時間計算的概念的變體,旨在提高 LLM 的解決問題能力。這種方法讓他們有機會花更多時間考慮某人要求模型執行的命令或問題的所有部分。當時,Sutskever 發表了一篇與這項工作相關的部落格文章,解釋新的大模型技術與人類的比較,即它直接訓練模型以產生人類認可的思路鏈。
去年11月,OpenAI爆發“內訌”風波,當時OpenAI 董事會宣佈,罷免奧爾特曼(Sam Altman)的首席執行官職位,這一消息震驚全球科技領域,主要原因是該公司研發了一種Q*大模型技術,幾乎與超越人類智力。
今年5月,AI 技術先驅、OpenAI聯合創始人、首席科學家伊爾亞(llya Sutskever)發推文宣佈其將離開公司。
“近十年後,我決定離開 OpenAI。公司的發展軌跡堪稱奇蹟,我相信 OpenAI將在奧爾特曼等人的出色領導下,打造既安全又有益的 AGI。能夠與大家共事是我的榮幸,我會非常想念大家。再見,感謝你們所做的一切。我很期待接下來的計畫——這個項目對我個人來說意義重大,我會在適當的時候分享細節。”llya Sutskever表示。
但“草莓”Q*引發的技術猜測並未結束。
本月初,奧爾特曼在推文上發佈了一張草莓圖片,但沒有詳細說明,這引發了人們對即將發佈的草莓的猜測。據一位直接瞭解這些會議的人士稱,OpenAI 今年夏天還向國家安全官員演示了草莓。
奧爾特曼在 5 月份的一次活動中表示:“我們覺得我們擁有足夠的資料來開發下一個模型。我們已經進行了各種實驗,包括生成合成資料。”
當前,OpenAI需要大量資金支援。一位知情人士表示,作為與微軟達成的商業合作的一部分,OpenAI 自 2019 年以來已從微軟籌集了約 130 億美元,該合作將持續到 2030 年。這位知情人士表示,合作條款可能會發生變化,包括 OpenAI 如何向微軟支付租用雲伺服器的費用以開發其人工智慧。雲伺服器是 OpenAI 最大的成本。
The information報導指,OpenAI 的前景在一定程度上取決於它最終能否推出一款代號為 Orion 的新旗艦大語言模型。該模型旨在改進其現有的旗艦 LLM GPT-4,後者於去年年初推出。到目前為止,其他競爭對手已經推出了性能與 GPT-4 大致相當的大語言模型。
目前尚不清楚能夠提升 GPT-4 和 ChatGPT 性能的 Strawberry 聊天機器人版本是否足以在今年推出。但這個版本將是原始 Strawberry 模型的較小、簡化版本,稱為“蒸餾”版。它力求保持與較大模型相同的性能水平,同時更易於操作且成本更低。
不過,一位知情人士表示,OpenAI 也在使用更大版本的“草莓”模型來生成訓練 Orion 的資料。這種由 AI 生成的資料被稱為“合成資料”。這意味著“草莓”模型可以幫助 OpenAI 克服獲取足夠高品質資料的限制,從而利用從網際網路上提取的文字或圖像等現實世界資料來訓練新模型。此外,“草莓”模型還可以為即將推出的 OpenAI Agent提供幫助。
商業化層面OpenAI持續加速。報導稱,與一年前相比,其向企業銷售的法學碩士學位和 ChatGPT 訂閱收入增長了約兩倍,達到每月 2.83 億美元,儘管其每月虧損可能更高。
截至目前,OpenAI公司估值高達860億美元(約合人民幣6127.84億元)。
針對上述消息,OpenAI 發言人未對本文發表評論。路透社此前曾報導過 Strawberry 這個名字及其推理目標。 (鈦媒體AGI)