Google在TED大會展示新型AI眼鏡

Android XR部門負責人Shahram Izadi和一位同事展示了這款外觀類似普通眼鏡的AI裝置,現場演示了從波斯語到英語的即時翻譯、書籍掃描等多項功能。

"這些眼鏡與您的手機協同工作,通過雙向資料流傳輸,使眼鏡保持輕便的同時能夠訪問所有手機應用程式,"Izadi表示。

在TED演講中,Google增強現實和擴展現實部門負責人Shahram Izadi表示,這款裝置是他幾乎整個職業生涯致力於增強現實領域的成果。

"增強現實和虛擬現實已將計算從矩形螢幕發展到360度沉浸式顯示,如今甚至讓世界本身成為顯示介面,"Izadi對現場觀眾說。"我們現在將這一廣泛的體驗集合稱為擴展現實,即XR。"

Izadi和他的團隊利用AI和XR技術建立了Android XR作業系統,該系統可以通過較重的頭戴式裝置或"外觀普通的眼鏡"來使用。

Izadi邀請他的同事Nishtha上台展示這台智能眼鏡。

首先,她讓Google的AI助手Gemini為面前的TED觀眾寫了一首詩。

但Izadi承認,AI即時看、聽和回應的功能還比較基礎。因此他決定"更進一步",展示了一個名為Memory(記憶)的工具。

"在滾動的上下文窗口中,AI會記住你所看到的內容,無需告訴它要跟蹤什麼,"Izadi說。

"我一直找不到我的酒店鑰匙卡,"Nishtha對Gemini說。"你知道我最後把卡放在那裡了嗎?"

"酒店鑰匙卡在音樂唱片的左邊,"Gemini回答,指的是她身後架子上的物品。

"對於像我這樣健忘的人來說,這真是一個殺手級應用,"Izadi開玩笑道。

最令人印象深刻的或許是該裝置能夠即時檢測、翻譯並轉錄語言,以彈出字幕的形式呈現。

網友：演講詞藏在眼鏡裡，這麼一說我就懂了！

"你們可能之前見過類似的翻譯演示,但現在的新特點是,除了[Gemini]能用不同語言說話外,我也可以用不同語言與Gemini交談,"Nishtha說,她用印地語與Gemini交流並即時獲得回應。

接下來,Izadi請出他的同事Max,在三星的Project Moohan XR頭顯上測試相同的作業系統。

使用這款"更具沉浸感"的頭戴裝置,Google團隊從鳥瞰視角探索了南非開普敦,在查看詳細地圖時,Gemini提供了關於當地城鎮的見解。

然後他們切換到一段滑雪視訊,要求Gemini通過背景中山脈的輪廓來估計斜坡的位置。

最後,他們切換到《星露穀物語》遊戲,Gemini為玩這款遊戲提供建議。

在完整的TED演講中(可能會在來年線上發佈),Izadi和他的同事展示了系統在虛擬現實和現實之間無縫切換的能力,這些演示看起來就像直接從超級英雄電影中走出來一樣。

記者Victoria Song在12月有機會體驗該平台的早期版本時也表達了類似感受。

"在一個受控的演示中,我感覺自己最接近鋼鐵人,"Song在The Verge上寫道,並表示Gemini感覺就像她的"賈維斯"。

"我嘗試過數十款頭顯和智能眼鏡,它們承諾能實現我在電影中看到的場景——但都徹底失敗了,"她繼續寫道。

"這是我第一次體驗到相對接近的東西。"

Izadi透露,這只是Android XR功能的一小部分,其他功能還包括在"虛擬大螢幕"上觀看電影、通過Google Photos以3D方式重溫記憶、使用"Circle to Search"(圈選搜尋)獲取你面前物體的資訊等。

"搭載Android XR的眼鏡將讓Gemini的強大功能觸手可及,在您需要時提供有用資訊——如導航指引、翻譯或消息摘要,無需拿出手機。所有資訊都在你的視線範圍內,或直接通過耳機傳遞"。 (三次方AIRX)