•
【蘋果WWDC】蘋果AI劃時代登場：整合GPT-4o、Siri全面進化、每個系統都能用
凌晨的WWDC上，蘋果全部6大系統更新，還配上了40分鐘的AI計畫圖。全程乾貨滿滿，資訊點多到人都有點喘不過氣來。
提起近幾年的WWDC，你能想到什麼？除了以one more thing登場的Vision Pro以外，能讓人想起的實在是不多。鎖定畫面自訂、OCR文字辨識、Widget元件登場－iOS的更新逐漸成了一系列小升級的集合。它們都看起來挺酷，但用處挺少，就像2022年的靈動島。
不只iOS陷入了這樣的困境，安卓系統也是。在今年5月的I/O大會上，連谷歌自己都坦誠說近幾年實在沒什麼變化——底層技術沒有大的發展，系統產品上也就只能止於「雕花」。
但現在，新的可能橫掃一切科技產品的技術革新總算來了。我們也因此看到了這場號稱iOS」史上最大更新「的發表會。
除了過癮以外，在這次發表會上，你才真的感覺AI時代來了。
谷歌和微軟夾擊下，在AI策略上一直處於被動的蘋果，憑藉著其對系統的深入理解在這次WWDC上甚至帶來了一絲反超的意味。
小到圖像、相簿、以及備忘錄，郵件，大到Siri系統的革新，AI帶來的改變幾乎無所不在。蘋果試圖將這項新獲得的能力，最大化的運用在它已有的系統之內。
下面我們就來看看，蘋果到底是如何將AI帶進它的系統裡去的。
蘋果先快速梳理了一下6大OS的更新，其新功能裡那些複雜的理解、推測，資訊整合處處都透出了AI的影子。
visionOS 2
首先登場的是備受矚目的VisionPro最新系統：visionOS 2。 Vision Pro團隊負責人Mike Rockwell表示，在過去的時間裡，Vision Pro和visionOS為廣大用戶的娛樂、工作和協作，解鎖了眾多新可能。而開發者們，也從Vision Pro裡汲取了更多的靈感，這在其他平台上是無法實現的。
Mike Rockwell介紹稱，截至目前，已有2000多款專為Vision Pro打造的應用程序，而兼容iPhone和iPad的應用也已超過150萬個。
這次全新升級的visionOS 2帶來了空間照片功能。現在透過AI運算分析，visionOS 2就可以把圖庫中的所有2D影像轉換成空間3D實景尺寸的影像。
除此之外，visionOS 2整體的互動也有所升級，提供了更多快捷手勢，讓你只需點擊即可導航到主螢幕，並且你還可以翻轉手以調出控制中心、通知、Mac虛擬實境器等常用功能。據悉，今年晚些時候，這個Mac虛擬實境器功能還將擁有更高的解析度、更大的尺寸。它甚至能進一步延展成環繞的超寬屏，寬度相當於兩台4K顯示器並排擺放。
不僅如此，visionOS 2還新加入了旅程模式，讓你在旅途中更好的享受大螢幕觀賞電影或工作體驗。
剛才提到，在過去一年裡，visionOS上有2000多款應用程式為Vsion Pro專門打造。為了更多更好的應用程式不斷湧現，蘋果在開發者端也提供了更多API，包括製作TabletopKit和可以載入企業軟體的API，為企業工作和App的創作的提供了更好工具。
而為了提升其空間視頻的製作，蘋果還與Cannon聯合，推出全新的EOS R7鏡頭可用於拍攝空間視頻，並給Vemeo、 Final cut提供空間視頻剪輯能力。此外，蘋果沉浸式影片（180 度8K 格式）與Blackmagic 和達文西達成新合作，由後兩者提供更專業的拍攝和調色的工具。有了這些工具，紅牛正在製作沉浸式體育系列節目，它們也會在蘋果TV上登陸。
蘋果宣布，Vision Pro會新向8個國家和地區發售，首先是中國大陸、日本和新加坡，發售日期為6月28日。其次是澳洲、加拿大、法國、德國和英國，發售日期為7月12日。
iOS 18
除了visionOS 2和Vision Pro在國內發售的消息以外，蘋果在WWDC上也正式公佈了iOS 18。全新的iOS 18對控制中心、照片、隱私控制等方面進行全面優化。
蘋果的軟體副總裁Craig Federighi 展示了iOS 18的一系列更新。首先是可自訂的主螢幕，可以讓你自由地將應用程式圖示放置在你想要的任何位置。例如，你現在可以把喜愛的牆紙、應用程式和各種小組件添加到主畫面中。而且，蘋果還帶來了全新的深色外觀模式，來搭配你想要的桌面色調和風格。
此外，蘋果還對控制中心進行了升級，你現在不僅能夠在多個控制項之間滑動，而且蘋果還面向開發者推出了新的控制API，可以把你認為最重要的功能在最顯著的位置展示，甚至你可以在鎖定畫面狀態下，將相機和手電筒換成其他功能。
在安全隱私方面，iOS 18現在可以單獨鎖定某一個應用，讓它需要通過驗證才能打開，在一定程度上增強了隱私保護。而且，如果你有哪個應用程式不想被別人知道，現在你可以把它藏起來，放到一個新的帶鎖的隱藏APP資料夾裡。
全新的iOS 18還可以在訊息回復中更加更多的表情符號，並且將有粗體、下劃線、刪除線和斜體的新格式展示。
對於日常大家常用的照片功能來說，為了與Android 上的Google Photos 進行強而有力的競爭，蘋果對iOS 18 中的照片應用進行了大規模的優化。其中，就包括人臉辨識分類、照片集置頂等一系列快速存取功能。蘋果將人工智慧引入了照片應用，讓你能夠使用自然語言搜尋照片。當然，你也可以清理圖片背景中的物體，類似「路人消除」的功能。
此外，蘋果還在iPhone 中增加了衛星通信，在沒有無線區域網路或蜂窩網路的情況下，允許透過衛星進行資訊發送。
在付款方面，為了進一步幫你取代實體錢包，蘋果推出了Tap to Cash功能。這是一種快速且私密的Apple Cash轉帳方式，無需共享電話號碼或電子郵件地址。有了Tap to Cash，只需將你們兩個的手機靠近即可完成付款。
另外，iOS 18還有一項重要的更新：蘋果宣布支援RCS ，確認它將隨iOS 18一起推出。不過，除此之外，蘋果並未透露其他細節。
macOS
在WWDC24上，蘋果正式公佈了macOS 15 Sequoia，其中包括Apple Intelligence、iPhone 鏡像、跨平台密碼應用程式等等。開發者測試版現已發布，公開測試版將於7 月發布，完整版將於2024 年秋季發布。
蘋果介紹稱，macOS Sequoia包含Apple Intelligence，這是一套適用於iPhone、iPad和iOS 的AI功能。例如，蘋果在WWDC上演示的寫作功能。它可以總結電子郵件和其他應用程式中的文本，並自動進行電子郵件的撰寫和回覆。而且有了Apple Intelligence，Siri現在也可以透過語音擷取上下文訊息來回覆。
蘋果宣布，Apple Intelligence 將於「今年夏天」與Sequoia測試版一起推出，但想要設備擁有這項功能需要M1或更高版本的處理器。
另外，全新的macOS 15 Sequoia中還擁有iPhone鏡像（iPhone Mirroring）功能，可讓你透過Mac來控制你的手機。在演示中我們看到，透過iPhone Mirroring，你的iPhone螢幕可以完全鏡像到Mac上，並且你可以透過觸控板，像操作手機一樣來滑動螢幕，甚至可以透過Mac鍵盤在手機上進行打字。
本次Safari也迎來了更新，新功能包括使用機器學習來檢測和總結頁面上的重點信息，生成摘要和目錄。而且，它還為頁面影片內容提供了畫中畫模式。
macOS 15 Sequoia也新增一個跨平台的Passwords應用，可以儲存多種新類型的帳戶訊息，包括Wi-Fi密碼、金鑰、驗證碼和共享密碼等等。它將在iOS、iPad、Mac、visionOS和Windows上使用。
tvOS
在WWDC24中，蘋果也宣布對tvOS進行了最佳化，為你觀看電視帶來了全新的體驗。
蘋果介紹稱，Apple TV+引進了一項全新功能InSight。它可以讓你在觀看Apple Originals節目或影片時，只需在遙控器上向下輕掃就會即時顯示演員及其角色名稱。而且，如果你對正在播放的歌曲感興趣，你也可以快速查看曲目並將其添加到Apple Music播放清單中。
音訊方面，tvOS的增強對話功能可利用機器學習技術來提高人聲清晰度，確保演員的對白始終聽得清楚，而且字幕也會智能添加，當你暫停或回放事，它會自動彈出字幕。目前，這個全新的增強對話功能可以適用於電視、音響以及AirPods和其他藍牙裝置。
此外，搭載了全新tvOS的Apple TV還新增21：9寬銀幕模式，可以截取Apple TV劇集中的精彩畫面做螢幕保護程式。
除了在電視上對音訊的優化以外，蘋果還把新的音訊技術應用到了AirPods和遊戲上。
在易用性方面，蘋果表示，未來你所使用的AirPods在配合Siri應用時將更加簡單方便－免持體驗絲滑又順暢。例如當你在公車上不方便開口回應Siri時，有了新的音訊功能，只需要你稍微點頭或搖搖頭，AirPods就知道你要做什麼。
另外，AirPods也加入了全新的語音突顯功能，可以在各種吵雜的環境下，消除周圍的背景噪音，清晰的接聽電話。
值得一提的是，AirPods進一步對空間音訊進行了優化，號稱可以帶給你前所未有的沉浸感，提升遊戲體驗。
蘋果表示，這個升級後的空間音訊技術，將在騰訊遊戲和EA聯合出品的Need for Speed Mobile首批加入，並於今年秋季推出。
watchOS
在WWDC24中，蘋果也帶來了全新的watchOS 11。在運動、健康監測以及智慧應用方面再次升級。
在運動方面，watchOS 11加入了全新的訓練負荷功能。訓練負荷功能可以透過你的訓練強度和時長，配合心率、配速和高度這些熱量值數據，結合年齡、體重等個人數據，透過新的演算法自動將感測器數據，轉為對你訓練的耗能評分。打分從1-10，看你是否真的盡力了。充分了解自己、了解自己的運動強度——蘋果稱，這是watchOS 11中幫助你保持活力的新方式。
此外，蘋果還帶來了全新的Vitals App。這款應用程式可以透過你歷史以往的心率、睡眠呼吸頻率以及手腕溫度等資訊的對比，判斷你當前的身體狀況，只要有不合格的指標超出，你就會馬上得到提醒。
在全新的watchOS 11中，蘋果針對智慧疊放功能也進行了升級。蘋果稱，它會變得更加智能，各種小組件能在你需要時自動出現，比如快下雨時會有降水預測小組件來提醒你、出國旅行時會有翻譯小組件在旁協助。
而且，智慧疊放功能也增加了類似「報平安」的新功能。例如，當你和朋友聚會後，讓你的朋友知道你已經安全到家；當你外出夜跑時，可以給你的朋友同步的訊息等等。
還有一個比較有趣的是，現在新的watchOS 11還能幫你找到最適合你錶盤的照片了。透過機器學習，系統能夠透過臉部表情、畫面美感以及構圖等等，智慧的辨識、評估和精選出最佳照片用於你的錶盤設定。顯然，這對於選擇困難症的你來說，可能是一個不錯的功能。
iPadOS
本次iPadOS 18升級涵蓋了iOS中的主要更新，包括個人化設置，自訂控制中心和照片重溫功能。
這次升級中最重磅的就是iPadOS對App的重新佈局，現在iPad裡的應用都按照App名+浮動標籤列的模式展示，在其中你可以調節你想用的功能/內容。而且進入內容後，標籤欄也可以變成側邊欄。
同播分享（SharePlay）更新，可以遠端控製家人的系統，也可以把自己在iPad上的展示塗鴉分享給家人。
蘋果還帶來了新的計算器升級，並增加了Math Note系統。可以利用Pencel直接手寫數學算式，然後直接幫助你計算結果，甚至能幫你計算複雜公式，並且可以理解所有不等式裡的變數變化。也可以給出對應的函數圖像。
MathNote寫出的內容可以直接同步到新的備忘錄。
除此之外，筆記還推出了新功能Samrt Script，它將利用強大的「裝置端機器學習風格」讓手寫更好、更流暢、更直、更清晰。寫字不好看再也不用愁。用戶可以將文字貼到手寫筆記中，它會顯示在你的手寫內容中。它還可以更好地識別你的筆記意圖，支援手寫內容的拼字檢查、文字換行和複製貼上。例如你可以透過劃掉直接刪除你的筆記，還可以隨意變化筆記中位置，為新的筆記騰出空間。
蘋果的大計劃亮相：Apple Intelligence
路線圖公佈，隱私成重點
在介紹蘋果Apple Intelligence之前，庫克先講了蘋果使用AI的原則「我們希望帶來的結果能展現出我們產品的核心原則，它必須足夠強大，能在各種要緊事上幫到你，也必須直觀易用，也要深度整合到產品的使用體驗中。必須從設計之初就注重隱私保護。
接著庫克總結道：“所有這些加在一起，就不止人工智能那麼簡單，這就是個性化智能，也是Apple接下來的重要一步。”
蘋果資深副總裁Craig表示Apple Intelligence這項智慧技術的真正獨特之處是能理解你的個人情境。它根據你的個人數據，你現在打開的頁面等背景，調用多種Agent能力來理解你的需求，並完成你的目標。例如當你說想去為你家人接機時，它可以同時調用郵件裡，航班資訊等一系列訊息，並調出地圖告訴你怎麼去想去的地方。蘋果將之命名為個人情境感知。
這不禁讓人想到了微軟前幾天公佈的回憶（Recall）功能，它引發了大家對於隱私的極大焦慮。但對於蘋果來講，這似乎不是什麼問題。它提供了兩種解決方案，首先是能在端內運行的大模型功能就會僅透過端側AI運行，蘋果只在端內收集資訊而不會傳送到雲端。大多數AI功能都可以完全在端側完成，這主要是蘋果的超強晶片的功勞。深度整合的生成模型需要巨大的處理能力。
其次，如果是複雜到非要用雲端模型的話，其雲端模型都不可以不經你同意就儲存相關資訊。為了確保你的雲端使用和資訊安全，蘋果也打造了私人雲端運算。這些模型都會在他們使用Apple Silicon 專門創建的伺服器上運行，因此也具有極強的隱私保護功能。在這裡你的資料絕對不會被長期儲存，它只用於完成其雲端的大模型運算步驟。在運作過程中，其加密方式將雲端鎖定到您的手機。
然而馬斯克表示：根本不信。接了OpenAI，隱私就沒戲。
他還進一步表示，在他的公司，整合OpenAI的蘋果將被禁用。
Graig也表示，Apple Intelligence另一個深刻影響，就是它能跨多個app執行操作，而且它所需工具的各種資源就在你口袋裡常用app中，Apple Intelligence能取用這些工具。這正是AI的下一步，作為智能體的AI。而其載體就是Siri。這估計就是蘋果灰質計畫（Grey Matter Project）的關鍵。
Siri的新紀元
與先前傳言的Siri已死不同，蘋果官方給出的數據時，它現在一天內會收到高達15億次的呼叫需求。
而新的Siri將更自然，更相關，更個人化。它會和系統進行更深入的整合。
這種結合首先出現在其出場方式上。現在它被喚醒後出來的不再是那個氣泡，而是一圈圍繞著螢幕的光暈。
而且它也終於可以記住上下文對話了。對同一件事你不用再重複提及，說代名詞就好。
對於那些不方便說話的場景，Siri現在支援打字了！比如說，當你感覺危險時，你可以用它悄悄報警了。
作為最基礎的大模型能力，Siri現在可以作為知識庫應用，但暫時只能回答你對蘋果功能的問題。
除了以上這些變化之外，其他的Siri升級都需要等到明年之後。但這些升級看起來都相當令人期待。
明年蘋果將帶來Siri的螢幕內感知功能，它可以看到螢幕上發生的事情。例如你的朋友向你發送了他們的地址，你只需說“將此地址添加到聯絡人卡片”，它就會執行此操作。
Siri 將成為一個可以採取行動的智能體，它可以調用各種App內的功能，例如找到照片，調節照片。還可以跨應用程式使用。
透過之前提到的個人情景感知。 Siri也會透過你的個人資訊更好的理解和處理你的需求。
而Siri呼叫應用的能力來自於蘋果的App Intents框架，它讓App能定義Siri、快速指令，以及其他系統體驗的一系列操作。而開發者可藉助App Intents架構定義他們App中的各種操作。
介紹Siri新功能的Kelsey Peterson表示，這次WWDC將會是Siri的新紀元。
AI在應用端信箱功能
蘋果信箱現在加入了Rewrite 功能，能幫你智慧生成文字的多個版本，並讓你從中選擇。你可以選擇語氣，格式。語氣上可以讓他更正式，更清晰。格式上你甚至可以把邀約改成一首詩。它還能只改變你選擇的一部分，而不是全部。
Apple intelligence也提供了總結，郵件的智慧回覆功能。現在他會自動總結你的郵件，你在信箱裡看到的就是最重要的總結。而且它還會把最近最重要的臨期事件郵件自動放在最上方。
這項功能在簡訊裡也是一樣，它會把那些亟待處理的問題放在最上面的地方。
影像能力
Genmoji，可以在裝置端用鍵盤創造最應景的Emojii。也可以在多個被選取選擇。你也可以直接用照片形成Emoji，並將它放進你的對話裡。
Image Playground，與過往複雜的文生圖軟體不同，它更私人化，會根據對話建議你產生圖像的幾個關鍵字，例如你最近對話的朋友。而且你也不用費心想Prompt，用幾個字產生影像的預覽。 Image Playground 可在各種應用程式中使用，還有一個專用的Image Playground 應用程式。還有一個供第三方開發人員使用的API。
例如備忘錄裡的新增的Image Wand，就是透過接取Image Playgrund把草圖直接轉換成更完整影像。在這裡你用Pencil畫的草圖加上一些關鍵字，就可以產生新的、更完整的圖像。
相簿
首先蘋果補齊了其他安卓手機都有的魔力筆刷功能，也就是用生成式AI更改照片。
蘋果也利用AI提升了搜尋能力，現在你可以用自然語言來找具體的照片。更進一步，你甚至可以在一個影片中找到特定的段落。
蘋果也展示了一個非常有趣的延展功能：回憶相簿。也可以摘取與你需求相關的照片，自動組合成一個影片，形成關於這件事所有回憶的相簿影片。連音樂都不用你挑，而是AI直接從Apple Music裡選出最搭配的音樂。
除此之外，Notes 和Phone 應用程式也增加了新的AI 錄音和轉錄功能。
官宣OpenAI合作，但並不是對方的唯一
蘋果也正式宣布了與OpenAI的合作。 Siri可以直接呼叫ChatGPT，你可以利用Siri和它對答。在應用中，也可以直接調出ChatGPT，Apple對模型和應用本身進行了很好的融合，讓ChatGPT的產出，如大綱，文章能直接顯示在應用中。用戶可在iOS系統中免費直接呼叫ChatGPT，且不用建立帳戶。若用戶已有帳戶，可以進行關聯。 ChatGPT的融合會在今年稍後上線。但ChatGPT不會是唯一一個和蘋果合作的大模型公司，蘋果表示，它準備整合多個AI外部模型，避免使用者需要在不同App間切來切去。
開發者用得上的AI才有價值
Apple Intellengence 的效果如何可能最終還是要看開發者社群的發掘。為了讓開發者更好的使用這項功能。蘋果以全新API和框架更新了SDK，例如，開發者可以將Image Playground加入自己的app，添幾行程式碼就行了。 Xcode也融合了人工智慧能力，幫助開發者更好的在Swift上開發App。
總之， AI這回在蘋果的系統裡，基本上做到了無所不在。
在AI風起雲湧一年半之後，蘋果總算趕上了這班車。
看似好像晚了點，但也許是剛好。
在它之前，已經有許多安卓系手機廠商嚐鮮過了AI。在海外，Google去年10月就公佈了第一代AI手機Pixel 8和其對應的AI系統Android 14；三星今年一月則打出了AI for All的口號，S24裡塞滿了新AI的功能。國內的手機廠商更甚，只要是叫得上名的，華為，小米，OPPO，vivo，不論哪家都被AI賦了能。
但仔細拆解下來，他們不過是把大語言模型塞進了手機，讓它當作Chatbot去做總結，翻譯之類它擅長之事。再試著把其中的生成能力融合進一些程式。這固然是AI很重要的一個應用方向，但對於手機來講，這只是功能，而不是革命。
甚至這些功能中的很多都像近幾年iOS的更新一樣，噱頭大過實用性。
但正如庫克所說，能帶來改變的AI必須夠強大，能在各種要緊事上幫到你，也必須直觀易用，還要深度整合到產品的使用體驗中。
蘋果其實在努力朝這個方向前進。
雖然現在蘋果的AI功能與競技大致相似，但一些比競品深一步的設計確實是畫龍點睛。比如說蘋果在各個環節都提到的智慧排序資訊體系，它可以把最重要、最緊急需處理的訊息優先在鎖定畫面或應用場景上排序給你。像馬上需回覆的郵件，天氣預報裡一小時後的大雨都可以讓你第一時間看到並處理，貼心如斯。
在它與應用的融合中，許多點看得出來是真需求，而非炫技。例如Smart Script，能實現手寫內容的簡單擦除、移位，這是利用AI解決掉過往使用者體驗中痛點。在其圖像生成應用Image Playground中，為了給一般用戶降門檻，它不需要完整的Prompt，只需要關鍵字就能產生。它甚至會根據你最近的對話給予關鍵字建議，懂到你心裡。
另外，蘋果在AI上還寄出了它的傳統殺手鐧：隱私保護。
蘋果對此無所不用其極，甚至用上了私人雲端運算的服務確保你在利用AI時的隱私安全。這毫無疑問屬於後發優勢，在微軟的Recall 被駭客輕鬆破解翻車之後，AI使用方面的隱私安全越來越成為人們的核心關切。蘋果在此處的強調非常及時。
最後，蘋果給AI應用落地畫出的路線圖也比對手更清晰。它想讓AI系統「能懂你，並以你的個人情境為基礎。「蘋果計畫利用你的所有端側個人資訊來讓AI真正成為一個了解你的個人助手，而非一個與你無關的問答工具。這才是端側融合的真正意義，也是使用者想要的和他們真正相關，有用的AI。而蘋果希望能達成的利用AI在多程式間連動應用的目標，更是智慧硬體的下一個道標。
因為對AI和其他所有智慧硬體來講。一個更底層的革命，是以AI為中介，讓他作為一個全能的Agent型助理，改變我們與應用的關係。
這正是蘋果打算賦予Siri的新使命。
和Siri當年一樣，這條路，它是第一個走的。雖然這一切可能都要在明年才實現，但這確實是我們想要的，明確的AI未來。
有許多人認為蘋果這個以AI為中介的系統會讓蘋果的App Store生態崩潰。但其實不會。因為只要AI還需要調動App來完成工作，那App的遴選，推薦使用還是要經過蘋果。設備和系統本身才是App Store的圍牆。
這一步步的改進，其實很冒險。例如有些功能從現場展示看還是過於理想化，例如更改郵件排序，這是之前郵件軟體都不敢做的事情。如果出了垃圾郵件被前排放置的情況，其對蘋果的影響應該不亞於谷歌那些醜聞。
而能處理困難問題，跨應用的Agent需要更大的算力和更好的模型。這個畫了的餅要能實現，找到效果、需求、成本間的平衡才是最重要的。
因此下一代智慧型裝置的舞台，蘋果還能不能唱主角。決定的因素可能在6月，而不是9月。
但從現今蘋果的表現來看似乎還相對比較讓人放心。
後來居上的故事，谷歌沒演出來，蘋果也許可以演好。
從這次之後的WWDC，終於又一次讓人真正期待起來了。(騰訊科技)