Meta AI 概述

Meta AI 成立於 2013 年，原為 Facebook AI Research (FAIR)。

2021 年，Facebook 更名為 Meta Platforms；2022 年 6月，Meta 調整組織架構，成立一個新的跨職能 AI 團隊並任命 FAIR 負責人 Joelle Pineau 領導 Meta AI，以確立人工智慧在 Meta 產研的中心地位。

作為 Meta 旗下的人工智慧研究和產品開發部門，Meta AI 致力於推動 AI 技術的進步並將其應用於實際產品和服務中。Meta AI 在基礎研究、應用研究和開放平台方面都處於領先地位。

Meta AI 的主要研究內容和發展情況包括：

• 基礎設施建設：Meta 在AI基礎設施上投入巨資，建立了全球範圍內的資料中心，以支援大規模的AI模型訓練和運行。
• 基礎研究：在自然語言處理、電腦視覺、機器學習等領域取得了突破性進展。
• 開源工具：開發並開源了多個 AI 平台和工具，包括 PyTorch、MMF、Detectron2 等。
• 開源模型：其中包括開源大模型 Llama 2，是當前最強大的開源AI模型之一，包括7B、13B、70B三個版本，旨在推動AI技術的開放和共享。
• Meta AI助手：Meta 推出的跨平台AI助手，支援一對一和群聊，提供文字生成圖像、音視訊多模態支援，甚至可以用於AR眼鏡等終端。
• AI應用整合：Meta 將AI技術整合到其核心社交平台，包括 Facebook、Instagram 和 WhatsApp 等，通過AI提升使用者體驗，增強內容推薦和廣告投放的效率。
• AI聯盟：Meta 與 IBM 等公司結盟，共同發起“AI聯盟”，旨在推動負責任的AI創新，確保AI的多樣性、安全性和嚴謹性。

Meta AI 的未來發展將集中在基礎研究、技術創新、產品多樣化、生態建構、倫理安全、元宇宙融合以及社會責任等方面。隨著AI技術的不斷進步和持續大力度投入，Meta AI 有望在多個領域繼續保持領先，為其使用者群體提供更加智能和個性化的服務及體驗。

Meta的AI產品

Meta在AI領域有著廣泛佈局，從基礎設施建設到開源模型的推廣，再到AI助手和廣告工具的開發，以及硬體和超級計算中心的投入，Meta正致力於將AI技術融入其核心產品和服務中。

Meta AI 的產品和服務遍及社交、娛樂、工作、生活等多個領域，為人們提供了更加智能、便捷、個性化的體驗。

Seamless Communication

基本資訊

Meta AI 在 2023 年 11 月推出了名為 “Seamless Communication” 的AI模型套件，旨在打破語言障礙，實現跨語言的無縫交流。

介紹頁面：
https://ai.meta.com/research/seamless-communication/
演示網站：
https://seamless.metademolab.com/

該套件包含三個基礎模型：

• SeamlessM4T v2：用於文字翻譯，支援 96 種語言，在精準性和流暢性方面取得了重大突破。
• SeamlessStreaming：用於即時語音翻譯，延遲低至 2 秒，可用於視訊通話、直播等場景。
• SeamlessExpressive：在翻譯過程中保留說話者的語氣和情感，使交流更加自然生動。

Seamless 將 SeamlessM4T v2、SeamlessStreaming 和 SeamlessExpressive 融合到一個統一的系統中。這是第一個同時保持聲樂風格和韻律的流翻譯模型，而這一標準在串流媒體中尤其具有挑戰性，因為系統通常只能作部分輸入處理。

該產品的亮點：

• 高精度：SeamlessM4T v2 在多個語言評測基準上取得了最先進的成果，可提供高品質的翻譯結果。
• 低延遲：SeamlessStreaming 實現了近乎即時的語音翻譯，可滿足流暢對話的需求。
• 保留情感：SeamlessExpressive 可以捕捉說話者的語氣和情感，使翻譯更加自然生動。
• 開源：Meta 已將 Seamless 模型開源，供研究人員和開發人員進一步研究和開發。

Seamless Communication 的推出代表了人工智慧在語言翻譯領域的重大突破，有望打破語言障礙，讓世界各地的人們能夠更加輕鬆地進行交流。

研究成果

Meta AI 團隊在官網發佈了題為 “Seamless: Multilingual Expressive and Streaming Speech Translation” 的研究論文，論述了 Seamless 系列模型如何提供端到端的多語言、富有表現力和流式翻譯。

論文地址：
https://ai.meta.com/research/publications/seamless-multilingual-expressive-and-streaming-speech-translation/

該論文的主要內容概括如下：

• SeamlessM4T v2：這是一個基礎的多語言和多模態模型，支援近100種語言的輸入，能夠處理語音和文字翻譯任務。它通過非自回歸單元解碼器和分層上採樣，提高了資料效率。
• SeamlessExpressive：這個模型能夠在翻譯中保留語音的節奏、語調和風格。它支援英語和五種語言之間的翻譯，並能夠處理語音速率和停頓等細節。
• SeamlessStreaming：利用高效單調多頭注意力（EMMA）機制，這個模型能夠在不需要完整源語言輸入的情況下，即時生成目標語言的翻譯。
• Seamless：結合了 SeamlessExpressive 和 SeamlessStreaming 的特點，提供了一個統一的系統，用於即時的富有表現力的跨語言通訊。
• 評估和責任：為了確保模型的安全性和負責任的使用，Meta 實施了紅隊測試、毒性檢測和緩解、性別偏見評估以及局部水印技術。
• 社會影響：Seamless 模型的推出可能會改變跨語言溝通的方式，為移民和非母語者提供更多的交流機會，有助於他們在接收社會中更好地融入。
• 未來工作：未來的研究將繼續關注提高語言覆蓋範圍，縮小高資源和低資源語言之間的性能差距，並確保新興系統能夠為不同使用者群體提供良好的服務。
• 模型和程式碼發佈：Meta 公開發佈了 Seamless 系列模型的程式碼和相關工具，以便研究人員和開發者能夠進一步開發和利用這些技術。

該論文展示了Meta在AI領域的研究成果，特別是在機器翻譯和多語言通訊方面的進展，以及公司在確保AI技術負責任使用方面的努力。

項目開源

除了 Seamless 系列模型，Meta AI 團隊還在開放原始碼專案裡提供了一系列的配套工具和教學，方便其他研究人員及開發者共同完善這一先進的跨語言溝通工具：

• 教學和演示：項目提供了詳細的教學和演示，包括在 NeurIPS 2023 的 Seamless EXPO 上提供的教學，以及如何使用整個 Seamless 模型套件的指南。
• 模型和資源：項目提供了模型的安裝、運行推理、評估和資源使用的詳細說明。此外，還提供了模型的參數數量、檢查點、指標和許可資訊。
• 資料集和工具：項目建立了兩個表現力語音到語音翻譯資料集（mExpresso 和 mDRAL），並在項目中提供了相關工具和庫，如 fairseq2、SONAR、BLASER 2.0 和 SimulEval。
• 許可和引用：項目中包含的模型和資料集有不同的許可類別，包括MIT許可、CC-BY-NC 4.0許可和 Seamless 許可。如果在你的工作中使用了 Seamless 項目中的模型、資料集或工具，請確保正確引用。

GitHub項目地址：
https://github.com/facebookresearch/seamless_communication

Ego How-To

基本資訊

Meta AI 在 2023 年 8 月推出了 Ego How-To，這是一個可以生成視訊操作說明的 AI 模型。該模型可以觀看視訊並理解視訊中的操作，然後生成詳細的文字說明，並可以根據需要生成不同語言的版本。

介紹頁面：
https://ai.meta.com/research/ego-how-to/

Ego How-To 描繪了在人工智慧助手的指導下，在AR中學習和訓練的前景：借助Ego How-To，你的AR教練可以跟蹤你的進度，回答問題，評估你的技術並提供即時反饋以改善你的訓練效果。你可以按照自己的節奏在任何環境中學習。

產品能力

• 多語言支援：支援多種語言，包括英語、西班牙語、法語、德語、中文、日語等。
• 精準性高：可以生成詳細且精準的操作說明，並能識別視訊中的關鍵步驟。
• 易用性強：使用簡單，只需上傳視訊即可生成操作說明。

功能亮點

• 提高效率：可以幫助使用者快速生成視訊操作說明，節省時間和精力。
• 降低成本：可以幫助企業降低製作視訊教學的成本。
• 提高可訪問性：可以幫助不同語言的使用者理解視訊內容。

Ego How-To 可應用於各種場景，例如：

• 教育：可以用於製作教學視訊，幫助學生學習新技能。
• 商務：可以用於製作產品演示視訊，幫助企業推廣產品。
• 個人生活：可以用於製作生活技能視訊，幫助人們解決日常生活中的問題。

Ego How-To 仍然處於開發階段，但它代表了人工智慧在視訊理解和生成領域的重大進步。未來，Ego How-To 將能夠生成更加複雜和詳細的操作說明，並能應用於更多場景。

研究成果

Meta AI 團隊在官網發佈了題為 “Ego-Exo4D: Understanding Skilled Human Activity from First- and Third-Person Perspectives” 的研究論文，該論文闡述了建立 Ego-Exo4D 作為一個多模態多視角視訊資料集和基準的挑戰、以及該資料集的主要特點。

論文地址：
https://ego-exo4d-data.org/paper/ego-exo4d.pdf

該論文的主要內容概括如下：

• 資料集規模和多樣性：Ego-Exo4D 包含了來自全球13個城市的800多名參與者在131個不同自然場景中進行的活動，總計1422小時的視訊資料。這些活動包括體育、音樂、舞蹈、自行車維修等。
• 多模態資料：視訊資料伴隨著多通道音訊、眼動追蹤、3D點雲、相機姿態、慣性測量單元（IMU）以及多種語言描述，包括一種新的“專家評論”，由教練和教師提供，專為熟練活動領域定製。
• 基準任務：為了推動第一人稱視訊理解技能的發展，Ego-Exo4D 提出了一系列基準任務及其註釋，包括細粒度活動理解、熟練度估計、跨視角翻譯和3D手/身體姿態估計。
• 開放資源：所有資源將開源，以促進社區的新研究，包括資料、註釋、相機支架協議、基準任務和基線程式碼。
• 隱私和倫理：資料收集遵循嚴格的隱私和倫理標準，包括在每個機構進行正式的獨立審查過程，以建立收集、管理和知情同意的標準。
• 自然語言描述：Ego-Exo4D 還提供了三種類型的配對自然語言資料集，每種資料集都與視訊時間索引同步。這些語言註釋不僅是為了某個特定的基準任務，而是作為一般資源，支援瀏覽和挖掘資料集，以及視訊語言學習中的挑戰。
• 基準任務的挑戰：Ego-Exo4D 定義了核心研究挑戰，特別是在可用的自我-外部資料用於訓練（如果不是測試）的情況下。這些任務被組織成四個任務家族：關係、識別、熟練度和自我姿態。

該項目是多個機構在過去兩年中大規模合作的結果，初始作者 Kristen Grauman 啟動了項目，擔任技術領導，發起了識別和熟練度基準以及專家評論，並協調了他們的工作組。

Ego-Exo4D 項目

Ego-Exo4D 是一個基礎資料集和基準測試套件，旨在支援視訊學習和多模態感知研究。

項目網站：
https://ego-exo4d-data.org/

以下是該資料集的主要特點和貢獻：

• 資料集內容：Ego-Exo4D 專注於捕捉第一人稱“自我中心”視角（參與者佩戴的可穿戴相機）和多個“外部中心”視角（圍繞參與者的相機）的同步視訊。這兩種視角互補，提供了對複雜人類技能的新視角。
• 資料集規模：由800多名熟練參與者在美國、日本、哥倫比亞、新加坡、印度和加拿大等地拍攝，包含超過1400小時的視訊資料。
• 多模態資料：使用Meta獨特的Aria眼鏡捕捉的視訊，附帶時間對齊的七通道音訊、慣性測量單元（IMU）和兩個寬角灰度相機等感測器資料。此外，還提供了眼動追蹤、頭部姿態和環境的3D點雲。
• 視訊語言資源：包括第一人稱敘述、第三人稱實況描述以及第三人稱的專家評論，這些資源都與視訊時間戳同步。
• 基準任務：提出了四類基礎任務的基準測試，包括自我/外部識別、自我/外部熟練度估計、自我-外部關係和自我姿態恢復。

Ego-Exo4D項目是FAIR與全球十多所大學的長期合作成果，涉及多個領域的專家、研究生和行業研究人員。隨著研究的推進，預計AI將能夠在增強現實和混合現實（AR/MR）中以新的方式幫助人們學習新技能，例如通過觀看專家視訊來學習複雜靈巧的操作。

Ego4D 項目

Ego-4D 是由 Facebook AI Research (FAIR) 發起的大規模第一人稱視角 (egocentric)資料集和基準測試套件。

項目網站：
https://ego4d-data.org/

該項目收集了來自全球 74 個地點和 9 個國家的超過 3,670 小時日常生活活動視訊。

Ego-4D 的特點:

• 大規模: 擁有目前公開可用的最大規模的第一人稱視角視訊資料集。
• 多場景: 涵蓋了日常生活中的各種場景，包括室內、室外、交通、工作等。
• 多語言: 視訊包含來自不同語言環境的音訊，可以用於研究多語言理解和生成。
• 開放性: 資料集和基準測試套件均已開源，供研究人員免費使用。

Ego-4D 的潛在應用:

• 虛擬現實: 可以用於建立更加逼真的虛擬現實體驗。
• 增強現實: 可以用於將虛擬資訊疊加到現實世界中。
• 機器人: 可以幫助機器人更好地理解周圍環境並與人類互動。
• 行為分析: 可以用於分析人類的行為模式。

Ego-4D 是一個重要的第一人稱視角視訊資料集和基準測試套件，將推動第一人稱視角視訊理解和生成技術的進步、促進相關應用的開發，並幫助研究人員更好地理解人類的行為和認知。

LLaMA

Meta AI 在 2023 年 2 月發佈了名為 “Llama (Large Language Model Meta AI)” 的大型語言模型（LLM），旨在提高 AI 模型的性能和效率。Llama 採用了新的訓練方法和架構，在多個自然語言處理任務中取得了最先進的成果。LLaMA 模型被設計為較小的模型，以便於在資源有限的裝置上運行。

介紹頁面：
https://llama.meta.com/

Llama 模型的發佈是 Meta AI 在推動人工智慧領域開放合作和技術創新方面的重要舉措，旨在通過提供高品質的語言模型資源，支援全球範圍內的研究者和開發者。Llama 模型一經發佈，讓全球範圍的眾多中小公司和創業團隊實現 “自建大模型自由”，進一步加速生成式AI的發展。

Llama 2

Llama 2 於 2023 年 11 月發佈 ，這是一個比之前版本更強大、更高效的大型語言模型，包括7B、13B、70B三個版本。

介紹頁面：
https://llama.meta.com/llama2/

Llama 2 在多個自然語言處理任務中取得了突出的成果，極大拉進了開源大模型與 OpenAI GPT-4、Google Bard 等商業化產品的差距，進一步加速了 LLM 模型的競爭和發展。

特點

• 超大規模: Llama 2 擁有 1.37 萬億個參數，是目前規模最大的 LLM 之一。
• 多語言能力: Llama 2 支援 26 種語言，可以進行跨語言的無縫交流。
• 高效推理: Llama 2 的推理速度比之前的模型快 4 倍，可以部署在更低成本的硬體上。

優勢

• 提高性能: Llama 2 在多個自然語言處理任務中取得了最先進的成果，例如機器翻譯、文字摘要、問答和聊天。
• 降低成本: Llama 2 的高效推理能力可以降低 AI 模型的部署成本。
• 擴大應用範圍: Llama 2 的開源特性可以使 AI 模型在更多場景下得到應用。

Llama 2 已開源，供研究人員和開發人員進一步研究和開發。Llama 2 的發佈代表了人工智慧在自然語言處理領域的重大進步，以及開放共享的理念推廣。

Code Llama

Code LLMA 是一個用於編碼的先進的大型語言模型。Code LLMA 能夠生成程式碼，以及關於程式碼的自然語言描述，從程式碼和自然語言兩方面進行提示。

介紹頁面：
https://ai.meta.com/blog/code-llama-large-language-model-coding/

Code LLMA 在多個編碼任務中取得了最先進的成果，並具有以下特點：

• 強大程式碼生成能力: Code LLMA 可以生成各種類型的程式碼，包括 Python、JavaScript、C++ 等。
• 程式碼修復能力: Code LLMA 可以識別程式碼中的錯誤並進行修復。
• 程式碼翻譯能力: Code LLMA 可以將程式碼翻譯成不同的程式語言。
• 程式碼解釋能力: Code LLMA 可以解釋程式碼的含義和功能。

Code LLMA 可應用於各種編碼任務，包括：

• 軟體開發: 幫助程式設計師快速開發軟體。
• 程式碼審查: 幫助程式設計師審查程式碼並行現錯誤。
• 程式碼教育: 幫助學生學習程式設計。

Code LLMA 可以幫助程式設計師提高編碼效率、減少編碼時間，幫助企業降低開發成本，還將讓程式設計變得更容易，讓更多人可以學習程式設計。

Purple Llama

Purple Llama 是 Meta AI 牽頭的開放原始碼專案，旨在促進負責任和安全的人工智慧 (AI) 開發。該項目提供一系列工具和資源，幫助開發人員建構安全、可靠和公平的 AI 模型。

介紹頁面：
https://llama.meta.com/purple-llama/

該項目從 “紫色團隊” 的網路安全概念中汲取靈感，Purple Llama 採用了進攻（紅隊）和防禦（藍隊）戰略，協助開發人員負責任地部署生成人工智慧模型。

Purple Llama 項目的目標包括：

• 提高 AI 模型的安全性和可靠性：幫助開發人員識別和解決 AI 模型中的安全漏洞和潛在風險。
• 促進 AI 模型的公平性：幫助開發人員建構公平公正的 AI 模型，避免偏見和歧視。
• 建立 AI 開發的信任：提高公眾對 AI 安全性和可靠性的信任，促進 AI 技術的健康發展。

Purple Llama 項目提供以下工具和資源：

• 安全評估工具：幫助開發人員評估 AI 模型的安全風險。
• 公平性評估工具：幫助開發人員評估 AI 模型的公平性。
• 最佳實踐指南：提供有關安全和負責任的 AI 開發的最佳實踐。
• 開源模型和程式碼：提供安全和可靠的 AI 模型和程式碼供開發人員使用。

Purple Llama 項目對於促進負責任和安全的人工智慧開發具有重要意義。該項目將幫助開發人員建構更安全、更可靠、更公平的 AI 模型，從而提高公眾對 AI 技術的信任，促進 AI 技術的健康發展。

生成式AI

Meta 正在加速推進生成式 AI 技術在其產品裡的整合，通過 Meta AI 聊天機器人，可以在 Messenger、Instagram 和 WhatsApp 等平台上與使用者互動，提供資訊、娛樂和客戶服務。

Chat with Meta AI

Chat with Meta AI 是 Meta 最新推出的 AI 助手，旨在通過旗下的產品提供個性化的人工智慧角色，這些 AI 角色不僅用於資訊傳遞，還用於娛樂目的。

介紹頁面：
https://ai.meta.com/genai/

Meta AI 的能力包括：

• Explore with Reels: AI中的Reels可以幫助你根據視訊評論決定去哪裡旅行，通過教學視訊學習新舞蹈，或者為你正在進行的項目提供一些靈感。
• Ask @Meta AI: 在你的群聊中呼叫@Meta AI，獲取團隊旅行的建議，激發晚宴食譜的創意，或者通過逼真的圖片增添一些樂趣。
• Dream it, create it: 向Meta AI描述一個圖像——比如“/imagine 一隻在彩虹森林中的仙女貓”——然後看著你的想法變為現實。使用我們的重新想像功能，與朋友們一起發揮創意。
• Search the web: 通過由Bing提供支援的搜尋功能獲取最新的網路資訊。Meta AI會告訴你它在聊天中引用的資訊來源。

Meta AI 的功能特色：

• 角色宇宙：與您選擇的28個AI角色聊天，每個AI角色都有獨特的個性、舉止和背景故事。
• AI貼紙：在幾秒鐘內為您的聊天和故事生成有趣的定製貼紙。輸入文字提示，看看人工智慧生成的貼紙是如何提供無限多的選擇來傳達你在任何時刻的感受，並以獨特的方式表達你自己。現在在我們的應用程式中推出。
• AI圖片編輯：通過描述您想要應用的效果，為您的照片應用新的視覺風格。只需輸入描述符，如“垃圾”或“水彩”和樣式將應用新的外觀和感覺到你的圖像，而背景將改變場景或背景。

Meta AI 支援的一些使用場景舉例：

• Facebook 的智能推薦系統：根據使用者的興趣和行為推薦相關內容。
• Instagram 的 AR 濾鏡：為使用者提供個性化的 AR 體驗。
• WhatsApp 的語音助手：幫助使用者進行語音通話和傳送語音消息。
• Meta 的虛擬助手：幫助使用者完成日常工作和生活，例如設定鬧鐘、播放音樂、查看天氣等。

Chat with Meta AI 正在接入Meta旗下的各個平台，如 Facebook、Instagram 和 Messenger 等，且能力和體驗正在隨 Meta AI 技術和新功能的整合不斷改進升級。

Imagine with Meta AI

Imagine with Meta AI 是一款文生圖模型，可以根據使用者輸入的文字描述生成逼真的圖像。該模型基於強大的深度學習技術，能夠理解文字語義並將其轉化為視覺效果。

試用入口：
https://imagine.meta.com/

功能特點:

• 強大的圖像生成能力: Imagine 可以生成各種風格和主題的圖像，包括風景、人物、物體等。
• 豐富的文字描述支援: Imagine 支援多種語言和文字格式，可以根據使用者的詳細描述生成更加精準的圖像。
• 易用性: Imagine 操作簡單，使用者只需輸入文字描述即可生成圖像，無需專業知識。

產品優勢:

• 提高創作效率: Imagine 可以幫助使用者快速生成高品質的圖像，節省時間和精力。
• 降低創作門檻: Imagine 使得圖像創作不再侷限於專業人士，任何人都可以輕鬆創作自己的作品。
• 拓展創作可能性: Imagine 提供了無限的創作空間，使用者可以自由發揮想像力，創造出獨特的視覺作品。

應用場景:

• 藝術創作: 可以用於繪畫、插畫、設計等藝術創作領域。
• 內容創作: 可以用於圖文並茂的文章、部落格、社交媒體內容創作等。
• 教育: 可以用於教材、課程ware等教育資源的製作。
• 商業: 可以用於產品設計、廣告宣傳、行銷推廣等商業領域。

Imagine with Meta AI 為使用者提供了無限的創作空間，並將為更多領域帶來革新性的改變。Meta 將繼續最佳化 Imagine 模型，提高其圖像生成質量和效率，並將其應用於更多場景，為使用者提供更加便捷的創作體驗。

Make-A-Video

Make-A-Video 是 Meta AI 推出的一款文生圖視訊生成模型，可以根據使用者輸入的文字描述生成逼真的視訊。該模型基於強大的深度學習技術，能夠理解文字語義並將其轉化為動態的視覺效果。

介紹網站：
https://makeavideo.studio/

該模型的主要特點:

• 強大的視訊生成能力: Make-A-Video 可以生成各種風格和主題的視訊，包括風景、人物、劇情等。
• 豐富的文字描述支援: Make-A-Video 支援多種語言和文字格式，可以根據使用者的詳細描述生成更加精準的視訊。
• 易用性: Make-A-Video 操作簡單，使用者只需輸入文字描述即可生成視訊，無需專業知識。

技術要點:

• 多模態Transformer: Make-A-Video 採用了多模態Transformer模型，能夠有效地融合文字和圖像資訊，生成更加精準和豐富的視訊內容。
• Diffusion模型: Make-A-Video 採用了Diffusion模型，能夠從噪聲中逐漸生成逼真的視訊，提高視訊的質量和細節。
• 控制lable的生成: Make-A-Video 支援使用者對視訊的風格、主題、場景等進行控制，生成更加個性化的視訊作品。

應用場景:

• 影視創作: 可以用於電影、電視劇、動畫等影視創作領域。
• 內容創作: 可以用於視訊教學、短影片、直播等內容創作領域。
• 教育: 可以用於教材、課程ware等教育資源的製作。
• 商業: 可以用於產品宣傳、廣告製作、行銷推廣等商業領域。

Meta 團隊在 2022 年發佈了題為 “Make-A-Video: Text-to-Video Generation without Text-Video Data” 的研究論文，詳細描述了該模型的研究思路及技術路線。

論文地址：
https://arxiv.org/abs/2209.14792

沉浸式體檢

Meta AI 致力於開發下一代 AR/VR 技術，打造更加沉浸式的體驗，以推動其願景 ”讓世界更緊密地聯絡在一起“ 的步步達成。

介紹文章 “Meta’s Progress in Augmented and Virtual Reality”：
https://about.fb.com/news/2022/12/metas-progress-in-augmented-and-virtual-reality/

Project Aria

Project Aria 是 Meta 的一個研究型項目，旨在開發一種能夠捕捉和重現現實世界體驗的增強現實 (AR) 眼鏡。這個項目最初由 Facebook 在2020年9月的 Connect 大會上公佈，當時 Facebook 還沒有更名為 Meta。

項目網站：
https://www.projectaria.com/

該項目主要實現以下目標：

• 即時環境理解: AR 眼鏡需要能夠理解周圍環境，包括物體、人物和場景。
• 3D 建模和渲染: AR 眼鏡需要能夠生成逼真的 3D 模型和渲染，以疊加在現實世界中。
• 自然互動: AR 眼鏡需要能夠與使用者自然地互動，包括手勢識別和語音識別。

Project Aria 使用了多種 AI 核心技術，包括電腦視覺、深度學習、自然語言處理等:

• SLAM (Simultaneous Localization and Mapping): 同時進行定位和建圖，幫助 AR 眼鏡瞭解自身位置和周圍環境。
• 語義分割: 識別圖像中的不同物體，並為它們新增標籤。
• 3D 重建: 從 2D 圖像中生成 3D 模型。
• 光線追蹤: 模擬光線在場景中的傳播，生成更加逼真的圖像。
• 手勢識別: 識別使用者的自然手勢，並將其轉換為控制指令。
• 語音識別: 識別使用者的語音指令，並執行相應的操作。

Project Aria 目前仍在開發中，是 Meta 的一個雄心勃勃的項目，旨在將 AI 技術應用於 AR 眼鏡，為使用者提供更加逼真和沉浸式的體驗。該項目仍面臨著一些挑戰，但它代表了 AR 技術的未來發展方向。

Meta Quest

Meta Quest 是 Meta 旗下的一系列 VR 頭戴式裝置，前身為 Oculus Quest。該系列裝置主打一體式設計，無需連接 PC 或智慧型手機即可使用，為使用者提供便捷的 VR 體驗。

產品首頁：
https://www.meta.com/quest/

Quest 3 是 Meta 最新推出的版本，於 2023 年 10 月發佈。相比前幾代產品，Quest 3 在性能和體驗上都有顯著提升：

• 更高解析度的螢幕: Quest 3 採用了 mini-LED 螢幕，解析度達到了 4K 等級，能夠提供更加清晰細膩的畫面。
• 更強大的處理器: Quest 3 搭載了高通驍龍 XR3 處理器，性能相比上一代提升了 50% 以上，能夠運行更加複雜的遊戲和應用。
• 更先進的眼動追蹤技術: Quest 3 採用了眼動追蹤技術，能夠追蹤使用者眼球的運動，使 VR 體驗更加逼真和沉浸式。
• 更輕便的設計: Quest 3 採用了新的設計，重量更輕，佩戴更加舒適。

此外 Quest 3 還有如下特點：

• 一體式設計: Quest 3 無需連接 PC 或智慧型手機即可使用，方便攜帶和使用。
• 6DoF 追蹤: Quest 3 支援 6DoF 追蹤，能夠追蹤使用者頭部和手部的運動，使 VR 體驗更加自由。
• 豐富的遊戲和應用: Quest 3 擁有豐富的遊戲和應用，能夠滿足不同使用者的需求。
• 獨立 VR 平台: Quest 3 擁有獨立的 VR 平台，可以訪問大量的 VR 遊戲和應用。

Quest 3 的這些改進使其成為目前市場上最先進的 VR 頭顯之一。Quest 3 的發佈標誌著 VR 技術的又一次進步，它將為使用者提供更加逼真、沉浸式和便捷的 VR 體驗。

Ray-Ban | Meta

Meta 與 Ray-Ban（雷朋）合作新推出了兩款智能眼鏡：Ray-Ban Meta Wayfarer 和 Ray-Ban Meta Headliner。這兩款眼鏡都採用了時尚的設計，並搭載了先進的 AR 技術，能夠為使用者提供全新的互動體驗。

產品首頁：
https://www.meta.com/smart-glasses/

兩款眼鏡主要在外形和尺寸上有區別：

• Ray-Ban Meta Wayfarer
• 採用了經典的 Wayfarer 鏡框設計，適合大多數臉型。
• 鏡框尺寸為 50 毫米，適合中等大小的臉型。
• Ray-Ban Meta Headliner
• 採用了圓形鏡框設計，更具時尚感。
• 鏡框尺寸為 52 毫米，適合較大臉型。

以下是該智能眼鏡的一些關鍵特點：

• 攝影機和麥克風：智能眼鏡配備了1200萬像素的攝影機，支援1080P 60fps格式的視訊錄製，以及拍攝高達3024 x 4032像素的照片。這比前一代產品Ray-Ban Stories的500萬像素攝影機和1184 x 1184解析度的視訊錄製有顯著提升。
• 高通AR1晶片：這款眼鏡搭載了高通最新的驍龍AR1 Gen 1晶片，專為低功耗設計，支援輕量化智能眼鏡的開發。該平台能夠支援直接從眼鏡側進行拍攝、分享或直播，解放使用者的雙手。
• 多模態AI功能：Meta為這款智能眼鏡引入了多模態AI功能，允許AI助手通過眼鏡的攝影機和麥克風瞭解佩戴者所看到和聽到的內容，並提供相關資訊和幫助。這項功能目前在美國進行小範圍測試。
• AI助手功能：AI助手能夠識別物體、翻譯語言、為照片新增描述、提供搭配建議等。例如，使用者可以要求眼鏡推薦與特定衣物相配的服裝，或者翻譯文字。
• 設計和舒適度：智能眼鏡保持了雷朋的經典太陽鏡外觀，同時注重佩戴的舒適性。它們設計輕巧，適合日常佩戴。
• 開放式 API：Meta 為開發者提供了開放式 API，允許他們開發新的應用程式和功能。

智能眼鏡的一些典型使用場景包括：

• 社交分享: 使用者可以使用眼鏡拍攝照片和視訊，並將其分享到社交媒體上。
• 資訊獲取: 使用者可以使用眼鏡獲取天氣、交通等資訊。
• 導航: 使用者可以使用眼鏡進行導航，找到目的地。
• 娛樂: 使用者可以使用眼鏡觀看視訊、聽音樂等。

該智能眼鏡代表了 Meta 在擴展其硬體產品線和推動虛擬現實（VR）和增強現實（AR）技術發展方面的努力。通過與雷朋這樣的時尚品牌合作，Meta旨在將高科技與日常生活的時尚元素相結合，為使用者提供更加便捷和實用的智能穿戴解決方案。

Metaverse

Meta 是元宇宙領域的積極佈局者。早在2014年，Meta 就收購了虛擬現實 (VR) 頭顯製造商 Oculus，並將其作為其元宇宙戰略的核心。

Meta 在元宇宙領域的佈局主要包括:

• 硬體: Meta 持續投入 VR/AR 硬體研發，推出了 Oculus Rift、Quest 等 VR 頭顯，以及 Project Aria 等 AR 眼鏡原型。
• 軟體: Meta 開發了 Horizon Worlds 等 VR 社交平台，以及 Presence Platform 等元宇宙基礎設施。
• 內容: Meta 積極投資元宇宙內容生態，與遊戲開發商、創作者合作，打造豐富多元的元宇宙體驗。

Meta 佈局元宇宙的優勢:

• 強大的使用者基礎: Meta 擁有數十億活躍使用者，為其元宇宙平台提供了龐大的潛在使用者群。
• 領先的技術實力: Meta 在 VR/AR 領域擁有領先的技術實力，並持續投入研發。
• 豐富的資源和經驗: Meta 在社交、遊戲等領域擁有豐富的資源和經驗，可以為其元宇宙平台提供強大的支援。

Meta 在元宇宙領域的進展:

• 2021年10月，Facebook 正式更名為 Meta（源於 “Metaverse”），意在表達公司超越現有社交媒體平台，進入更廣闊的虛擬世界和數字空間的決心。
• 2022年2月，Meta 發佈了其首款 VR 一體機 Quest 2 的年度報告，顯示 Quest 2 的銷量已經突破1000萬台。
• 2023年3月，Meta 宣佈將投資100億美元用於元宇宙相關研發。

總體而言，Meta 在元宇宙領域具有領先優勢，但也面臨著諸多挑戰。未來，Meta能否在元宇宙領域取得成功，還有待觀察。

賦能Meta產品服務

AI for Advertising

Meta AI 技術在 Meta 的廣告服務中扮演著重要的角色，主要體現在以下幾個方面：

提高廣告投放的精準度:

• 通過機器學習演算法，Meta 可以分析使用者的興趣、行為和人口統計資料，將廣告投放給最有可能感興趣的人群。
• Meta 的 AI 技術還可以根據使用者的互動情況進行即時調整，最佳化廣告投放效果。

提升廣告的創意水平:

• Meta AI 可以自動生成個性化的廣告素材，例如圖片、視訊和文案，以吸引使用者的注意力。
• AI 技術還可以用於測試不同的廣告素材，並選擇效果最佳的素材進行投放。

最佳化廣告的效果:

• Meta AI 可以追蹤廣告的效果，並提供詳細的分析報告，幫助廣告主瞭解廣告的效果並進行最佳化。
• AI 技術還可以用於預測廣告的效果，並幫助廣告主制定更有效的廣告策略。

增強廣告的安全性:

• Meta AI 可以用於檢測和阻止虛假廣告和欺詐行為，保護使用者和廣告主。
• AI 技術還可以用於識別和過濾有害內容，確保廣告平台的安全和健康。

以下是 Meta AI 技術在廣告服務方面的一些具體應用案例:

• Facebook 的動態廣告: 利用機器學習演算法，根據使用者的興趣和行為，自動投放相關廣告。
• Instagram 的 Reels 廣告: 利用 AI 技術，自動生成個性化的廣告視訊，以吸引使用者的注意力。
• Meta 的 Audience Network: 利用 AI 技術，幫助廣告主將廣告投放給最有可能產生轉化的人群。

Meta AI 技術在廣告服務方面的應用，不僅可以提高廣告的效果，還可以提升使用者體驗，並保護廣告平台的安全。Meta AI 技術在廣告服務方面的應用，正在改變廣告行業的格局。

AI for Safety

Meta AI 技術在網路安全方面發揮著重要作用，主要體現在以下幾個方面：

抵禦網路攻擊:

• Meta AI 可以用於檢測和阻止網路攻擊，例如 DDoS 攻擊、釣魚攻擊和社會工程攻擊。
• AI 技術還可以用於分析網路流量，並識別異常行為，以防範潛在的攻擊。

阻止惡意行為:

• Meta AI 可以用於檢測和阻止網路上的惡意行為，例如垃圾郵件、網路欺凌和虛假資訊傳播。
• AI 技術還可以用於識別和刪除有害內容，例如暴力和仇恨言論。

保護使用者隱私:

• Meta AI 可以用於保護使用者隱私，例如檢測和阻止資料洩露和身份盜竊。
• AI 技術還可以用於分析使用者資料，並識別潛在的隱私風險。

以下是 Meta AI 技術在網路安全方面的一些具體應用案例:

• Meta 的 ThreatX 平台: 利用 AI 技術，檢測和阻止網路攻擊，並保護使用者安全。
• Meta 的 Deepfake Detection Challenge: 旨在開發 AI 技術，用於識別和刪除深度偽造視訊。
• Meta 的 Privacy-preserving Differential Privacy: 利用 AI 技術，在保護使用者隱私的同時，分析使用者資料。

AI 技術可以幫助提高網路安全防護能力，保護使用者安全和隱私。Meta AI 技術在網路安全方面的應用，正在為網路安全領域帶來新的變革。

Meta的AI研究

Meta AI Research 是全球領先的 AI 研究機構之一，在 AI 領域擁有強大的實力和影響力。Meta AI 研究團隊致力於在新的和現有的領域深化對AI的基本理解，其使命是通過開放研究推進AI的最前沿技術。

AI研究領域

Meta AI 研究涵蓋了基礎和應用研究兩個方面，旨在通過開放研究推動AI技術的發展，以造福所有人。

Meta AI 基礎研究領域主要包括：

• 自然語言處理：Meta AI Research 開發了 RoBERTa、BART 等語言模型，在多個 NLP 任務中取得了最先進的成果。
• 電腦視覺：開發新的方法讓電腦能夠更高層次地理解我們周圍的視覺世界。Meta AI Research 開發了 Detectron2、Mask R-CNN 等目標檢測模型，在 COCO 資料集上取得了最先進的成果。
• 語音和音訊：創造口語技術，幫助人們建立社區並與他人聯絡。
• 機器學習：機器學習、強化學習等，建構受人類認知啟發且與之相容的演算法。Meta AI Research 開發了 PyTorch、Caffe2 等深度學習框架，被廣泛應用於學術研究和工業界。
• 生成式AI：建立AI系統，使任何人都能夠將他們的想像力變為現實。
• 具身智能/機器人學：機器人及人機互動，開發能夠在虛擬和物理空間中協助和與人協作的具身代理。

Meta的研究不僅致力於創新，還注重通過研究和社區合作推動創新。他們通過負責任地推進AI研究，同時理解他們的創新對世界的影響。Meta的研究投資大膽且具有遠見，專注於推動AI的邊界，以創造一個更加互聯的世界。

Meta AI Research 首頁：
https://ai.meta.com/research/

FAIR成立10週年

2023年11月30日，Meta AI 負責人 Joelle 在官網發佈了題為 “Celebrating 10 years of FAIR: A decade of advancing the state-of-the-art through open research” 文章，對 FAIR 的過去、發展現狀作了系統回顧，並展望 Meta AI 的未來規劃。

文章主要內容總結如下：

• 在過去的十年中，FAIR通過開放研究推動了人工智慧（AI）領域的深刻變革。FAIR的研究突破不僅在AI領域產生了廣泛影響，而且也樹立了開放和負責任的研究方式的典範。
• FAIR的成立可以追溯到2013年底，當時為了吸引AI領域的頂尖人才，馬克·扎克伯格親自參加了NeurIPS會議。在首席AI科學家Yann LeCun的合作下，組建了一個由深度學習領域最傑出的研究人員組成的團隊。十年間，FAIR在AI的許多難題上取得了進展，例如在對象檢測、機器翻譯等領域。
• FAIR的研究影響在2023年尤為顯著，發佈了Llama這一開放預訓練的大型語言模型，並在多個會議上獲得了最佳論文獎。FAIR的工作在新聞媒體和社交媒體上廣泛傳播。此外，FAIR還推出了新的AI產品和體驗，如Audiobox和Seamless，這些產品和技術現在已被數百萬人使用。
• FAIR在Meta的成功中扮演了關鍵角色，它是全球為數不多的具備實現真正突破的團隊之一，擁有行業內最聰明的頭腦、開放的文化，以及進行探索性研究的自由。這種自由使FAIR保持敏捷，並為建構未來的社交聯絡做出了貢獻。
• 展望未來，FAIR將繼續致力於解決AI領域最困難、最根本的問題。預計未來十年將更多地關注如何將AI的各個部分整合起來，以推進AI的發展。這包括基礎模型的興起，這些大型模型具有越來越通用的能力，以及世界模型的普及，它們可以用於推理和規劃，克服當前AI模型的侷限性。
• FAIR致力於負責任地建構AI模型，並繼續致力於開放科學。目標是分享工作成果，包括論文、程式碼、模型、演示和負責任使用指南，以幫助社區建構更好的AI解決方案。這同時也直接幫助Meta建構更安全、更健壯、更公平和透明的AI解決方案，造福全球使用其產品的眾多使用者。

原文地址：
https://ai.meta.com/blog/fair-10-year-anniversary-open-science-meta/

代表性研究成果

Animated Drawings

Animated Drawings 是 Meta AI 推出的一個開放原始碼專案，可以將使用者繪製的 2D 草圖轉換為生動的動畫。該項目利用了人工智慧技術，能夠自動識別草圖中的角色和元素，並為其新增骨骼和運動軌跡，從而使其能夠進行自然的運動。

演示介紹：
https://sketch.metademolab.com/
Github項目：
https://github.com/facebookresearch/AnimatedDrawings

項目特點:

• 簡單易用: 使用者只需使用簡單的繪圖工具，即可繪製草圖，無需專業繪畫技巧。
• 快速生成動畫: 項目可以快速將草圖轉換為動畫，通常只需幾秒鐘即可完成。
• 多種動畫效果: 項目提供了多種動畫效果，例如行走、奔跑、跳躍等，使用者可以根據需要進行選擇。
• 可定製性: 使用者可以自訂動畫的細節，例如角色的運動速度、顏色和背景等。

技術原理:

• Animated Drawings 項目採用了深度學習技術，模型經過了大量手繪草圖和動畫的訓練，能夠識別草圖中的元素並預測其運動軌跡。
• 項目還使用了物理模擬技術，使動畫更加自然逼真。

Animated Drawings 簡單易用、功能強大，具有廣泛的應用潛力，可以用於教育、娛樂、設計等多個領域。

Voicebox

VoiceBox 是 Meta AI 推出的幫助使用者輕鬆建立高品質的語音合成模型。該項目提供了一個易於使用的介面，使用者只需上傳一段音訊和文字，即可訓練出一個能夠合成類似聲音的模型。

演示介紹：
https://voicebox.metademolab.com/
GitHub項目：
https://ai.meta.com/blog/voicebox-generative-ai-model-speech/

項目特點:

• 簡單易用: 無需專業知識，只需上傳音訊和文字即可訓練模型。
• 快速便捷: 訓練過程只需幾分鐘即可完成。
• 高品質: 生成的語音合成模型可以媲美專業配音演員。
• 多種語言: 支援多種語言的語音合成。

VoiceBox 項目可以用於各種場景，例如:

• 配音: 可以用於為動畫、遊戲、視訊等內容配音。
• 朗讀: 可以用於將文字轉換為語音，用於朗讀文章、書籍等。
• 教育: 可以用於製作語音教材，幫助學生學習知識。
• 輔助工具: 可以用於為殘障人士提供語音輔助工具。

VoiceBox 項目採用了深度學習技術，模型經過了大量音訊和文字的訓練，能夠學習語音的特徵並生成類似的聲音。

Audiobox

AudioBox 是 Meta AI 推出的一個開放原始碼專案，可以幫助使用者輕鬆建立高品質的音訊內容。該項目提供了一個易於使用的介面，使用者只需上傳音訊素材，即可使用各種工具進行編輯、增強和混音，最終生成高品質的音訊作品。

演示介紹：
https://audiobox.metademolab.com/
GitHub項目：
https://ai.meta.com/blog/audiobox-generating-audio-voice-natural-language-prompts/

項目特點:

• 簡單易用: 無需專業知識，只需拖曳音訊素材即可進行編輯。
• 功能強大: 提供多種音訊編輯工具，滿足不同使用者的需求。
• 高品質: 支援高採樣率和高精度音訊處理，保證輸出音質。
• 即時預覽: 支援即時預覽功能，方便使用者調整效果。

AudioBox 項目可以用於各種場景，例如:

• 音樂創作: 可以用於創作音樂、混音、母帶處理等。
• 音訊編輯: 可以用於剪輯音訊、去除噪音、新增音效等。
• 播客製作: 可以用於錄製、編輯和發佈播客節目。
• 視訊製作: 可以用於為視訊新增音樂、音效和旁白等。

AudioBox 項目採用了深度學習技術，結合了強大的音訊處理演算法，能夠對音訊素材進行智能分析和處理，幫助使用者輕鬆建立高品質的音訊作品。

ESM Metagenomic Atlas

ESM Metagenomic Atlas 是 Meta AI 推出的一個大型資料庫，收錄了 7.72 億個元基因組蛋白結構預測。該資料庫旨在為生物學家和研究人員提供一個資源，以瞭解和研究微生物世界。

項目網站：
https://esmatlas.com/

資料庫包含內容:

• 蛋白質結構預測: 資料庫包含了 7.72 億個宏碁因組蛋白質結構預測，涵蓋了超過 100 萬個不同的蛋白質家族。
• 功能註釋: 每個蛋白質結構預測都包含了功能註釋，包括蛋白質的名稱、功能和可能的用途。
• 進化關係: 資料庫還提供了蛋白質結構預測之間的進化關係資訊，幫助研究人員瞭解蛋白質的進化過程。

ESM Metagenomic Atlas 資料庫可以用於各種應用，例如:

• 微生物學研究: 資料庫可以幫助研究人員瞭解微生物的結構和功能，以及它們在環境中的作用。
• 藥物發現: 資料庫可以幫助研究人員發現新的藥物靶點和藥物。
• 生物技術: 資料庫可以幫助開發新的生物技術，例如用於生物燃料生產和環境修復。

ESM Metagenomic Atlas 資料庫的發佈是生物學研究領域的一項重大突破，它將為研究人員提供一個寶貴的資源，以瞭解和研究微生物世界，將對生物學研究領域產生重大影響。

No Language Left Behind

No Language Left Behind (NLLB) 是 Meta AI 提出的一項雄心勃勃的計畫，旨在為世界上所有語言開發高品質的機器翻譯模型。該項目的目標是打破語言障礙，讓所有人都能平等地獲取資訊和知識。

項目介紹：
https://ai.meta.com/research/no-language-left-behind/
演示網站：
https://nllb.metademolab.com/

項目背景:

• 目前，世界上存在著超過 7000 種語言，但大多數語言都沒有高品質的機器翻譯模型。
• 這導致許多人無法獲取他們母語以外的資訊和知識，也無法與說其他語言的人交流。

NLLB 項目的目標是為世界上所有語言開發高品質的機器翻譯模型，包括那些資源匱乏、缺乏訓練資料的語言。該項目將採用以下措施來實現這一目標：

• 收集和開源更多語言的資料
• 開發新的機器翻譯模型和演算法
• 與研究人員和社區合作

NLLB 項目進展情況：該項目已經收集了超過 100 種語言的資料，並開發了新的機器翻譯模型，可以為這些語言提供高品質的翻譯。

NLLB 項目的成功將對世界產生重大影響。它將打破語言障礙，讓所有人都能平等地獲取資訊和知識，並促進不同文化之間的交流和理解。

CICERO

CICERO 是 Meta AI 提出的大型語言模型 (LLM) 對話代理項目，其目標是建構能夠與人類進行開放域、資訊豐富且引人入勝的對話的 AI 系統。CICERO 基於 Meta AI 的 Megatron-Turing NLG 530B 模型建構，並採用了強化學習技術進行訓練，使其能夠根據對話上下文生成更具資訊量、相關性和趣味性的回覆。

項目介紹：
https://ai.meta.com/research/CICERO/

項目背景:

近年來，LLM 在各種自然語言處理任務中取得了顯著進步，但在開放域對話方面仍面臨一些挑戰，例如難以生成與上下文相關的回覆、缺乏資訊量和趣味性等。

項目目標:

CICERO 項目旨在解決上述挑戰，建構能夠與人類進行更自然、流暢和有趣的對話的 LLM 系統。該項目將重點關注以下幾個方面：

• 提高對話的上下文相關性
• 增加對話的資訊量
• 增強對話的趣味性

CICERO 項目已經取得進展：在與人類進行的對話測試中，CICERO 能夠生成與上下文相關的回覆，並提供豐富的資訊和有趣的觀點。

CICERO 項目的成功將對人機互動領域產生重大影響。它將為建構更智能、更人性化的對話系統奠定基礎，並推動人機互動技術的進步。

Generating Biographies

Generating Biographies 是 Meta AI 提出的一項研究項目，旨在利用人工智慧技術自動生成人物傳記。該項目使用了一種基於Transformer的模型，可以從文字和程式碼中提取資訊，並生成個性化、簡潔易懂的人物傳記。

項目介紹：
https://ai.meta.com/research/impact/generating-biographies/

項目背景:

撰寫人物傳記是一項耗時費力的工作，需要大量的時間和精力收集資料、進行分析和寫作。傳統的傳記寫作方式也存在一些侷限性，例如難以滿足不同讀者的個性化需求。

項目目標:

Generating Biographies 項目旨在利用人工智慧技術，克服傳統傳記寫作方式的侷限性，自動生成滿足不同讀者需求的人物傳記。該項目將重點關注以下幾個方面：

• 提高傳記的精準性和可靠性
• 增強傳記的個性化和趣味性
• 降低傳記寫作的門檻

Generating Biographies 項目已經取得了一些進展：該項目開發的模型可以生成精準、簡潔易懂的人物傳記，並能夠根據讀者的興趣和需求進行個性化定製。

Generating Biographies 項目的成功將對傳記寫作領域產生重大影響。它將為人們提供一種更加便捷、高效的方式來獲取人物資訊，並促進傳記閱讀的普及。

FastMRI

Meta AI 的 FastMRI 項目旨在開發一種快速、精準的磁共振成像 (MRI) 重建方法。

項目介紹：
https://ai.meta.com/research/impact/fastmri/

該項目使用深度學習技術，可以大幅減少 MRI 掃描所需的時間，同時保持高影像品質。

• 項目背景：傳統的 MRI 掃描時間長、成本高，這限制了其在臨床應用中的廣泛使用。為瞭解決這一問題，研究人員一直在尋求更快、更有效的 MRI 重建方法。
• 項目方法：FastMRI 項目使用深度學習技術來重建 MRI 圖像。該項目使用了一種稱為“殘差網路”的深度學習模型，該模型可以從少量資料中學習到 MRI 圖像的重建過程。
• 項目成果：FastMRI 項目取得了顯著成果。該項目開發的深度學習模型可以將 MRI 掃描時間縮短 10 倍以上，同時保持高影像品質。
• 項目影響：FastMRI 項目有望對 MRI 技術的臨床應用產生重大影響。該項目可以使 MRI 掃描更加快速、方便，從而提高 MRI 檢查的效率和可及性。

FastMRI 項目仍在進行中。研究人員正在進一步提高深度學習模型的性能，並將其應用於更多的臨床應用場景。

Open Catalyst Project

Open Catalyst 項目是 Meta AI 和卡內基梅隆大學基礎人工智慧研究部門 (FAIR) 合作進行的協作研究項目。

項目網站：
https://opencatalystproject.org/

該項目旨在利用人工智慧技術，特別是機器學習，來研究和發現新的催化劑，以應對氣候變化等能源挑戰。

• 項目背景：催化劑在化學反應中起著重要作用，可以提高反應效率並降低能耗。然而，傳統的催化劑發現過程漫長且昂貴，需要大量的實驗和測試。
• 項目方法：Open Catalyst 項目使用機器學習技術來加速催化劑的發現過程。該項目使用了一種稱為“生成模型”的機器學習模型，該模型可以從已知的催化劑資料中學習到催化劑的結構和性能之間的關係。
• 項目成果：Open Catalyst 項目已經取得了一些重要成果。該項目開發的機器學習模型可以預測新的催化劑的性能，並幫助研究人員設計更有效的催化劑。
• 項目影響：Open Catalyst 項目有望對催化劑科學和技術領域產生重大影響。該項目可以加速催化劑的發現過程，並推動清潔能源技術的發展。

Open Catalyst 項目仍在進行中。研究人員正在進一步提高機器學習模型的性能，並將其應用於更多的催化劑發現場景。

wav2vec

wav2vec 項目是 Meta AI 團隊開發的一個用於語音識別的開放原始碼專案。

項目介紹：
https://ai.meta.com/research/impact/wav2vec/

該項目使用了一種稱為“自監督學習”的技術，可以從大量的無監督語音資料中學習到語音識別的特徵。

• 項目背景：傳統的語音識別技術需要大量的人工標註資料進行訓練，這使得它們難以應用於低資源語言和方言。
• 項目方法：wav2vec 項目使用自監督學習技術來訓練語音識別模型。自監督學習不需要人工標註資料，而是從語音資料本身中學習。
• 項目成果：wav2vec 項目取得了顯著成果。該項目開發的語音識別模型在多個語言和方言上都取得了最先進的性能。
• 項目影響：wav2vec 項目有望對語音識別技術產生重大影響。該項目可以降低語音識別技術的成本和門檻，使其能夠應用於更多的語言和方言，最終造福全球數十億人。

wav2vec 項目仍在進行中。研究人員正在進一步提高語音識別模型的性能，並將其應用於更多的場景，例如語音轉錄、機器翻譯等。

AI基礎設施

Meta AI 擁有世界上最先進的人工智慧基礎設施之一，該基礎設施為 Meta AI 的研究和開發工作提供了強大的支援。

Meta AI 基礎設施的優勢:

• 規模龐大: Meta AI 基礎設施擁有數十萬個 GPU 和 TPU，以及數百 PB 的儲存空間。這使得 Meta AI 能夠訓練和運行世界上最大的 AI 模型。
• 高性能: Meta AI 基礎設施經過專門設計，以滿足 AI 工作負載的獨特需求。這使得 Meta AI 能夠以儘可能快的速度進行訓練和推理。
• 可擴展性: Meta AI 基礎設施可以根據需要進行擴展，以滿足不斷增長的 AI 研究和開發需求。

Meta AI 基礎設施正在對人工智慧領域產生重大影響。它使 Meta AI 能夠快速進行尖端的研究，並開發具有變革性的 AI 產品和服務以領先競爭對手。

Meta AI Infrastructure 介紹：
https://ai.meta.com/infrastructure/

Meta AI訓練和推理加速器

MTIA (Meta Training and Inference Accelerator) 是 Meta AI 開發的訓練和推理加速器晶片，專為大型人工智慧模型的訓練和推理進行了最佳化。

MTIA 晶片的特點:

• 高性能: MTIA 晶片的性能比現有的 CPU 和 GPU 高得多，能夠顯著縮短大型人工智慧模型的訓練和推理時間。
• 高能效: MTIA 晶片的能效比現有的 CPU 和 GPU 高得多，能夠在降低功耗的情況下提高性能。
• 可擴展性: MTIA 晶片可以根據需要進行擴展，以滿足不斷增長的 AI 訓練和推理需求。

MTIA v1 的一些具體技術指標:

• 電晶體數量: 650 億
• 功耗: 100 瓦
• 峰值性能: 100 FLOPS

MTIA 晶片的推使 Meta 能夠開發更加強大和高效的人工智慧產品和服務，並推動人工智慧技術的普及。

MTIA v1 介紹：
https://ai.meta.com/blog/meta-training-inference-accelerator-AI-MTIA/

Meta AI視訊解碼專用晶片

MSVP 是 Meta AI 開發的可擴展視訊處理器晶片，專為視訊處理和傳輸進行了最佳化。

MSVP 晶片的特點:

• 高性能: MSVP 晶片的性能比現有的 CPU 和 GPU 高得多，能夠顯著提高視訊處理和傳輸的速度。
• 高能效: MSVP 晶片的能效比現有的 CPU 和 GPU 高得多，能夠在降低功耗的情況下提高性能。
• 可擴展性: MSVP 晶片可以根據需要進行擴展，以滿足不斷增長的視訊處理和傳輸需求。

MSVP 晶片將被用於 Meta 的各種視訊產品和服務，包括：

• Facebook 視訊直播: MSVP 晶片將用於提高視訊直播的質量和流暢性。
• Instagram 視訊濾鏡: MSVP 晶片將用於提高視訊濾鏡的應用速度和效果。
• WhatsApp 視訊通話: MSVP 晶片將用於提高視訊通話的質量和清晰度。

MSVP 晶片的推出將使 Meta 能夠開發更加強大和高效的視訊產品和服務，並推動視訊技術的普及。

MSVP 介紹：
https://ai.meta.com/blog/meta-scalable-video-processor-MSVP/

Meta AI超級電腦

AI Research SuperCluster (RSC) 是 Meta 建造的最強大的 AI 超級電腦，專門用於 AI 研究。它於 2022 年 1 月正式投入使用，並於 2023 年 6 月全面建成。RSC 的目標是幫助 Meta 研究人員開發能夠從數萬億個示例中學習的大型 AI 模型，並建構更好的增強現實 (AR) 工具，以及無縫地分析文字、圖像和視訊。

RSC 擁有強大的計算能力、高儲存容量和高速網路，能夠支援訓練和運行大型 AI 模型，並用於建構 AR 工具和分析文字、圖像和視訊。RSC 將幫助 Meta 研究人員開發更先進的 AI 技術，並推動元宇宙的發展。

技術規格

• 峰值性能: 1.75 exaflops
• AI 性能: 5 petaflops
• 儲存容量: 17.5 petabytes
• 網路頻寬: 400 gigabits per second

RSC 由以下部分組成:

• 計算節點: 由 NVIDIA DGX A100 GPU 組成
• 儲存節點: 由 Pure Storage FlashArray//X NVMe 儲存系統組成
• 網路: 由 Mellanox InfiniBand HDR 200 互連組成

RSC 的優勢

• 強大的計算能力: RSC 能夠支援訓練和運行大型 AI 模型，這些模型需要數萬億個示例才能學習。
• 高儲存容量: RSC 能夠儲存大量資料，用於訓練 AI 模型和開發 AR 工具。
• 高速網路: RSC 能夠快速傳輸資料，支援即時 AI 應用。

RSC 介紹：
https://ai.meta.com/blog/ai-rsc/

Meta的AI開源

開源工具和框架

PyTorch

PyTorch 是一個基於 Python 的深度學習框架。它旨在為研究人員和開發人員提供一個簡單、靈活、高效的工具，用於建構和部署深度學習模型。

介紹頁面：
https://ai.meta.com/tools/pytorch/
官網：
https://pytorch.org/

PyTorch 的主要特點:

• 簡單易用: PyTorch 的 API 設計簡潔明了，易於學習和使用。
• 靈活: PyTorch 支援動態圖程式設計，可以靈活地建構和偵錯模型。
• 高效: PyTorch 經過最佳化，可以充分利用 GPU 和 CPU 的計算能力。

PyTorch 的應用領域:

• 電腦視覺: 圖像分類、目標檢測、圖像分割等
• 自然語言處理: 機器翻譯、文字生成、問答等
• 語音識別: 語音識別、語音合成等
• 推薦系統: 推薦演算法、個性化推薦等

PyTorch 是目前最流行的深度學習框架之一，被廣泛應用於學術研究和工業實踐。如果你正在學習或使用深度學習，PyTorch 是一個非常不錯的選擇。

ParlAI

ParlAI 是一個基於 Python 的對話式人工智慧框架。它旨在為研究人員和開發人員提供一個簡單、易用、可擴展的平台，用於建構和訓練對話式 AI 模型。

介紹頁面：
https://ai.meta.com/tools/parlai/
項目網站：
https://parl.ai/

ParlAI 的主要特點:

• 簡單易用: ParlAI 提供了一個簡單的 API，可以輕鬆建構對話式 AI 模型。
• 可擴展: ParlAI 支援多種對話任務和模型，可以擴展以支援新的任務和模型。
• 社區活躍: ParlAI 擁有一個活躍的社區，可以為使用者提供幫助和支援。

ParlAI 可用於建構各種對話式 AI 應用:

• 聊天機器人: 可以用於建構各種聊天機器人，例如客服機器人、問答機器人等。
• 虛擬助手: 可以用於建構虛擬助手，例如智能家居助手、語音助手等。
• 教育和培訓: 可以用於建構教育和培訓系統，例如語言學習系統、職業培訓系統等。

ParlAI 的優勢:

• 支援多種對話任務: ParlAI 支援各種對話任務，例如閒聊、問答、指令等。
• 支援多種模型: ParlAI 支援多種對話模型，例如 seq2seq、Transformer 等。
• 提供豐富的評估指標: ParlAI 提供了豐富的評估指標，可以幫助您評估模型的性能。

ParlAI 是一個非常有用的工具，可以幫助您快速建構和訓練對話式 AI 模型。

MMF

MMF (Modular Multimodal Framework) 是一個用於視覺語言多模態研究的模組化框架，基於 PyTorch 建構。

項目網站：
https://mmf.sh/

MMF 的主要特點:

• 模組化: MMF 採用模組化設計，可靈活地組合不同的視覺和語言模組，方便研究人員快速建構和實驗新的多模態任務。
• 易於使用: MMF 提供了簡單易用的 API，降低了入門門檻。
• 可擴展: MMF 支援多種視覺語言任務，並且可以方便地擴展以支援新的任務和模型。

MMF 可用於多種視覺語言任務:

• 視覺問答 (VQA): 理解圖像並回答相關問題。
• 圖像描述: 根據圖像生成描述文字。
• 視覺對話: 進行基於圖像的對話。
• 其他視覺語言任務: 涵蓋情感分析、檢索等領域。

MMF 是一個功能強大且易於使用的框架，非常適合視覺語言多模態研究人員使用。

DynaBench

DynaBench 是一個用於動態資料收集和基準測試的研究平台。

介紹頁面：
https://ai.meta.com/tools/dynabench/
項目網站：
https://dynabench.org/

DynaBench 旨在解決靜態基準測試中存在的一些問題，例如：

• 快速飽和: 靜態基準測試中的模型容易快速達到性能上限，無法反映其在真實世界中的表現。
• 過度擬合: 靜態基準測試資料可能存在資料洩露，導致模型過度擬合測試集，無法泛化到新資料。
• 註釋者偏差: 靜態基準測試資料可能包含註釋者偏差，影響模型的性能評估。
• 評估指標不完善: 靜態基準測試使用的評估指標可能並不完美，無法精準反映模型的實際效用。

DynaBench 的主要特點:

• 動態資料收集: DynaBench 可以根據模型的性能動態地生成新的測試資料，避免模型快速飽和和過度擬合。
• 減少註釋者偏差: DynaBench 降低了註釋者偏差對測試結果的影響。
• 更完善的評估指標: DynaBench 使用更貼近真實世界的評估指標來衡量模型的性能。

DynaBench 可用於各種機器學習任務的基準測試，例如:

• 電腦視覺: 圖像分類、目標檢測等
• 自然語言處理: 機器翻譯、文字摘要等
• 推薦系統: 商品推薦、新聞推薦等

使用 DynaBench 可以幫助研究人員更加精準地評估機器學習模型的性能，並促進模型在真實世界中的應用。

KILT Benchmarking

KILT (Knowledge Intensive Language Tasks) 是一項針對知識密集型語言任務的訓練、評估和分析自然語言處理 (NLP) 模型的資源。

介紹頁面：
https://ai.meta.com/tools/kilt/
GitHub項目：
https://github.com/facebookresearch/KILT/

知識密集型語言任務 指的是需要模型不僅能夠理解語言本身，還需要能夠利用外部知識庫中的知識來完成任務，例如:

• 問答: 根據提供的文字段落回答問題，可能需要查詢知識庫獲取資訊。
• 常識推理: 判斷給定命題是否符合常識，例如 "所有鳥都會飛" 則為真，"所有企鵝都會飛" 則為假。
• 情感分析: 結合上下文的知識，分析文字的情感傾向。

KILT 的主要特點:

• 豐富的資料集: KILT 提供了涵蓋多種知識密集型語言任務的大型資料集，可以用於訓練和評估 NLP 模型。
• 評估指標: KILT 提供了針對不同任務的評估指標，可以幫助研究人員全面地評估模型的性能。
• 分析工具: KILT 提供了一些分析工具，可以幫助研究人員更好地理解模型的優缺點。

以下是一些 KILT 的優勢:

• 涵蓋多種任務: KILT 涵蓋了多種知識密集型語言任務，可以滿足不同研究需求。
• 豐富的資源: KILT 提供了資料集、評估指標和分析工具，方便研究人員使用。
• 促進模型研發: KILT 可以幫助研究人員開發出更強大的 NLP 模型，用於各種與知識相關的任務。

使用 KILT 可以幫助研究人員開發出能夠更好地理解和利用知識的 NLP 模型。

Glow

Glow 是一個機器學習編譯器，旨在加速深度學習框架在不同硬體平台上的性能。

介紹頁面：
https://ai.meta.com/tools/glow/
GitHub項目：
https://github.com/pytorch/glow

Glow 允許硬體開發人員和研究人員專注於建構下一代硬體加速器，這些加速器可以被 PyTorch 等深度學習框架支援。

Glow 的主要功能:

• 編譯深度學習模型: Glow 可以將深度學習模型轉換為不同硬體平台可以高效執行的格式，從而提升模型的運行速度。
• 支援多種硬體平台: Glow 可以支援多種硬體平台，例如 CPU、GPU、TPU 等，使其具有廣泛的適用性。
• 開放式設計: Glow 採用開放式設計，方便開發者擴展其功能，支援更多硬體平台和深度學習框架。

Glow 的優勢:

• 提升性能: 通過將模型編譯為特定硬體平台的格式，Glow 可以顯著提升深度學習模型的運行速度。
• 提高效率: Glow 可以幫助硬體開發人員和研究人員更加高效地開發和部署深度學習模型。
• 促進創新: Glow 鼓勵硬體開發人員和研究人員專注於開發下一代硬體加速器，從而推動深度學習領域的技術進步。

Glow 的應用場景:

• 深度學習推理: 在部署深度學習模型進行推理任務時，Glow 可以顯著提升模型的運行速度。
• 雲端運算: 雲端運算平台可以使用 Glow 來最佳化深度學習模型的性能，為使用者提供更快的服務。
• 嵌入式裝置: Glow 可以將深度學習模型部署到嵌入式裝置上，例如智慧型手機、智能家居裝置等，使其能夠運行複雜的深度學習任務。

Glow 是一個重要的機器學習工具，可以幫助使用者提升深度學習模型的性能，並促進深度學習技術在各領域的應用。

Hydra

Hydra 是一個開放原始碼的 Python 框架，用於優雅地組態複雜應用程式。

項目網站：
https://hydra.cc/
GitHub項目：
https://github.com/facebookresearch/hydra

Hydra 的核心功能是:

• 分層組態: Hydra 可以將應用程式組態拆解成多個層次，並從命令列和組態檔案中進行動態組合和覆蓋，使組態更加清晰易懂。
• 命令列覆蓋: 使用者可以在運行程序時通過命令列參數覆蓋組態檔案中的組態項，方便進行快速試驗和參數調整。
• 動態生成命令列補全: Hydra 會根據組態檔案自動生成命令列參數的補全提示，提高開發效率。
• 遠端運行: Hydra 可以輕鬆地在本地或遠端機器上運行應用程式，方便大規模計算和分佈式訓練。
• 批次運行: Hydra 允許使用者使用單條命令運行多個具有不同組態的應用程式實例，提高效率。

Hydra 的優勢:

• 簡化組態管理: 通過分層組態和命令列覆蓋，Hydra 可以顯著降低複雜應用程式的組態管理難度。
• 提高開發效率: 動態生成命令列補全和批次運行功能可以幫助開發者更快地進行試驗和開發。
• 支援遠端運行: Hydra 適用於分散式運算和訓練場景。

Hydra 常用於以下場景:

• 機器學習項目: 組態和運行複雜的機器學習模型訓練和評估 pipeline。
• 科學計算: 管理和運行複雜的科學計算任務。
• 大型軟體項目: 簡化複雜軟體項目的組態管理。

Hydra 是一個功能強大且易於使用的框架，可以幫助開發者簡化複雜應用程式的組態管理，提高開發效率。

開源模型

Segment Anything

Meta AI 的 Segment Anything Model (SAM) 是一種設計用於從開放世界圖像訓練通用對象分割模型，可以通過簡單的操作，精準地從圖像中分割出任何物體。

項目網站：
https://segment-anything.com/
GitHub項目：
https://github.com/facebookresearch/segment-anything

SAM 的強大之處:

• 自動分割: 使用者無需手動勾勒物體的邊界，SAM 可以自動識別圖像中的物體並進行分割。
• 廣泛適用: SAM 能夠處理各種類型的圖像，並且可以分割出各種各樣的物體。
• 高精度分割: SAM 分割出的物體具有較高的精度，可以滿足摳圖等精細操作的需求。
• 易於使用: 只需點選物體，SAM 就可以完成分割，操作簡單方便。

SAM 的潛在應用:

• 圖像編輯: 可以幫助使用者輕鬆摳出圖像中的物體，用於製作海報、摳圖換背景等。
• 虛擬現實/增強現實: 可以用於虛擬場景的物體摳取和替換。
• 自動駕駛: 可以幫助自動駕駛汽車識別並分割道路上的行人、車輛等物體。

SAM 的出現簡化了圖像分割的過程，有望在圖像編輯、虛擬現實等領域帶來廣泛的應用。需要注意的是，SAM 目前仍處於研發階段，其分割精度和泛化能力可能還會進一步提升。

Detectron2

Detectron2 是一個用於對象檢測、分割和其他視覺識別任務的平台。它是 Detectron 和 maskrcnn-benchmark 的繼任者，旨在提供更強大、更易用、更靈活的工具。

介紹頁面：
https://ai.meta.com/tools/detectron2/
GitHub項目：
https://github.com/facebookresearch/Detectron2

Detectron2 的主要特點:

• 高效實現: 基於 PyTorch 框架建構，提供高效的物體檢測和分割演算法實現。
• 豐富預訓練模型: 提供一系列預訓練模型，可用於快速啟動新任務或微調現有模型。
• 支援多種任務: 除了物體檢測和分割，還支援關鍵點檢測、泛光分割等多種視覺識別任務。
• 模組化設計: 採用模組化設計，方便研究人員根據需要定製和擴展框架功能。
• 活躍社區: 擁有活躍的社區，可以提供幫助和支援。

Detectron2 可用於各種電腦視覺任務，例如:

• 自動駕駛: 檢測道路上的行人、車輛、障礙物等。
• 醫學圖像分析: 檢測 X 光片中的腫瘤、細胞等。
• 零售業: 檢測貨架上的商品、識別顧客行為等。

Detectron2 是一個功能強大、易於使用且可擴展的平台，非常適合從事物體檢測和分割等電腦視覺任務的研究人員和開發人員。

Fairseq

Fairseq 一個序列建模工具包，用於訓練用於翻譯、摘要和其他文字生成任務的自訂模型。

介紹頁面：
https://ai.meta.com/tools/fairseq/
GitHub項目：
https://github.com/facebookresearch/fairseq

Fairseq 的主要特點:

• 支援多種任務: 可訓練用於翻譯、摘要、文字生成等多種文字處理任務的序列模型。
• 參考實現: 提供了各種序列到序列模型的參考實現，例如 LSTM 網路和一種比傳統循環神經網路 (RNN) 速度更快的摺積神經網路 (CNN) 架構。
• 易於使用: 提供清晰的 API 和文件，方便使用者上手使用。
• 可擴展: 支援自訂模型架構和訓練流程，方便使用者根據需求進行擴展。
• 開源: 開放原始碼，供使用者自由使用和修改。

Fairseq 的應用場景:

• 機器翻譯: 訓練翻譯模型，將一種語言的文字翻譯成另一種語言。
• 文字摘要: 訓練模型自動生成文字摘要。
• 問答系統: 訓練模型回答使用者提出的問題。
• 聊天機器人: 訓練模型用於對話互動。

Fairseq 是一個功能強大、易於使用且可擴展的工具包，非常適合從事文字處理任務的研究人員和開發人員。

DE⫶TR

DE⫶TR (DEtection TRansformer) 是一種用於物體檢測的深度學習模型，主要是利用 Transformer 架構實現端到端的物體檢測。

介紹文章：
https://ai.meta.com/blog/end-to-end-object-detection-with-transformers/
GitHub項目：
https://github.com/facebookresearch/detr

DE⫶TR 的主要特點:

• 端到端檢測: DE⫶TR 拋棄了傳統物體檢測中複雜的流水線，而是直接使用 Transformer 模型進行端到端的物體檢測，簡化了模型結構。
• Transformer 架構: DE⫶TR 利用 Transformer 的強大平行處理能力和注意力機制，可以更好地學習物體之間的關係和全域資訊。
• 高效性能: DE⫶TR 在 COCO 資料集上取得了 42 AP 的檢測精度，同時計算量 (FLOPs) 僅為 Faster R-CNN 的一半，參數量相同。
• 簡潔易用: DE⫶TR 的 PyTorch 實現僅需 50 行程式碼，易於理解和使用。

以下是一些 DE⫶TR 的潛在優勢:

• 更強的泛化能力: Transformer 架構的優勢之一是能夠學習全域資訊和長距離依賴關係，這可能使 DE⫶TR 能夠更好地泛化到新資料。
• 更快的訓練速度: 端到端的訓練方式可能會比傳統流水線式的方法更快。

DE⫶TR 是一個新穎高效的物體檢測模型，利用 Transformer 架構實現了端到端的物體檢測，在性能和易用性方面都取得了不錯的平衡。

ImageBind

ImageBind 是首個能夠同時繫結來自六種模態的資料的AI模型，並且無需顯式監督，從而提升人工智慧的理解和生成能力。

演示介紹：
https://imagebind.metademolab.com/
GitHub項目：
https://github.com/facebookresearch/ImageBind

ImageBind 的主要特點:

• 六種模態: ImageBind 可以處理來自圖像和視訊、音訊、文字、深度資訊、熱輻射以及慣性測量單元 (IMU) 的資料。
• 無需顯式監督: 傳統上，訓練 AI 模型需要大量標記的資料。ImageBind 則可以利用圖像本身的 "繫結" 屬性，僅使用圖像配對資料進行訓練，從而降低了訓練資料的需求。
• 跨模態學習: ImageBind 可以學習不同模態之間存在的關係，例如圖像中的物體可能與文字描述或周圍的聲音相關聯。這使 AI 能夠更好地理解周圍的世界。
• 多種應用: ImageBind 的能力可以應用於許多領域，例如改善機器人導航、增強現實體驗、開發更智能的搜尋引擎等。

ImageBind 的潛在優勢:

• 更強的理解能力: 跨感官“連結”可以使 AI 更好地理解事物的語境和關聯，從而提升理解能力。
• 更豐富的生成內容: AI 可以利用不同感官的資訊生成更加豐富和多樣的內容。
• 更自然的互動方式: AI 可以通過多種感官與人類進行互動，使互動更加自然和高效。

ImageBind 的應用場景:

• 多模態搜尋: 可以根據使用者輸入的文字、圖像或語音進行多模態搜尋，提供更精準的結果。
• 智能創作: 可以利用不同感官的資訊進行創作，例如生成圖文並茂的文章或音樂視訊。
• 人機互動: 可以使人機互動更加自然和高效，例如通過手勢和語音控制智能家居裝置。

這項突破性研究幫助推動了AI的發展，使機器能夠更好地聯合分析多種不同形式的資訊。該項目目前處於早期研究階段，儘管存在一些挑戰，ImageBind 代表了人工智慧發展的新方向，其未來的發展值得期待。

DINOv2

DINOv2 是一組基於自監督學習的視覺 Transformer 模型，適用於圖像級視覺任務（圖像分類、實例檢索、視訊理解）以及像素級視覺任務（深度估計、語義分割）。

演示介紹：
https://dinov2.metademolab.com/
GitHub項目：
https://github.com/facebookresearch/dinov2

DINOv2 的主要特點:

• 自監督學習: DINOv2 通過自監督學習的方式進行訓練，不需要大量的人工標註資料，可以更有效地利用非標註資料進行學習。
• 通用特徵: DINOv2 能夠提取適用於多種圖像視覺任務的通用特徵，包括圖像分類、圖像檢索、視訊理解、深度估計和語義分割等。
• Transformer 架構: DINOv2 採用 Transformer 架構，該架構擅長於處理序列資料，能夠更好地學習圖像中不同部分之間的關係。

DINOv2 的優勢:

• 高效利用資料: 可以利用大量非標註資料進行訓練，降低對人工標註資料的依賴。
• 廣泛的適用性: 生成的通用特徵可用於多種圖像視覺任務，提高模型的泛化能力。
• 強大的性能: 在多個視覺任務上取得了 SOTA 的性能表現。

DINOv2 是一種高效實用的視覺 Transformer 模型，可用於多種圖像視覺任務，具有廣闊的應用前景。

VizSeq

VizSeq 是一個用於自然語言生成(翻譯、字幕、摘要等)的可視化分析工具包。它提供了一個加速計分器的集合，在 Jupyter Notebook/Web App 中可視化，並與fairseq無縫整合。

項目網站：
https://facebookresearch.github.io/vizseq/

VizSeq 的主要特點:

• 可視化分析: VizSeq 提供各種可視化工具，例如注意力得分可視化和嵌入空間可視化，幫助使用者理解模型在生成文字過程中是如何處理資訊以及如何做出決策的。
• 支援多種任務: VizSeq 適用於多種文字生成任務，例如機器翻譯、圖像描述、自動摘要等。
• 易於使用: VizSeq 提供易於上手的 API 和互動式介面，方便使用者使用。

VizSeq 的優勢:

• 提升模型理解: 可視化分析可以幫助使用者更好地理解模型的內部運作方式，發現模型的潛在問題並加以改進。
• 輔助決策: 可視化分析的結果可以幫助使用者判斷模型生成文字的質量，並做出相應的決策。
• 促進研究: VizSeq 可以幫助研究人員更好地進行文字生成模型的研究，開發出更加高效和精準的模型。

VizSeq 是一個功能強大且易於使用的可視化分析工具包，可以幫助使用者更好地理解和改進文字生成模型。

AudioCraft

AudioCraft 是一個功能齊全的程式碼庫，可通過文字生成音樂、音效，並可在訓練原始音訊訊號後進行壓縮。Meta AI 已經發佈了可控制的高品質模型，用於從文字輸入生成音樂和音訊。它代表了互動式人工智慧系統發展的重大進展，使人們能夠輕鬆自然地與人工智慧模型共同創造。

介紹頁面：
https://ai.meta.com/resources/models-and-libraries/audiocraft/
GitHub項目：
https://github.com/facebookresearch/audiocraft

AudioCraft 的主要特點:

• 從文字生成音訊: AudioCraft 可以根據使用者提供的文字描述生成相應的音樂或音效，例如，輸入 "歡快的背景音樂"，可能會生成輕快的旋律。
• 高品質生成: AudioCraft 生成的音訊質量很高，接近於真實的人工創作。
• 可控生成: 使用者可以控制生成的音訊的某些方面，例如風格、情緒和節奏。
• 涵蓋多種音訊類型: 除了音樂和音效，AudioCraft 還能夠生成經過壓縮的音訊檔案。

AudioCraft 的潛在優勢:

• 提高內容創作效率: 音樂家、音效師等內容創作者可以使用 AudioCraft 來提高創作效率，生成草稿或輔助創作靈感。
• 個性化音訊體驗: 使用者可以根據自己的喜好來自訂生成的音訊，獲得個性化的聆聽體驗。
• 推動人機協作: AudioCraft 可以促進人和 AI 的協作創作，使人們能夠發揮想像力和創造力，並借助 AI 的強大生成能力來完成作品。

AudioCraft 是一個引人注目的文字生成音訊工具，有望在內容創作、人機互動等領域帶來新的可能性。AudioCraft 目前仍處於開發階段，其功能和性能可能會不斷改進。

ELF OpenGo

ELF是 FAIR 開發的一個廣泛、輕量級、靈活的遊戲研究平台，允許研究人員和開發人員在各種遊戲環境中訓練和測試他們的演算法，從棋盤遊戲到定製的即時戰略遊戲。

FAIR 用ELF建構了圍棋機器人 ELF OpenGo，它在2018年4月與四位全球排名前30的選手的比賽中取得了14勝0負的戰績，最終比分是20比0（每個職業圍棋選手下5局）。

介紹頁面：
https://ai.meta.com/tools/elf-opengo/
GitHub項目：
https://github.com/pytorch/ELF

ELF OpenGo 的貢獻:

• 促進圍棋人工智慧發展: ELF OpenGo 的開源促進了圍棋人工智慧領域的研究，推動了該領域的技術進步。
• 推動人工智慧應用探索: ELF OpenGo 的開源使得更多的人可以接觸和研究頂尖的人工智慧技術，有利於探索其在其他領域的應用。

ELF OpenGo 的訓練模型和程式碼均已開源，供研究人員和公眾免費使用，旨在激發人們思考這項技術的潛在應用和研究方向。ELF OpenGo 是一個具有里程碑意義的圍棋人工智慧程序，其開源開放的舉措推動了圍棋人工智慧乃至整個人工智慧領域的發展。

Visual Cortex-1 (VC-1)

Visual Cortex-1 (VC-1) 是 Meta AI 研發的一款從人類活動和模擬互動的視訊中學習的機器人模型，旨在提升電腦視覺模型對視覺資訊的理解能力。

項目網站：
https://eai-vc.github.io/

VC-1 的主要特點:

• 基於基準測試訓練: VC-1 的訓練基於 Meta AI 建立的 CortexBench，該基準測試包含 7 項針對視覺表示模型的評測任務。
• 綜合現有模型優勢: VC-1 在訓練過程中，吸取了多種現有視覺表示模型的優點。
• 可擴展性強: VC-1 可以通過微調的方式，使其適應特定的應用領域。

VC-1 的潛在應用場景:

• 自動駕駛: 識別道路上的行人、車輛、障礙物等，幫助自動駕駛系統進行安全導航。
• 醫學圖像分析: 輔助醫生診斷疾病，例如識別 X 光片中的腫瘤等。
• 智能家居: 識別使用者行為，提供智能家居控制等功能。

需要注意的是，VC-1 目前仍處於研究階段，其在實際應用中的效果還有待進一步驗證。

Common Objects in 3D (CO3D)

Common Objects in 3D (CO3D) 是一個用於學習真實世界常見物體類別的 3D 重建和新視角合成的資料集。該資料集由 Meta AI 建立，並在 2021 年 ICCV 國際電腦視覺會議論文中提出。

介紹頁面：
https://ai.meta.com/datasets/co3d-dataset/
GitHub項目：
https://github.com/facebookresearch/co3d/

CO3D 的特點:

• 真實世界資料: 使用來自真實世界的多視角圖像，更貼近實際應用場景。
• 大規模標註: 包含來自 50 個常見物體類別的近 19,000 個視訊，總計 150 萬幀圖像，資料量豐富。
• 類別覆蓋廣泛: 涵蓋日常生活中常見的物體類別，適用性強。
• 多視角資訊: 提供來自不同角度的圖像資訊，有利於更準確的三維重建。

CO3D 的優勢:

• 提升 3D 重建性能: 豐富的真實世界資料可以訓練出更魯棒的 3D 重建模型。
• 促進新視角合成研究: 該資料集有利於研究人員開發能夠生成物體新視角的模型。
• 推動 3D 視覺發展: CO3D 為研究人員提供了 valuable (有價值的) 的資源，可以幫助他們推進 3D 視覺領域的進展。

CO3D 的潛在應用:

• 虛擬現實/增強現實: 可以用於建立逼真的虛擬物體模型。
• 機器人抓取: 幫助機器人更好地識別和抓取物體。
• 自動駕駛: 可以用於識別和理解周圍環境中的三維物體。

CO3D 是一個大規模的真實世界 3D 物體資料集，將有利於推動 3D 視覺領域的研究和應用。

開源庫

PyTorch3D

PyTorch3D 是一個由 Meta AI 開發的開源庫，使用PyTorch進行3D電腦視覺研究提供了高效、可重用的元件，旨在加速深度學習與三維領域的結合研究。

項目網站：
https://pytorch3d.org/

研發 PyTorch3D 的主要動機:

• 三維資料的複雜性: 與二維圖像相比，三維資料更加複雜，在處理過程中會遇到諸如資料表示、批處理和速度等方面的挑戰。
• 解決痛點: PyTorch3D 旨在幫助研究人員克服這些挑戰，並提供易於使用的工具來進行三維深度學習研究。

PyTorch3D 的主要功能:

• 3D 資料表示: 提供各種三維資料結構，例如網格、點雲等，方便儲存和處理三維資料。
• 批處理: 提供高效的批處理操作，可以有效利用計算資源，加快訓練速度。
• 常用算子: 實現了一些常用的三維深度學習算子，例如點雲採樣、圖形變換等，簡化模型開發過程。

PyTorch3D 的優勢:

• 簡化開發過程: 提供現成的工具和模組，降低了三維深度學習模型的開發門檻。
• 提升效率: 高效的批處理和常用算子可以幫助模型更快地訓練和推理。
• 促進研究交流: 開放原始碼的特性有利於研究人員之間的交流合作，共同推進三維深度學習領域的發展。

PyTorch3D 的潛在應用領域:

• 三維重建: 從圖像或點雲中重建三維物體。
• 自動駕駛: 感知周圍的三維環境，用於自動駕駛汽車的導航和決策。
• 虛擬現實/增強現實: 建立逼真的三維場景，用於 VR/AR 應用。

PyTorch3D 是一個功能強大且易於使用的工具庫，有望成為三維深度學習領域的重要基礎設施，助力該領域的研究和應用取得進一步進展。

Pearl

Pearl 是由 Meta 應用強化學習團隊開放原始碼的用於生產環境的強化學習智能代理庫。秉持開放式人工智慧創新的理念，Pearl 旨在助力研究人員和實操人員開發強化學習智能體。

項目網站：
https://pearlagent.github.io/

Pearl 的關鍵特性:

• 面向生產環境: 經過精心設計，可用於實際的機器人控制、資源管理等任務。
• 注重長期回報: 能夠學習並執行長期策略，而非僅追求眼前的利益。
• 魯棒性強: 能夠適應資訊不完全、獎勵稀缺以及充滿隨機性的環境。
• 開源易用: 開放原始碼庫方便使用者獲取、使用和修改，並提供易於上手的 API。

Pearl 的潛在優勢:

• 縮短研發週期: 提供預建構的元件，幫助使用者更快地搭建強化學習系統。
• 提升智能體性能: 魯棒性強的特性使其適用於更複雜的真實世界任務。
• 促進社區交流: 開源特性有利於研究人員和開發人員之間的交流合作。

Pearl 是一個功能強大且易於使用的強化學習智能體庫，有望在機器人控制、資源管理等領域發揮重要作用。

PHYRE

PHYRE 是一個物理推理基準測試工具，包含一系列二維環境中的經典力學難題。該基準測試旨在促進開發樣本效率高且泛化能力強的學習演算法。

項目網站：
https://phyre.ai/

主要特點:

• 物理推理: 評估智能體通過觀察和推理來解決物理學問題的能力。
• 二維環境: 使用簡化的二維環境，降低問題的複雜性。
• 樣本效率: 鼓勵演算法在有限的示例下學習並做出泛化性好的決策。

PHYRE 是一個重要的物理推理基準測試工具，可以用於評估和改進智能體的物理推理能力，在機器人控制、遊戲設計和教育等領域具有廣泛的應用前景。

SlowFast

PySlowFast 是來自FAIR的開源視訊理解程式碼庫，提供最先進的視訊分類模型和有效的訓練。

GitHub項目：
https://github.com/facebookresearch/SlowFast

PySlowFast 的主要特點:

• 高效實現: PySlowFast 採用 PyTorch 框架高效實現了多種視訊理解模型，例如 SlowFast 網路、非局部網路等。
• 支援多種任務: 除了視訊分類，PySlowFast 還支援視訊檢測等其他任務。
• 易於擴展: PySlowFast 的模組化設計使其易於擴展，研究人員可以方便地加入新的模型和功能。

PySlowFast 是一個功能強大且易於使用的視訊理解程式碼庫，是視訊理解領域研究人員不可或缺的工具之一。

FastText

FastText 是一款輕量級的文字處理庫，旨在幫助建構用於文字表示和分類的可伸縮解決方案。

GitHub項目：
https://github.com/facebookresearch/fastText

主要特點:

• 輕量級: FastText 記憶體佔用較小，即使在普通的硬體 (例如智慧型手機和普通電腦) 上也能運行，適合處理資源受限的場景。
• 高效: 採用雜湊 (Hashing) 技巧減少記憶體消耗，提升處理速度。
• 支援多種語言: FastText 支援多種語言的文字處理，並且可以處理子詞 (Subword)，提高對未知詞的泛化能力。

FastText 是一個實用高效的文字處理庫，尤其適用於資源受限的場景，在文字分類、情感分析等領域有著廣泛的應用。

AugLy

AugLy 是一個資料增強庫，用於擴充訓練資料的多樣性，進而提升機器學習模型的魯棒性和泛化能力。

GitHub項目：
https://github.com/facebookresearch/AugLy

主要特點:

• 支援多種模態: 目前支援圖像、文字、音訊和視訊四種資料模態的增強，涵蓋了常見的圖像、文字和多媒體處理任務。
• 豐富的增強方法: 提供超過 100 種針對不同模態的資料增強方法，例如圖像的隨機裁剪、旋轉、翻轉，文字的同義詞替換、詞序調整，以及音訊的背景噪音疊加、時間拉伸等。
• 易於使用: 每個模態的增強方法都包含在獨立的子庫中，並提供函數式和類式兩種變換方式，方便使用者根據需求選擇和組合不同的增強方法。
• 可定製化: 允許使用者設定增強方法的強度，並提供所應用增強的中繼資料資訊，方便跟蹤和分析資料增強過程。

AugLy 是一個功能強大且易於使用的的 data augmentation 工具庫，可以幫助使用者高效地擴充訓練資料集，提升機器學習模型的性能。

FAISS

FAISS (Facebook AI Similarity Search) 是一個用於快速搜尋相似嵌入的高效庫，適用於多媒體文件 (例如圖片、音訊、文字) 的檢索任務。

GitHub項目：
https://github.com/facebookresearch/faiss

主要特點:

• 高效相似檢索: FAISS 擅長於快速搜尋與查詢向量相似的嵌入向量，可以有效解決傳統基於雜湊搜尋的檢索引擎的侷限性。
• 支援多種資料類型: 支援各種資料類型的嵌入向量，例如圖像特徵向量、文字嵌入向量等。
• 可擴展性: FAISS 提供高性能和可擴展的相似性搜尋功能，適用於處理大規模資料集。

FAISS 的常見應用場景:

• 圖像檢索: 基於圖像的相似性搜尋，例如根據使用者上傳的圖片搜尋相似的商品圖片。
• 推薦系統: 基於使用者歷史行為的相似性推薦，例如推薦使用者可能感興趣的商品或內容。
• 個性化搜尋: 根據使用者的搜尋歷史和偏好進行個性化的搜尋結果排序。

FAISS 是一個功能強大且易於使用的相似性搜尋庫，可以幫助開發者高效地建構各種多媒體檢索應用。

MUSE

MUSE (Multilingual Unsupervised and Supervised Embeddings) 是一個可以更快地開發和評估跨語言詞嵌入和NLP的Python庫。

GitHub項目：
https://github.com/facebookresearch/MUSE

主要特點:

• 多語言支援: MUSE 支援多種語言的詞嵌入，方便使用者進行跨語言的文字處理任務，例如機器翻譯、文字相似度計算等。
• 非監督和監督學習: MUSE 既支援非監督學習 (無需人工標註資料) 和監督學習 (使用人工標註資料) 兩種方式來訓練詞嵌入模型，為使用者提供更多的選擇。
• 易於使用: 提供易於上手的 API，使研究人員和開發人員可以快速將 MUSE 整合到他們的 NLP 項目中。

MUSE 的常見應用場景:

• 機器翻譯: 將一種語言的文字翻譯成另一種語言。
• 跨語言資訊檢索: 從多種語言的文件中檢索與查詢相關的文字。
• 文字相似度計算: 計算不同語言文字之間的相似度。
• 多語言問答系統: 能夠理解和回答用不同語言提出的問題。

MUSE 是一個功能強大且易於使用的多語言詞嵌入庫，可以幫助研究人員和開發者更快、更輕鬆地建構各種跨語言 NLP 應用。

CoVoST

CoVoST 是一個基於 Mozilla Common Voice 項目的大規模多語言語音轉文字翻譯語料庫。

GitHub項目：
https://github.com/facebookresearch/covost/

主要特點:

• 多語言支援: 提供 15 種語言到英語和 21 種語言到英語的翻譯文字，涵蓋多種語言。
• 大規模資料集: 包含 7.8 萬名發言者和 2880 小時的語音資料，有利於訓練魯棒的語音轉文字模型。
• 開源開放: 使用 CC0 許可證開放，允許使用者免費使用和修改資料。

CoVoST 是一個非常有價值的多語言語音轉文字翻譯語料庫，將有助於推動多語言語音識別技術的發展。

FLoRes Benchmarking

FLoRes (Facebook-Low-Resource) 是一個用於評估英語與低資源語言之間機器翻譯性能的基準測試資料集。

介紹頁面：
https://ai.meta.com/tools/flores/

FLoRes 的特點:

• 低資源語言: 關注英語與資源匱乏語言之間的翻譯，更具挑戰性。
• 多種語言: 涵蓋 10 種低資源語言，包括阿姆哈拉語、維吾爾語、豪薩語等。
• 多種任務: 包含文字翻譯、語音翻譯和程式碼翻譯等任務。
• 真實場景資料: 使用來自真實場景的文字和語音資料，更接近實際應用需求。

FLoRes 的潛在應用:

• 語言學習: 可以幫助人們學習低資源語言。
• 資訊獲取: 可以幫助人們獲取低資源語言的資訊。
• 跨語言交流: 可以促進不同語言群體之間的交流。

FLoRes 是一個重要的低資源語言機器翻譯基準測試，將有助於推動低資源語言機器翻譯技術的進步，促進跨語言交流。

註：FLORES 已經合併至 開放語言資料倡議 OLDI (Open Language Data Initiative, https://www.oldi.org/)，OLDI 使全球語言社區能夠為一個資料庫做出貢獻，該資料庫為當今的機器翻譯和自然語言處理工作奠定了基礎。

Hateful Memes Dataset

Meta AI 建立的的 Hateful Memes Challenge and Dataset（仇恨性迷因挑戰賽和資料集）是一個旨在衡量多模態視覺語言分類進展的競賽和開源資料集。

介紹頁面：
https://ai.meta.com/tools/hatefulmemes/

挑戰賽 (Challenge)

• 一個面向機器學習研究人員的比賽，參賽選手需要開發演算法來識別網路上的仇恨性迷因。
• 比賽提供了一個包含文字和圖像配對的基準資料集，選手可以使用該資料集訓練和評估他們的模型。

資料集 (Dataset)

• 該資料集包含來自真實世界的文字和圖像配對，這些配對可能包含仇恨言論或圖像。
• 資料集開源可供研究人員使用，可以幫助他們研究和開發檢測仇恨性內容的演算法。

該項目通過比賽和資料集的形式，促進研究人員開發更好的演算法來識別和消除網路上的仇恨言論。需要注意的是，查看和處理仇恨言論可能令人不快，請在參與挑戰賽或使用資料集時注意這一點。

Meta的AI相關收購

AI.Reverie

Facebook 於 2021 年 8 月收購了名為 AI.Reverie 的人工智慧初創公司。AI.Reverie 開發了一套可以生成用於訓練人工智慧模型合成資料集的平台。

公司網站：
http://aireverie.com/

Facebook 收購 AI.Reverie 是為了將其技術用於其人工智慧產品和服務，包括：

• Facebook 推薦系統: AI.Reverie 的技術可以用於提高推薦系統的精準性和效率。
• Instagram 視覺搜尋: AI.Reverie 的技術可以用於提高視覺搜尋的精準性和速度。
• WhatsApp 語音翻譯: AI.Reverie 的技術可以用於提高語音翻譯的精準性和流暢性。

以下是 Facebook 收購 AI.Reverie 的一些具體細節:

• 收購價格未公開
• AI.Reverie 團隊加入了 Facebook AI 部門
• AI.Reverie 的技術將被整合到 Facebook 的人工智慧平台中

這一收購表明Meta正在加強其在人工智慧領域的能力，特別是在合成資料的生成和應用方面。合成資料是通過演算法生成的資料，它可以用於訓練AI模型，而不需要依賴於真實世界的資料。這種資料可以提供更多的隱私保護，同時幫助AI系統更好地理解和學習複雜場景。

Scape Technologies

Facebook 於 2020 年 2月收購了位於倫敦的電腦視覺初創公司 Scape Technologies，收購金額約 4000 萬美元。Scape Technologies 致力於開發基於視覺定位的室內導航技術，其技術精度可達釐米級，並能提供即時更新。

公司網站：
http://www.scape.io/

Meta 收購 Scape Technologies 主要目的:

• 增強 AR/VR 體驗: Scape Technologies 的技術可以幫助 Meta 提升其 AR/VR 產品的定位精度和沉浸感。
• 佈局室內導航市場: Scape Technologies 的技術可以幫助 Meta 拓展其室內導航業務，並與其他地圖和導航服務進行整合。
• 增強技術實力: Scape Technologies 擁有一支高素質的電腦視覺研發團隊，可以幫助 Meta 增強其人工智慧技術實力。

收購後 Scape Technologies 的技術已被整合到 Meta 的 AR/VR 產品中，例如 Meta Quest 2 頭顯。Scape Technologies 的團隊也加入了 Meta 的 AR/VR 部門，繼續進行相關技術研發。

Bloomsbury AI

Facebook 在 2018 年 7 月 收購位於倫敦的 Bloomsbury AI 公司，收購價格在 2300 萬美元至 3000 萬美元之間。

公司網站：
https://bloomsbury.ai/

Facebook 收購 Bloomsbury AI 主要目的:

• 提升內容稽核能力: Bloomsbury AI 研發了自然語言處理 (NLP) 技術，可以幫助 Facebook 識別虛假資訊、仇恨言論等有害內容。
• 增強人工智慧研發能力: Bloomsbury AI 擁有一支高素質的 AI 研發團隊，可以幫助 Facebook 增強其人工智慧研發實力。
• 拓展倫敦人才市場: Bloomsbury AI 總部位於倫敦，Facebook 希望通過收購該團隊來拓展其在倫敦的人才資源。

收購後 Bloomsbury AI 團隊加入了 Facebook AI 部門，Bloomsbury AI 的技術被整合到 Facebook 的內容稽核和 AI 產品中。Facebook 收購 Bloomsbury AI 對其內容稽核能力和人工智慧研發能力產生了積極影響。Bloomsbury AI 的技術幫助 Facebook 提高了其內容稽核的精準性和效率，並使其能夠開發新的 AI 產品和服務。

Wit.ai

Facebook 在2015年初收過了創立僅21個月的AI公司 Wit.ai。Wit.ai 專注於開發語音識別和自然語言處理技術，旨在讓開發者能夠更容易地將語音識別整合到他們的應用和服務中。

公司網站：
https://wit.ai/

Facebook 收購 Wit.ai 主要目的:

• 增強語音識別能力: Wit.ai 開發了一套語音識別技術，可以幫助 Facebook 提高其語音識別產品的精準性和效率。
• 佈局自然語言處理領域: Wit.ai 在自然語言處理領域擁有領先的技術，可以幫助 Facebook 拓展其人工智慧產品和服務。
• 擴展開發人員社區: Wit.ai 擁有一個龐大的開發人員社區，可以幫助 Facebook 吸引更多開發者為其平台開發應用。

收購後 Wit.ai 團隊加入了 Facebook AI 部門，Wit.ai 的技術也被整合到 Facebook 的人工智慧平台中。Wit.ai 的技術幫助 Facebook 提高了其語音識別產品的精準性和效率，並使其能夠開發新的語音識別產品和服務。

Oculus VR

Facebook 在2014年以大約20億美元的價格收購了 Oculus VR，這是一家位於美國的虛擬現實（VR）技術公司，以其開發 Oculus Rift 頭顯而聞名。這次收購標誌著 Facebook 正式進入虛擬現實領域，並表明了公司對於未來沉浸式技術的投資意願。

公司網站：
https://www.oculus.com/

收購之後，Oculus VR（現在已更名為 Meta Quest）在 Facebook/Meta 的支援下在產品開發、內容創新和市場擴張方面取得了顯著成就。以下是一些主要發展情況：

• 產品迭代：Oculus 後續推出了多款VR頭顯，包括Oculus Quest、Quest 2。Quest 2尤其受到市場的歡迎，因為它提供了無需外部感測器或連接電腦的自由移動體驗。最新一代 Quest 3則進一步提升了產品的性能和各方面體驗。
• 內容生態系統：Facebook投資於VR內容的開發，包括遊戲、社交應用和教育工具。Oculus Store提供了豐富的VR應用和遊戲，支援開發者創造和分發他們的作品。
• 社交和協作：Facebook一直在探索如何將社交元素融入VR體驗中。例如，推出了Horizon，這是一個社交VR平台，使用者可以在虛擬世界中與朋友互動、玩遊戲和參加活動。
• 企業應用：Oculus的技術也被用於企業培訓、遠端工作和教育等領域。Facebook Reality Labs（FRL）是Facebook的一個部門，專注於開發AR/VR技術，包括為工作場所提供解決方案。
• 硬體和軟體的進步：Oculus不斷改進其硬體裝置，包括提高解析度、減少延遲和提升舒適度。同時，軟體方面也在不斷最佳化，以提供更流暢的使用者體驗。
• 元宇宙佈局：隨著Facebook更名為Meta，公司加大了對元宇宙的投資。Oculus的VR技術被視為建構元宇宙的關鍵組成部分，Meta希望在未來幾年內將元宇宙打造成為一個全新的計算平台。
• 最新發展：Oculus VR 已更名為 Meta Quest，後續產品包括 Project Cambria（即 Meta Quest Pro），這是一款高端的VR/AR頭顯，旨在提供更先進的混合現實體驗。此外，Meta還在開發新的作業系統，以支援其VR/AR裝置。

隨著 Meta 對元宇宙的持續投資，Oculus VR 的技術和產品預計將在未來繼續發揮重要作用，並推動 Meta 在虛擬現實領域成為全球領先的重要玩家。

Onavo

Facebook 在 2013 年 10 月以 1.2 億美元至 2 億美元的價格收購了一家名為 Onavo 的以色列移動資料分析公司。這次收購使 Facebook 得以在以色列設立辦公室。Onavo 開發了一系列應用程式，可以幫助使用者監控和管理其移動資料使用情況。

公司網站：
https://onavo.com/

Facebook 收購 Onavo 主要有以下幾個原因：

• 獲取使用者資料: Onavo 的應用程式擁有大量使用者，這些使用者的資料可以幫助 Facebook 更好地瞭解其使用者群並改進其廣告產品。
• 擴展到新市場: Onavo 在開發中國家擁有大量使用者，這些市場是 Facebook 的增長目標。
• 開發新的產品和服務: Onavo 的技術可以用於開發新的 Facebook 產品和服務，例如 Facebook 的 Internet.org 計畫。

收購後續:

• Facebook 收購 Onavo 一直存在爭議。一些人認為，Facebook 收購 Onavo 是為了獲取使用者資料，並將其用於廣告和其他目的。Facebook 表示，它不會將 Onavo 收集的資料用於廣告目的。
• 收購後 Onavo 團隊加入了 Facebook，Onavo 的應用程式被重新命名為 Facebook Onavo Protect。
• 2019 年，Facebook 宣佈將關閉 Onavo Protect 應用程式。Facebook 表示，此舉是為了簡化其產品線。

Facebook 收購 Onavo 對其使用者隱私產生了重大影響。Onavo 的應用程式可以收集使用者的大量資料，包括使用者的瀏覽歷史、應用程式使用情況和位置資訊。這些資料可以被 Facebook 用於廣告和其他目的。

Meta的AI理念

Meta AI 願景

Meta AI 的願景是通過人工智慧技術，建構一個更開放、更互聯、更具包容性的世界。

Meta AI 介紹：
https://ai.meta.com/about/

Meta AI 的具體目標包括：

• 開發能夠理解和生成人類語言的人工智慧系統。
• 開發能夠看到和理解周圍世界的機器視覺系統。
• 開發能夠學習和推理的智慧型手機器人。
• 開發能夠以安全、可靠、負責任的方式運行的人工智慧系統。

Meta AI 正在積極開展相關研究和開發工作，並取得了一系列重要成果。Meta AI 的研究工作也得到了全球學術界和產業界的廣泛認可。Meta AI 團隊發表了大量論文，並獲得了多個頂級學術會議和期刊的最佳論文獎。Meta AI 還與多家高校和研究機建構立了合作關係，共同推動人工智慧技術的發展。

Meta AI 相信，人工智慧技術將對人類社會產生重大影響，並致力於將人工智慧技術用於造福人類。

負責人工智慧

Meta AI 致力於開發安全、可靠、負責任的人工智慧技術。

Meta Responsible AI 介紹：
https://ai.meta.com/responsible-ai/

Meta AI 在負責任AI方面的工作原則主要包括以下幾個方面：

安全性

• Meta AI 致力於開發安全的人工智慧系統，以防止其被用於惡意目的。
• Meta AI 採取了多項措施來確保人工智慧系統的安全性，例如進行安全測試和評估、制定安全策略和流程等。

可靠性

• Meta AI 致力於開發可靠的人工智慧系統，以確保其能夠在各種情況下正常運行。
• Meta AI 採取了多項措施來提高人工智慧系統的可靠性，例如進行可靠性測試和評估、提高模型魯棒性等。

公平性

• Meta AI 致力於開發公平的人工智慧系統，以防止其對特定群體造成歧視。
• Meta AI 採取了多項措施來確保人工智慧系統的公平性，例如進行公平性測試和評估、制定公平性原則和政策等。

可解釋性

• Meta AI 致力於開發可解釋的人工智慧系統，以讓人們能夠理解其決策過程。
• Meta AI 採取了多項措施來提高人工智慧系統的可解釋性，例如開發可解釋性工具和技術等。

隱私

• Meta AI 致力於保護使用者隱私，並確保人工智慧系統不會被用於侵犯使用者隱私。
• Meta AI 採取了多項措施來保護使用者隱私，例如制定隱私政策和流程、進行隱私保護研究等。

以下是一些 Meta AI 在負責人工人工智慧方面取得的具體成果:

• Meta AI 開發了安全的人工智慧框架 SafetyNet，可以幫助開發者識別和修復人工智慧系統中的安全漏洞。
• Meta AI 發佈了 AI Explainability Toolkit，可以幫助開發者解釋人工智慧系統的決策過程。
• Meta AI 與多家高校和研究機構合作開展了 Fairness in AI 研究項目，旨在開發公平的人工智慧技術。

Meta AI 認為，負責人工智慧是人工智慧技術發展的關鍵。Meta AI 致力於與全球各界人士合作，共同推動負責人工智慧技術的發展和應用。

The AI Alliance

2023年12月，IBM 和 Meta 聯合超過50個創始成員和全球合作夥伴共同推出了AI聯盟。

聯盟官網：
https://thealliance.ai/

AI聯盟旨在推動開放、安全、負責任的人工智慧發展。該聯盟成員覆蓋了技術開發商、研究人員和AI技術的採用者。

AI聯盟的目標是通過開放創新和科學合作，加速AI技術的發展，同時確保其安全性、多樣性、經濟機會和普惠性。聯盟將支援開放社區，促進負責任的AI創新，並確保科學研究的嚴謹性、信任、安全、多樣性和經濟競爭力。聯盟計畫啟動或加強一系列項目，包括慶祝FAIR十年、評估電腦視覺模型的公平性、開發和部署AI系統的全球基準和評估標準等。

AI聯盟的工作將由成員驅動的工作組進行，並將建立治理委員會和技術監督委員會來推進項目領域，同時建立項目標準和指南。聯盟還將與政府、非營利組織和民間社會組織的重要現有倡議合作，共同推動AI技術的發展。

聯盟成員們表達了對開放創新和合作的承諾，強調了確保AI技術安全、透明和可信賴的重要性，並期待通過共同努力，推動AI技術的負責任發展，使其廣泛惠及社會。 (ADFeed)