Jacob:從Perplexity看AI搜尋場景的關鍵切入點有那些

搜尋引擎最佳化的核心只有一個:更準確。

早期,Google之所以能取代Yahoo,就是Google發現了通過PageRank對引用網站排序的演算法,能讓搜尋結果趨向更準確,詳細可見我以前的文章《Jacob:傳統搜尋引擎的弊端,為什麼只讓Google發現》

但Google確實只是呈現了搜尋的結果,並以相關性做了一定的排列,目前的搜尋引擎更多是依賴關鍵詞匹配和類似PageRank的排名演算法,這種方式處理簡單問題時效果顯著,但在面對複雜查詢的時候,如多層次的問題、上下文依賴性強的問題的時候,往往難以提供精準且全面的答案。

使用者一般需要瀏覽多個網頁,自己不斷綜合資訊來得到最終的答案。坦白來說,對於複雜問題的查詢,這種方式實在太低效了。Perplexity就是看到了這個問題,於是在這個切入點切了進去,填補了這段空白。

我願意為這段空白再詳細解釋一下,首先故事發生在2022年8月,四個創始人都是在Google AI工作的時候互相認識的,他們在開發大語言模型的時候發現,現代搜尋引擎在處理複雜查詢的時候,並沒有很好地利用他們正在做的生成式大語言模型,而是還依賴關鍵詞匹配和網頁排名演算法。

四位創始人希望使用者使用Perplexity的時候,能獲得一個全面的答案,這個答案能完整直接地回覆使用者的問題,而不是搜尋出一堆經過演算法排名後的網頁連結。

毫無疑問,這個場景對於搜尋引擎來說,是劃時代的。就好像我們第一次使用ChatGPT一樣感到驚豔,要知道大約3個月後OpenAI的ChatGPT才正式發佈,Perplexity也確實向著搜尋引擎最核心的最佳化方向前進,讓搜尋變得更準確。

在ChatGPT正式發佈之後,大家終於發現,原來提出問題之後機器人的回答可以變得這麼完整且詳細,比傳統的搜尋引擎好多了,但無奈剛發佈的ChatGPT只是基於早期訓練的資料給出的答案,沒法確保資訊始終是最新的,而且在早期,ChatGPT的答案也並未標識來源。

這個時候,Perplexity除了跳過網頁連結,直接顯示搜尋結果這個優勢之外,還有其餘兩個優勢:即時資訊和可靠來源。

當你使用Perplexity提出問題的時候,資料將會自動從網際網路上提取,資訊始終是最新的,對於時效性要求高的搜尋,這一點確實是一個很強硬的需求。

另外當你使用Perplexity提問題的時候,每個答案都引用了可靠的新聞媒體、學術論文和知名部落格的內容,這一個優勢頗有當年Google做PageRank的感覺,對於資訊來源真實性要求很高的搜尋,這一點確實也是一個很強的需求。

截止到目前為止,Perplexity上面所說的三種優勢:跳過連結、即時資訊和可靠來源,均已經成為了各大基礎模型的標配功能,我不禁好奇:

為什麼我不直接向例如GPT-4o這種大語言模型提問?而還要通過Perplexity去提問呢?Perplexity在這個過程提供了什麼?要回答這個問題,恐怕我們要詳細拆解一下Perplexity的工作流程。

第一步:輸入階段,接收使用者的問題;

第二步:理解階段,使用NLP技術解析使用者的問題,識別關鍵詞、真實意圖和核心含義;

第三步:檢索階段,訪問搜尋引擎,即時獲取相關資訊,確保最相關和最可靠的資訊排在前面;

第四步:生成階段,呼叫像GPT-4o這種高級語言模型,獲取原始資料轉換為自然語言的回答,你可以理解為通過這一步,把第三步獲得的資訊,呼叫語言模型生成連貫和容易理解的文字;

第五步:輸出階段,Perplexity提供答案的同時,會顯示引用具體的資訊來源;

第六步:互動階段,如果使用者會進一步提出問題,Perplexity會理解上下文進行多輪對話,動態調整回答;

其實這是一種“搜尋增強生成”技術,俗稱RAG,Retrieval-Augmented Generation,本質上就是通過先檢索相關資訊,再利用生成模型進行答案的生成和整合。

乍一看,上面的第一、第二、第五和第六步都是常規步驟,只有第三和第四步起著關鍵的作用,很顯然第四步是類似GPT-4o這種高級語言模型的強項,畢竟他們就是幹這個的,那麼Perplexity有可能在第三步突圍成功嗎?

請注意,Perplexity在檢索階段,並非依賴Google搜尋引擎,而是使用自己的搜尋和索引技術,通過每日索引網際網路內容來確保資訊的即時性和精準性。

你可以理解為,之前我們輸入搜尋內容後,得到一堆相關聯的網頁連結,基於這些連結我們查看完所有內容之後,再自己整合出最終的答案,這個整合最終答案之前的步驟,都是檢索階段要做的事情,只是機器幫你去完成罷了。

我不是專業的技術人員,無法對裡面的細節做更進一步的詳細評估,但我知道,如果檢索階段的事情完全依賴於Google,那RAG裡面的6個步驟裡,已經沒有Perplexity什麼事情了,所以最有可能的是,Perplexity會自己來做這一步,併力求做得比Google更好,這是一個“閱讀檢索內容”的步驟,比拚的是即時資料索引和檢索的速度,如果對結果精準度還有追求的話,還需要自行對檢索結果進行重排,也就是Reranking。

這正是Google一直以來正在研究且引以為傲的事情,Perplexity能否做到,我不知道。但在這之前,Perplexity(或者說AI搜尋領域)對於搜尋場景的剛需程度並沒有很強,畢竟它的可替代性太多了,況且現在的基礎語言模型就能直接滿足使用者需求。

Perplexity不僅和Google在掰手腕,而且還和各大基礎語言模型在掰手腕,畢竟基礎語言模型現在呈現出來的態勢很明顯,就是想方設法把檢索階段的事情,整合進自己的生態裡。

Perplexity如果不死磕檢索,還有什麼可以做?我嘗試大膽列舉:

使用者或許會想多模型對話,支援切換各大基礎語言模型;

使用者或許會想多模態搜尋,支援文字、圖片和視訊等方式搜尋;

使用者或許會想多維度輸出,支援對話、大綱、資料標註和論文等形式輸出;

使用者或許會想多信源搜尋,支援僅在維基百科、僅在Discord和僅在GitHub裡搜尋;

這些都是比較細分的搜尋場景了,但上面這些功能更像是搜尋中介的定位,而非搜尋引擎。況且隨著時間的推移,既然基礎模型能把檢索階段的事情整合進自己的生態裡面,那麼把上面這些niche場景下的功能整合進去,也不是完全沒有可能。

《Jacob:從ElevenLabs解決的行業問題來看,AI創業的思路與網際網路時代並不相同》文章裡有所提及,AI帶來的最大變數是生產力的提升,這是和移動網際網路時代最大的不同。

這個生產力提升的根源在於平行計算的普及,讓模型可以在更短的時間內建立資訊與資訊之間的聯絡,以至於模型在執行下次相同類似任務的時候,可以快速響應,基礎的語言模型正是如此,無論是更貼近人類談話的語言,還是更貼近問題的答案,在模型的視角裡這些都已經“訓練”了成千上萬次了。

搜尋場景從提出問題的那一刻起,就分為兩個關鍵環節:收集搜尋結果、整合搜尋結果。而整合搜尋結果的關鍵在於對大量相關資訊的總結和輸出,這正是語言模型的優勢,也是AI帶來生產力提升的表現,但這與Perplexity關係不大。

在收集搜尋結果這個環節裡,最關鍵的是確保相關性,能否利用大模型提前訓練相關資訊,提前建立有利於提升“相關性”的資訊對應這是關鍵,下次即時資訊索引的時候能否快速響應,就取決於此,否則在這個環節裡,我們仍然是在處於移動網際網路時代的“雕花”最佳化,根本沒有受益於AI所帶來的生產力提升。

Perplexity如果不往這個方面發力,AI對搜尋場景的提升也只會是結果表達層面的提升,而AI搜尋也只會是架在大模型之上的一座空中樓閣。 (雅格布)