Anthropic「巴拿馬計畫」曝光!數百萬舊書被切脊喂給ASI

AI速讀
Anthropic 內部機密「巴拿馬計畫」曝光,揭露其為訓練 ASI 而大規模採購實體書並將其銷毀的行為。該公司為獲取無 AI 污染的「純淨語料」,採取買入、切除書脊、掃描後丟棄原件的流程。儘管因盜版下載支付 15 億美元賠償,但法院判決其「買書後轉為單一數位副本並銷毀原件」屬於合理使用。此舉引發矽谷跟風搶購舊書,甚至涉及亞馬遜物流設施的秘密掃描線。文章強烈對比了 AI 公司將書籍視為「知識礦山」的毀滅式開發,與網際網路檔案館致力於文化保存的差異,警告孤本書籍可能在追求數據量的過程中被永久抹除。


2024年4月13日,Anthropic內部傳閱了一份文件。

裡面有這麼一句:我們用一個「軟代號」,因為不想讓人知道我們在做這件事。

代號叫巴拿馬計畫(Project Panama),這件事,是破壞性掃描全世界所有的書。

兩年後,秘密曝光,這句話徹底失效了。

2026年1月,法官下令解封四千多頁訴訟檔案,外媒直接把備忘錄原文登了出來。

人類寫的書籍

正被拆解為ASI的資料集

「巴拿馬計畫」真正瘋狂的地方,其實不只是切掉了多少本書。

它正在把幾百年來,人類寫進書裡的知識、經驗和思想,一頁頁拆成下一代AI的訓練資料。


一個作者花十年寫下的一本書,一位學者窮盡半生整理出的知識,一整個時代留下的語言、觀念和敘事,進入掃描流水線之後,都會被OCR、切碎、Token化,最終匯進模型的參數。

對於正在向ASI狂奔的矽谷大廠來說,書架其實是一座還沒被徹底開採的「人類知識礦山」。

尤其是2022年以前出版的紙書,經過作者、編輯、出版社層層篩選,長文字結構完整,又幾乎沒有AI生成內容污染。

網際網路越被AI文字淹沒,這批「純人類語料」反而越稀缺。

所以,當Anthropic說要拿到「世界上所有的書」,它想收集的其實是一份儘可能完整的、人類文明訓練集。

接下來發生的一切,也就順理成章了。

一開始

Anthropic根本沒打算買

2021年,公司成立第一年的Anthropic,壓根沒想過花錢買書。

聯創Ben Mann先下載了Books3,約18.3萬份;同年6月從LibGen拿走至少500萬份;2022年7月,Pirate Library Mirror再拿至少200萬份。

三筆加起來,超700萬份盜版電子書。畢竟,拿,比買省事。

判決書裡,CEO達里歐直言:本來有很多地方可以買,但走正規採購要面對一堆法務、實操和商務上的麻煩。

2024年2月,Anthropic把Tom Turvey招了進來,任務便是拿到「世界上所有的書」,還得繞開那堆麻煩。

他沒再談授權,直接從圖書分銷商和零售商手裡批次買貨:數千萬美元,數百萬本,很多是二手的。

書運到之後是固定的三步。

液壓切紙機削掉書脊,高速掃描器把散頁掃成可搜尋的PDF,紙張進回收車。

判決書第15頁寫得很清楚:剝離裝訂、裁切書頁、掃描,然後丟棄每一本紙質原件。

斥資15億美元,換來一張「通行證」

去年6月,法官William Alsup的判決把這件事拆成三塊。

用書訓練模型:合理使用。買來的紙書一對一轉成不外傳的數字副本:也是合理使用——一本進,一份出,原件已經銷毀,副本總數沒有變多。

從盜版站下載還永久留存,不受保護,為此Anthropic賠了15億美元。

判決書第15頁:Anthropic及其供應商剝離裝訂、裁切書頁,掃描後丟棄每一本紙質原件。

對照Anthropic現在9650億美元的估值,這筆錢佔0.16%。

更要緊的是它放行了什麼:不是「切書」,是「買來的一本,換成一份」。原件必須消失,這套論證才成立。

也就是說,切,是這條鏈的承重牆,不是圖省事。

矽谷大廠跟風

開始買舊書

過去十年,AI公司搶的是網頁、程式碼、圖片,搶完原件還在。

現在搶的是紙書,切一本少一本,最核心的因素是「乾淨」。

語料裡最稀缺的是沒被AI寫過的字,行業裡流行的說法是,2022年前出版的紙書不可能混進大模型生成的內容。

《華盛頓郵報》拿到的檔案裡還有一層:Anthropic偏愛紙書,是因為出版物文筆好,不帶那股「低品質網際網路腔」。

解封檔案裡另有一條採購要求:優先買「不那麼常見」(less common)的書。

不常見,往往就是絕版、印量小、市面難找。

需求燒到了大西洋另一頭。

英國舊書商,最先感覺到了異常。他們這幾個月是真賺到錢了。

諾森伯蘭郡Barter Books的Stuart Manley告訴BBC,他平時一周賣兩三千本,最近一筆來自加拿大公司的訂單,一單就抵得上一周。

幹了30年二手書生意,他說沒見過這種事。

今年7月,圖書資料服務商ISBNdb掛頁面對AI公司喊話:

世界上最好的AI訓練資料正躺在書架上,可承接1000本到100萬本的訂單,為買家保密身份。

頁面上還有一句自白:觀感問題是真實存在的,「某AI公司銷毀兩百萬本書」不是一個能博得同情的標題。

就在最新404 Media報導中,公佈了另一條線。

一位書商在舊書平台Biblio接到一筆約1000本的匿名訂單,書目毫無關聯,買家不還價。他在其中一本書裡夾了一枚蘋果AirTag。

追蹤器從加州出發,最後停在拉斯維加斯的亞馬遜LAS8設施。

那棟樓平時干的是按需印刷——有人下單,這裡印一本新書發出去。

北端有塊叫VGT3的區域,門上貼著一隻霸王龍,爪子摳進書裡。一名員工在內部論壇寫:我們的任務就是掃書,有人負責切書,有人負責收貨掃條碼。

亞馬遜拉斯維加斯LAS8設施VGT3區域的入口標誌,一隻紅色霸王龍爪子扣進書裡。(圖源:404 Media)

同一棟樓,南邊印新書,北邊毀舊書。

誰來負責把書留下來

同樣是掃書,網際網路檔案館的目的正好相反:不為訓練,只為把書留下,讓所有人都能讀到。

它用的是Scribe掃描器,一頁一頁人工翻。

他們試過機器人翻頁,但對稀有書行不通,最後還是靠人手。

一位操作員十年掃了大約一萬八千本書,是七十名Scribe工人中的一個。整個檔案館用了二十年,掃到第二百萬本。

網際網路檔案館的Scribe掃描工作站,書放在V形托上,人工逐頁翻拍。全球約70名Scribe操作員,一台一台這樣幹了二十年。(圖源:Wikimedia Commons)

同樣是掃書,亞馬遜VGT3的流水線剛上了工時定額。

一邊二十年掃了兩百萬本,一邊恨不得一天清掉一卡車。

銷毀與存留之間的速度差,十分刺目。

但真正的問題不在快慢,而在於切下去的是那本書。

愛丁堡McNaughtan's書店的Derek Walker心中有一筆帳。

一本只印了100冊、其中75冊已經進了圖書館的學術書,市面上確實罕見,但毀掉一本,談不上多大的損失。

可他店裡也賣出去過18世紀的某個版本,全世界只此一本。它們如果進了切紙機,性質完全不同。

Barter Books的Stuart Manley說得實在。

世界確實不再需要五百萬本《達文西密碼》,那些書堆在庫房裡二十年賣不掉,現在有人整批拉走,對他是好事。

但Walker賣出的18世紀唯一孤本,一旦切開就沒了。

更可怕的是,AI公司只按ISBN收貨,是暢銷書還是孤本,對於它們並沒有什麼區別,在那些匿名訂單裡是不做區分的。

如果真有一本孤本進了切書機,我們大機率永遠不會知道。 (新智元)