眾所周知，現在的大語言模型，歸根結底是對海量文字的模式進行複雜的擬合。
對AI公司而言，資料是一切的源頭，重要性排在第一位。
但現在，這個源頭，出了變故。
7月2日，網路基礎設施與安全巨頭Cloudflare，向全球所有AI公司發出最後通牒：
在2026年9月15日前，必須將“搜尋引擎”爬蟲與“AI訓練資料/代理”爬蟲標識徹底分離。
屆時，任何掛羊頭賣狗肉的混合爬蟲，系統直接物理斷網、全域攔截。
這就等於，給整個AI行業上了一把鎖。
至於原因，想也想得到：分贓不均。
輝達在物理層面拿捏所有演算法公司，賺的盆滿缽滿。
在網際網路世界，網路基礎設施企業又何嘗不是“賣鏟人”的生態位？
憑什麼不能分一杯羹？
01
Cloudflare是那路神仙？
可以把它理解為全球網際網路的“海關”，類似高速公路的收費站。
它處理著全球約20%的網際網路流量，提供內容分發網路（CDN）、域名系統（DNS）、DDoS攻擊防護以及Web應用防火牆（WAF）等底層基礎設施服務。
人稱“賽博菩薩”。
何解？
過去十幾年裡，它為全球無數中小網站、個人部落格提供了免費且強悍的抗DDoS攻擊和CDN加速服務。
關鍵詞，免費。
但就是這麼一位慈眉善目的菩薩，此時此刻卻滿臉怒火。
根據Cloudflare的監測資料，2026年上半年，Bot（機器人/爬蟲）流量已經超過了人類流量。
“原本業界預測這個轉折點要到2027年才會發生，但Agent的爆發讓進度提前了一年。”
按照目前的趨勢，短短五年內，機器與人類的流量比例將達到1000:1。
這明顯會導致一個問題：當網際網路的主要使用者從人類變成AI時，底層商業秩序必然崩潰。
網際網路時代存在一個基本的搜尋爬蟲與流量反哺機制：
你建了一個網站，提供優質內容；Google等搜尋引擎的爬蟲來你的網站抓取內容。
作為回報，搜尋引擎把網頁收錄進索引池。當使用者搜尋相關問題時，搜尋引擎展示網站連結。
使用者點選藍色連結，流量倒流回站長的網站，你靠這些流量賣廣告，賺到了錢。
這是一個運行了30年之久的完美雙贏閉環。
你出內容，我出技術，大家一起發財。
但生成式AI毫無疑問破壞了生態契約。
現在的劇情是這樣的：
AI大廠的爬蟲掃蕩網站，把創作者的內容塞進大語言模型裡進行預訓練或者微調。
當使用者向AI、或者帶有AI概覽的搜尋引擎提問時，AI在搜尋介面輸出總結好的內容。
根據第三方SEO增長社區和網際網路的審計資料：OpenAI的GPTBot爬取一個網站大約1500次，只能給該網站帶來1次點選引流。
當Google搜尋結果中出現AI生成的摘要時，使用者點選搜尋連結的機率暴跌至8%，點選AI摘要內部引用連結的機率更是低至1%。
這就是現在常說的“零點選搜尋”。
AI幾乎拿走了所有價值，創作者得到的流量反饋≈0。
完全就是強盜，吃乾抹淨一點都不給原主人留。
無論從什麼角度來看，這都是不能容忍的。
但是，網站主們對此毫無辦法。
核心原因就是Cloudflare此次針對的靶點：混合用途爬蟲。
根據Cloudflare官方的控訴，越來越多的AI爬蟲蓄意偽造其User-Agent頭部資訊，偽裝成急需給網站引流的搜尋引擎爬蟲，堂而皇之繞過robots.txt的限制，無限制下載網頁。
這就陷入了經典的囚徒困境：
一刀切封殺，混合爬蟲是進不來了，但網站連搜尋結果頁面都上不去了；不封殺，死得更快。
不論怎麼樣，都是個死。
此時此刻，也只能讓“菩薩”出面主持公道了。
02
根據《Configure AI bot policies》白皮書，Cloudflare正式放棄“人類orAI”的二元分類，而是從“行為動機”和“用途分類”入手，將全網自動化流量劃分為三個類別：
搜尋類：為傳統搜尋引擎建立索引、事後給網站導流的爬蟲
智能體類：使用者的即時檢索爬蟲，屬於檢索增強生成行為
（比如使用者問GPT某個問題，AI即時放出的ChatGPT-User爬蟲）
訓練類：無差別大規模資料抓取，給大模型做預訓練
自2026年9月15日 起，所有接入Cloudflare的新域名使用者，其安全策略將自動變更為：允許Search，默認攔截Training和Agent。
如果某個AI大廠拒不配合，繼續派出同時兼具搜尋和訓練目的的混合型爬蟲，會怎麼樣？
根據Cloudflare的規則，將按照最嚴標準懲罰：100%全盤攔截，連Search的功能也被禁止。
如果爬蟲強行偽裝呢？
作為抗DDoS起家的安全巨頭，Cloudflare有的是辦法。
1.行為分析
WAF會分析要求標頭、TLS指紋、甚至HTTP/2連接並行特性。
在Cloudflare每天千億次流量的巨量資料面前，AI幾乎不可能用無頭瀏覽器偽裝成人類。
2.反向吸血
利用AI迷宮蜜罐技術，在瞬間動態生成一個無限虛假頁面迷宮。
AI爬蟲一旦掉進去，就會在無數的垃圾虛假內容中死循環，消耗掉AI公司巨額的算力和頻寬成本。
3.網路機器人身份驗證
Cloudflare牽頭搞了一套開放框架，要求合規的AI機器人和自動購物Agent，必須通過加密手段向發佈商自證清白，證明身份和意圖合法
……
如此一來，最受傷的是誰？
OpenAI、Anthropic、Perplexity等演算法公司一定會損失大量中小網站、垂直社區的資料。
至少，不能像以前那樣白嫖了，必須花錢和網站主簽授權協議。
最大的代價無非就是，訓練模型的成本變高了。
比如OpenAI，早就拆分了爬蟲：用於訓練資料抓取的是 GPTBot，用於ChatGPT即時聯網查詢的是 ChatGPT-User。
只有Google這個縫合怪不一樣。
全球AI爬蟲流量佔比 (2026年Q2)
長久以來，Google利用自己在全球搜尋市場超過90%的壟斷地位，讓Googlebot暢通無阻，堂而皇之用抓來的資料喂養Gemini。
為了保住在Google搜尋裡的排名，沒有那個網站敢得罪，除非你想在網際網路世界蒸發。
Cloudflare甚至直接點名：“因為他們讓網站陷入了‘如果不把內容交給AI使用，就難以在搜尋結果中被搜尋到’的被動局面，導致目前某最大搜尋引擎掌控的資訊量，是其他領先AI公司的兩倍之多。”
等到9月15日，Google將面臨極為痛苦的選擇：
不分拆Googlebot，將失去對全球20%網頁的索引能力，搜尋質量出現災難性下滑；但如果分拆 Googlebot，明確剝離出搜尋爬蟲和訓練爬蟲，Gemini又將立刻面臨斷炊的危機。
而且，可以預見的是，繼Cloudflare後，絕對會有越來越多網路基礎設施企業跟進類似政策。
這等於是剝奪了Google利用壟斷地位捆綁索取資料的特權，被強行拉到了和OpenAI等初創演算法公司同樣的起跑線上。
03
網際網路苦AI小偷久矣。
Cloudflare這次的舉動，可謂是大快人心。
不過，這當然不是事情的全部。
經不可輕傳。
就算是佛也愛錢，何況Cloudflare只是“賽博菩薩”。
正如我們開頭所說，任何矛盾都能在一定程度上解讀為分贓不均。
堵不如疏。
AI的進化，畢竟是大勢所趨。一味地無腦封鎖，只會讓Cloudflare站在整個市場的對立面。
其實早在2025年7月，Cloudflare就試水推出了“Pay Per Crawl”（按爬取次數付費）機制。
AI公司按抓取了多少資料、多少個頁面來算帳，Cloudflare抽成後把錢分給網站。
但這個模式有明顯的漏洞：AI公司覺得虧，因為大量垃圾網站充斥著的垃圾資訊，也得付錢；優質網站也虧，自己的精華內容，憑什麼和垃圾資訊一個價？
所以趁著本次對全球AI公司發出最後通牒的機會，Cloudflare正式推出新機制，Monetization Gateway（貨幣化閘道器）和“Pay Per Use”（按使用次數付費）。
當AI在回答使用者問題並引用了某個接入Cloudflare保護的網站內容時，Cloudflare就能通過數字指紋和API審計技術判定：“這次回答，你使用了某某網站的知識資產。”
簡單來說，OpenAI等公司，不需要去與全球數以千萬級的中小網站簽授權協議（本來也無法做到），只要接入Cloudflare的統一API、預存“版權保證金”，就能合法擁有全球網際網路23.5%的內容。
每流過一筆版權費，Cloudflare就抽走一筆過路費。
等於是收稅。
這世上還有比收稅更好的生意嗎？
如果所有AI公司和網站都通過Monetization Gateway進行資料交易結算，即便稅率再低，它也有望超越傳統金融巨頭。
Cloudflare CEO的說法是這樣的：“在未來，每次訪問一個網站獲取資訊，你可能只需支付幾分之一美分。這意味著，作為基礎設施，我們必須能夠在第一天就支援每秒大約1000萬筆的金融交易，並且未來要擴展到每秒1億筆交易——這比現有的Visa網路還要大兩個數量級。”
但這一趨勢，對行業造成的影響也是非常明顯的。
AI模型資料荒將提前到來，且資料成本陡增。
隨著Cloudflare（以及後續大機率會跟進的Akamai等廠商）切斷白嫖通道，高品質的公開網頁資料徹底變成了有源之水、有表之計。
AI大廠不得不將擴大支出購買優質資料版權；沒錢支出長期版權帳單的中小公司將被加速淘汰。
原本越來越不被看好的創作者經濟，則會因此重新繁榮。
這次事件，本質上是網際網路原住民對AI野蠻資本的絕地反擊。
Cloudflare如果能夠成功推行並確立行業標準，毫無疑問將為創作者提供一條新的生存之道：從“向人類賣眼球廣告”，轉變為“向AI賣高品質的高密度語料”。
從這個角度看，人與AI的關係還真是微妙。 (格隆)