Reddit 是全球最熱門的網路論壇之一,也是網路文化的重要站點,同時這也是它經常可以出現在搜尋結果頂端位置附近的原因。不過現在看來,由於 AI 協議,Google 是唯一能夠正確提取 Reddit 搜尋結果的搜尋引擎。
由於 AI 協議,Reddit 搜尋結果現在僅能在 Google 引擎上出現
Reddit 似乎限制了對其網站內容的訪問,這使 Google 成為唯一能夠顯示 Reddit 結果的搜尋引擎。 Bing、DuckDuckGo 等替代搜尋引擎現在無法正確抓取 Reddit 並顯示新內容。其中部分搜尋引擎可能會顯示一些無描述性的 Reddit 搜尋結果,而另一些則根本不顯示。雖然 Reddit 和 Google 都沒有對此事正式發表評論,但這可能與 Reddit 與 Google 達成的數百萬美元協議有關,該協議目標在抓取 Reddit 數據用於 AI 訓練之用。
這項決定引起其他小型搜尋引擎供應商的批評。搜尋引擎公司 Mojeek 的首席執行長 Colin Hayhurst 告訴國外媒體 404 Media ,Reddit 正在扼殺除 Google 之外的所有搜尋引擎。其他諸如 Microsoft 的 Bing、DuckDuckGo 和其他搜尋引擎公司則尚未對此發表評論。
Reddit 的行動正值網站封鎖 AI 使用機器人進行資料抓取的更廣泛趨勢。該平台最近更新了 robots.txt 檔案(一組針對網路爬蟲的指令),以嚴格禁止任何自動抓取。目前的 robots.txt 檔案設定為禁止所有網路爬蟲,包括常規搜尋引擎(7 月 23 日的存檔版本則不允許)。Google 擁有最受歡迎的搜尋引擎,在根據其搜尋結果和發現的其他數據來訓練生成式 AI 方面處於獨特的地位。雖然想不出有哪個生成式 AI 開發人員能夠堅守道德地訓練其模型,但 Google 可能願意比其他人姿態更低。