什麼是 AI 爬蟲？

定義

AI 爬蟲是生成式答案引擎背後的資料擷取工具。有些用於即時檢索，讓 Perplexity 或具備網絡搜尋功能的 ChatGPT 在回答時抓取和引用頁面；有些則用於模型訓練，建立模型日後憑既有知識回答時所依賴的資料。兩者用途不同：封鎖檢索爬蟲會令頁面無法獲得即時引用；封鎖訓練爬蟲則會限制內容進入模型的累積知識。

AI 爬蟲 vs Googlebot

Googlebot 主要建立搜尋索引，讓頁面參與排名並帶來流量。AI 爬蟲則擷取頁面供引擎引用、摘要或學習，通常不會帶來點擊。許多 AI 爬蟲不會執行 JavaScript，因此依賴客戶端呈現的內容可能完全不可見；它們的抓取頻率較低、逾時時間較短，而且各自使用不同的 user agent，需要相應的 robots 規則。

允許、封鎖，或選擇性處理

這是商業決策，不是技術決策。封鎖所有 AI 爬蟲可保護內容，但也讓你完全退出 AI 答案——沒有引用、沒有來自檢索的提及。許多團隊折衷：允許檢索爬蟲（以便被引用），封鎖訓練爬蟲（以免內容被用來改進競爭對手模型）。

如何檢查 AI 爬蟲能否讀到你

伺服器端呈現且可供爬蟲抓取的頁面是基本要求。網站審核會模擬 AI 爬蟲擷取頁面，並列出阻礙引用的因素，包括依賴 JavaScript 的內容、被封鎖的爬蟲、回應緩慢和缺少結構。

延伸閱讀

網站審核 用於檢查可檢索性；llms.txt 說明為 LLM 爬蟲提出的索引格式。