更新於 2026-07-06
什麼是 llms.txt?
llms.txt 是一項建議中的純文字檔案格式,放置於 /llms.txt,列出網站的重要頁面和內容摘要,供 LLM 爬蟲作為 Markdown 索引使用。它與 robots.txt 不同,後者管理爬蟲存取規則。llms.txt 尚未成為正式標準,採用率仍低,對引用的效果亦未獲證實。
定義
llms.txt 位於網站根路徑 /llms.txt,採用輕量 Markdown 格式,包括網站或產品名稱、簡短描述,以及網站管理員認為 LLM 最需要了解的頁面連結。它以模型和答案引擎爬蟲容易解析的格式,提供一份精選網站目錄,無需讓爬蟲完全依靠 HTML 推斷網站結構。
llms.txt vs robots.txt
它們解決不同問題,互不取代。robots.txt 告訴爬蟲哪些可以抓、哪些不行——是存取規則。llms.txt 告訴爬蟲哪些頁面最重要、內容是什麼——是內容提示。網站可以兩者皆有:robots.txt 把關存取;llms.txt 排優先順序並標註說明。
llms.txt vs sitemap.xml
兩者都會列出頁面,但供不同系統使用。sitemap.xml 採用 XML 格式,供搜尋引擎索引器讀取,支援較為廣泛;llms.txt 則採用 Markdown 格式,供 LLM 爬蟲參考,目前仍較新。Sitemap 告訴索引器「這些網址存在」;llms.txt 則告訴 LLM「這些頁面很重要,以及各頁的大概內容」。AEO Mantis 會同時產生 sitemap 和 llms.txt,兩者均來自同一份頁面清單。
llms.txt 能做與不能做的事
它可以為 LLM 爬蟲提供純文字、經過精選且附有描述的索引。但它不能保證網站獲納入答案,不能取代可爬取和可引用的頁面,亦沒有文件證明它是排名訊號。llms.txt 只是一項內容提示;真正影響引用的仍是答案優先內容、實體一致性和可爬取性。
- llms.txt 是為 LLM 爬蟲提出的 markdown 索引,尚非已採納標準。
- 它列出並描述關鍵頁面;robots.txt 把關存取,sitemap.xml 列出 URL。
- 採用仍早,對引用的效果未獲證實。
- AEO Mantis 使用與 sitemap 相同的頁面清單產生 llms.txt。
延伸閱讀
AI 爬蟲 說明 llms.txt 所對應的機械人;AI 搜尋引擎如何選擇引用來源 說明真正影響內容獲納入的因素。