llms.txtとは？

定義

llms.txtはサイトのルートディレクトリ（/llms.txt）に配置され、軽量なマークダウン形式に沿って記述されます。プロジェクトやサイト名を記した見出し、簡潔な説明文、そしてサイト管理者がLLMに把握させたい重要ページへのリンク一覧で構成されます。その目的は、LLMモデルや回答エンジンのクローラーに対して、HTMLから構造を推測させるのではなく、ネイティブにパースしやすい形式で整理されたサイトマップを提供することにあります。

llms.txtとrobots.txtの違い

この2つは解決する課題が異なり、互いを代替するものではありません。robots.txtがクローラーに対して収集を許可・拒否する「アクセス制御ルール」であるのに対し、llms.txtはどのページが重要で何が書かれているかを伝える「コンテンツの補足情報（ヒント）」です。1つのWebサイトで両方を併用でき、robots.txtでアクセスを制御しつつ、llms.txtで優先度と概要を提示します。

llms.txtとsitemap.xmlの違い

どちらもページ一覧を提供するものですが、対象とするコンシューマーが異なります。sitemap.xmlは検索エンジンのインデクサー向けに構造化されたXML形式で、広く普及しています。一方、llms.txtはLLMクローラー向けに構造化されたマークダウン形式であり、比較的新しいアプローチです。サイトマップがインデクサーに「これらのURLが存在する」と伝えるのに対し、llms.txtはLLMに対して「これらのページが重要であり、各ページにはこのような内容が書かれている」と伝えます。AEO Mantisはページレジストリからsitemapとllms.txtの両方を自動生成します。

llms.txtができること・できないこと

できること： LLMクローラーに対して、マークダウン形式のまま直接処理できる、概要付きの厳選されたインデックスを提供すること。

できないこと： AI回答での引用を保証すること、クロール可能で引用価値のあるページの代わりになること、文書化されたランキングシグナルとして機能すること。

llms.txtはあくまで補助的な手助けに過ぎず、決定的な仕組みではありません。実際に引用されるかどうかは、回答をダイレクトに提示するコンテンツ設計、エンティティの一貫性、クロール性といった本質的な要素によって左右されます。

関連記事

llms.txtが対象とするボットについては「AIクローラー」、AIが実際に引用元を選定する仕組みについては「AI検索エンジンが引用元を選定する仕組み」をご覧ください。