AIボットは llms.txt を無視すると書きました。2日後、撤回することになりました

ファイルを置いて待ちました

10月初め、私のラボサイト pw.migurei.ai には /llms.txt があり、すべてのページが <link rel="describedby" href="/llms.txt"> でそれを指していました。このファイルは、言語モデル向けにサイトをプレーンテキストで要約するためのものです。私は OpenAI、Anthropic、Perplexity が読みに来ると予想していました。

10月14日、1日からのログを確認しました。Googlebot がこのファイルを2回取得していました。Bingbot は1回です。ブラウザのユーザーエージェントを持つ Google の IP アドレスからのリクエストも数件ありました。OpenAI、Anthropic、Perplexity からは何もありませんでした。私のラボがそれぞれのアプリを通して実行したテストの最中でさえ、です。

そこで私はこう書き留めました。llms.txt を読むのは検索クローラーであり、AIボットではない、と。

2日後、それは間違いになりました

10月16日、GPTBot がホームページのリンクをたどって /llms.txt を取得しました。ほかの18ページに混じってのことです。数時間後には ClaudeBot も取得しました。サイトマップにある17個の URL をすでにすべて取得した後でした。どちらも学習用クローラーで、どちらもこのファイルを最初に読むべきものとしてではなく、クロール中の URL の一つとして扱っていました。

10月18日、Amazonbot を名乗るクローラーがこのファイルを取得しました。翌朝、そのクローラーはファイル内に記載された2つの URL をリクエストしましたが、どちらも末尾に ): が付いていました。どちらも 404 を返しました。ファイルを生のテキストとして読み、各 URL を次の空白で区切ったため、Markdown リンクの閉じ括弧がアドレスの一部になってしまったのです。

もう一つテストを行いました。今回は、ページを公開する前の10月17日に予測を書き留めておきました。検索クローラーはページの .md 版を取得し、AIクローラーは取得しない、という予測です。結果は逆でした。ClaudeBot は HTML の取得からおよそ1時間12分〜1時間16分後に、両方の .md ファイルを取得しました。Googlebot と Bingbot はどちらも取得しませんでした。10月21日、私はこの主張を反証済みとしました。

本当に奇妙な点

llms.txt を読んでいるボットは学習用クローラーです。ライブの回答の裏にいるボット、つまり OAI-SearchBot、Claude-SearchBot、PerplexityBot と、ユーザーの操作で動くフェッチャー、つまり ChatGPT-User、Claude-User、Perplexity-User は、llms.txt にも .md ファイルにも一度もリクエストしていません。

2つ目のテストも空振りでした。10月16日から19日まで、migurei.ai の llms.txt に、ほかのどこにも載せていない固有の URL を入れました。72時間のうちに、ボットであれそれ以外であれ、誰もそれをリクエストしませんでした。ただし、そもそもどのクローラーもその元ファイルを読んだという兆候がなかったので、このゼロからわかることはほとんどありません。

自分のサイトでどうするか

1. HTML ページがクロールされ、インデックスされることより llms.txt を優先しないでください。AIボットに読ませたいものは、サイトマップに載っている HTML ページに置くべきです。
2. すでに llms.txt があるなら、残しておいてください。コストはわずかで、読むクローラーもあります。
3. ファイル内のすべての URL を句読点から離してください。クローラーはファイルを生のテキストとして読むため、末尾の ):、）、。 がリンクを 404 に変えてしまいます。
4. .md 版が届くのは、すでに HTML を持っているクローラーだけです。それを見つける唯一の方法が、その HTML 内の link タグだからです。新しい入り口ではありません。

どの程度確かか

元の主張は反証されましたが、公開したままにしています。それに代わるのはラボでの観察です。1サイト、数週間、2つの .md ファイルです。AI検索クローラーは pw にほとんど訪れないため、そのゼロでは「llms.txt を読まない」のか「サイトに来ない」のかを区別できません。また、アプリが私のログには見えない他者のインデックスやキャッシュを通じてコンテンツを取得している可能性もあります。Amazonbot のリクエストはユーザーエージェントだけで照合しており、Amazon が公開している IP 範囲とはまだ照合していません。すべての数値は pw の調査ページにあります。