クローラーがrobots.txtを頻繁に読んでくれるのは(設定値がすぐに反映されそうで)嬉しいのだが、bingbotはなぜ1日に70回もrobots.txtを読んでいるのか。googlebotは1日に4回だった。平均を取ったわけではなく、ある特定の1日のサーバログを見ただけだが。robots.txt以外の全ページを含めたアクセス回数では、bingbotは10,785回、googlebotは3,958回だったので、bingbotは全クロールの0.65％をrobots.txtの読み込みに使っており、googlebotだと0.1％である。bingbotのアクセス頻度が高すぎるので、とりあえずrobots.txtに「User-agent: Bingbot、Crawl-delay: 30」の記述を加えてみた。1日に70回も読んでいるなら、約20分以内には制限を反映してくれるものと期待しているのだが。これでアクセス頻度が落ちなかったら、プログラム側で（何回かに1回の割合で）HTTPステータスコード429を返すようフィルタを作る必要がありそうだ。Bing Webmaster Toolにはクロール時間帯を調整する機能はあるのだが、総数を抑制する機能はないっぽい。なお、googlebotはrobots.txtx内に「Crawl-delay」を書いても読まない(解釈しない)らしい。そういえばGoogle側のドキュメントには、クロール頻度を調整したければHTTPステータスコード429を返せばそのうちGoogle側が学習してアクセス頻度を落とすとか何とか書いてあったような気がする。429ではなかったかもしれない。なお、ここのサイト(www.nishishi.com)の話ではない。ここのサイトは無駄なアクセスが多くても困らない(サーバの負荷さえ高くならなければ問題ない)のでログを調べていない。外部のWebサービスのAPIを利用してページを生成しているサイトでは、無駄なアクセスが多すぎると困るので、Botのアクセス頻度を調整する必要があるのだ。