外部WebサービスのAPIを利用して生成しているサイトをメンテナンスしようと思ったら、今度はGooglebotが結構な頻度でアクセスしていた。これは狙っていたことでもあって、動的に生成したサイトマップXMLを少し前にGoogle Search Consoleへ登録しておいた影響だろう。ただ、予想以上にアクセス頻度が高かった。APIの利用権を半日で使い果たしてしまうくらいの頻度だったので、ちょっと制限することにした。「1日のAPIリクエスト数がXXXX回を超えたらAA％ブロック(＝HTTPステータスコード429を返す)し、YYYY回を超えたらBB％ブロックする」というように、具体的なリクエスト総数に応じて多段階にブレーキを掛ける仕様にした。よく考えれば最初からこう作っておけば良かったのだが。この方法なら、API利用権を使い切ってしまうこともなく、余らせすぎることもなく、良い感じに自動運営ができそうな気がする。やや心配なのは、HTTP429を返す期間が長すぎると、Google側が学習してアクセス頻度を大きく低下させてしまう可能性があるかもしれない点だが。極端な話、「午前中(AM)はアクセス可能で、午後(PM)は完全ブロック」のようになりかねないので、1日の後半のHTTP429数の多さだけから学習されてしまうと困る。Google側も24時間単位で考えてくれるなら良いのだが。