【テクニカルSEO】Googlebotのクロール頻度を減らす2つの方法

[レベル: 上級]

Googlebot のクロール頻度を減らす方法を解説するページが Google 検索デベロッパー ガイドに追加されました。

クロール頻度を減らす 2 つの方法

Googlebot のクロール頻度を減らすには 2 つの方法があります。

  • Search Console でクロール頻度を手動で変更する
  • HTTP ステータスコードによって自動的に減らす

Search Console でクロール頻度を手動で変更する

1 つ目の方法は Search Console のクロール頻度設定ページからクロール頻度を手動で制限するやり方です。

クロール頻度設定

このページで、Googlebot のクロール頻度を調整できます。

注意点があります。
調整といっても減らすことしかできません。
「高」に設定しても、今以上にクロールの速度は上がりません。

クロール頻度を減らしたい際にはこちらのツールの利用が推奨されます。

クロール頻度制限の機能は新しい Search Console には(まだ?)移植されていません。
旧 Search Console からの利用になります。
使い方の詳細はヘルプページで確認できます。

HTTP ステータスコードによって自動的に減らす

Googlebot のクロール頻度を減らすには、Search Console の利用が推奨ですが、至急の対応が必要なときには特定の HTTP ステータスコードを返します。
こうすることにより、自動的にクロール頻度が減少します。

次のいずれかの HTTP ステータスコードを返すようにします。

  • 500
  • 503
  • 429

※すずき補足: 429 は聞いたことがないかもしれません。429は “Too Many Requests” を意味し、一定期間に一定回数以上アクセスした相手に、サーバーが応答の継続を拒否する目的で使われるようです。

かなりの数のページが 500/503/429 を返していることを Googlebot が検知すると、そのページだけではなくサイト全体のクロール頻度を減らします。

具体的にどのくらいの数のページで 500/503/429 を返すのかまではドキュメントは言及していません。
サイトの規模によって異なってくるからだと思われますが、何 % くらいのページで返すべきなのかの目安くらいは欲しいですね。

エラーページの数が減ると、クロール頻度は自動的に元に戻ります(通常の状態に増える)。

Search Console からのクロール頻度変更は反映までに時間がかかることがあります。
一方 HTTP ステータスコードによる自動調整は、検出されさえすれば比較的すみやかに反応するようです。

注意点があります。
500/503/429 はエラーです。
Googlebot だけではなくユーザーもそのページを閲覧できなくなります。
サイト、または特定のページを一時停止するときに使ったほうがいいでしょう。

さらに、いずれかのステータスコードを返す期間が 2 日以上続くと、そのページがインデックスから削除されることがあります。
HTTP ステータスコードによる制限は、至急で短時間だけクロール頻度を減らしたいときに使う方法です。

Googlebot は、そのサイトに最適な頻度でクロールするように設計されています。
通常は、クロール頻度に制限をかける必要はありません。

クロール頻度をむやみに減らすと、新しいページが発見されづらくなったり、更新したページの再クロールが遅くなったり、あるいは削除したページが検索結果に長い間のこってしまったりすることがありえます。

しかしながら、特に規模が大きいサイトでは、クロールが集中しすぎてサーバーに過度な負荷をかけユーザーの閲覧に支障をきたしてしまうことがあります。
そうした場合には、クロール頻度を減らす対応が必要になります。