コンテンツが同一の場合、たとえ404を返していても別のURLにGoogleが自動で正規化することがある

[レベル: 上級]

コンテンツが同一の場合、たとえ 404 を返していても別の URL に Google が自動で正規化するケースがあるようです。

リダイレクトの失敗と判断し 404 を自動で正規化

理由があってページを削除し、別の URL で同じコンテンツを公開した EC サイトがありました。
削除したページは 404 の HTTP ステータスコードを返しています。
ブラウザからアクセスするとエラーページが返されます。

ところが、Search Console の URL 検査ツールで検証すると、削除したはずの URL が「Google が選択した正規 URL」としてコンテンツを載せ替えた新しい URL に正規化されてしまっています。

英語版オフィスアワーで Google の John Mueller(ジョン・ミューラー)氏は次のような理由が考えられると説明しました。

コンテンツが同一なので、リダイレクトを失敗しているとシステムが判断して自動的に正規化することがありうる。
ユーザーを助けるためにやっていることだ。
このケースに該当するのかもしれない。

正規化できていないときには役立つ

URL を変更する必要があるのに 301 リダイレクトや rel="canonical" を構成できないとき、あるいはそもそも URL の変更を検索エンジンに伝える必要性を知らないときに同じコンテンツであれば自動的に新しい URL に正規化してくれるのは、通常であればおおきな助けになります。

SEO に詳しくなければ、単にページを削除して別のページで同じコンテンツを公開するというのはまったく珍しい処置ではありません。

こうした(僕たちからしてみたら)ミスを Google がカバーしてくれるのは良いことです。

ただ、オフィスアワーの質問者は同じコンテンツであっても前の URL の評価を引き継ぎたくはありません。
完全に新しい URL として Google に認識してほしいとことでした。

十分な量のコンテンツを追加するかもしくはコンテンツを大幅に変更すれば新しい URL として認識されるだろうとミューラー氏はアドバイスしましたが、実行は難しいようでした。

とはいえ、質問者の要望は一般的なものではありません。
内容が一致しているなら普通は正規化してもらったほうがありがたいはずです。

URL を変更する際には、リダイレクトなり rel="canonical" なりを構成して自分で正規化するのが大原則です。
それでも、Google 任せにはなってしまいますが、コンテンツが同一なら Google が自動で正規化してくれることは知っておいても損はないでしょう(もっともそれに頼ることは推奨しませんが)。