【http】404ページへアクセスがある原因【error】

WEBサイトにおいて、存在しないページにアクセスがあると、404ステータスコードを返すのが一般的な仕様となっています。

そして、404ステータスの場合に、WEBサイト側で用意した、404ページへリダイレクトさせることもできます。

 ErrorDocument 404 http://example.com/error/404.html

このような設定を、.htaccess に記述すると、リンク切れなどでページが存在しない場合、404.html に遷移します。

つまり、通常、リンク切れなどがなければ、404.htmlへのアクセスは無いはずなのですが、頻繁にアクセスが有るケースがあります。

それは、検索エンジンのロボット(クローラー)が、robots.txt にアクセスする場合です。

robots.txt とは、検索エンジンのロボットに対して、クロールの可否を知らせるものです。

ロボットがrobots.txtにアクセスしてきた時、このrobots.txt  を設置していないと、サーバーは、存在しないページにアクセスしてきたものとして、ロボットに対し404ページへ移動するよう処理します。

つまり、リンク切れがない場合でも、robots.txt  を設置しておらず、かつ、404ページへの遷移の設定をしていると、robots.txt のため、404ページへのアクセスがログに記録されてしまうわけです。

この対策としては、robots.txt を設置すればよいのですが、サイトへのアクセスを左右するものだけに、慎重に行うべきだと考えます。

なお、robots.txt は、サイトに必須のものではないので、「設置しない」というのも一つの選択肢です。

カテゴリー: WEB パーマリンク

コメントを残す

メールアドレスが公開されることはありません。