inali☆enably

たぶん役立つ情報だけをinaliが晒すかもしれないはてなブログ、たまにしか書かない。

robots.txt テスター

ウェブマスター ツールの [クロール] セクションのなかに robots.txt テスター ができています。
これでエラーを確認して、公開済みの robots.txt を修正する時に便利。

いままでなぜかクロールできないとかブロックされてるとか表示されてたんですけど、これで各種グーグルボットのテストをしてみたところぜんぜんエラーなんてないじゃん。(おこ)

f:id:tachib:20140717162627p:plain

クロールするべきか、しないべきか、それが robots.txt の問題です。

Google ウェブマスター向け公式ブログ: robots.txt ファイルのテストが簡単になりました

 

たとえばカラーミーショップのような、デフォで robots.txt が作れないショッピングカートとか使ってるとどうなるかというと…

f:id:tachib:20140717181213p:plain

robots.txt がない場合、クロールを制限しないものと見なされて、サイトのコンテンツはすべてクロールされるようです。

検索エンジンにインデックスさせたくないコンテンツが含まれている場合にのみ robots.txt ファイルが必要なので、サイトを検索エンジンにすべてインデックスさせたい場合は robots.txt ファイルは不要です。
Googlebot が見にいった時にサーバーが 404 を返すのは正常で、これで問題ありません。