robots.txt テスター

ウェブマスター ツールの [クロール] セクションのなかに robots.txt テスター ができています。
これでエラーを確認して、公開済みの robots.txt を修正する時に便利。

いままでなぜかクロールできないとかブロックされてるとか表示されてたんですけど、これで各種グーグルボットのテストをしてみたところぜんぜんエラーなんてないじゃん。（おこ）

クロールするべきか、しないべきか、それが robots.txt の問題です。

Google ウェブマスター向け公式ブログ: robots.txt ファイルのテストが簡単になりました

たとえばカラーミーショップのような、デフォで robots.txt が作れないショッピングカートとか使ってるとどうなるかというと…

robots.txt がない場合、クロールを制限しないものと見なされて、サイトのコンテンツはすべてクロールされるようです。

検索エンジンにインデックスさせたくないコンテンツが含まれている場合にのみ robots.txt ファイルが必要なので、サイトを検索エンジンにすべてインデックスさせたい場合は robots.txt ファイルは不要です。
Googlebot が見にいった時にサーバーが 404 を返すのは正常で、これで問題ありません。