google app engineでrobots.txtの404が発生していてtxtファイルを作ってみたものの中身をどうすればいいかわからず、以下のサイトを見て解決できました。
robots.txtの書き方(保存版)
User-Agent: * Disallow: /上の書き方でクロールせずにすむ事ができそうです。
常にテンパってます。
google app engineでrobots.txtの404が発生していてtxtファイルを作ってみたものの中身をどうすればいいかわからず、以下のサイトを見て解決できました。
robots.txtの書き方(保存版)
User-Agent: * Disallow: /上の書き方でクロールせずにすむ事ができそうです。
0 コメント:
コメントを投稿