2015/02/23

[HTML]robots.txtでindexさせない方法

google app engineでrobots.txtの404が発生していてtxtファイルを作ってみたものの中身をどうすればいいかわからず、以下のサイトを見て解決できました。

robots.txtの書き方(保存版)

User-Agent: *
Disallow: /
上の書き方でクロールせずにすむ事ができそうです。

0 コメント:

コメントを投稿