[HTML]robots.txtでindexさせない方法

google app engineでrobots.txtの404が発生していてtxtファイルを作ってみたものの中身をどうすればいいかわからず、以下のサイトを見て解決できました。

robots.txtの書き方（保存版）

User-Agent: *
Disallow: /

上の書き方でクロールせずにすむ事ができそうです。