検索ロボット 拒否

Webサイトで、このディレクトリは検索されたくない、というときに使用する。

robots.txt というテキストファイルを作り、トップページのindex.html ファイルと同じディレクトリに置く。

robots.txt の内容(例)
 
   User-agent:*
   Disallow:/klg/
   Disallow:/jkuy/lk/


この場合は、/klg/ 以下のディレクトリ、/jkuy/lk/ 以下のディレクトリ が検索拒否の対象になる。

TOPページ