• 本文
• リロード
• 差分
• バックアップ
• 名前変更
• リファラ
• 新規ページ
• 編集

検索エンジン

robots.txt

Top / robots.txt

http://www.robotstxt.org/

メモ

• 「インターネット情報検索サービス事業者」として収集をする場合にはrobots.txtの指定に従う必要があります。
• http://yamitzky.hatenablog.com/entry/2013/12/31/034821
• http://www.meti.go.jp/policy/it_policy/daikoukai/igvp/index/h22_report/sub/06.pdf

例

• http://www.geek.sc/archives/869

参考

• http://bazubu.com/robots-txt-16678.html