robots.txt 善良なbotに対する指示が記載されたtxtファイル bot：基本的にはクローラーのこと 強制力はないので攻…

robots.txt

• 善良なbotに対する指示が記載されたtxtファイル
  • bot：基本的にはクローラーのこと
• 強制力はないので攻撃目的の悪意のあるbotは従わせることはできない
• robots.txtにはユーザーエージェントごとにブロックしたいコンテンツのパスを記載する
  • ユーザーエージェント：botの名前
• 参考：Robots.txtとは？| Robots.txtファイルの仕組み