robots.txt

SEO/MEO Tips

robots.txtは、ウェブサイトのルートディレクトリに置かれるテキストファイルで、検索エンジンのクローラー（ロボット）に対して、ウェブサイトのどの部分をクロールしてインデックスするかを指示するためのものです。今回の記事では、robots.txtの役割と書き方について解説し