「robots.txt」の記事一覧

ホームページを作成しても、 Googleがそのページを拾い（クロール）検索結果に表示してくれなければ意味がありません。 robots.txtはこのクローリングを最適化し、 重要なページをしっかりと検索結果に表示してもらう […]