
検索エンジンを制御するための「robots.txt」とは
robots.txtは、検索エンジンのクローラー(bot)に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。検索エンジンの制御するため、多くの検索エンジンクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。まずは、自分のサイトの「robots.txt」を確認してみます。User-agent:*Disallow:/wp-admin/Allow:/wp-admin/admin-ajax.phpSitemap:上記のように設定されていることが分かります。この中で、Allow:/wp-admin/admin-ajax.php は何のためにAllowなのか?以前「Googleがページを正確にインデックスするために js や ...