検索エンジンを制御するための「robots.txt」とは
robots.txtは、検索エンジンのクローラー(bot)に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。検索エンジンの制御するため、多くの検索エンジンクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。 まずは、自分のサイトの「robots.txt」を確認してみます。 User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: 上記のように設定されていることが分かります。 この中で、Allow: /wp-admin/admin-ajax.php は何のためにAllowなのか? 以前「Googleがページを正確にインデック...