にしし ふぁくとりー:西村文宏 個人サイト

No.6715 - 今日のひとことログ

更新

■LOG No.6715

にししふぁくとりーHOMEに掲載している「今日のひとこと」の過去ログ(掲載履歴)です。 RSS

No.6715 〔703文字〕 📝,🧙

「検索避け」と呼ばれる種類の対策を多重に施すことで、逆に検索避けに失敗する、という話があまり周知されていない気がする。あるページがインデックスされないようにするには、そのHTMLのhead要素内にmeta要素を使ってname="robots" content="noindex"みたいに書けば良いだけなのだが、これに加えて robots.txt を使ったり .htaccess によるアクセス制限を使ったりしてクローラーのアクセスを拒否してしまうと、「アクセスが拒否されているので、noindexの指示が読めない」(=検索サイト側が「そのページをインデックスしてはいけない」という指示の存在を読めない)という問題が発生する。「クローラーのアクセスを拒否していれば何にしてもインデックスしようがないのではないか」と思うかも知れないが、そうではない。第三者のウェブサイトからそのサイトへリンクが張られていれば、そのリンクを元にしてそのサイトの存在を認識することはできる。クロールはできないのでページ内部の情報は収集できないが、リンクテキスト等を参考にして検索結果に表示することはできる。その結果、「検索避け」は失敗する。このことは、Google自身も述べていて、noindexを使用して検索インデックス登録をブロックするという公式解説ページに重要: noindexディレクティブが有効に機能するようにするためには、robots.txtファイルでページまたはリソースをブロックせず、クローラがページにアクセスできるようにする必要があります。と注意が促されている。「全部やれば最強」という考えだとよろしくないのだ。
2022年4月
12
3456789
10111213141516
17181920212223
24252627282930
2022年5月
1234567
891011121314
15161718192021
22232425262728
293031
2022年6月
1234
567891011
12131415161718
19202122232425
2627282930

Powered by てがろぐ Ver 4.6.0

--- 当サイト内を検索 ---