『検索エンジンに捕まっちゃった！！』 と書いたところ、『ち』さんから速攻のレスで、 対策方法をお教えいただいた。 そのアドバイスを元に、自分でも調べてみて、大きく方法は2つあるみたい。 ロボット対策 その１−robots.txt そもそもの『ロボット』ですが、検索エンジンをやっている サイトが各種Webサイトの状況（生きてるとか死んでるとか、閉じちゃったとか） を調べる為の物らしい。 あるサイトから入って、そこのHTMLのリンクをたどる形でHomePageの情報を集める。 で、このロボットがページを探る時に、そのサイトの『robots.txt』というファイルをまず探すらしい。 このファイルには、 このロボットは受け入れるけど、こっちのロボットはイヤだ このパスは検索して良いけど、こっちはだめ といったことを指定できる。 しかし、このrobots.txtファイルを使う方法、URLのルートに置かないとダメとのこと。 こんな感じ。 http://www.xxxx.co.jp/robots.txt となると、このサイトのように、ふつーにプロバイダに入って、ソコに開いているひとは、 この方法はできないのが一般的。 これではダメらしい。 http://www.zzzz.co.jp/hogehoge/robots.txt 1個ファイルを作るだけなので、これまで書いてきたファイルに影響しないから、 いい対策なんだけど、泣く泣く断念。 ロボット対策 その２−METAタグ 検索で出てきたページの殆ど全てで、その１の方法と一緒にもう1つの方法が紹介されていた。 HTMLのメタ タグで、ロボット制御の構文があるらしい。 こんな感じ。 <META NAME="ROBOTS" CONTENT="NONE"> <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> これを入れておくと、そのHTMLからリンクをたどるロボットの動きを制御できると。 でも、この方法だと、最悪すべてのHTMLに書かないといけない。 んなアホな。 このサイト、開設後11ヶ月目で既に*.htmlだけで250ファイルを突破。 これ全部に対策、全部アップロードなんで、とてもとても.....。 ＃ちなみに、画像ファイルは500ファイルに迫ろうとしている。 で、考えた。 ↑のメタ タグの記述例は、 『そのファイルと、ソコからのリンクはすべて検索拒否』 となる。 ということで、これを index.htmlに書くと、それ以降、 つまりこのサイト＋リンクは全て拒否 になる。 でも、 途中のページに他のサイトからリンクされてて、 そのサイトはロボット拒否を入れてない とすると、意味は無い。 完璧な対策じゃないけど、労力と効果のバランスを考えると、これだろうと。 やってみました。 ＃ソースや説明を見てもらって、 『ちげーよ、まちがってるよ、こーだよ』 なんてご指摘あったらください。 検索でひっかかったgoogleのサイトによると、 『6〜8週間で再検索をする』 とある。 さて、どうなる事やら、年明けが楽しみですね。 でも、この辺はあくまで 『仕様』 であって、 『それに沿ってロボットを作ってないと』 有効でないんですね。 ま、今回は著名検索エンジンがターゲットなので大丈夫だと思うけど、 怖いですねぇ、インターネットは。 2002/11/13
|