|
はじめに、NAVERとは検索サイトの一つで、韓国NHN Corporationが運営しています。
で、一部では有名な話ですが、ここのロボット(クローラーとも。検索用のデータを収集するソフト)が、もはや迷惑行為という程ひどい振る舞いをします。
その結果、
といった困ったことになります。もはやDoS攻撃に近いものです(DoS攻撃とは、サーバーに過度な負荷を掛けてサービスの提供を不可能にするための攻撃方法のことです)。例えば、このサイトでは各コンテンツにコメントを残してもらえるようになっており、コメント投稿欄には今までのコメント数を表示しています。つまり、アクセスがある度にデータベースにアクセスして、そのページへのコメント数を取得しています。これに秒間隔で何百回もアクセスされると、サーバーへの負荷はかなりのものになります。
で、このように迷惑なロボットであるため、NAVERのロボットからのアクセスを遮断しているサイトもあります。一番簡単なのはNAVERのロボットのユーザーエージェントを判別して遮断することです。ユーザーエージェント(User
Agent)とはサイトにアクセスした時にサイト側に渡される情報で、普通にブラウザでサイトを閲覧した場合はブラウザの種類やPCの環境などが渡されます。例えば今の私のPCからWebサイトにアクセスした場合、下記のような情報が渡されます。
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR
1.1.4322; .NET CLR 2.0.50727; InfoPath.1)
ロボットの場合はブラウザではありませんが、それとわかる情報を渡してきます。Google、Yahooの場合は次のようなものになっています(ロボットのバージョンで変わります)。
Mozilla/5.0 (compatible; Googlebot/2.1;
http://www.google.com/bot.html)
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0;
http://help.yahoo.com/help/us/ysearch/slurp)
NAVERのロボットは通常、下記のようなユーザーエージェントになっています。
Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)
このユーザーエージェントによってNAVER関係のロボットからのアクセスを拒否することができます。…が、どうやらそうとも限らないようです。
下記は、ある時の2秒間にあったアクセスのログです。最初がロボットのIPアドレス、次がユーザーエージェントです。
61.247.211.240
Mozilla/4.0+(compatible;+MSIE+8.0;+Windows+NT+5.1;+Trident/4.0;+InfoPath.2;+Sleipnir/2.9.1)
61.247.211.240 Sleipnir/2.9.1
このIPアドレスの所有者を調べるとNHN
Corporationであることがわかります。また、数秒の間に何度もユーザーエージェントを変更してアクセスする「人」はまずいないでしょうから、これは「人」以外、つまりロボットです。そう、NAVERのロボットは、ロボットの礼儀もわきまえずに、ユーザーエージェントを偽装してブラウザになりすましてアクセスしてきます。中には、Googleのロボットと同じユーザーエージェントに偽装してアクセスしてくることもあるそうです。
何でこんなことをするのか。それは、その傍若無人な振る舞いに迷惑して、ユーザーエージェントを参照してNAVERのロボットからのアクセスを拒否するサイトが増えたからではないかと推測します。アクセスを拒否するサイトが増えたから、拒否された原因を改善するのではなくユーザーエージェントを偽装して解決しようする…なんという会社でしょう。NAVERのロボットに多くのサイト管理者が迷惑しているのは有名な話で、NHN
Corporationがそれを知らないとは考えにくいです。
で、このサイトでは、最初からそれがわかっていたので、ある時からNHN
Corporation関係のIPアドレスからのアクセスを拒否しています。よって、NAVERの検索結果にはこのサイトの新しい情報は出ないことになります。
現在設定している拒否IPアドレスは下記の通りです。
| ネットワークアドレス/マスク長 |
ネットマスク |
備考 |
| 61.247.192.0/19 |
255.255.224.0 |
|
| 111.91.240.0/20 |
255.255.240.0 |
|
| 202.131.24.0/21 |
255.255.248.0 |
推測なのでアドレス範囲が間違っている可能性があります |
日本ではNAVERはマイナーですが、韓国で最もメジャーなのはNAVERで、最もユーザーが多い検索サイトなのだそうです。また、このサイトに韓国からアクセスされる方も少数ながらおられます。しかし、今後NAVERの検索結果にはこのサイトの新しい情報は出ませんから、NAVERで検索をする方…主に韓国の方はこのサイトに辿り着く機会を失います。わざわざこのようなサイトを開いて情報を載せるというのはより多くの方に情報を発信したいからに他なりません。ですので、本当はこのようなことはしたくないのですが、やむを得ません。
アクセスが拒否された場合は、拒否した理由を書いたエラーページを表示するようになっています。しかし、上記設定が完全に正確とは言えません。もし、ある場所では見られるのに他の場所ではそのページが表示されるといった場合は、是非ご連絡ください。また、設定の間違い等に気付かれた方や、より正確なIPアドレス範囲の情報をお持ちの方は、コメント等でご連絡頂けると助かります。
|
