日記一覧

'17/6/23 出張ついでのキハ40
'17/5/4 ヘンテコレンズで群馬を散歩
'16/9/3 終わらないサブカメラ探求
'15/8/22 もうひとつのロマンス
'15/8/16 超超超久々のいすみ鉄道
'15/7/19〜20 箱根ドライブと伊豆急
'15/4/12 常総線と菜の花
'15/4/4 悪天候の中、八高線
'14/9/26 タムロン150-600mmが軽い理由
'14/9/6 シグマ150-600mm?
'14/8/27 大洗鹿島線
'14/8/6 じょ・じょ・じょ上信♪
'14/7/17 E-TTLII対応フラッシュ
'14/7/15 多摩都市モノレール撮影
'14/6/11 600mmへの道
'14/5/25 アレが来ちゃった…
'14/4/14 烏山線撮影
'13/12/9 バックとカメラ
'13/10/6 高い買い物その2
'13/8/7 サンライズ瀬戸で高松へ
'13/6/15 生田緑地を散歩・撮影
'13/6/16 最近の撮影
'13/3/30 雨の八高線
'13/1/5 格安サーバーにWHS2011
'12/12/22 シグマ28mmF1.8II
'12/11/16 EOS+M42
'12/11/13 懲りずに新お散歩カメラ
'12/9/10 ほぼポケットWiFi
'12/8/19 清里・美ヶ原へ旅行
'12/8/9 InfoSphereモバイルライトプラン
'12/7/31 JR八高(7年振り3回目)
'12/7/28 仕事で諏訪湖に缶詰め
'12/6/29 またもやケチモバ通信
'12/6/24 1枚のパンケーキ
'12/6/11 EF40mm F2.8STM続報
'12/6/8 パンケーキ!
'12/6/5 カーシェア(ry烏山(ry
'12/5/13 カーシェアで烏山線撮り鉄
'12/4/26 ケチケチモバイル通信
'12/4/25 間違い探し
'12/4/20 お散歩カメラ近況
'12/4/5 露出…
'12/4/1 ついにお散歩カメラ購入
'12/3/27 皆で撮る意義?
'12/3/11 河津桜
'12/3/6 イイけど良くない5D MarkIII
'12/2/21 エネループデビュー
'12/2/11 新製品所感(2) ボディ
'12/2/10 新製品所感(1) レンズ
'12/2/4 ぷらっと栃木
'12/1/20 色々壊れる
'12/1/10 新年早々…
'11/12/19 箱根登山鉄道(と梅干し^^;)
'11/11/29 鉄好きの原点?
'11/11/7 ThinkPad X40をSSD化
'11/10/8 PocketWiFi導入
'11/10/2 祭りじゃない川越
'11/9/15 硬派なダンス
'11/8/22 ダンス&踊り
'11/8/8 EF-S17-85/4-5.6IS USM
'11/8/3 近況…というか買い物報告?
'11/7/21 大きいのが来た
'11/7/18 現像待ちという名の下に
'11/7/3 3倍テレプラスは結構いける?
'11/6/28 通常の3倍の焦点距離で…!
'11/6/24 これはひどいよペンタックス…
'11/6/22 夢の島撮影〜女体もあるよ!
'11/6/12 エクステンダーEF2×試写
'11/6/2 パンダを捕獲
'11/5/22 本日の収穫(またまた…)
'11/5/20 本日の収穫(またか!)
'11/5/7 本日の収穫
'11/5/3 魅惑のボディー
'11/4/2 自粛しない!
'11/3/7 テレコン…
'11/2/8 30万アクセスを迎えて
'10/12/22 祝・開通
'10/12/9 増える…
'10/11/30 DCCで行こう!
'10/11/26 鉄道模型あれこれ
'10/10/19 総タムロン化計画
'10/11/12 実は私はお大尽
'10/11/7 地デジか!
'10/10/28 念願のモノを…
'10/10/21 400mm問題、解決
'10/10/14 ポチっとな〜!
'10/9/21 お散歩カメラが熱い?
'10/9/4 RSS不具合
'10/9/2 早くもタムロン70-300mmVCが…
'10/8/24 いよいよ登場タムロン70-300mmVC
'10/8/16 タムロン20-40mm試写とか
'10/8/12 シグマ24-70mmF3.5-5.6HF
'10/8/9 タムロン20-40mm F2.7-3.5
'10/7/27 エクステンダーEF1.4X
'10/7/19 セミの声
'10/7/8 青森から函館へ
'10/7/7 「あけぼの」の一夜
'10/7/1 せきとり
'10/6/22 ακιο本に(略
'10/6/13 EOS5Dにバッテリーグリップ
'10/5/30 小湊鉄道スナップ
'10/5/24 委託販売
'10/5/15 EF50mm F1.8 I型
'10/5/11 ソニーのミラーレス機
'10/5/10 ドナドナド〜ナ〜♪
'10/5/7 50mmの葛藤
'10/5/6 EF80-200mmF2.8Lの進退
'10/4/20 新PC、始動
'10/4/13 新PCのスペック
'10/4/10 新しいPCが欲しいぞ
'10/4/5 桜と都電荒川線
'10/3/31 ακιοポスターの続き
'10/3/21 ακιο、ポスターになる?!
'10/3/14 シグマ24mmF2.8試写
'10/3/9 手ブレ補正付70-300mm
'10/3/5 嗚呼シグマ24mmF2.8
10/2/14 鉄道模型?
10/1/26 煙を求めて…
09/12/27 東京モノレール撮影
09/12/21 トキナーAT-X17が壊れた!
09/12/17 EF100-300mmF5.6L試写
09/12/10 後ピン!
09/12/5 EF100-300/5.6Lがキタ!
09/12/4 シグマ17-70/2.8-4.5DC試写
09/12/2 トキナーAT-X17mmF3.5到着
09/11/12 EF22-55mm F4-5.6USM
09/11/7 ミヤマクワガタの幼虫!
09/11/2 シグマ17-70/2.8-4DC MACRO
09/10/29 前野原温泉 さやの湯処
09/10/27 "NAVER"の迷惑ロボット
09/10/20 最後のカブト・クワガタ
09/9/26 またEF50/1.8IIが…
09/9/22 今さらKissDigitalN
09/9/12 あれっ?
09/9/10 カメラ機材整理
09/8/14 カブト・クワガタの卵孵化
09/8/4 ミヤマクワガタ豊作?
09/7/30 クワガタ途中経過
09/5/20 クワガタことはじめ
09/4/30 \980/月でPCでも通信し放題!
09/4/18 スマートフォン購入
09/3/31 s.kさんと江ノ電撮影
09/3/14 UQ WiMAXモニターに当選
09/2/17 EF70-200/4L不良?
09/2/15 物欲が止まらない…
09/2/10 シグマ24-60/2.8EX DG到着
09/2/8 初めての三○カメラ
09/1/21 ついにフルサイズ!
08/10/27 MP3プレーヤー購入
08/3/1 EF135mm F2L購入
08/2/1 ドタバタ、トラブル頻発
07/10/4 EOS10Dフラッシュ故障
07/8/20 再々度フォトコンテスト
07/7/21 再度フォトコンテスト
07/7/8 久々のフォトコンテスト入選
07/7/7 変態レンズ?
07/4/19 八重山旅行 4日目
07/4/18 八重山旅行 3日目
07/4/17 八重山旅行 2日目
07/4/16 八重山旅行 1日目
07/4/13 安いネガフィルム
07/3/18 シグマ30/1.4DCのAFが不調
07/2/24 温泉&撮影旅行
06/12/16 大口径望遠ズームの逆光性能
06/11/23 車修理、御岳山撮影
06/11/12 廃村倉沢に再訪しかし…
06/11/11 EF50/1.4USM試写
06/11/07 KissDigital,EF50/1.4購入
06/10/09 白根山で紅葉撮影
06/10/1 小海線撮影
06/9/30 日本最高所の野天風呂
06/9/29 標準単焦点でお散歩写真
06/9/24 軽井沢旅行
06/9/18 FinePix S2Proで遊ぶ
06/8/23 河津七滝と伊豆急撮影
06/8/12 初の本土シュノーケリング
06/7/25 西表島旅行の機材を準備
06/4/1 恒例・春の房総 鉄道撮影
05/8/28 カブトムシ・クワガタ撮影
05/8/21 秋の房総 鉄道撮影
05/7/31 八高線撮影
05/7/28 EF50-200mmF3.5-4.5L購入
05/7/26 ついにETC導入
05/7/24 角型ハーフNDフィルター
05/7/31 鹿島鉄道・鹿島臨海鉄道撮影
05/7/17 初めての(マジメに)真岡鉄道
05/7/10 初めての銚子電鉄撮影
05/7/02 紫陽花と箱根登山鉄道
05/6/26 関東鉄道撮影…のはずが

はじめに、NAVERとは検索サイトの一つで、韓国NHN Corporationが運営しています。

で、一部では有名な話ですが、ここのロボット(クローラーとも。検索用のデータを収集するソフト)が、もはや迷惑行為という程ひどい振る舞いをします。

  • 秒間隔で何百回もアクセスする

  • 存在しないURLに対しても同じように秒間隔で数百回リクエストを送る(アクセスを試みる)
    存在しないURLとは単なるリンク切れではなく、勝手に生成しているようです。

その結果、

  • アクセスログが肥大化したり、ログの価値が失われたりする

  • 特にアクセスカウンターなどを動作させている場合、サイトに負担をかける

といった困ったことになります。もはやDoS攻撃に近いものです(DoS攻撃とは、サーバーに過度な負荷を掛けてサービスの提供を不可能にするための攻撃方法のことです)。例えば、このサイトでは各コンテンツにコメントを残してもらえるようになっており、コメント投稿欄には今までのコメント数を表示しています。つまり、アクセスがある度にデータベースにアクセスして、そのページへのコメント数を取得しています。これに秒間隔で何百回もアクセスされると、サーバーへの負荷はかなりのものになります。

で、このように迷惑なロボットであるため、NAVERのロボットからのアクセスを遮断しているサイトもあります。一番簡単なのはNAVERのロボットのユーザーエージェントを判別して遮断することです。ユーザーエージェント(User Agent)とはサイトにアクセスした時にサイト側に渡される情報で、普通にブラウザでサイトを閲覧した場合はブラウザの種類やPCの環境などが渡されます。例えば今の私のPCからWebサイトにアクセスした場合、下記のような情報が渡されます。

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.1)

ロボットの場合はブラウザではありませんが、それとわかる情報を渡してきます。Google、Yahooの場合は次のようなものになっています(ロボットのバージョンで変わります)。

Mozilla/5.0 (compatible; Googlebot/2.1;  http://www.google.com/bot.html)
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

NAVERのロボットは通常、下記のようなユーザーエージェントになっています。

Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)

このユーザーエージェントによってNAVER関係のロボットからのアクセスを拒否することができます。…が、どうやらそうとも限らないようです。

下記は、ある時の2秒間にあったアクセスのログです。最初がロボットのIPアドレス、次がユーザーエージェントです。

61.247.211.240 Mozilla/4.0+(compatible;+MSIE+8.0;+Windows+NT+5.1;+Trident/4.0;+InfoPath.2;+Sleipnir/2.9.1)
61.247.211.240 Sleipnir/2.9.1

このIPアドレスの所有者を調べるとNHN Corporationであることがわかります。また、数秒の間に何度もユーザーエージェントを変更してアクセスする「人」はまずいないでしょうから、これは「人」以外、つまりロボットです。そう、NAVERのロボットは、ロボットの礼儀もわきまえずに、ユーザーエージェントを偽装してブラウザになりすましてアクセスしてきます。中には、Googleのロボットと同じユーザーエージェントに偽装してアクセスしてくることもあるそうです。

何でこんなことをするのか。それは、その傍若無人な振る舞いに迷惑して、ユーザーエージェントを参照してNAVERのロボットからのアクセスを拒否するサイトが増えたからではないかと推測します。アクセスを拒否するサイトが増えたから、拒否された原因を改善するのではなくユーザーエージェントを偽装して解決しようする…なんという会社でしょう。NAVERのロボットに多くのサイト管理者が迷惑しているのは有名な話で、NHN Corporationがそれを知らないとは考えにくいです。

で、このサイトでは、最初からそれがわかっていたので、ある時からNHN Corporation関係のIPアドレスからのアクセスを拒否しています。よって、NAVERの検索結果にはこのサイトの新しい情報は出ないことになります。

現在設定している拒否IPアドレスは下記の通りです。

ネットワークアドレス/マスク長 ネットマスク 備考
61.247.192.0/19 255.255.224.0  
111.91.240.0/20 255.255.240.0  
202.131.24.0/21 255.255.248.0 推測なのでアドレス範囲が間違っている可能性があります

日本ではNAVERはマイナーですが、韓国で最もメジャーなのはNAVERで、最もユーザーが多い検索サイトなのだそうです。また、このサイトに韓国からアクセスされる方も少数ながらおられます。しかし、今後NAVERの検索結果にはこのサイトの新しい情報は出ませんから、NAVERで検索をする方…主に韓国の方はこのサイトに辿り着く機会を失います。わざわざこのようなサイトを開いて情報を載せるというのはより多くの方に情報を発信したいからに他なりません。ですので、本当はこのようなことはしたくないのですが、やむを得ません。

アクセスが拒否された場合は、拒否した理由を書いたエラーページを表示するようになっています。しかし、上記設定が完全に正確とは言えません。もし、ある場所では見られるのに他の場所ではそのページが表示されるといった場合は、是非ご連絡ください。また、設定の間違い等に気付かれた方や、より正確なIPアドレス範囲の情報をお持ちの方は、コメント等でご連絡頂けると助かります。

ご感想、アドバイス等、お気軽にどうぞ。

このコンテンツへのコメント(0)
お名前(省略可)

Prev Next


Top | Digest Gallery | 写真館 | レンズレポート | 写真雑記帳 | 日記 | 掲示板 | プロフィール | リンク