become.comのロボットくん
数日前にbecome.com（オンラインショッピングに特化した検索サービスで、トランスコスモスの出資で日本でも近日サービス開始予定）のロボットくんがやってきて、以降そのアクセスが急増し、あり得ない数字になっていることに気付いた。
デモサイトのトップページは、いまでは、万人向けのよく知られた（かつ、一部を除いて、このスクリプトを介してもそれほど見栄えが悪くないと思われる）サイトを並べてあるのだけど、開発の当初は、広く知られているわけではない、単に自分がよく訪れるサイトを並べていて、当時はロボットくんの呼び込みどころか、ブログのping送信すら行っていなかったのに、どこで嗅ぎつけたのか、その当時のリンクをフォローしたロボットくんがいて、そうなるとインデックスされる内容が、基本的にはオリジナルのページと同じものになってしまうことがあり、意外なキーワードでここに辿り着くひとがいたりした。
それはさすがにまずいので、meta robotsとか書いとかなきゃなあと思いつつ、とは言えそのようなお客さんは決して多くいるわけではないので、すっかり失念していた矢先の、become.comロボットくんの襲来である。
もちろん、このサイトは、ショッピングサイト専用のロボットくんにインデックスされるいわれなぞないわけで。おそらくはトップページのポータルサイトへのリンクあたりに反応して、以降そこから延々とフォローを続けているのだろうけど、いかんせんその場合、全てのフォロー先はこのスクリプトなわけで（笑）。
生ログを採取してないのでどこでどう引っ掛かっちゃったのかは知らないけど、普通のロボットくんはある程度のフォローで諦めるものだと思うが、become.comのロボットくんの執念はなにやら凄まじいようで、それだけのインデックスを処理する技術力の高さゆえか、単におバカなツクリなだけか、どっちか。
まあ、正直すまんかった。
2005/11/09
トラックバック
このエントリーのトラックバックURL:
http://www.rcdtokyo.com/mt/mt-rcdtokyo5428-tb.cgi/21
コメント
私もbecomeの猛攻撃で一日1万3000件くらい食らいました
Mozilla/5.0 (compatible; BecomeBot/2.3; MSIE 6.0 compatible; +http://www.become.com/site_owners.html)
をmod_rewriteで落とせばOkみたいですよ。
Posted by 通りすがりさん at 2006/06/30 23:14
このエントリを書いたときはbecomeに1日確か30万件やらかされたときでした（もうアフォかと）。
まあ、うちの場合は原因がハッキリしていたわけで、エントリにも書いたmetaの記述だけで対処できたわけですが。これに限らず世の中バカなロボットばっかですわいな。inktomiとかinktomiとか（でもこいつはさすがに拒絶はできず（笑）。
Posted by ucbさん at 2006/06/30 23:41