10月の１日から、Bingのクローラについて、いくつかの点が変わるようです。
▼Bing Community:Bingbot Is Coming To Town
10月になってもこの変更対応に未対応のままですと、例えばアクセス解析ツールなら数字のずれが起きるかもしれません。また、古いバージョンのツールを使っている場合も同様ですね（ClickTracksとか…）
robot.txtなどにおいては、新しいbingbotはmsnbotに対しての指定も読み込むので、すぐに対応が必要ではありませんが、可能なら早めに対応するのがいいですね。
ちなみに、msnbotへの指定とbingbotへの指定が両方記載されている際は、bingbotへのものを優先するそうです。
日本ではYahooはGoogleを採用しましたが、米国YahooはBingを採用しているので、海外向けのサイトを作っている方は、きちんと確認しておくべきですね。とは言えWebMasterWorldなどをみても、ほとんどみんな話題にしていませんが…(^-^;
変更点
- 名前の変更。以下のUser-Agentになる。
Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)ちなみに昔はMSNBOTで、User-Agentは以下でした。
msnbot/2.0b (+http://search.msn.com/msnbot.htm)
＃クローラのIPやホスト名については「user-agent-string.info: List of User Agent Strings->MSNBot」が詳しいです。
- HTTPヘッダーのFROMが変わります。
(旧)：From: msnbot@microsoft.com
(新)：From: bingbot@microsoft.comFromフィールドとは、特にロボット系のエージェントに求められている、その提供元の連絡先（≒メールアドレス）です。
HTTP1.0および1.1の仕様書に記載されています。（詳細：[Studying HTTP] HTTP Header Fields）
変更されない点
- クローラのIPアドレス
余り大きな話題ではありませんが、振り分けなどでUser-Agentを利用している場合は、ご注意下さい。
クローラなのでクライアントレベルではあまりないと思うのですが。
Discussion about this post