エキサイトブログのrobots.txt

勝手に将棋アンテナに登録してあるサイトの中で、エキサイトブログを利用したページの更新状況を捕捉できなくなっています。おそらく数日から2週間くらい前からではないかと思うのですが、正確な時期は不明です。

よそでは話題になっていないようなので自信がありませんが、この原因はエキサイトブログのrobots.txtにあるようです。例えば http://joryu.exblog.jp/robots.txt を見てみると、検索エンジンはGoogleのものしか通さないような設定になっています。したがって、アンテナのための巡回ロボットに加えて、Yahoo!などの検索エンジンのためのロボットもすべて拒否することになります。

最初は「ブログの中の人が拒否したいのなら仕方ないなあ。それにしても、robots.txtを編集できるなんて珍しいサービスだなあ。」と思ったのですが、調べてみると一律にrobots.txtができているようなので、エキサイトブログの運営側がそのように設定したということなのだと思います。ウェブログを書いている方がそのような設定を望んでいないなら（例えば、女流棋士会ＨＰスタッフブログは制限されることを望まないと思います）、robots.txtは不要だと私は思うのですが何か理由があってのことなのでしょうか。

この設定変更が行われたのは最近のはずなので告知を探したものの、エキサイトブログ向上委員会を含めどこにも見あたりませんでした。また、この件を扱った非公式のページも見つかりませんでした。何か情報をお持ちの方がいらっしゃいましたら、ご教示下さると助かります。