贅沢な悩みかもしれませんが・・・

Google-botのクロール頻度

Google-botのクロール頻度

先日来の自社サーバー負荷増大ですが、いろいろと対処をして、かなり落ち着いてきました。
先週一週間はこれのせいで本当に疲れたヨ・・・

で、原因のひとつとしてあげていたのが検索エンジンクローラーの頻繁なアクセスなんですが、それを証明する(誰に?という話はおいておいて)のがこのグラフ。

これは、自分の会社のドメイン(ling-factory.com=このブログもこのドメインです)にGoogle-botがクロールした履歴なんですが、1日あたりのクロールされたページ数が最大で7738回・・・orz

1日24時間って何秒?と、計算しようと思ったけど面倒なのでGoogleで検索(笑)

1日は86 400 秒だそうです。
と、すると・・・11秒間に1回はGoogle-botがクロールしているという事になります。
これってどうよ??

もちろん、そんな等間隔でクロールする事はないので、1秒間に数回のアクセスなんていう事もあるわけで、さらに検索エンジンのクローラーはGoogleだけではなくYahooやMSN、さらにさらにお行儀の悪い百度やNavar、他の国の検索エンジンもサーバーの中のファイルに銃弾爆撃を・・・・

これで、サーバーの負荷が上がらない訳がないですよね・・・

という事で、来てもらわなくても良いロボットさんは、.htaccessでIPごと拒否し、Yahooなんかはクロール頻度をrobots.txtに明記して時間を置いて来てもらうようにしました。

ただ、Googleさんにはこれが通用しないようなのでウェブマスターツールからクロールの頻度を最低に下げて通知。

検索エンジンの上位に表示されるには、クロールしてもらわないとダメなんですけど、サーバーが落ちちゃったら意味ないので。
まあ、ある意味贅沢な悩みではあります。

頻度さえ常識内なら問題ないのですけどね。

スポンサーリンク

シェアする

  • このエントリーをはてなブックマークに追加

フォローする

スポンサーリンク

コメント

  1. rosetea より:

    よくわかりませんがたいへんそうですね。
    なぜゴールデンスランバーで検索するとここがトップに?
    私も書いているのにーと思ってしまいました^^

  2. 管理人 より:

    >roseteaさん

    >私も書いているのにーと思ってしまいました^^

    そこはプロだということで(笑)

    キーワードに注意して書いていますので。