金曜日ブログをお休みしてしまいました。すみません。
あ、土日は普通休んでいますので(笑)
で、なんで休んだかというとそれどころでない大変な目にあっていたからなんですね。
数日前から会社のサーバーが異常にCPU負荷が上がっていまして、その原因調査と対策を数日間かけてやっていたのです。今もまだ途中だったり・・・
いろいろと調べた結果、CPU負荷の異常上昇の原因は、MT（MovableType）のCGIファイル（これが結構サーバーに負荷をかけるのです）へ検索エンジンのクローラーが頻繁にアクセスしてくれていたからなんです。
つまり、
検索エンジンによるサーバーへのスパム攻撃が原因だったと。
クローラーの仕様上、CGIファイルへのアクセスも仕方がないのかとも思いますがせめて（負荷をかけると分かっている）MTのファイルへのアクセスは勘弁してくれ・・・
しかも、無法者だと分かっている百度（Baidu）はまだしもGoogle（googlebot）まで・・・
と、ロボット相手にいっても仕方がないのでMovableTypeを使っているクライアント様にもご協力を頂きながら対策を施してみました。
ちょっと専門的な事になるので一般読者さん？は興味がないでしょうから続きは「続きを読む」から読んでください
最初はMTが入っているフォルダに.htaccessでアクセス規制を掛けたのですが、これだとGoogleのクローラーさんが記事を拾ってくれない。
で、考えたのがMTのプログラムファイルにのみアクセス規制を掛ける方法
.htaccessに
<Files ~ "￥.cgi$">
order deny,allow
deny from all
allow from .jp
allow from .bbtec.net
allow from .il24.net
deny from 119.63.192.0/21 #百度
</Files>
￥は半角
と記述しておきました。
今のところこれで収まっているみたい。
さらに、いろいろとMTスパム関係の情報を集めて対策を・・・
・Trackback Auto Discovery（<$MTEntryTrackbackData$>タグ） を削除
・コメントフォーム部分のJavaScript表示
他
海外在住の日本人読者の方にはご迷惑をお掛けしますが（そもそもいないかもしれんし）、背に腹は変えられませんので・・・
いやー大変な数日間でした
あ、ちなみにGooglebotのIPアドレスから本当にGoogleなのか（詐称もあると思い）確認しましたがまさしくGoogleでした。
以下 参考にしたブログエントリー
百度(Baidu)がやっかいなとこから来てる - たねちゃんズ13
Googlebotによる検索スパム？-Genie’s Blog 3.0
GoogleBookmark に追加
