You are here

Linux空间 用.htaccess 屏蔽垃圾蜘蛛bad robots

很多不知名的蜘蛛不按照robots.txt的定制好的规则来的
直接狂爬 比如sogou jikespider
曾经那个sogou 把我的ecshop小站狂爬 一万多
用robots.txt屏蔽后
在用.htaccess 搞一下
运行出错的时候自己删掉部分 排查

<IfModule mod_rewrite.c>
	RewriteEngine on
	RewriteCond %{HTTP_USER_AGENT} "360space|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu" [NC]
	RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [R=403,L]
</IfModule>

UA符合条件并且访问的不是robots.txt的 就403错误!

文章类型: 
关键字: