medical002 发表于 2014-11-4 20:43:02

(求教) pbn屏蔽外链蜘蛛的nginx规则

pbn屏蔽ahrefs等蜘蛛,用robots.txt不是办法，好的办法是在.htaccess上屏蔽。.htaccess上是这样的

SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

但问题来了，vps都是nginx的，小白不知道怎么改。那位高人帮改下，谢谢！

cdwyd 发表于 2014-11-4 22:02:02

网上搜下 以前搜过没存档。   

foxconndmd 发表于 2014-11-5 12:11:23

if ($http_user_agent ~* (rogerbot|exabot)) {
    return 403;
}
多个以|分开，不区分大小写，自己补充。
页: [1]
查看完整版本: (求教) pbn屏蔽外链蜘蛛的nginx规则