據(jù)說是個(gè)人寫的蜘蛛程序,指向的是 http://www.yunyun.com/spider.html,yunyun.com 目前不能訪問,建議屏蔽之。
不過對(duì)于國內(nèi)網(wǎng)站來說不會(huì)帶來什么流量,可以選擇robots.txt協(xié)議禁止。
User-agent: YYSpider
Disallow: /
如果還是禁止不了,可以選擇nginx規(guī)則禁止訪問,如下:
if ($http_user_agent ~* "YYSpider") {
return 403;
}