360Spider,它是一個(gè)很“勤奮抓爬”的蜘蛛。
不想讓360搜索抓取,可以選擇robots.txt協(xié)議禁止。
User-agent: 360Spider
Disallow: /
如果還是禁止不了,可以選擇nginx規(guī)則禁止訪問(wèn),如下:
if ($http_user_agent ~* "360Spider") {
return 403;
}
360Spider,它是一個(gè)很“勤奮抓爬”的蜘蛛。
不想讓360搜索抓取,可以選擇robots.txt協(xié)議禁止。
User-agent: 360Spider
Disallow: /
如果還是禁止不了,可以選擇nginx規(guī)則禁止訪問(wèn),如下:
if ($http_user_agent ~* "360Spider") {
return 403;
}
百度蜘蛛
必應(yīng)蜘蛛
一淘蜘蛛
英國(guó)MJ12蜘蛛
亞馬遜蜘蛛
Ads蜘蛛
Aray蜘蛛
搜狗蜘蛛
Ask蜘蛛
sp蜘蛛
Mail.RU蜘蛛
俄羅斯蜘蛛