一淘網(wǎng)蜘蛛(EtaoSpider)為一淘網(wǎng)抓取工具?!北桓鞔箅娮由虅?wù)購(gòu)物網(wǎng)站屏蔽。拒絕一淘網(wǎng)抓取其商品信息及用戶產(chǎn)生的點(diǎn)評(píng)內(nèi)容。被禁止的原因首先應(yīng)該是它們之間沒(méi)有合作互利的關(guān)系,還有就是EtaoSpider爬蟲(chóng)是一個(gè)抓取最瘋狂的蜘蛛。統(tǒng)計(jì)發(fā)現(xiàn)EtaoSpider爬蟲(chóng)的一天爬行量比“百度蜘蛛:Baiduspider”“360蜘蛛:360Spider”“SOSO蜘蛛:Sosospider”等主流蜘蛛爬蟲(chóng)多幾倍,并且是遠(yuǎn)遠(yuǎn)的多。重點(diǎn)是EtaoSpider被抓取只會(huì)消耗你的網(wǎng)站資源,它不會(huì)給你帶來(lái)訪問(wèn)量,或者其它對(duì)你有利用的。
中文成語(yǔ)詞典可用一個(gè)詞來(lái)形容,這個(gè)詞留給大家想吧。
不過(guò)對(duì)于國(guó)內(nèi)網(wǎng)站來(lái)說(shuō)不會(huì)帶來(lái)什么流量,可以選擇robots.txt協(xié)議禁止。
User-agent: EtaoSpider
Disallow: /
如果還是禁止不了,可以選擇nginx規(guī)則禁止訪問(wèn),如下:
if ($http_user_agent ~* "EtaoSpider") {
return 403;
}