DOCOMO Spider是日本最大的移動(dòng)運(yùn)營(yíng)商之一NTT DoCoMo的網(wǎng)絡(luò)爬蟲(chóng)程序。這個(gè)網(wǎng)絡(luò)爬蟲(chóng)主要用于抓取和索引網(wǎng)頁(yè)內(nèi)容，以支持NTT DoCoMo的移動(dòng)搜索引擎和其他相關(guān)服務(wù)。

DOCOMO Spider會(huì)定期訪問(wèn)網(wǎng)站上的頁(yè)面，抓取其中的文本內(nèi)容、鏈接等信息，并將這些信息存儲(chǔ)在數(shù)據(jù)庫(kù)中供搜索引擎使用。通過(guò)這種方式，用戶(hù)可以在NTT DoCoMo的移動(dòng)搜索引擎上搜索并訪問(wèn)相關(guān)的網(wǎng)頁(yè)內(nèi)容。

不過(guò)對(duì)于國(guó)內(nèi)網(wǎng)站來(lái)說(shuō)不會(huì)帶來(lái)什么流量，可以選擇robots.txt協(xié)議禁止。

User-agent: DOCOMO Sprider

Disallow: /

如果還是禁止不了，可以選擇nginx規(guī)則禁止訪問(wèn)，如下：

if ($http_user_agent ~* "DOCOMO Sprider") {

 return 403;

}