DeuSu 是我的個人項目。它是一個擁有獨立索引的搜索引擎。創(chuàng)建搜索索引,超過十億個網頁要爬。DeuSu機器人軟件用來做這個。

目前的(幾乎)所有請求DeuSu機器人來自ip地址85.93.91.84和130.180.122.35。唯一的例外是一些非常小的測試,我不使用這兩種服務器,但實際上我用我的電腦在家里。

不過對于國內網站來說不會帶來什么流量，可以選擇robots.txt協議禁止。

User-agent: Deusu

Disallow: /

如果還是禁止不了，可以選擇nginx規(guī)則禁止訪問，如下：

if ($http_user_agent ~* "Deusu") {

 return 403;

}