Twiceler是一個(gè)網(wǎng)絡(luò)爬蟲(chóng)程序，曾經(jīng)被用于收集和索引網(wǎng)頁(yè)內(nèi)容以支持搜索引擎。Twiceler爬蟲(chóng)由Cuil（一家曾經(jīng)存在的搜索引擎公司）開(kāi)發(fā)和使用。

Twiceler爬蟲(chóng)主要用于抓取網(wǎng)頁(yè)內(nèi)容，并將這些內(nèi)容存儲(chǔ)在搜索引擎的數(shù)據(jù)庫(kù)中，以提供搜索結(jié)果。它遵循網(wǎng)絡(luò)爬蟲(chóng)的基本原則，即通過(guò)訪問(wèn)網(wǎng)頁(yè)并抓取其中的信息來(lái)建立搜索引擎的索引。

不過(guò)對(duì)于國(guó)內(nèi)網(wǎng)站來(lái)說(shuō)不會(huì)帶來(lái)什么流量，可以選擇robots.txt協(xié)議禁止。

User-agent: twiceler

Disallow: /

如果還是禁止不了，可以選擇nginx規(guī)則禁止訪問(wèn)，如下：

if ($http_user_agent ~* "twiceler") {

 return 403;

}