CriteoBot是由數(shù)字營銷公司Criteo開發(fā)的網(wǎng)絡(luò)爬蟲程序。Criteo是一家專注于個(gè)性化廣告的公司，他們的CriteoBot用于收集網(wǎng)站上的商品信息和用戶行為數(shù)據(jù)，以便為其個(gè)性化廣告和推薦系統(tǒng)提供支持。

CriteoBot會(huì)定期訪問參與其廣告網(wǎng)絡(luò)的網(wǎng)站，并抓取商品頁面的信息、價(jià)格、描述以及用戶瀏覽和購買行為等數(shù)據(jù)。這些數(shù)據(jù)將被用于Criteo的廣告投放和推薦系統(tǒng)，幫助優(yōu)化廣告展示以及增強(qiáng)用戶體驗(yàn)。

不過對(duì)于國內(nèi)網(wǎng)站來說不會(huì)帶來什么流量，可以選擇robots.txt協(xié)議禁止。

User-agent: CriteoBot

Disallow: /

如果還是禁止不了，可以選擇nginx規(guī)則禁止訪問，如下：

if ($http_user_agent ~* "CriteoBot") {

 return 403;

}