sogou spider是搜狗搜索引擎的一個自動程序。它的作用是訪問互聯(lián)網(wǎng)上的網(wǎng)頁，存儲到本地數(shù)據(jù)庫中，并從中發(fā)現(xiàn)新的鏈接，走訪互聯(lián)網(wǎng)，使用戶能在搜狗搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁。

Q. sogou spider 訪問我的網(wǎng)站過快怎么辦？

sogou spider 對于同一個 IP 地址的服務(wù)器主機，只建立一個連接，抓取間隔速度控制在幾秒一次。一個網(wǎng)頁被收錄后，最快也要過幾天以后才會去更新。如果持續(xù)不斷地抓取您的網(wǎng)站，請注意您的網(wǎng)站上的網(wǎng)頁是否每次訪問都產(chǎn)生新的鏈接。如果您認為 sogou spider 對于您的網(wǎng)站抓取過快，請與我們聯(lián)系，最好能提供訪問日志中 sogou spider 訪問的部分。點此投訴spider抓取過快

Q. sogou spider 喜歡收錄什么樣的頁面？

1. 內(nèi)容優(yōu)良而獨特的頁面，如果您的頁面內(nèi)容和互聯(lián)網(wǎng)上已存在的其他頁面有高度的相似性，可能不會被 sogou spider 收錄。

2. 鏈接層次較淺的頁面，過深的鏈接層次，尤其是動態(tài)網(wǎng)頁的鏈接，會被丟棄而不收錄。

3. 如果是動態(tài)網(wǎng)頁，請控制一下參數(shù)的數(shù)量和URL的長度。搜狗更偏好收錄靜態(tài)網(wǎng)頁。

4. 重定向次數(shù)越多的頁面，越有可能被 sogou spider 丟棄。

Q. sogou spider 如何反應我網(wǎng)站上頁面的更新?

sogou spider 根據(jù)網(wǎng)頁的重要性和歷史變化情況來動態(tài)調(diào)整更新時間，更新已經(jīng)抓取過的頁面。

Q. 如何 sogou spider 不抓我的網(wǎng)站？

sogou spider 支持 robots 協(xié)議，您可以在網(wǎng)站的根目錄放置 robots.txt。

robots.txt 的規(guī)則請參閱 http://www.robotstxt.org/。

但是新更新的 robots.txt 可能得過幾個星期才能體現(xiàn)出效果來。

需要注意的是，被您禁止 sogou spider 收錄的網(wǎng)頁將不能在搜狗搜索引擎上檢索到。

不想讓搜狗搜索抓取，可以選擇robots.txt協(xié)議禁止。

User-agent: sogou spider

Disallow: /

如果還是禁止不了，可以選擇nginx規(guī)則禁止訪問，如下：

if ($http_user_agent ~* "sogou") {

 return 403;

}