SEMrushBot蜘蛛是一個在線SEO分析平臺的蜘蛛,他們的官網是www.semrushchina.cn,對國內網站用戶來說,大家可能對它有些陌生,但是有很多做外貿的朋友應該都知道或使用過它,它在行業(yè)內還是比較知名的。 它對網站有害嗎?
多個 SEMrushBot相關的蜘蛛,如下:
SemrushBot-SA
SemrushBot-BA
SemrushBot-SI
SemrushBot-SWA
SemrushBot-CT
SemrushBot-BM
SemrushBot-SEOAB
通過以上了解,相信大家已經大概明白,SemrushBot蜘蛛是一個正規(guī)的蜘蛛,至少它對你的網站是沒有害處的。
但是不會為網站帶來流量,可以選擇robots.txt協議的方式來禁止。
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB