Rogerbot 是 Moz Pro Campaign 網(wǎng)站審核的 Moz 爬蟲。它與 Dotbot 不同，Dotbot 是為鏈接索引提供支持的網(wǎng)絡(luò)爬蟲。Rogerbot 訪問您網(wǎng)站的代碼以將報(bào)告發(fā)送回您的 Moz Pro Campaign。這可以幫助您了解您的網(wǎng)站并教您如何解決可能影響您的排名的問題。Rogerbot 為您的站點(diǎn)抓取報(bào)告、按需抓取、頁面優(yōu)化報(bào)告和頁面評(píng)分器提供數(shù)據(jù)。
通過 Robots.txt 阻止 Rogerbot 抓取您的網(wǎng)站
如果您厭倦了 rogerbot 抓取您的網(wǎng)站，您可以通過在 robots.txt 文件中的 disallow 指令后添加斜杠 ("/") 來阻止抓取工具。那就是說：“Rogerbot，您無法訪問這些頁面中的任何一個(gè)，該站點(diǎn)上的所有頁面都不適合您，請(qǐng)遠(yuǎn)離，伙計(jì)?！?/p>使用您的 robots.txt 文件阻止 rogerbot 如下所示：
User-agent: rogerbot
Disallow: /
注意表示站點(diǎn)根目錄的斜線。添加此代碼將阻止 rogerbot 抓取您的網(wǎng)站所有頁面。
您還可以從站點(diǎn)的某些部分（例如子文件夾）中排除 rogerbot。下面是阻止 rogerbot 抓取您某個(gè)目錄的所有頁面：
User-agent: rogerbot
Disallow: */manage/*
熱門工具排行榜