MauiBot 不同于其他爬蟲，這個(gè)爬蟲連網(wǎng)站都沒有，UA只顯示一個(gè)郵箱：”MauiBot (crawler.feedback+wc@gm ail.com)“。神奇的是這個(gè)看起來(lái)是個(gè)人爬蟲，竟然遵循robots協(xié)議，算得上垃圾爬蟲的一股清流。

好在遵循robots協(xié)議，可以用robots.txt協(xié)議進(jìn)行禁止。

協(xié)議如下：

User-agent: MauiBot
Disallow: /