最近，老郭在查看博客访客的时候发现，来自54.36.148.*IP段的占了很大的比重，经过查询，这个IP段属于Ahrefs蜘蛛专用。

老郭本来还挺高兴的，咱这小破博客终于有蜘蛛来爬了，而且数量还不少，看来被各大搜索引擎收录也是指日可待。但是一查Ahrefs蜘蛛，却发现了不对劲，Ahrefs蜘蛛是一个商业的蜘蛛，会对你的网站进行分析，来判断商业价值，与搜索引擎没有半毛钱关系。也就是说，Ahrefs蜘蛛不仅不会为老郭博客带来任何流量，反而会占用大量的资源。这种亏老郭是肯定不能吃的，于是决定要屏蔽掉Ahrefs蜘蛛。

要想屏蔽蜘蛛，最简单和最通用的办法就是在网站根目录下robots.txt文件里进行设置，可是老郭发现老郭博客所用的wordpress程序根目录下没有这个文件，据说wordpress是在程序里用代码来管理各个搜索引擎蜘蛛的，老郭也不懂这些，所以干脆简单粗暴点，自己在根目录下创建了一个robots.txt文件，然后添加下面的代码。

User-agent: AhrefsBot
Disallow: /

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/

代码一共两部分，上面一部分是禁止Ahrefs蜘蛛访问，下面一部分是禁止所有的蜘蛛访问特定的文件夹和文件，具体是干嘛的，老郭也不懂，都是网上找的。设置完成后，要过一段时间才能慢慢屏蔽掉Ahrefs蜘蛛，毕竟商业蜘蛛也不会那么快就访问到robots.txt文件。