最近，老郭在查看博客访客的时候发现，来自54.36.148.*IP段的占了很大的比重，经过查询，这个IP段属于Ahrefs蜘蛛专用。
老郭本来还挺高兴的，咱这小破博客终于有蜘蛛来爬了，而且数量还不少，看来被各大搜索引擎收录也是指日可待。但是一查Ahrefs蜘蛛，却发现了不对劲，Ahrefs蜘蛛是一个商业的蜘蛛，会对你的网站进行分析，来判断商业价值，与搜索引擎没有半毛钱关系。也就是说，Ahrefs蜘蛛不仅不会为老郭博客带来任何流量，反而会占用大量的资源。这种亏老郭是肯定不能吃的，于是决定要屏蔽掉Ah...
老郭使用腾讯云的Edgeone边缘安全加速平台已经差不多一个月的时间了，客观的说，无论是其包含的防火墙功能还是加速能力，基本上是符合介绍的，目前50元每年的价格也是物超所值的。
但是，老郭却准备要放弃Edgeone，最主要的原因还是之前所说的，Edgeone会阻止百度蜘蛛的访问。距离上次测试已经过去了半个多月，但从百度资源平台上来看，老郭博客的索引量非但没有上升，反而在使用了Edgeone之后连续出现了下降。在百度上搜索老郭博客，基本上也搜索不到了，用行内话来说，老郭博客已经被百度搜索K站了。
即使...
自从老郭博客开始使用腾讯的Edgeone之后，老郭发现百度蜘蛛就不再来抓取网页了，即使老郭每天都在提交网页也没有任何的用处。在百度站长平台的后台可以看出，最近一段时间百度蜘蛛的抓取量一直为0。
老郭尝试了一下抓取测试，发现竟然抓取失败了。
点开详情看了一下，老郭发现虽然现在博客的IP已经变成Edgeone的了，但是百度蜘蛛仍然是访问原来的IP，那自然是没办法抓取到了。
老郭点击了一下反馈，过了几分钟再尝试重新抓取，百度蜘蛛已经提示抓取成功了，IP地址也变成了Edgeone的了。
虽然目前手动测试抓取是成...