SEO追词网官方博客

首先来看下百度和Google对蜘蛛的官方解释：（点击访问官方说明）

百度蜘蛛：Baiduspider  Google蜘蛛：Googlebot 

以下是我各个站点每日来访的百度蜘蛛和Google蜘蛛的ip段，对应每个站点的成熟度各有不同，我们试着在其中找到规律：

（蜘蛛的来访数量与外链的数量，站点的更新频率，权重都息息相关，此处的数据仅代表我个人的站点）

百度蜘蛛分析：

• A站.B站.F站均为一年至四个月的半成熟站点，百度蜘蛛（ Baiduspider）每日来访次数均在5000-8000+次左右
• E站.G站均为二个月至四个月的新站，百度蜘蛛（ Baiduspider）每日来访次数均在2000-3000+次左右
• C站在上周因服务器问题无法访问一天，正常的爬行次数在3000+
• D站为特殊情况，尚待研究。H站上线50天，爬行次数1000+

从以上的列表中可看到：

•  123.125.64.*123.125.66.* 这两个ip段为最常规出现的百度蜘蛛，应该是正常抓取和站点状态正常时百度的例行巡逻兵
• 119.63.193.* 119.63.198.*这两个ip段出现的站点均有更换ip，无法访问，新站初始的情况，我们理解为：新站考察期蜘蛛段
• 121.14.89.* 这个ip段作为度过新站考察期，来的更高等级的常驻蜘蛛，作为更深一级的爬行蜘蛛

Google蜘蛛分析：

从以上的列表中可看到：

• 202.101.43.*222.73.247.*66.249.65.* 这三个ip段是最为常规出现的
• 66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的ip段
• 210.72.225.*这个ip段不间断巡逻各站
• 203.208.60.*这个ip段出现在新站及站点有不正常现象后

综合以上数据可看出些许百度蜘蛛和Google蜘蛛的不同：

1. 百度的蜘蛛访问及抓取量远大于Google蜘蛛
2. 百度的蜘蛛ip段较固定且有规律，Google可能因蜘蛛的分级及不同服务器过来抓取的频率不同而显得多样化
3. 除非你的站点完全被Google惩罚，否则来访的蜘蛛数量不会有太大的差别，但百度则可能封杀你之后就很难恢复，或对你的站点极少爬行。

可能这张表单里的数据也有我没有完全理解的可能性，发出来就是与大家一起共同讨论，希望有研究的朋友可以多多留言，我更希望能有不同的看法出现，希望这篇文章对大家在seo方面的研究有所帮助。（文：猎眼 首发 追词网博客）

Ps：

在上一篇技术文章：文章内关键词输出链接细解 后的评论中我看到某位号称“杭州SEO”的朋友，把我的文章转到自己的站点，这点我是欣慰和默认的，但，去除了所有的超链接，把“（文：猎眼）”这三个字删除（兄弟，你不会就是单单少复制了这三个字吧），你这样做seo，别说“杭州seo”了，就是seo做到第一，你又算什么呢，你写不了文章也怪不了你，你转载个文章还去除作者，删除链接，把关键词替换成自己的站，呵呵。可悲啊，朋友～ 我也不想再帮你宣传下站点了，在文章内关键词输出链接细解后的评论上那位“杭州seo”就是您了，有兴趣的朋友可以给他个ip，看看这种做seo和做人上都不知道是排在第几的老兄…

最后说一句，我自己本身就懒的写技术文章，也没想在seo里混到某个高度，现在自己赚的也够自己生活了，哪位不长眼的，再干这样的行径，大不了爷不写了，写这些seo文章，一来是答谢老孙对我的支持，希望让更多的朋友能在追词感受到价值，二来，独乐乐不如众乐乐，你给别人的东西自己也不会失去，写个文章也就一个小时的事，言尽于此，睡去了～