上篇为大家分享了常见的一些普通的百度蜘蛛IP段,如,降权蜘蛛,竞价蜘蛛,图片蜘蛛,新站爬行蜘蛛,沙盒蜘蛛,高权蜘蛛,内页蜘蛛,隐藏蜘蛛等等。本次为大家分享的是如何精确的识别是否是真实的百度蜘蛛的方法,因为网站空间的问题以及本身技术的问题,很多站长的网站日志无法开启或者日志格式不够规范,导致在网站日志分析过程中,不能非常有效、迅速的去识别百度蜘蛛的爬行记录,对我们日常SEO工作带来了诸多的不便,现在大家跟我一起来学习一个非常简单、准确的通过IP来判断是否是真实的百度蜘蛛的方法:
可以通过DNS反查方式来解决这个问题。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:
1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
3、在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
在日常工作中最常见的就是windows和linux两种,本次以windows为示范:
我们通过dos命令来查看,本次找两个IP段220.181.108.140和117.28.255.37,开始菜单—运行—输入 cmd 命令:
开始菜单cmd命令
然后用命令 nslookup ip(ip前面加空格)来查看是否是真实蜘蛛ip,截图如下
nslookup命令
大家要注意的是:只要是百度的IP段,代码中会有出现:name:baiduspider,如果没有出现,那就不说不是真的百度IP段哦!