最近查看网站访客日志,发现很多IP伪装成百度蜘蛛ip或者google蜘蛛的UA。那么有效的分辨真假百度蜘蛛,识别IP地址是不是google官方IP。甄选出伪装百度google等知名搜索引擎的假冒IP进行拉黑,我们才能有效的维护网站的稳定,防止被恶意访客消耗服务器资源与带宽。
百度蜘蛛的UA
百度搜索蜘蛛: Baiduspider/2.0
百度渲染蜘蛛:Baiduspider-render/2.0
通过IP段分辨是否为真正的百度蜘蛛:
百度蜘蛛IP段大全:https://www.pigji.com/304.html 百度诊断
百度蜘蛛Baiduspider以及真伪检测
在windows系统下,可以使用nslookup命令反向解析ip,识别IP地址是不是真正的百度官方的IP地址。
下方是我们一个访客日志,UA显示是来自百度和Google的爬虫
116.179.32.227 - - "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
220.181.108.161 - - "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
66.249.75.249 - - "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
在WIN桌面左下角点击WIN图标:输入cmd 打开命令处理器
然后输入 nslookup ip地址
nslookup 116.179.32.227
反查IP是否来源百度,如下图:
从上图可以看到站长测试的二个IP是来自百度和Google官方,是真实的蜘蛛爬虫不是伪造的。
也可以用 “tracert+ip”来查询:
tracert 66.249.64.222
来查看是否google的蜘蛛bot,可以看到显示
crawl-66-249-64-229.googlebot.com 的路由
另外我们可以去:
百度搜索资源平台:抓取诊断几次,等于手动让百度模拟爬行你的站长一次。再查看网站日志可以看到百度的爬虫记录。
百度搜索资源平台-抓取诊断:
https://ziyuan.baidu.com/crawltools/
好了,如何判断一个ip是不是百度蜘蛛的IP,如何正确识别百度蜘蛛Baiduspider的真伪检测,分辨真假百度爬虫IP地址,就到这里呢。