标签：user-agent

2020-10-22猪机博客赞(2)

搜索引擎对一个网站很重要，是很多网站重要的流量来源。熟悉各大搜索引擎的蜘蛛就显得必要呢。蜘蛛爬得勤快，网页收录也快。通过分析网站访问日志：查看访问者的user-agent，我们也可以了解哪些搜索蜘蛛过来爬行过你的网站页面： 1、 百度蜘蛛：...