蜘蛛的问题

查看 141|回复 19
作者:快乐的小青蛙   
有一个站,今天看了一下蜘蛛的日志,昨天一共有600多个蜘蛛精来爬


image.png (26.88 KB, 下载次数: 0)
下载附件
保存到相册
昨天09:21 上传

其中爬取HTML的一共有508个
但是站长后台的数据显示的抓取频次却只有100次
所以,站长后台的抓取频次和日志里的蜘蛛爬去数据不一致的嘛~~
顺便问一下,日志分析蜘蛛数据有没有参考价值哦~~

蜘蛛, 频次

胖子   
日志有参考价值啊
不过估计有些是伪装蜘蛛来爬的 所以跟后台抓取频次不一样
一针见血   
没有参考价值 假蜘蛛一大堆  数据也不是实时同步的
我思故我在   
真假蜘蛛难辨、
隐者   
日志没啥参考价值,假蜘蛛,一些审查蜘蛛都没啥用
tuhemm   
看这个玩意有用吗?
黄瓜战锤   
百度现在有些是渲染蜘蛛,站长后台不显示
三八猪网站   
看不懂啊
a332020   
百度现在收录时间太长了
香菜不香   
以站长后天的为准
您需要登录后才可以回帖 登录 | 立即注册

返回顶部