搜狗爬虫为啥只访问网站本身没有的内容呢?

查看 21|回复 0
作者:卢总   
新站一个月了,其他搜索引擎都收录了唯独还有搜狗没有收录,搜狗的爬虫也来的比较勤快,但都是访问一些网站本身就没有的内容。


image.png (145.77 KB, 下载次数: 0)
下载附件
保存到相册
11分钟前 上传

图1为爬虫记录


image.png (114.59 KB, 下载次数: 0)
下载附件
保存到相册
11分钟前 上传

图2为404页面

爬虫, 搜狗

您需要登录后才可以回帖 登录 | 立即注册

返回顶部