百度蜘蛛抓取的不为人知的那些事

查看 3|回复 0
作者:散落漫天   
百度蜘蛛抓取的不为人知的那些事半年前在测试网站配置文件放了防抓取


image.png (5.21 KB, 下载次数: 0)
下载附件
保存到相册
25分钟前 上传

当时网站的收录大概是1400左右,放了这个代码之后3个月掉到过700左右,今天想起来又看了一下还涨了。


image.png (7.08 KB, 下载次数: 0)
下载附件
保存到相册
24分钟前 上传

站长后台模拟抓取一直都是500


image.png (48.53 KB, 下载次数: 0)
下载附件
保存到相册
22分钟前 上传



image.png (16.29 KB, 下载次数: 0)
下载附件
保存到相册
20分钟前 上传

日志里面蜘蛛抓取也是500,就这半年了收录不掉还多了,离谱啊。。。

下载次数, 蜘蛛

您需要登录后才可以回帖 登录 | 立即注册

返回顶部