针对百度蜘蛛太多抓取,,导致网站带宽不够,怎么处理!!

查看 31|回复 3
作者:theye   
我们技术反馈现在百度蜘蛛(116.179开头的,比如"")不停地在访问我们官方官网,占用了网站大量带宽,我查看了下百度资源的访问确实是比之前高很多,这类情况,想咨询下,第一个这个是否是这些都确实是百度蜘蛛,其次,这些是否需要做一个访问下限值,一般限制的话 多少比较合适

蜘蛛, 太多

QQVa064   
屏蔽他就行了
xbz0412   
哥们,查IP这些都是假蜘蛛啊,不是百度的啊,是有人模拟百度蜘蛛的UA在爬你数据啊


image.png (26.47 KB, 下载次数: 0)
下载附件
保存到相册
27分钟前 上传

用这个工具查查是不是真IP啊 https://didi.seowhy.com/ip.html
广深大影视   
xbz0412 发表于 2024-9-25 18:33
哥们,查IP这些都是假蜘蛛啊,不是百度的啊,是有人模拟百度蜘蛛的UA在爬你数据啊

用这个工具查查是不是真IP啊 https://didi.seowhy.com/ip.html


现在网络中群虫乱舞
您需要登录后才可以回帖 登录 | 立即注册

返回顶部