大家遇到过这种爬虫吗?

查看 97|回复 5
作者:dybee8989   


image.png (379.6 KB, 下载次数: 0)
下载附件
保存到相册
半小时前 上传

刚上的新站,一天几千次这种IP的请求,而且是模拟真实浏览器,这里的哥们有谁也遇到过这种情况没?

遇到过, 爬虫

五车二   
采集吧,不要在意爬虫
dybee8989
OP
  
五车二 发表于 2023-2-14 02:19
采集吧,不要在意爬虫

问题是我刚PUSH给百度的页面,他秒过来爬,难不成被中间攻击了。。。我这里记录的是JS代码发送的AJAX请求记录的IP地址,他不但模拟了真实浏览器,还屏蔽了百度统计。感觉就跟真实蜘蛛一样。
飞飞CEO   


image.png (2.52 KB, 下载次数: 0)
下载附件
保存到相册
22分钟前 上传

看不到记录
匿名敌人   
会不会是他在代码里设置了禁止访问第三方网址?你这个记录的js是你域名下的吗?
dybee8989
OP
  
匿名敌人 发表于 2023-2-14 02:50
会不会是他在代码里设置了禁止访问第三方网址?你这个记录的js是你域名下的吗?

对,这些IP访问的页面里面我加了JS代码,只要请求页面就会把IP请求到后台记录到数据库
您需要登录后才可以回帖 登录 | 立即注册

返回顶部