一个很奇怪,有意思的接口反爬策略

查看 102|回复 13
作者:dearmymy   
一个简单的 get 请求,ua ,ip 代理什么都有
使用 request 库请求。
一个 python 进程,连续请求 20 次都没问题,精准 21 次就拒绝。
关键是重启脚本进程,又可以了,还是 21 次精准发现。
现在高度怀疑是不是 request 里对同一个 url 请求 tcp 进行的端口复用?网上找写方法每次起新 http 请求代码都没有效果。
20 次重启一次也是 ok ,主要这种策略第一次见到,感觉是 tcp tls 那边做了手脚。如果可行 也是个不错的反爬策略。
求一些思路。
RaMa291041610   
https://github.com/salesforce/ja3
zeusho871   
tls 指纹
dearmymy
OP
  
@RaMa291041610
@zeusho871 感谢彦祖么,第一次遇到这个。。
kdwnil   
写爬虫遇过这种策略,就是单个 tcp 连接有 http 请求次数限制,解决办法也只能请求次数差不多时起一个新的 http client ,不过我是 golang 不太清楚 python 要怎么做
cowcomic   
试了一下,同一个 python 脚本,即使重启,request 的 ja3 和 ja4 也是不变的
咋通过这个区分请求进程的呢?
defaw   
你开 http keep-alive 了?每次都用新的连接试试
cccer   
你是不是忽略的 cookies
dearmymy
OP
  
@kdwnil 我感觉就是这个问题, 只不过 python request 库可能不好操作,还是复用了 tcp 。奇怪就是重启就可以继续。
dearmymy
OP
  
@cowcomic 感觉不是指纹,现在高度怀疑,http 复用了 tcp 连接。或者哪里没搞明白
您需要登录后才可以回帖 登录 | 立即注册

返回顶部