想交流一个 CloudFlare 反爬问题

查看 66|回复 3
作者:Masterlxj   
OP 需要采集一个网站,该网站用了 CloudFlare ,之前 OP 采用构造 TLS 指纹,绕过了风控,然后爬虫也运行了几个月,一直没啥问题,但是最近发现 OP 的请求已经被精准的识别为爬虫了。
开始 OP 以为是光构造 TLS 指纹已经不行了( Chrome 已经不在固定 TLS ),想着是不是要加上 H2 指纹,然后就 H2 指纹也构造了,但是还是没用。
这个时候让 OP 疑惑的地方就出现了,就是使用 go (前面都是 Python )去试了一下,只构造了 TLS 指纹就直接过了。可以肯定的是 TLS 指纹和 H2 指纹构造的都是一样的,但是为什么 go 能过,Python 不能过?
OP 的疑问
CloudFlare 是通过什么地方,或者采用什么方案精准识别到前面( Python 写的)那一套是爬虫呢?

[ol]
  • OP 不是想问什么工具可以绕过,或者什么工具可以构造 TLS/H2 指纹
  • 不是 IP 的问题,已经挂了海外住宅代理,同时 go 那一套是可以过的
  • 不是想交流 JS 逆向
    [/ol]

    TLS, 指纹, 构造, Python

  • 0o0O0o0O0o   
    如果真的控制好了变量,那就拿 wireshark 对比下
    chiron688   
    不懂,一直都是用的这几个库
    import re
    import logging
    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    from selenium.webdriver.chrome.service import Service
    from bs4 import BeautifulSoup
    yingxiangyu   
    https://juejin.cn/post/7197740114252447781 是不是这个原因
    您需要登录后才可以回帖 登录 | 立即注册

    返回顶部