抖音,小红书,拼多多这三个国内最强防爬团队,都防不住爬虫 只能增加一点防爬成本,比如进入页面加个谷歌验证码什么的 但是体验就差了不是... 识别了无头浏览器,那就用有头的爬 不行就直接抓你的 api,总有办法的
抖音是加验证码，而且用户主页是必出验证码。 小红书是验证码和对 url 加密，加密算法会对浏览器环境进行判断，node 和无头浏览器算出来的加密结果是错误的。 对于爬虫的请求，一般都是验证 UA 、Host 、Referer ，对 url 加密。 无头浏览器环境会有 navigator.webdriver: true 。 以前有个 app ，直接对 POST 请求的 body 加密后用 gzip 来压缩和解压缩，这也是一个思路。
