做了几年爬虫,感觉这个终究不是长久之计。 不仅现在反爬方式越来越多种多样,难度直线上升,更主要的是,终究不算比较正当的方向,付出太多努力感觉不值得。 不知道 v 友有什么建议。 反爬, 爬虫, 终究, 转岗
爬虫确实风险很大,但爬虫技术则是一个长久技能 爬虫包含获取和分析,后者可以用到各种大数据方面(数据分析前置就是数据获取),举例子 X 也要分析自家的所有推文 前者则可以走向网络方面,当然需要分布式方面技能,如果仅仅是单机爬虫爬取,就算做得很好也会被淹没,因为懂的人太多