请教一下爬虫技术

查看 90|回复 8
作者:yurman   
淘宝的生意参谋,这种平台为啥有全网各平台的数据,甚至还可以看竞争对手的数据。。。
我用 rpa 试过模拟人的操作去获取,效率低不说还经常会被封号。它们这种平台是如何做到不会被封号,还能实时更新最新数据,这是怎么做到的?

rpa, 平台, 数据, 做到

Motorola3   
你难道就没想过 有 openAPI 吗?
securityCoding   
买的数据
ZSeptember   
应该是互相爬的吧。
前段时间还有新闻,京东的爬虫被 pdd 屏蔽了。https://36kr.com/p/2610860492414852
ZSeptember   
爬虫是有技术的,淘宝的听说就挺难搞的。
yurman
OP
  
@Motorola3 有猜过是走接口,老板不知道哪里看的别人说是用啥爬虫技术实现的,我觉得不可能有这样的能够大量爬取还能防封
yurman
OP
  
@ZSeptember 淘宝是很麻烦,已经是低量数据爬取,完全模拟人为操作。偶尔还是能触发警告
BeiChuanAlex   
很简单,买数据,给钱就能办到。你陷入到了技术的思维漩涡,线下花钱可以办到线上花大力气都办不到的事情。
yurman
OP
  
@BeiChuanAlex 我是觉得是没有啥技术能做到,可惜我只是个打工仔,老板不信 :(
您需要登录后才可以回帖 登录 | 立即注册

返回顶部