关于爬虫的一个问题

查看 84|回复 3
作者:liushaokang   
我用的 Java 的 Webmagic 去爬取一个页面,我如果用浏览器直接打开的话这个页面会跳到一个新页面是一个文档请求但是如果我用 webmagic 去获取这个页面的 html 的话发现是通过 window.yin='./页面 id' 而不会去跳转到这个页面,如果我想获取这个页面,应该怎么去写呢

页面, webmagic, 获取

theOneMe   
那就用跳转后的那个路径不就行了
centralpark   
建议补充一些前端基础常识再来写爬虫
liushaokang
OP
  
@theOneMe 这个路径是上个爬虫获取到的列表路径,然后通过这个列表路径再去创建新的爬虫
您需要登录后才可以回帖 登录 | 立即注册

返回顶部