我是 V2EX Plus 作者,关于扩展中 vDaily (分布式爬虫)功能的情况说明

查看 396|回复 21
Creamliu   
早干嘛去了???事情没闹大就继续干呗
Livid   
关于翻页 502 。
之前我们上了这样的一个功能,用 cookie 保存访问过的最后的页码。这样当你进入一个有多页的主题页面时,会直接进入到你最后访问过的页面。
这个爬虫会让用户的这个 cookie 中增加大量用户没有访问过的页面的页码。
至于是否是由于 cookie 尺寸过大造成的 502 ,因为我没有也不会去安装这个插件,所以我无法验证。
这也是为什么遇到 502 问题的用户,清掉 cookie 之后就可以访问了。
我们最近暂时把这个记住和跳转页码的功能下掉了。所以现在当你访问一个有多页的主题时,如果 URL 中没有指定 p=x 那么现在只会默认进入第一页。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部