家庭宽带对爬虫是不是有限制的?

查看 45|回复 1
作者:hokman   
开始时也只有三四 M ,爬着爬着只有几百 k 了。对单个站的访问频率设置是每 500ms 一次访问,不算频率高了吧?同时爬取 1500 个站。。

频率, 访问, , 单个

baobao1270   
你同一个 IP 一直访问,肯定有限制啊
您需要登录后才可以回帖 登录 | 立即注册

返回顶部