我目前是通过控制页面链接数量，来实现必应、谷歌地抓取频次，防止服务器崩溃。目前稳定控制必应每小时抓取 3 万，谷歌每小时抓取 5000 条。 当然，每个搜索引擎的页面链接数量都是可以灵活配置的。 那么这样操作的话，在一台服务器上就可以同时操作全部搜索引擎的收录和排名了。再也不担心服务器被谷歌和必应以及 360 抓爆了。 每小时, 蜘蛛
