
睡觉前最后一贴(浅谈那些年采集留下来的隐形坑)。现在网站的数据百分之90的文章都是N年前老网站采集的。

当时为了掩耳盗铃,火车头采集模拟了很多前端注册用户发布文章。

其中一个账号模拟发布了8万多。实际当时也没有感觉到坑而已的,毕竟当时不关注什么慢查询的,无脑生成静态就可以了!

(当年买的服务器不是现在的乞丐配置的,单硬盘都是现在的3倍多),

而后就是到处发外链等百度权重到碗里面来,权重一起来就开卖。终于在网站行业垂暮之际把网站卖了几个出去!最高的也就买了6W多,少的就1K多。

或许有人问,怎么纯采集也能获得上万的流量呢,实际还有个个小云服务,3年100元那种的,WIN系统安装高铁不间断采集那些范文网站。

之前的经历就不啰嗦了,

改天有空写本自传得了。

虽然数据保留了以前的,但是现在乞丐版的配置完全不能承载静态文件占用的空间啊。强硬头皮只能开启动态了哦,几大十万篇文章稳稳的跑。

后面几天去看宝塔服务器面板,我的天,

MYSQL慢日志太多了。LIMIT 30000, 25,57000, 25等等这样的太多了。基本都是爬虫抓取用户文集列表。我的乖乖,这深分页的坑算被踩上了。

咋整,难道乞丐版的配置要抛弃了吗?那上网的乐趣都没有了

。刚开始想到的是网络上面说的游标,鸡肋啊,后台管理列表,PC列表基本都废了,因为这货就适合API下拉加载的接口。

咱也不研究了,暴力点吧,算了直接按自增ID排序。结果发现慢日志消停多了,妈的一不做二不休,再狠一点,限制最大页数。这下爬虫深翻页总不行了吧。

通过1年多观察,无任何慢日志,乞丐版配置在不猛采集的情况玩个5到10年还是没有问题的。




