刚刚分析日志，尼玛，6年前就已经删除的文章，大概一万篇，到现在还在抓那个目录的死链。效率太低了，每天还至少抓取100多个已经删除六年的文章，难道非得robots屏蔽，这个必应搜索还是嫩了点，分析了所有搜索引擎只有必应还咋抓取删除六年的文章 尼玛, 六年
