问题描述：网站是用zblog程序搭建，日志导出时间是：9月14号到9月20号到，蜘蛛抓取统计有三种方式：一个是网站后台的插件，一个是站长后台，一个是网站日志（如图）。随机抽查了一些ip，结果都是真蜘蛛，看爱站工具好像有一半蜘蛛都是抓站内js、png等文件。因为这个站没有写robots.txt文件，所以来问问。
image.png (22.7 KB, 下载次数: 0)
下载附件
保存到相册
半小时前 上传
image.png (51.83 KB, 下载次数: 0)
下载附件
保存到相册
29分钟前 上传
image.png (23.06 KB, 下载次数: 0)
下载附件
保存到相册
27分钟前 上传
image.png (50.07 KB, 下载次数: 0)
下载附件
保存到相册
8分钟前 上传
