宝塔的仿爬虫功能有用吗

查看 23|回复 1
作者:2911989826   


image.png (12.19 KB, 下载次数: 0)
下载附件
保存到相册
半小时前 上传

Nginx 防火墙-爬虫防御功能使用  -当前为测试功能,谨慎开启


145129c45ej7d5aoaezex7.png (41.96 KB, 下载次数: 0)
下载附件
保存到相册
半小时前 上传

一、动态加密开启条件
1. 不能安装站点加速插件
2.伪静态中不能存在  if (!-e $request_filename) {return 404;} 设置


145312dz5d55g9gzh5hma9.png (99.72 KB, 下载次数: 0)
下载附件
保存到相册
半小时前 上传

二、HTML动态加密开启效果
开启之后网页内的所有内容将会被加密,通过浏览器进行解密。
可以防护一些无脑的爬虫进行爬取内容。也能访问一些基础爬虫。后续会增加到10种随机算法进行加密内容。
效果展示


145836gioth8o8byxextwi.gif (1.5 MB, 下载次数: 0)
下载附件
保存到相册
半小时前 上传

第一次访问需要进行解密,后续会增加不需要解密页面、或者解密页面自定义的功能。
三、图片水印开启效果


112940ohrb6kv0ylxr8xex.png (52.18 KB, 下载次数: 0)
下载附件
保存到相册
半小时前 上传

暂只支持png jpg 图片加水印。后续会增加其他后缀名
默认是以网站名称为水印的内容、下个版本会开启自定义文字。
不过性能开销有点大
基准测试的服务器:4核4G  40G
现性能消耗如下:(一张图片只会加水印一次)
1.100KB png 图片 150ms
2.200KB png 图片 200ms
3.300KB png 图片 250ms
4.800KB png 图片 400ms
后续会针对性能做优化。目标是1M的图片在200ms 以内
第一次访问之后会将图片保存在/www/server/btwaf/picture 目录。
第二次访问的时候才会显示水印
四、影响
一、HTML动态加密开启影响
    1. 流量影响:经过测试使用加密之后体积会增加1-3倍。平均算下来大概为1.5倍。也就代表着流量会增加1.5倍。
    2. 打开速度:网页打开速度平均增加1-100ms 网页体积内容也大影响越慢。
    3. 加密的标准:   最大加密的网页大小为1M 最小加密内容为1000个字符串 、非GET请求则需要5000个字符串以上才会触发。如果网页很小则不会触发。
    4. 性能影响:经过测试1核心1G的服务影响性能为百分之3.76
二、图片水印开启影响
    1.图片访问第一次访问的时候会比较慢、第二次则正常
五、建议
1.建议先可以玩玩不要放到线上的业务。
2.后续会增加到10个加密算法、会自动应用某个加密算法。
我觉得可以防一些无脑低级爬虫,但是不能绝对防止一些别有用心的高级爬虫

顺便打个广告16H 24G 68/月


爬虫, 水印

bay   
是的,预防作用有限
您需要登录后才可以回帖 登录 | 立即注册

返回顶部