nginx防火墙UA黑名单 请大家一起完善

查看 10|回复 0
作者:dyrings   
nginx防火墙UA黑名单有哪些必须要添加(补遗)?有哪些可以去除?请大家一起完善受益
哪个大神,知道神马的ua是什么 - 4414站长论坛  
此贴中
BLEXBot
DataForSeoBot
ImagesiftBot
SemrushBot
DotBot
facebookexternalhit
Amazonbot
ChatGLM-Spider
AwarioBot
AhrefsBot
claudebot
msray-plus
网站屏蔽恶意爬虫User-Agent方法/屏蔽爬虫AI采集UA列表-网站屏蔽恶意爬虫User-Agent方法/屏蔽爬虫AI采集UA列表 新搭建的环境,刚转移过来,就发现大量的爬虫,采集程序过来了。
Amazonbot
ClaudeBot
PetalBot
gptbot
Ahrefs
Semrush
Imagesift
Teoma
ia_archiver
twiceler
MSNBot
Scrubby
Robozilla
Gigabot
yahoo-mmcrawler
yahoo-blogs/v3.9
psbot


image.png (203.92 KB, 下载次数: 0)
下载附件
保存到相册
2分钟前 上传

(.*)Scrapy(.*) //PY写爬出必备头
(.*)SemrushBot(.*)  //垃圾蜘蛛
(.*)AhrefsBot(.*)  //外链爬取
(.*)Applebot(.*) //苹果蜘蛛
(.*)AspiegelBot(.*) //华为蜘蛛
(.*)DotBot(.*) //垃圾国外蜘蛛
(.*)DataForSeoBot(.*) //垃圾SEO蜘蛛
(.*)java(.*) //JAVA写的爬虫
(.*)MJ12bot(.*) //垃圾国外蜘蛛
(.*)PetalBot(.*) //华为蜘蛛
(.*)python(.*) //PY探测器
(.*)seo(.*) //垃圾SEO蜘蛛
(.*)Censys(.*) //安全渗透平台绕过CDN的

爬虫, 蜘蛛

您需要登录后才可以回帖 登录 | 立即注册

返回顶部