哪个大神，知道神马的ua是什么 - 4414站长论坛
此贴中
BLEXBot
DataForSeoBot
ImagesiftBot
SemrushBot
DotBot
facebookexternalhit
Amazonbot
ChatGLM-Spider
AwarioBot
AhrefsBot
claudebot
msray-plus
网站屏蔽恶意爬虫User-Agent方法/屏蔽爬虫AI采集UA列表-网站屏蔽恶意爬虫User-Agent方法/屏蔽爬虫AI采集UA列表 新搭建的环境，刚转移过来，就发现大量的爬虫，采集程序过来了。
Amazonbot
ClaudeBot
PetalBot
gptbot
Ahrefs
Semrush
Imagesift
Teoma
ia_archiver
twiceler
MSNBot
Scrubby
Robozilla
Gigabot
yahoo-mmcrawler
yahoo-blogs/v3.9
psbot
image.png (203.92 KB, 下载次数: 0)
下载附件
保存到相册
2分钟前 上传
(.*)Scrapy(.*) //PY写爬出必备头
(.*)SemrushBot(.*) //垃圾蜘蛛
(.*)AhrefsBot(.*) //外链爬取
(.*)Applebot(.*) //苹果蜘蛛
(.*)AspiegelBot(.*) //华为蜘蛛
(.*)DotBot(.*) //垃圾国外蜘蛛
(.*)DataForSeoBot(.*) //垃圾SEO蜘蛛
(.*)java(.*) //JAVA写的爬虫
(.*)MJ12bot(.*) //垃圾国外蜘蛛
(.*)PetalBot(.*) //华为蜘蛛
(.*)python(.*) //PY探测器
(.*)seo(.*) //垃圾SEO蜘蛛
(.*)Censys(.*) //安全渗透平台绕过CDN的
