Yoo趣儿

Yoo趣儿 › Geek › 站长 › 解决被垃圾ai爬虫爬死的问题了

解决被垃圾ai爬虫爬死的问题了

查看 23|回复 2
作者：制心一处   
我一个物理服务器一天被爬走1t  
找了一早晨的方法
终于解决了
整个世界安静了
负载回到了个位数
方法很简单
把他里面把下列ua加入黑名单
[ol]
  • Amazonbot
  • ClaudeBot
  • PetalBot
  • gptbot
  • Ahrefs
  • Semrush
  • Imagesift
  • Teoma
  • ia_archiver
  • twiceler
  • MSNBot
  • Scrubby
  • Robozilla
  • Gigabot
  • yahoo-mmcrawler
  • yahoo-blogs/v3.9
  • psbot
  • Scrapy
  • SemrushBot
  • AhrefsBot
  • Applebot
  • AspiegelBot
  • DotBot
  • DataForSeoBot
  • java
  • MJ12bot
  • python
  • seo
  • Censys[/ol]复制代码


    图片.png (58.29 KB, 下载次数: 0)
    下载附件
    保存到相册
    11分钟前 上传

    爬虫, 垃圾

    • 相关帖子

    易客   
    这个可以，试一试
    abcdef   
    还有好多是没带ua的
    返回列表
    您需要登录后才可以回帖 登录 | 立即注册

    AD1

    热门主题

    热门板块

    问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息PythonPHPJavaJavaScriptNode.jsGo语言C++HTML

    公告

    标签|小黑屋|Yoo趣儿

    GMT+8, 2024-12-25 16:54 , Processed in 0.125595 second(s), 8 queries , Gzip On, MemCached On.

    Powered by Discuz! X3.2

    The happiest thing in the world is to strive for an ideal.

    返回顶部