Amazonbot蜘蛛不遵循robots协议爬的我服务器死机有办法禁么?

查看 43|回复 1
作者:xyf1234   
自己的一个小站一天只有100多IP ,可是Amazonbot,每天爬取1W多次,robots.txx已经设置Disallow了。但是还是爬的服务器运行和cpu经常都是100%,然后就是死机。目前是搭建在搬瓦工1H1G的服务器上的,实在也不想换服务器了。看了下插件几乎都是收费的而且还不低。有啥办法禁止它么。


都是, 服务器, 自己的

qtip   
ua
您需要登录后才可以回帖 登录 | 立即注册

返回顶部