网站打开就会比较慢甚至打不开。在不升级服务器的情况下，可以尝试屏蔽掉一些不需要的爬虫。
今天教大家如何分析和拦截不需要的爬虫抓取我们网站的数据。我们还是以宝塔面板为例。
第一步：打开web日志
5fadf3b4658b7.jpg (26.11 KB, 下载次数: 0)
下载附件
保存到相册
昨天23:21 上传
第二步：找到使用的网站域名点后面的编辑
5fadf3dca54da.jpg (54.86 KB, 下载次数: 0)
下载附件
保存到相册
昨天23:22 上传
第三步：分析日志
主要是找出爬虫的特征，根据特征拦截
如下图
5fa4441.jpg (161.06 KB, 下载次数: 0)
下载附件
保存到相册
昨天23:23 上传
第四步：设置拦截规则
if ($http_user_agent ~ semrush.com) {return 403 ;}
QQ20260319-233340.png (183.68 KB, 下载次数: 0)
下载附件
保存到相册
昨天23:34 上传
一下是看你是PHP几，就打开几，在文件上面加入屏蔽垃圾蜘蛛。
屏蔽代码综合代码文件如下：
通过网盘分享的文件：使用技巧之nginx拦截爬虫的方法
链接: https://pan.baidu.com/s/1ka9C1UZkNsS3b5IpR0yWOA?pwd=as3e 提取码: as3e
迅雷云盘下载
https://pan.xunlei.com/s/VOo5hQwsTn1as-_pNWKh95NpA1?pwd=4sgf#
