针对换IP和换UA的恶意爬虫的思路【特别是宽带动态拨号IP】

查看 9|回复 0
作者:xshc1987   
一、对网站日志定时扫描,抓取出IP和对应的UA
二、命中某些特定黑名单UA,比如老旧浏览器不可能是正常用户的,直接拉黑IP一段时间。
三、出现两次或者三次同个IP换了不同UA,直接拉黑IP一段时间。
以上拉黑,要做到安全,可以再加一个IP白名单,把一些蜘蛛IP和常用IP,正常IP放进白名单,拉黑前过滤一下。
附linux下shell脚本样例供大家参考:
"

日志, 阈值

您需要登录后才可以回帖 登录 | 立即注册

返回顶部