网站最近出现大量新的IP段的百度蜘蛛?

查看 42|回复 1
作者:aska   
一直以为是假蜘蛛, nslookup查不到
59.83.208.*
220.196.160.*
180.101.244.*
特别是 220.196.160.*  最恶心,ua不光出现了 baidu ,还出现过 bing
但是最近发现这几个和
220.181.108.*
116.179.32.*
同一时间爬同一个页面。
不是百度蜘蛛那又能是啥呢

微软, 蜘蛛

创业   
其实就是模拟的百度爬虫UA
您需要登录后才可以回帖 登录 | 立即注册

返回顶部