我今天更新网站，pc首页更新了，移动首页没有更新，但我发现新更新的文章。m端链接收录了，pc没有收录， 但移动首页没有更新，按理百度抓取不了m端了新文章，因为没有入口，只能从pc抓。利用移动适配，去抓移动页，但我分析日志，新文章www页面百度带UA的蜘蛛没有爬行。 唯一解释的是，www页面百度匿名蜘蛛爬行了，匿名蜘蛛通过www的移动适配发现了m页面的新链接，然后百度蜘蛛去抓了新更新的移动页面 这要是不小心屏蔽了匿名蜘蛛咋办 蜘蛛, 首页
明月2022 发表于 2025-6-26 16:30 那百度这样搞很容易被我当成采集IP屏蔽啊，我屏蔽了一大堆IP,谁知道有没有匿名蜘蛛 其实也没啥事！！反正那个不是主力蜘蛛！！我怀疑那个可能是反作弊蜘蛛！
