蜘蛛爬取,先来个301是什么情况

查看 48|回复 1
作者:缪斯的情人   
如题
一个链接
蜘蛛爬取先返回301
然后才有200
为什么会抓两次呢

蜘蛛, 来个

一针见血   
HTTP 状态代码 "301" 表示请求的资源已永久移动到新位置,并且将来任何对此资源的引用都应该使用最新的 URL。这通常是用于重定向网页或者资源。
当蜘蛛(也称为网络爬虫)遇到了 301 状态代码,它将会在接下来的请求中使用新的 URL,以确保爬取到的内容是最新的。
通常,301 重定向是为了告诉搜索引擎,一个网页已经永久移动到了新的位置,因此搜索引擎会更新其索引以指向新的 URL。这是网站重构和重定向的一种常见方法,可以保证在搜索引擎中排名不受影响,并且可以使访问者以最新的 URL 访问该网站。
您需要登录后才可以回帖 登录 | 立即注册

返回顶部