HTTP 状态代码 "301" 表示请求的资源已永久移动到新位置,并且将来任何对此资源的引用都应该使用最新的 URL。这通常是用于重定向网页或者资源。 当蜘蛛(也称为网络爬虫)遇到了 301 状态代码,它将会在接下来的请求中使用新的 URL,以确保爬取到的内容是最新的。 通常,301 重定向是为了告诉搜索引擎,一个网页已经永久移动到了新的位置,因此搜索引擎会更新其索引以指向新的 URL。这是网站重构和重定向的一种常见方法,可以保证在搜索引擎中排名不受影响,并且可以使访问者以最新的 URL 访问该网站。