GSC 站点地图无法抓取

查看 15|回复 1
作者:jsxyzb   
最近做了个网站,提交 Google Search Console ,站点地图始终无法抓取,诸位大神有什么建议吗?
之前提交 Google Search Console ,没有遇到过站点地图无法抓取的问题,这次遇到了,而且前后反复修改了一个多月了,还是不行。目前的现状是,Cloudflare 安全性下清晰显示,Bing 、baidu 等均能正常请求 sitemap, googlebot 请求了网站的其他资源,唯独没有请求 sitemap!
这不是推广帖,求助帖!别又给我划到推广了!
已经尝试过的修改:
[ol]

  • 检查 sitemap / robots 基础可访问性,robots.txt 正常; sitemap.xml 返回 200 application/xml

  • 校验 sitemap 内容格式,sitemap.xml 通过 XML 校验; sitemap-static.xml 通过 XML 校验 (新建的一个静态文件);静态 sitemap 也失败,排除 Next metadata route 单点问题

  • 模拟不同抓取请求方式,Googlebot UA 返回 200 ; HTTP/1.1 返回 200 ; gzip/compressed response 正常

  • 检查 Cloudflare 安全/爬虫拦截,AI Crawl Control 正常; Security Events 里 Googlebot / Google-InspectionTool 未被 Block 或 Challenge ;已配置 Allow Verified Bots 规则

  • 检查 Cloudflare DNS / 自定义域名 / SSL ,SSL enabled ; DNS CNAME 指向 Pages ; DNSSEC 无异常

  • 修复并验证 Cloudflare Pages 构建链路,移除 next/font/google ;改用 system font stack ; npm run build 和 build:cf 通过;构建产物确认包含 sitemap / robots

  • 迁移测试到 Cloudflare Workers + OpenNext ,部署 Worker ;配置 OpenNext / Wrangler / R2 binding ;测试 worker ; Worker 正常返回,确认 x-opennext: 1

  • 把正式域名从 Pages 切到 Workers 后重试,页面、robots 、sitemap 均返回正常; GSC 重新提交 sitemap.xml 仍失败

  • 尝试提交带 query 参数的 sitemap,https://xxx/sitemap.xml?google=please; 本地访问正常; GSC 仍显示无法抓取( reddit 上看到有人这么干成功的)

  • 迁移到 Vercel 部署, 页面、robots 、sitemap 均返回正常; GSC 重新提交 sitemap.xml 仍失败
    [/ol]
    还测试过其他的方法,感觉都没有解决问题,实在没辙了! 网站地址:videosnap.cc 请诸位大神指点

    站点地图, 抓取, 搜索

  • Perchouli   
    看描述真是疑难问题了。是说 Bing 能正常抓取 sitemap.xml ?是不是可以排除连通性问题。
    这个 GSC 的提交失败 Status 一直不成功,是[失败]?在 GSC 顶部的搜索栏直接输入 sitemap.xml 的地址是绿色吗
    您需要登录后才可以回帖 登录 | 立即注册

    返回顶部