修复：Next.js (App Router) 在 Google Search Console 中出现 "无法获取站点地图" 的错误

如果您一直在为 Next.js 项目在 Google Search Console 中看到 “无法获取站点地图” (Couldn’t fetch sitemap) 错误而抓狂，您并不孤单。这个令人沮丧的 Google Search Console 站点地图错误可能会阻止 Google 正确索引您的网站，从而损害您的可见性。许多使用 Next.js App Router 的开发人员都遇到过这个 Next.js 站点地图故障排除挑战，即 GSC 无法读取站点地图，即使它在浏览器中看起来完全可以访问。

幸运的是，开发人员社区已经追踪到了一个可靠的解决方案。本指南将引导您完成修复 “无法获取” 错误的确切步骤，基于 Next.js GitHub issue 中分享的有用发现。

让我们让您的站点地图被索引，让您的网站重回正轨。如需更多见解和额外讨论，您还可以查看 我在 GitHub issue 上的回复。

问题：为什么 Google 无法获取站点地图？

问题的核心似乎是 Next.js 处理路由和中间件的方式与 Google Search Console 缓存其获取尝试的方式的结合。当 GSC 尝试访问您的 sitemap.xml 时，它可能会遇到干扰——通常来自中间件——导致请求失败。一旦失败，GSC 似乎会为该特定 URL 缓存该失败结果。即使您修复了根本问题，简单地重新提交相同的 sitemap.xml URL 可能也不会触发新的尝试。

如何修复 “无法获取” 错误

此解决方案来自 GitHub 用户 @segabrielcarvalho，他分享了一种实用的方法，通过四个关键步骤解决了缓存、路由和中间件冲突问题。

步骤 1：使用尾部斜杠强制重新获取站点地图

这是最简单但最关键的一步。Google Search Console 似乎会激进地缓存失败的获取尝试。为了强制它以干净的状态重试，您可以使用简单的缓存破坏技术。

不要提交 https://your-site.com/sitemap.xml，而是添加一个尾部斜杠：

https://your-site.com/sitemap.xml/

提交这个稍微不同的 URL 将绕过 GSC 的缓存并触发新的获取。在实施其他修复后，这个简单的技巧通常足以让站点地图被成功读取。

步骤 2：从嵌套路由提供站点地图

不要将 sitemap.ts 文件放在 app 目录的根目录中，而是将其移动到嵌套文件夹中。这有助于将其隔离并确保其在没有冲突的情况下正确提供。

1. 在 app 目录中创建一个新的 sitemap 文件夹。
2. 将您的 sitemap.ts（或 sitemap.js）文件移入其中。

您的新文件路径将是：app/sitemap/sitemap.ts

这将更改站点地图的公共 URL。新 URL 将是：

https://your-site.com/sitemap/sitemap.xml

请记住，在将其提交到 Google Search Console 时使用这个新 URL（并使用尾部斜杠技巧！）。

步骤 3：从中间件中排除 SEO 文件

中间件功能强大，但也可能意外阻止 Googlebot 访问重要文件，如您的站点地图和 robots.txt。为了防止这种情况，您需要更新您的 middleware.ts 以明确排除这些文件。

中间件文件中的 matcher 配置告诉 Next.js 中间件应在哪些路径上运行。通过使用负向前瞻 (negative lookahead)，您可以指示它在所有路径上运行，除了静态资产和 SEO 文件。

这是一个中间件示例，它除了正确排除必要文件外不执行任何操作。您可以根据现有的中间件进行调整。

import type { NextRequest } from "next/server";
import { NextResponse } from "next/server";

export default function middleware(req: NextRequest) {
  // 您的中间件逻辑可以放在这里。
  // 如果您没有其他逻辑，只需返回 next()。
  void req;
  return NextResponse.next();
}

export const config = {
  matcher: [
    /*
     * 匹配所有请求路径，除了以下开头的路径：
     * - _next/static (静态文件)
     * - _next/image (图片优化文件)
     * - favicon.ico (图标文件)
     * - robots.txt (robots 文件)
     * - sitemap.xml (站点地图文件)
     * - sitemap/ (嵌套站点地图文件)
     * - site.webmanifest (web 清单文件)
     */
    "/((?!_next/static|_next/image|favicon\\.ico|robots\\.txt|sitemap\\.xml|sitemap/.*|site\\.webmanifest).*)",
  ],
};

此配置确保您的 robots.txt 和两个潜在的站点地图路径（/sitemap.xml 和 /sitemap/sitemap.xml）永远不会被中间件处理，从而避免任何可能混淆 Googlebot 的潜在阻止或重定向。

步骤 4：创建正确的 robots.txt 文件

最后，确保在您的 app 目录中有一个干净且正确的 robots.txt 文件。此文件应明确允许所有用户代理 (user agent) 并指向您的新站点地图 URL。如果您在 public 文件夹中有 robots.txt，最好将其删除以避免冲突，并仅依赖从 app 目录生成的那个。

在您的 app 目录中创建一个名为 robots.ts 或 robots.txt 的文件，内容如下：

import { MetadataRoute } from 'next'

export default function robots(): MetadataRoute.Robots {
  return {
    rules: {
      userAgent: '*',
      allow: '/',
    },
    sitemap: 'https://your-site.com/sitemap/sitemap.xml',
  }
}

或者，如果您更喜欢静态文件：

User-agent: *
Allow: /

Sitemap: https://your-site.com/sitemap/sitemap.xml

确保将 https://your-site.com 替换为您的实际域名。此文件将爬虫引导到您站点地图的新位置。

关键要点

总结一下修复步骤：

1. 使用尾部斜杠 (/) 在提交到 GSC 时在您的站点地图 URL 上，以破坏缓存。
2. 将您的站点地图文件移动到嵌套路由，如 app/sitemap/sitemap.ts。
3. 更新您的中间件以排除 SEO 文件，如 robots.txt 和 sitemap.xml。
4. 将您的 robots.txt 指向新的站点地图 URL。

此外，确保您只有一个站点地图源也很重要。如果您在 public 文件夹中有 sitemap.xml，同时也在从 app 目录生成一个，则可能会出现冲突。删除任何旧的站点地图文件，并坚持使用单个动态生成的站点地图。

通过遵循这些步骤，您应该能够解决 “无法获取站点地图” 错误，并让您的 Next.js 网站被 Google 正确索引。祝您发布愉快！