网站被Google收录 - 移动端与桌面端收录检查差异

📍 WDQWDWQD987AAAAA:216.73.217.13
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d154c14387b1.html
📄

网站被Google收录 - 移动端与桌面端收录检查差异

移动端与桌面端在Google收录上的差异，主要来自抓取时使用的渲染方式与User-Agent不同。Google默认以智能手机Googlebot为主进行抓取和索引，桌面端Googlebot抓取频率通常更低。因此同一页面可能移动端已收录、桌面端未收录，或反之。检查时应分别用两种User-Agent获取HTML，再对比渲染结果、robots限制和canonical指向，而不是只看浏览器里的显示效果。

第一步：分别抓取两种User-Agent下的原始HTML

要查的是服务器返回给Googlebot的HTML是否一致。用命令行工具模拟两种UA请求同一URL：

curl -A "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -L 页面URL

再换成桌面Googlebot的UA请求一次。对比两份HTML中的title、meta robots、canonical、正文主体内容。如果移动端返回精简版而桌面端返回完整版，说明存在动态分发，需要判断哪一版才是希望被收录的版本。

结果说明：两份HTML的核心内容与canonical一致，说明不存在UA层面的内容分叉；若不一致，优先以移动端返回内容为索引依据来修正。

第二步：检查robots.txt对两类爬虫的限制

要查的是robots.txt中是否有针对Googlebot或Googlebot-Image等特定UA的Disallow规则。直接访问域名/robots.txt，搜索User-agent段落。注意区分User-agent: *与User-agent: Googlebot，后者只影响Googlebot，前者影响所有未单独声明的爬虫。

结果说明：若移动端UA被单独禁止而桌面端未被禁止，移动端就不会被收录。robots.txt的抓取限制不等于可靠的索引移除，它只阻止抓取，已收录页面仍可能出现在结果中，要真正移除需配合noindex或移除工具。

第三步：对比canonical与hreflang的指向

要查的是移动端页面和桌面端页面各自声明的canonical是否指向同一个URL。查看两种UA返回HTML中的<link rel="canonical">标签。如果移动端canonical指向移动版URL、桌面端指向桌面版URL，而两者又没有正确的alternate标注，Google可能把它们当作两个独立页面分别处理。

结果说明：canonical指向统一，说明两个版本被归并为同一收录对象；指向分裂，则需要决定保留哪个版本，并把另一版的canonical改为指向保留版本。如果使用了单独的移动域名，还需检查rel="alternate" media="only screen and (max-width: 640px)"是否正确配对。

第四步：用URL检查工具分别测试两种抓取

要查的是Google实际抓取和渲染的结果。在Search Console的URL检查中输入页面地址，查看“已抓取的页面”截图与HTML。目前该工具主要展示Googlebot的抓取结果，要对比移动端与桌面端，需要结合前两步的UA抓取数据来判断。

结果说明：如果抓取截图显示的内容与移动端UA返回的HTML一致，说明Google以移动端版本为索引基础；若截图内容缺失关键正文，可能是JavaScript渲染未完成，需检查资源是否被robots.txt阻止。

第五步：核对站点地图与收录状态

要查的是站点地图中提交的URL是否与实际可访问的版本一致。打开站点地图文件，确认其中列出的URL在移动端和桌面端UA下都返回200状态码，且canonical指向自身。站点地图不保证收录，它只是发现URL的辅助渠道。

结果说明：站点地图中的URL在两种UA下均可正常访问且canonical自指，说明提交的版本没有冲突；若某个URL在移动端返回404或301到其他地址，应修正后再提交。

可执行检查清单

完成以上检查后，如果发现移动端与桌面端返回的内容或canonical不一致，下一步应确定以哪一版为索引目标，然后统一另一版的canonical指向，并重新提交站点地图等待抓取。

图1 图2
nginx