谷歌可以抓取 301 网页吗?


Can a 301 page be crawled by google?

谷歌或任何其他抓取工具是否有可能抓取返回 301 状态代码的页面并将其编入索引?

我在谷歌上看到过一个页面,几个月来一直有301。但是,索引中该页面的缓存日期是从几天前开始的。

谷歌可以忽略301并抓取页面的内容吗?

通常,Google 会抓取重定向到的网页。您看到的网站有两种可能的解释:

  • 该网站只是显示一条 301 消息,而不是正确返回 HTTP 标头。
  • 该网站重定向到另一个 301,
  • 该 301 重定向到另一个 301,...

在Youtube上观看此视频。

Google 总是抓取重定向的目标,HTTP 301 也不例外。但是,找不到比一位员工的讨论帖子更好的来源了。谷歌搜索设备文档也说了同样的话,我不明白为什么GSA和GoogleBot应该以不同的方式处理重定向。

无论您返回什么响应代码,Google 都会永久访问网址。他们这样做只是为了以防万一 URL 以真实内容复活。

301是最好的响应。谷歌最终会从SERP中删除这些URL。不要强迫更快地下降,除非您希望在接下来的三到六个月内减少访问者访问您的网站。

根据网络垃圾邮件团队负责人马特·卡茨(Matt Cutts)的说法,人们使用301通过将一堆域名转发到新域名来滥用排名,因此谷歌改进了他们处理301页面的方式。假设您移动到一个新域,并且 301d 所有页面从旧域转到新域上的相应页面。在这种情况下,谷歌最终将从索引中逐步淘汰旧域名,并引入新域名。

你说的话很少见,如果你担心,你可以通过谷歌网站管理员论坛让谷歌知道。一旦引起某人的注意,他们就会很快处理这样的事情。但是,可能是页面最终删除301然后将其重新放置的原因。或者可能是 301 没有显示给谷歌机器人。

您可以使用谷歌网站站长工具:https://www.google.com/webmasters/tools/home

有一个机器人分析工具,您可以在其中测试您的域网址,并亲自查看是否正在抓取 301 重定向页面;)