谷歌如何抓取动态网页


how google crawls dynamic pages?

我即将为我的一个客户创建一个在线购物网站。我必须使这个网站对SEO友好,因此在我继续制作基于CMS的自定义网站之前,我必须了解一些事情。

正如我所说,我将创建一个基于自定义CMS的网站,以便我的客户能够通过CMS添加新内容,但我不了解一些事情。

例如:我有一个index.php页面,其中包含许多指向不同产品的链接,所有这些链接都是通过使用PHP通过数据库创建的。网站链接喜欢

http://www.def.com/shoes/Men-Shoes

我的问题:

1) 我想知道,当GoogleBot抓取我的网站时,它是否也会打开我动态创建的链接并将其编入索引?GoogleBot是否也会索引我的动态链接的内容?

2) 我是否必须为现场的所有产品创建单独的页面并将它们存储在我的服务器上?或者只是一个根据用户查询动态提供每个产品的页面?

我读了这个

"它的功能很像你的网络浏览器,通过向网络服务器发送网页请求,下载整个页面,然后将其交给谷歌的索引器。

对吗?

上面的查询实际上看起来像这样,我使用 .htaccess 文件让它很漂亮

http://www.def.com/shoes.php?type=Men-Shoes

那么它是否正确,谷歌会抓取它以索引?

SEO本身就是一门复杂的科学,谷歌总是在改变目标帖子并修改他们的算法。

虽然您不需要为每个产品创建单独的页面,但使用 .htaccess 文件创建友好的 URL 可以使它们看起来更好、更易于导航。 此外,创建一个站点地图并通过他们的网站管理员工具将其提交给Google将帮助他们知道要索引哪些页面。

GoogleBot 将跟踪您网站中的链接,包括动态创建的链接,但重要的是,如果您的目标是长期成功,请不要尝试使用 Blackhat 方法玩弄系统。

此外,使用社交媒体(Twitter,Facebook,Google+)来帮助推广您的品牌,并确保您遵循Google关于SEO和页面优化的指南。

互联网上有大量关于这个主题的信息,但要小心你遵循的建议。

谷歌和其他搜索引擎也索引动态链接。因此,避免重复内容的一种方法是使用Google网站管理员中的"抓取"->"URL参数"工具。您可以在此处阅读有关其工作原理的更多信息 https://support.google.com/webmasters/answer/6080548?rd=1.将"抓取"字段设置为"无网址"。通过这种方式,您可以从搜索中隐藏动态链接,但您必须拥有网站/CMS的所有动态链接的列表,以免意外隐藏重要内容。"URL 参数"功能在必应网站站长工具中也可用 http://searchenginewatch.com/sew/how-to/2195777/bing-webmaster-tools-an-overview# 。