我现在正在WordPress上做一个Pinterest的克隆。
我想知道Pinterest如何管理他们的网站索引的搜索引擎，当你必须登录看到pin屏幕?
所以，我需要一个解决方案，用户必须登录到网站，但搜索引擎仍然可以索引一切没有登录。这是技术上的伪装吗?
任何想法?
您可以在脚本中使用反向DNS查找来完成此操作。谷歌自己推荐了这种方法。在PHP中，您可以使用gethostbyaddr() .
最快的方法是检查user-agent字符串。完整列表见http://user-agents.org/。
如果你尝试Leonard建议的DNS方法，你会发现它非常慢。有些ip甚至没有有效的反向查找。有问题的页面建议仅对进行反向查找，以验证用户代理字符串中声称是googlebot的请求的来源。你不应该担心有人入侵你的浏览器(假装是googlebot)，直到你很受欢迎。