我如何构建我的web开发环境，使搜索引擎不索引我的项目?
我正在为不同的客户做一些项目，每个客户的网站位于www.mydomain.com/webdev/des1, www.mydomain.com/webdev/des2, www.mydomain.com/webdev/des3等。
我以这种方式构建它，但是我今天去谷歌，意识到它一直在索引客户的网站，这些网站正在开发中，因此还没有准备好推出。
我能做些什么来删除这些网站从谷歌的结果，直到他们完成，我如何构建我的开发环境，使它不会发生在未来?我很抱歉在这里问两个问题，但我真的迫切需要那些犯过同样错误的人的建议。
# Disallow access for all robots on all pages
User-agent: *
Disallow: /
但正如已经说过的，它只会阻止机器人，只有那些遵守robots.txt协议的机器人。即使你用这个阻止了谷歌机器人，你的URL仍然可能在搜索引擎中被索引，尽管没有标题或描述将在片段中看到。但是，正如已经建议的那样，您应该使用某种密码保护。
我如何构建我的web开发环境，使搜索引擎不索引我的项目?
不允许public (anonymous/guest)访问
在你的情况下，你偶然已经启动了这些网站。现在你可以试着联系谷歌，让他们再次从他们的索引中删除它。他们还会告诉你如何在未来预防这种情况。这是他们帮助页面的一部分。查找网站管理员资源。
我知道这不是理想的修复，但为了使网站无法访问，我使用了一个插件，不让人们访问网站。我将使用这种方法，直到我为当前和未来的项目重组我的web开发环境。感谢大家的帮助和建议