在PHP项目中阻止和删除这个烦人的robots.txt文件的最佳方法是什么？
robots.txt文件由站点的开发人员创建。该文件所做的只是指示像谷歌或雅虎这样的机器人，他们应该和不应该在你的网站上为他们的搜索引擎索引什么。他们绝不会遵守指示，但大多数主要的公司都会遵守
如果你想告诉所有机器人不要搜索任何东西，并试图阻止它们，请在你的robots.txt文件中输入以下内容
User-agent: *
Disallow: /
就像我说的，这不是机器人必须遵循的，但所有好的机器人都会遵循
更多信息请点击此处http://www.robotstxt.org/