Google、bing和其他网络搜索引擎的索引中有大量我的网站不包含的uri。比如说http://www.mydomain.com?key=apple+香蕉+桔子。
尽管我的网站上没有这个uri的直接链接，但根据我自己的搜索引擎结果，它显示了一个很好的页面。（php、mysql和其他东西）。问题是，机器人正在吞噬我的服务器资源，因为大量访问会像蜘蛛一样吞噬成千上万的uri。最糟糕的是，索引中有很多奇怪的字符串（不能说单词）。所有这些都降低了性能，（我怀疑）降低了网站排名。
我只想在我的网站上保留所有真正存在的链接http://www.mydomain.com?key=apple或
http://www.mydomain.com?key=banana或
http://www.mydomain.com?key=orange（一个简单的单词键）
并删除其他的（组合，如第一个uri）
一年前，我创建了一个谷歌网站地图。
我需要一个符合谷歌规则的解决方案。我唯一想的就是if(strstr($_SERVER['QUERY_STRING'],'+')然后重定向到index.php感谢
如果您让索引页面查看查询字符串，并为实际上不存在的key返回404 Not Found，那么应该会将它们从索引中删除。重定向可以指示URL实际上是有效的。
我可以想出两种方法来解决这个问题：
1.创建sitemap.xml（谷歌）
2.在谷歌网站管理员工具中开立帐户：http://www.google.com/webmasters/并申请所有权（5分钟过程）
验证为网站所有者后，登录您的网站管理员帐户，转到：
站点配置->站点链接
在那里，你可以选择降级你想让谷歌忽略的特定链接。
您可以使用"robots.txt"文件向网络机器人提供有关您的网站的说明。
你可以在这里阅读如何设置它。
编辑
谷歌在这里也谈到了robots.txt。