我最近对一个包含URL结构的电子商务网站进行了一些重大更改。用于查看产品的 url 由 .htaccess 修改，并包含一个简短的产品描述，如果更改，不会影响页面上的结果。
示例：www.Example.com/staticFolder/non-deterministic-product-details/MODEL#.html
现在在错误日志文件中，我看到 bingbot 请求像 example.com/non-deterministic-product-details 这样的页面
我们的站点地图没有链接到此页面，我无法在页面上找到任何不良链接。还有其他人在 bingbot 这样做时遇到过问题吗？我发现了另一个因随机而被锁定的问题。必应机器人导致 404 错误。我做错了什么的可能性更大吗？我应该避免在我的 .htaccess 中使用伪目录吗？
-谢谢
没有什么要求蜘蛛只坚持链接爬行。它完全有可能猜测与已知URL相似的URL，希望它能找到一些东西。
无论如何，除非您知道它遵循一个错误的链接，否则我不会担心它。收到大量对不存在页面的请求是很正常的。