我正在使用htaccess重写www.mysite.com/index.php?id=#并将其重定向到像www.mysite.com/news这样的友好URL。所以所有的新闻文章都会写成www.mysite.com/news/article1等
现在我屏蔽了服务器上所有不需要用robots.txt索引的目录。由于我使用的是cms，这些目录包括/core、/managers、/connectors等。但由于www.mysite.com/news目录实际上并不存在，而是用htaccess重写的，屏蔽/core等所有目录是否仍然允许爬网程序索引我的网站？
所以基本上我想知道的是：爬虫在重写我的网站URL后会看到它们吗？或者它仍然需要访问我的cms的其他目录，比如/core才能索引我的页面吗？
否，重写的URL只是一个内部映射过程。它只供您的web服务器用于确定如何处理它接收到的用户友好的URL。
就像浏览器地址栏中的URL保持不变一样，无论是网络浏览器还是机器人，客户端都看不到这个过程
URL重写不能与重定向混淆。在后一种情况下，客户端请求会收到一个"301重定向"响应，其中包含实际资源所在的URL。这导致客户端向重定向的URL发出第二个请求。然后，根据定义，客户会意识到这个过程。