假设我有一个网站example.com和一个页面example.com/DHAS5KJ1H45GAS.html。除了mysql数据库之外，没有任何链接到该页面。
我假设有一个设置，使搜索引擎忽略页面(noindex, nofollow)。
所以我的问题是:有没有一个程序可以找到所有网站的页面?
PS:我试图使一个页面只能为知道密码的用户访问(没有注册)，我有mysql数据库与代码/链接对。
也许有更好的方法?
如果你给一个文件一个随机的名字，并且没有将它公开链接到任何地方(并且在你的web服务器中没有启用索引)，理论上没有链接任何人都无法找到它。
请记住，你在URL中的任何内容都将被存储到用户的浏览器历史记录中(如果你的代码不够随机，那些真正想要入侵你网站的人可能会使用暴力破解CSS历史记录来利用这一点)，并且对于任何可以访问共享URL的人来说都很容易。
在web目录的根目录下创建一个robots.txt文件，并将内容设置为:
User-agent: *
Disallow: /
这将防止网站被搜索引擎索引。如果需要的话，您可以使设置更具体，更具体地允许/禁止页面。
如果这个文件有常量名，你可以应用mod_rewrite。只需创建文件。将Htaccess 放到文件所在的文件夹中，并放入以下代码:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteRule ^/?DHAS5KJ1H45GAS'.html$ - [F,L]
</IfModule>