如何为我自己的搜索引擎获取初始索引数据


How to get initial indexed data for my own search engine?

我正在尝试制作一个搜索引擎。我想知道如何在开始中获取URL以在我的数据库中进行索引?例如,谷歌是如何获取用于爬网的网站的URL的

您可以从现有的索引开始,并使用它来构建自己的索引。dmoz是一个人类可编辑的索引:http://www.dmoz.org/