从没有URL的网站获取数据


Getting data from website without URL

我正在做一个项目,该项目需要通过解析网站的html并从标题标签和元描述中获取内容来从网站中提取数据。我可以从普通网站解析数据,但在这种情况下,网站只能使用IP地址作为URL访问。是否可以提取,可以使用什么解决方案?

URL不需要域名,比如http://127.0.0.1/test.php是一个有效的url,所有scraper都应该正确使用它。

这要求网站对基于ip的url的请求做出响应。那些在私人服务器或大型网站上的网站可能会这样做,而来自普通共享主机的网站通常不会这样做,因为它们托管多个具有相同ip的网站。