如何使用网络爬虫获取动态生成的 JavaScript 数据


How can I get dynamically generated JavaScript data using web scraper

大多数

网页的数据可以通过简单地下载HTML然后解析出所需的内容来抓取。但是,某些网页在页面加载后使用 JavaScript 动态加载其内容,以便在原始 HTML 中找不到所需的数据。

请帮助我如何使用网络爬虫获取动态生成的 JavaScript 数据。

您可以使用 Firefox 的 Web 开发人员插件。选择查看源 -> 页面加载完成后查看生成的源,您将在新窗口中获得 HTML 中的联系人。然后,您可以继续使用当前正在使用的任何解析器。