需要一个Javascript函数自动从网站抓取数据


Need a Javascript function for automatically scraping data from a website

我需要一个javascript函数来自动登录,然后从网站上抓取一些细节。我有登录的详细信息保存在服务器端数据库。我需要使用这些登录细节和登录到一个网站,然后从那里刮一些基本信息。

我听说我们可以做到这一点,通过动态框架的url…把事情做好……但是我需要知道如何完成这件事的确切细节。

这听起来像是一个像PhantomJS这样的无头浏览器的工作,而不是尝试使用CURL和PHP与javascript前端。它需要你在你的服务器上安装一些软件,这很容易,但是需要命令行访问。

PhantomJS是一个带JavaScript API的无头WebKit。它有快速和本机支持各种web标准:DOM处理,CSS选择器,JSON, Canvas和SVG。

PhantomJS是快速无头测试的最佳解决方案,站点抓取、页面捕获、SVG渲染、网络监控等等其他用例。

我以前就用过它。你甚至可以把你最喜欢的javascript框架(比如jQuery)注入到页面的DOM中,让你更容易在元素之间导航。