如何使用PHP、CURL抓取javascript网站


How to scrape a javascript site using PHP, CURL

可能重复:
如何在PHP应用程序中呈现来自另一个网站的javascript?

这就是网站http://www.oferta.pl/strona_v2/gazeta_v2/。这个网站完全基于JavaScript。我想用PHP和curl进行抓取。目前我使用的是DOMXPath。在左侧菜单中,有一些类别需要选择。我在那里看不到任何形式。如何使用curl提交该表单并废弃输出页面?

我只使用了file_get_contents()。它并没有占据整个页面。我该如何继续?

N.B:http://www.html-form-guide.com/php-form/php-form-submit.html我发现这个例子有一个"形式"。但我指定的网站没有"表单"。

你不能刮。这是可能的。但它太难了。

  1. 通过curl模拟http请求。检查ajax发出的每个请求,并尝试模拟它。

  2. 模拟Javascript执行(这部分几乎是不可能的)。有些请求包含由Javascript生成的值。您需要在php中执行此操作。如果他们在JS中实现了一些复杂的算法,您可以调用v8 javascript引擎。