如何在php中使用curl获取所有页面分页数据


How to get all page pagination data using curl in php

我已经实现了一个数据抓取脚本,它使用CURL获取数据。

但那个获取记录只有一页,但我想要所有数据,因为在那个页面上有分页。

我们正在使用获取数据

$xpath = new DOMXPath($dom);
$xpath_resultset =  $xpath->query("//div[@class='parentListing']");

在上面的代码中,parentListing是div类,我使用不同的类在div和grep之间获取数据记录。

有人知道如何获取所有页面的分页数据吗。

如果有人有任何建议,请帮助我。

谢谢。。。

我认为没有通用的分页类型。您应该知道分页元素div、ul、li或其名称、类名等。然后您可以访问分页链接,并向该链接发送请求

$xpath = new DOMXPath($dom);
$xpath_resultset =  $xpath->query("//div[@class='parentListing']/a");

否则,您必须遍历所有dom并决定哪个元素可以对元素进行分页。有些页面添加下一个和上一个元链接。你可以搜索这些标签:

$xpath = new DOMXPath($dom);
$next_resultset =  $xpath->query("//link[@rel='next']");
$prev_resultset =  $xpath->query("//link[@rel='prev']");