如何使用简单的HTML DOM php爬行页面


How to crawl through pages using Simple HTML DOM php?

我正在从这个页面收集数据。我使用简单的HTML DOM解析器。我想从下一页收集数据。问题是没有新的链接为下一页,所以我不能通过链接循环。我猜它是由Javascript完成的。我如何进入下一页并从那里收集数据?

    `// array to store scraped links
    $links = array();  
    // crawl the webpage for links
    foreach($html->find("a") as $link){
        array_push($links, $link->href);
    }`  
使用上面的代码,我只能找到页面上的链接。但是页码1、2、3……没有链接。

您是否尝试使用PhantomJS/CasperJS来完成此任务?它们非常适合模拟用户请求和抓取网页。