我需要从一个远程url的html抓取数据


I need to grab data from html of a remote url

我需要一个接受这个ul的脚本:

<ul id="activitylist">
    <li class="activitybit forum_thread">
        <div class="avatar"> <img alt="secret team's Avatar" src="images/misc/unknown.gif" title="secret team's Avatar"> </div>
        <div class="content hasavatar">
        <div class="datetime"> <span class="date">Today,&nbsp;<span class="time">11:25pm</span></span> </div>
        <div class="title"> <a class="username" href="member.php/436070-secret-team">secret team</a> started a thread <a href="showthread.php/415403-Allow-VIDEO-Code-missing-in-settings">'Allow [VIDEO] Code' missing in settings</a> </div>
        <div class="views">0 replies | 0 view(s)</div>
    </li>
</ul>

一个ul中有10到15个child li。我需要线程的每个子李的线程名,其中线程有0个答复。我在上面贴了一个例子。对于这个例子,我需要这个文本:

'Allow [VIDEO] Code' missing in settings

其中div的回复值为0:

 <div class="views">0 replies | 0 view(s)</div>

我有这个示例代码,但它不能正常工作。

<?php
$request_url = 'https://www.vbulletin.com/forum/activity.php';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $request_url); // The url to get links from
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // We want to get the respone
$result = curl_exec($ch);
$sPattern = "/<li class='"activitybit forum_thread'">(.*?)<'/li>/s";
preg_match_all($sPattern, $result, $parts);
$links = $parts[1];
foreach ($links as $link) {
    if (stripos($link, "0 replies") !== false) {
        echo $link . "<br>";
    }
}
curl_close($ch);
?>

这是一个正则表达式,将解析任何类型的HTML:

$regex = new DOMDocument;
$regex->loadHTML($html);

现在严重。DOMDocument已经解析了所有的HTML。现在可以使用这些和这些函数遍历标记并提取其属性和内容。但是使用一个名为DOMXPath的配套类要容易得多:

$xpath = new DOMXpath($regex);
foreach ($xpath->query("//ul[@id='activitylist']/li") as $li) {
    $view = $xpath->query(".//div[@class='views']", $li)->item(0);
    $link = $xpath->query(".//div[@class='title']/a", $li)->item(1);
    if (preg_match("/0 replies/", $view->nodeValue)) {
        echo $link->nodeValue . " (" . $link->getAttribute("href") . ")'n";
    }
}

这将输出一些警告关于你的HTML不完美加上这个:

'Allow [VIDEO] Code' missing in settings (showthread.php/415403-Allow-VIDEO-Code-missing-in-settings)

你可以在这里阅读更多关于使用

Regex PHP解析HTML的内容。这里有一个完整的XPath示例列表。