PHP cUrl循环泄漏内存 - PHP cUrl loop leaking memory

PHP cUrl loop leaking memory

本文关键字：内存泄漏循环 cUrl PHP | 更新日期: 2023-09-27

以下代码处于循环中。每个循环都会将URL更改为一个新地址。我的问题是每次传球都会占用越来越多的内存。

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://site.ru/');
curl_setopt($ch, CURLOPT_TIMEOUT, 60);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_AUTOREFERER, 'http://site.ru/');
curl_setopt($ch, CURLOPT_HEADER, false);
$html = new 'DOMDocument();
$html->loadHTML(curl_exec($ch));
curl_close($ch);
$ch = null;
$xpath = new 'DOMXPath($html);
$html = null;
foreach ($xpath->query('//*[@id="tree"]/li[position() > 5]') as $category) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $xpath->query('./a', $category)->item(0)->nodeValue);
    curl_setopt($ch, CURLOPT_TIMEOUT, 60);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_AUTOREFERER, 'http://site.ru/');
    curl_setopt($ch, CURLOPT_HEADER, false);
    $html = new 'DOMDocument();
    $html->loadHTML(curl_exec($ch));
    curl_close($ch);
    $ch = null;
    // etc.
}

内存为2000 Mb。脚本执行时间~2h。PHP版本5.4.4。如何避免内存泄漏？谢谢

来自互联网的故事表明curl_setopt($ch, CURLOPT_RETURNTRANSFER, true)在某些PHP/cURL版本中被破坏：

#13225卷曲内存泄漏
#40831 cURL扩展无法清除重复使用句柄的缓冲区
PHP脚本内存泄漏问题
PHP cURL，使用CURLOPT_RETURNTTRANSFER时内存泄漏

您还可以找到DOM:的故事

DOMDocument PHP内存泄漏
PHP/DOMDocument:unset（）不释放资源
DOMDocument/Xpath在长命令行过程中泄漏内存-任何解构此类的方法

创建一个最小的测试用例，找出泄漏的原因。即从代码中删除不相关的包（DOM或cURL）。

然后用最新的PHP版本复制它。如果它仍然是导致泄漏的原因，请提交一份错误报告，否则请使用该PHP版本。

重复使用相同的curl句柄，而不是每次在循环中创建和销毁它。

$ch = curl_init();
curl_setopt($ch, CURLOPT_TIMEOUT, 60);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_AUTOREFERER, 'http://site.ru/');
curl_setopt($ch, CURLOPT_HEADER, false);
foreach ($pages as $url) {
    curl_setopt($ch, CURLOPT_URL, $url);
    $response = curl_exec($ch);
}
curl_close($ch);