用WRITEFUNCTION回调并行cURL请求


Parallel cURL Request with WRITEFUNCTION Callback

我试图限制我的cURL响应在这些帖子中建议:检索部分网页和PHP CURLOPT_WRITEFUNCTION不't似乎是工作。这个想法是将响应限制为回调函数中指定的4000个字符。

我写了下面的函数,但我已经知道它没有意义,因为回调函数定义中的参数在循环中不会像在函数调用中那样变化。到实际调用函数时,$key的值是固定的,因此对该索引的引用不会改变。

似乎每个循环都需要一个新的闭包函数,并且每个循环都需要引用自己的$full_length变量。然而,我不认为这是可能的。为了做到这一点,似乎我必须以某种方式引用闭包对象,以指定特定的$full_length变量。

任何帮助都会很感激。谢谢。

function get_headers($urls){
    $curly = array();
    $result = array();
    $mh = curl_multi_init();
    $obj = $this;
    foreach ($urls as $key => $url) {
        $this->full_length[$key] = 0;
        $callback = function ($ch, $string) use ($obj, $key){
                    $length = strlen($string);
                    $obj->full_length[$key] += $length;
                    if($obj->full_length[$key] >= 4000){
                        return -1;
                    }
                    return $length;
                };
        $curly[$key] = curl_init
        curl_setopt($curly[$key], CURLOPT_URL,            $url);
        curl_setopt($curly[$key], CURLOPT_HEADER,         0);
        curl_setopt($curly[$key], CURLOPT_WRITEFUNCTION, $callback);
        curl_setopt($curly[$key], CURLOPT_RETURNTRANSFER, 1);
        curl_multi_add_handle($mh, $curly[$key]);
    }
    $running = null;
    do {
        curl_multi_exec($mh, $running);
    } while($running > 0);
    foreach($curly as $key => $cnt) {
        $content = curl_multi_getcontent($cnt);
        curl_multi_remove_handle($mh, $cnt);
        if (strlen($content) > 0){
            $result[$key] = $content;
        } else {
            curl_multi_close($mh);
            return FALSE;
        }
    }
    curl_multi_close($mh);
    return $result;
}
编辑:

我发现了一个帖子,确实是我想做的,但它是在javascript:以循环变量作为参数的for循环回调中的闭包。我编写了下面的函数来尝试在PHP中做同样的事情:

function get_write_function($key){
    $this->full_length[$key] = 0;
    $obj = $this;
    $funky = function ($ch, $str) use ($obj, $key){
        $length = strlen($str);
        $obj->full_length[$key] += $length;
        if($obj->full_length[$key] >= 4000){
            return -1;
        }
        return $length;
    };
    return $funky;
}

代码运行没有错误,但它仍然没有做我想要的。关闭cURL句柄后,我转储了$full_length数组,它只显示:

array([0] => 0, [1] => 0)

这表明它们是由get_write_function初始化的(因为我没有在类声明中初始化任何东西),但是之后这些值从未更新过。

我终于弄明白了。最大的问题是,cURL忽略了WRITEFUNCTION,直到我把它作为最后一个指定的选项,正如我在这里发布的:cURL WRITEFUNCTION未被调用。实际上,我不需要返回传递,因为我将输出写入了一个类变量。这是必要的,因为当回调返回-1时,什么都不会返回。下面的代码工作得很好:

var $full_length = array();
var $result = array();
function get_headers($urls){
    $curly = array();
    $mh = curl_multi_init();
    foreach ($urls as $key => $url) {
        $callback = $this->get_write_function($key);
        $curly[$key] = curl_init
        curl_setopt($curly[$key], CURLOPT_URL,            $url);
        curl_setopt($curly[$key], CURLOPT_HEADER,         0);
        curl_setopt($curly[$key], CURLOPT_WRITEFUNCTION, $callback);
        curl_multi_add_handle($mh, $curly[$key]);
    }
    $running = null;
    do {
        curl_multi_exec($mh, $running);
    } while($running > 0);
    foreach($curly as $key => $cnt) {
        curl_multi_remove_handle($mh, $cnt);
    }
    curl_multi_close($mh);
    return $this->result;
}
function get_write_function($key){
    $this->full_length[$key] = 0;
    $this->result[$key] = '';
    $obj = $this;
    $funky = function ($ch, $str) use ($obj, $key){
        $obj->result[$key] .= $str;
        $length = strlen($str);
        $obj->full_length[$key] += $length;
        if($obj->full_length[$key] >= 4000){
            return -1;
        }
        return $length;
    };
    return $funky;
}