我有大量的cURL请求要处理。我发现有几个库可以帮助并行处理它们,主要的是RollingCurl(http://code.google.com/p/rolling-curl/)和Parallel Curl(https://github.com/petewarden/ParallelCurl)。
有没有人有使用这些库的经验,如果有,你知道哪个表现更好吗?
谢谢!
更新:对于以后可能会偶然发现此问题的任何人,如果您使用的是 Rolling Curl 的组功能,它在处理大量请求时似乎会中断 (50k+)
性能不是问题,因为它们都包装了标准but
功能
-
RollingCurl支持组过程,您也可以通过简单的数组实现
-
平行卷曲 i 轻微和直向 .. 带有可选的自定义
curl
选项 -
它们都支持回调
两者都很好,这取决于您的需要.....