PHP - 下载大文件的安全方式


PHP - Safe way to download large files?

信息

有很多

方法可以在PHP,file_get_contents + file_put_contents,fopen,readfile和cURL中下载文件。

问题?

  • 当有一个大文件时,假设来自另一个服务器/域的 500 MB,安全下载它的"正确"方法是什么?如果连接失败,它应该找到位置并继续,或者如果文件包含错误,则再次下载文件。
  • 它将在网站上使用,而不是在php.exe shell中使用。

到目前为止我发现了什么

  • 我已经阅读了有关带有进度条的AJAX解决方案的信息,但我真正正在寻找的是PHP解决方案。
  • 我不需要像file_get_contents那样将文件缓冲为字符串。这可能也会占用内存。
  • 我也读过关于记忆问题的文章。可能首选不使用那么多内存的解决方案。

概念

如果结果是假的,这就是我想要的。

function download_url( $url, $filename ) {
    // Code
    $success['success'] = false;
    $success['message'] = 'File not found';
    return $success;
}

复制大文件的最简单方法可以在这里演示 从 php stdin 保存大文件,但不显示如何使用 http 范围复制文件

$url = "http://REMOTE_FILE";
$local = __DIR__ . "/test.dat";
try {
    $download = new Downloader($url);
    $download->start($local); // Start Download Process
} catch (Exception $e) {
    printf("Copied %d bytes'n", $pos = $download->getPos());
}

发生异常时,您可以恢复最后一点的文件下载

$download->setPos($pos);

使用的类

class Downloader {
    private $url;
    private $length = 8192;
    private $pos = 0;
    private $timeout = 60;
    public function __construct($url) {
        $this->url = $url;
    }
    public function setLength($length) {
        $this->length = $length;
    }
    public function setTimeout($timeout) {
        $this->timeout = $timeout;
    }
    public function setPos($pos) {
        $this->pos = $pos;
    }
    public function getPos() {
        return $this->pos;
    }
    public function start($local) {
        $part = $this->getPart("0-1");
        // Check partial Support
        if ($part && strlen($part) === 2) {
            // Split data with curl
            $this->runPartial($local);
        } else {
            // Use stream copy
            $this->runNormal($local);
        }
    }
    private function runNormal($local) {
        $in = fopen($this->url, "r");
        $out = fopen($local, 'w');
        $pos = ftell($in);
        while(($pos = ftell($in)) <= $this->pos) {
            $n = ($pos + $this->length) > $this->length ? $this->length : $this->pos;
            fread($in, $n);
        }
        $this->pos = stream_copy_to_stream($in, $out);
        return $this->pos;
    }
    private function runPartial($local) {
        $i = $this->pos;
        $fp = fopen($local, 'w');
        fseek($fp, $this->pos);
        while(true) {
            $data = $this->getPart(sprintf("%d-%d", $i, ($i + $this->length)));
            $i += strlen($data);
            fwrite($fp, $data);
            $this->pos = $i;
            if ($data === - 1)
                throw new Exception("File Corupted");
            if (! $data)
                break;
        }
        fclose($fp);
    }
    private function getPart($range) {
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $this->url);
        curl_setopt($ch, CURLOPT_RANGE, $range);
        curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_TIMEOUT, $this->timeout);
        $result = curl_exec($ch);
        $code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
        curl_close($ch);
        // Request not Satisfiable
        if ($code == 416)
            return false;
            // Check 206 Partial Content
        if ($code != 206)
            return - 1;
        return $result;
    }
}

您希望分块下载远程文件。这个答案有一个很好的例子:

如何使用PHP下载大文件(低内存使用量(