fopen适用于某些url,但不适用于其他url


fopen working for some urls but not others

我正在使用fopen检查图像文件的存在(并作为从外部url提取图像的前兆)。

它对大多数图像都很好,例如

SY300.jpg">http://ecx.images-amazon.com/images/I/51DbiFInDUL.SY300.jpg

但它不适用于像维多利亚的秘密这样的网站上的图片,例如:

http://dm.victoriassecret.com/product/428x571/V360249.jpg

这是权限问题吗?如果是的话,还有什么工作要做吗?

$url = "http://dm.victoriassecret.com/product/428x571/V360249.jpg";
$handle = @fopen($url,'r');
if($handle !== false){
return true;
}

对于成功的链接,$handle返回"资源ID#11",但对于像维多利亚的秘密这样的不成功链接,$handle不返回任何内容。

此外,exif_imagetype不会为图像返回任何内容(我们安装了exif扩展)。

这方面有什么工作吗?我们正在构建一个小书签,允许用户从网站中提取图片。我们注意到,其他书签可以绕过这一点(即Pinterest),并可以从维多利亚的秘密中获取照片。

由于.htaccess文件中定义了热链接保护,因此不显示数据。您需要作为客户端获取数据。我试过,如果你把用户代理的HTTP头信息读取内容并保存到文件中,你可以使用CURL。

在我的解决方案中,你的问题得到了解决。

注意:请注意,对于在标头中使用的远程服务器上的文件类型,有一个示例GIF文件image/gif,因此您可以为PNG放置另一个文件类型示例。

有效的解决方案示例:

error_reporting(E_ALL);
ini_set('display_errors', '1');
$url = "http://dm.victoriassecret.com/product/428x571/V360249.jpg";
function getimg($url) {         
    $headers[] = 'Accept: image/gif, image/x-bitmap, image/jpeg, image/pjpeg';              
    $headers[] = 'Connection: Keep-Alive';         
    $headers[] = 'Content-type: application/x-www-form-urlencoded;charset=UTF-8';         
    $user_agent = 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)';         
    $process = curl_init($url);         
    curl_setopt($process, CURLOPT_HTTPHEADER, $headers);         
    curl_setopt($process, CURLOPT_HEADER, 0);         
    curl_setopt($process, CURLOPT_USERAGENT, $user_agent);         
    curl_setopt($process, CURLOPT_TIMEOUT, 30);         
    curl_setopt($process, CURLOPT_RETURNTRANSFER, 1);         
    curl_setopt($process, CURLOPT_FOLLOWLOCATION, 1);         
    $return = curl_exec($process);         
    curl_close($process);         
    return $return;     
} 
$imgurl = $url; 
$imagename= basename($imgurl);
if(file_exists($imagename)){continue;} 
$image = getimg($imgurl); 
file_put_contents($imagename,$image);

注意:如果您在Linux文件系统上,请确保根文件夹是可写的(CHMOD),否则将不会在路径中保存文件。

所以你说的是EXIF数据,以及CURL下载的图像如何与我用md5sum检查的victoriasecret服务器上的原始图像和使用CURL下载之间的原始图像相同。然而,结果是相同的,相同的,所以你可以获取和分析下载的数据,以备将来。。。如果你不再需要,可以删除。

在Linux平台上,您可以使用md5sum:通过md5结果的总和来测试相同的文件

md5sum V360249.jpg V360249_original.jpg
893a47cbf0b4fbe4d1e49d9d4480b31d  V360249.jpg
893a47cbf0b4fbe4d1e49d9d4480b31d  V360249_original.jpg

结果是相同的,您可以确保exif_imagetype信息是正确和相同的。

通过删除@符号,我得到了一个更有意义的错误:

Warning: fopen(http://dm.victoriassecret.com/product/428x571/V360249.jpg) [function.fopen]: failed to open stream: HTTP request failed! in [removedSomedatahere]/test.php on line 5

它在curl、wget和fopen中做得类似,没有设置其他选项。我假设这与未设置cookie或其他设置有关,,但我没有直接的答案。希望这能有所帮助。

[已编辑-基于评论的解决方案]因此,如果您还设置了用户代理,那么在这种情况下,使用curl可能是一个更好的选择。该网站基于用户代理被阻止。因此,解决方案是设置一个常用的浏览器作为代理。

以下是设置用户代理的示例:

curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');

请查看此链接以了解如何在curl中设置用户代理。