由于某些原因，我似乎无法通过cURL获得这个特定网页的内容。我已经设法使用cURL来获取"顶级页面"内容，但同样的自建快速cURL函数似乎不适用于链接的子网页之一。
顶级页面: http://www.deindeal.ch/
子页面: http://www.deindeal.ch/deals/hotel-cristal-in-nuernberg-30/
我的cURL函数(在functions.php)
function curl_get($url) {
$ch = curl_init();
$header = array(
'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7',
'Accept-Language: en-us;q=0.8,en;q=0.6'
);
$options = array(
CURLOPT_URL => $url,
CURLOPT_HEADER => 0,
CURLOPT_RETURNTRANSFER => 1,
CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13',
CURLOPT_HTTPHEADER => $header
);
curl_setopt_array($ch, $options);
$return = curl_exec($ch);
curl_close($ch);
return $return;
}
PHP文件获取内容(使用echo进行测试)
require "functions.php";
require "phpQuery.php";
echo curl_get('http://www.deindeal.ch/deals/hotel-walliserhof-zermatt-2-naechte-30/');
到目前为止，我已经尝试了以下方法来让它工作
- 在本地(XAMPP)和远程(LAMP)运行文件。
- 在推荐的user-agent和HTTP头文件中增加了file_get_contents和CURL不能打开一个特定的网站-之前的功能
curl_get()包含了当前的所有选项，除了CURLOPT_USERAGENTandCURLOPT_HTTPHEADERS。
一个网站是否有可能完全阻止通过cURL或其他远程文件打开机制的请求，而不管提供了多少数据来尝试进行真正的浏览器请求?
还有，是否有可能诊断出为什么我的请求一无所获?
任何帮助回答上述两个问题，或编辑/提出建议以获得文件的内容，即使通过与cURL不同的方法，也将非常感谢;)。
尝试添加:
CURLOPT_FOLLOWLOCATION => TRUE
到你的选项
如果你从命令行运行一个简单的curl请求(包括一个-i来查看响应头)，那么很容易看到:
$ curl -i 'http://www.deindeal.ch/deals/hotel-cristal-in-nuernberg-30/'
HTTP/1.1 302 FOUND
Date: Fri, 30 Dec 2011 02:42:54 GMT
Server: Apache/2.2.16 (Debian)
Vary: Accept-Language,Cookie,Accept-Encoding
Content-Language: de
Set-Cookie: csrftoken=d127d2de73fb3bd72e8986daeca86711; Domain=www.deindeal.ch; Max-Age=31449600; Path=/
Set-Cookie: generic_cookie=1; Path=/
Set-Cookie: sessionid=987b1a11224ecd0e009175470cf7317b; expires=Fri, 27-Jan-2012 02:42:54 GMT; Max-Age=2419200; Path=/
Location: http://www.deindeal.ch/welcome/?deal_slug=hotel-cristal-in-nuernberg-30
Content-Length: 0
Connection: close
Content-Type: text/html; charset=utf-8
可以看到，它返回一个带有Location报头的302。如果您直接点击该位置，您将获得您正在寻找的内容。
并回答你的两个问题:
- 不，不可能阻止来自curl之类的请求。如果消费者可以使用HTTP，那么它就可以访问浏览器可以访问的任何内容。
- 使用HTTP代理进行诊断可能对您有帮助。Wireshark, fiddler, charles等人将来会帮助你。或者，像我一样从命令行发出请求。
编辑
啊，我现在明白你在说什么了。因此，当您第一次访问该链接时，您会被重定向并设置一个(或多个)cookie。一旦你有了这些cookie，你的请求就会按预期的方式通过。
所以，你需要使用一个cookiejar，就像下面的例子:http://icfun.blogspot.com/2009/04/php-how-to-use-cookie-jar-with-curl.html
因此，您需要进行初始请求，保存cookie，然后进行后续请求，包括之后的cookie。