cURL 返回 302,而浏览器返回 200


cURL returns 302, whereas a browser returns 200

我有一个脚本,它使用大量 cURL 登录站点并提交一系列表单,但是由于 cURL 请求返回 302 并重定向到块/端点页面,这最近停止工作。如果我用浏览器执行相同的操作,则没有重定向,只有 200 OK。

我的 cURL 正在使用登录过程返回的 cookie,因此我认为会话不会被丢弃。

我最初认为,考虑到重定向位置,缺少CSRF令牌(某种),并且流程中的后续表单(使用浏览器)包含一个隐藏的CSRF令牌字段,但URL不需要发布的数据。

cURL 和响应如下所示:

curl_setopt($ch, CURLOPT_URL, 'https://*******.********.co.uk/Dispatcher?menuid=pos_home'); 
curl_setopt ($ch, CURLOPT_COOKIEJAR, 'cookie.txt');
curl_setopt($ch, CURLOPT_HEADER, 0);
$content = curl_exec ($ch);
echo "CURL INFO : <BR/><pre>" ;
print_r(curl_getinfo($ch));

返回:

Array
(
[url] => https://*******.********.co.uk/Dispatcher?menuid=pos_home
[content_type] => text/html
[http_code] => 302
[header_size] => 253
[request_size] => 332
[filetime] => -1
[ssl_verify_result] => 20
[redirect_count] => 0
[total_time] => 0.142718
[namelookup_time] => 2.4E-5
[connect_time] => 2.4E-5
[pretransfer_time] => 9.0E-5
[size_upload] => 43
[size_download] => 327
[speed_download] => 2291
[speed_upload] => 301
[download_content_length] => -1
[upload_content_length] => 43
[starttransfer_time] => 0.142659
[redirect_time] => 0
[certinfo] => Array
    (
    )
[primary_ip] => nnn.nnn.nnn.nn
[primary_port] => 443
[local_ip] => nnn.nnn.nnn.nn
[local_port] => 53154
[redirect_url] => https://*******.********.co.uk/Dispatcher?menuid=badorMissingCSRFT

如果有人有任何想法,为什么或如何服务器可以为浏览器请求的cURL提供不同的响应,我将不胜感激 - 谢谢。

您需要遵循重定向:

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

不遵循重定向的其他原因:

4.14 重定向在浏览器中有效,但不能使用 curl!

curl 支持 HTTP 重定向很好(参见第 3.8 项)。浏览器通常至少支持两种其他方法来执行 curl 不执行的重定向:

元标记。您可以编写一个 HTML 标记,该标记将导致浏览器在特定时间后重定向到另一个给定的 URL。

Javascript。您可以编写嵌入在HTML页面中的Javascript程序,该程序将浏览器重定向到另一个给定的URL。

没有办法让 curl 遵循这些重定向。您必须手动确定页面要执行的操作,或者编写一个脚本来分析结果并获取新 URL。

来源: http://curl.haxx.se/docs/faq.html#Redirects_work_in_browser_but_no

使用 -

L 或 --location 选项卷曲以跟踪重定向。

curl -L google.com

也许服务器开始检查User-Agent:Referer: HTTP 标头。

尝试嗅探浏览器发送的请求(现代浏览器的开发人员工具会告诉您请求的外观)并更新cUrl代码以匹配浏览器发送的请求。

还要考虑您在问题评论中收到的建议(询问网站所有者或只是停止自动收集他们的网站)。