如何在PHP中抓取需要cookie和javascript的页面


How to scrape page requiring cookies and javascript in PHP

有没有一种简单的方法可以通过php脚本抓取需要的网页来模拟cookie和javascript?

当前响应显示:

<body><noscript>This site requires JavaScript and Cookies to be enabled. Please change your browser settings or upgrade your browser.</noscript></body>

我把这个放在代码中,它没有什么区别:

$strCookie = 'PHPSESSID=' . $_COOKIE['PHPSESSID'] . '; path=/';
curl_setopt( $ch, CURLOPT_COOKIE, $strCookie );
只有在禁用Javascript的情况下,才会显示<noscript> </noscript>中的

HTML。因此,这是对是否启用Javascript的测试。

有一个jQuery cookie插件,用于读取、写入和删除cookie。但如果禁用Javascript,它将不起作用。

为了检查是否使用PHP代码启用了cookie,您需要设置cookie并使用另一个请求读取cookie。这篇文章有一些指南。

有没有一种简单的方法可以通过php脚本抓取需要的网页来模拟cookie和javascript?

没有。