具有多个 HTTP 登录名的网页抓取文档


Web scraping document with multiple HTTP logins

我正在尝试使用 php 的 file_get_contents 从网站上抓取页面。

但是,该网站需要两次连续的HTTP登录(使用基本访问身份验证)才能显示我想要抓取的页面。

  1. 弹出对话框,询问用户名和密码
  2. 填写完后,会弹出另一个询问相同的详细信息
  3. 使用两个对话框成功进行身份验证后,将加载抓取目标页面

无论如何,是否可以在需要多次HTTP登录的页面上使用预定义的用户名和密码抓取该网页的内容?

谢谢!

您只能使用一个请求执行一次登录。因此,要执行两个请求,您必须发送两个请求。