PHP 网络爬虫中断,用完时间限制


php web crawler breaks, running out of time limit?

我正在编写一个PHP Web应用程序来对多个(实际上是一长串)Facebook页面进行统计。 我设置了爬虫,每天从Facebook获取所有页面的数据,因此数据始终在本地数据库中更新。

问题是,有时爬虫会意外中断。我猜测的原因是:1) 用完服务器的时间限制2)等待数据太久而没有任何响应并被杀死

你有什么建议来解决这个问题吗? 多谢!!

你应该

从增加 php.ini 中的max_execution_time变量开始。看看这是否能解决你的问题。如果问题出在Facebook或您无法控制的任何其他网络服务器上,那么您无能为力。

*免责声明:这一切都是假设您的代码是有效的,并且有时不会发现自己处于某个无限循环中......

尝试添加

set_time_limit (0);

在脚本的开头。