如何避免phpcrawl中的循环机器人陷阱


How to avoid circular bot traps in phpcrawl?

使用PHP爬网时,如何避免陷入循环链接陷阱?

如果你将你访问过的url存储在某种数组中,你可以检查一下这个url是否已经被访问过,如果已经访问过,就不要再访问了。