我目前正在尝试找出一种方法来编写一个脚本(最好是PHP(，该脚本可以爬过站点并创建站点地图。 除了传统的标准页面列表之外，我还希望脚本能够跟踪哪些页面链接到其他页面。
示例页面
A
B
C
D
我希望输出给我类似以下内容的东西。
页面名称： A
链接到页面 A 的页面：
- 乙
- C
- D
页面名称： B
链接到页面 B 的页面：
- 一个
- C
等。。。
我遇到过多个标准的站点地图脚本，但没有一个能真正实现我正在寻找的。
编辑似乎我没有提供足够的信息。很抱歉我在那里不清楚。 这是我目前拥有的代码。 我使用simple_html_dom.php来处理解析和搜索html的任务。
<?php
include("simple_html_dom.php");
url = 'page_url';
$html = new simple_html_dom();
$html->load_file($url);
$linkmap = array();
foreach($html->find('a') as $link):
if(contains("cms/education",$link)):
if(!in_array($link, $linkmap)):
$linkmap[$link->href] = array();
endif;
endif;
endforeach;
?>
注意：我的小 foreach 循环只是根据 url 中的特定子字符串进行过滤。
所以，我有必要的第一级页面。 我陷入困境的是创建一个不会无限期运行的循环，同时跟踪您已经访问过的页面。
基本上，您需要两个数组来控制这里的流程。第一个将跟踪您需要查看的页面，第二个将跟踪您已经查看过的页面。然后，您只需在每个页面上运行现有代码，直到没有剩余代码：
<?php
include("simple_html_dom.php");
$urlsToCheck = array();
$urlsToCheck[] = 'page_url';
$urlsChecked = array();
while(count($urlsToCheck) > 0)
{
$url = array_pop($urlsToCheck);
if (!in_array($url, $urlsChecked)
{
$urlsChecked[] = $url;
$html = new simple_html_dom();
$html->load_file($url);
$linkmap = array();
foreach($html->find('a') as $link):
if(contains("cms/education",$link)):
if((!in_array($link, $urlsToCheck)) && (!in_array($link,$urlsChecked)))
$urlsToCheck[] = $link;
if(!in_array($link, $linkmap)):
$linkmap[$link->href] = array();
endif;
endif;
endforeach;
}
}
?>