我正在编写一个广告管理器,每次用户点击链接时都会记录。如何修改这些链接以阻止搜索引擎抓取我的网站? 我知道,最明显的一个是带有"nofollow"链接,但是我如何阻止其他人? 是否有搜索引擎 ip 列表或其他方法来阻止它们?
PHP 检测浏览器get_browser
<?php
echo $_SERVER['HTTP_USER_AGENT'] . "'n'n";
$browser = get_browser(null, true);
print_r($browser);
?>
http://php.net/manual/en/function.get-browser.php
阻止搜索引擎使用漫游器.txt排除文件抓取您的网站:
http://antezeta.com/news/avoid-search-engine-indexing