如何检查请求是否来自谷歌，facebook, twitter和必应爬虫

How to check if the request is from google, facebook, twitter and bing crawlers?

我想为web应用程序提供服务，并在JavaScript中编译一个具有双向数据绑定的模板。另一方面，我想为网络爬虫生成现成的HTML内容。

如何知道请求是否来自流行的网络爬虫/机器人，如谷歌，必应，facebook,twitter??

它们通常通过用户代理发送这类信息，例如

或者类似的东西，在php中你可以用

$_SERVER['HTTP_USER_AGENT'];

但是，您应该意识到用户代理可以被欺骗。