我已经搜索了整个网络的解决方案，但没有发现我需要什么。这是我的问题
我有一个独特的链接，是由用户分享的社交网络，如fb, twitter等。当一个独特的ip点击触发该链接，我将奖励用户一些点，但一旦用户分享链接，我看到7-8数据库条目，这些条目来自社交网络爬虫。因此，当用户共享fb抓取并生成错误的数据库条目时。不只是第一次，每次在固定的延迟后都会爬行，并产生问题。我的链接如下
kodeinfo.com/user/token/network
请告诉我如何才能阻止这个网络爬取url
也许可以检查Facebook或twitter爬虫是否使用特定的User-Agent并忽略这些代理。
您可以尝试在链接上使用rel="nofollow"属性。从理论上讲，机器人应该尊重这一点，而不是遵循链接。
这是来自谷歌的更多信息。
祝你好运!