谷歌抓取杀死地方api配额


Google crawl kills places api quota

我们的网站上有几个API,其中一个是API。当谷歌蜘蛛爬我们的网站,它将达到我们的地方API的配额。

我已经一次又一次地重置API,它变得非常累!

我还设置我的网站运行3个不同的API项目,使用相同的API(谷歌位置),并使用逻辑使其使用一个,切换到下一个等等;即使现在每天有45万个电话,到中午谷歌搜索蜘蛛已经杀死了所有3个API!!!

这使得我的用户不能再使用任何使用API的地方,这是一个巨大的问题!!!我不会因为谷歌点击谷歌API调用而被收费,但这会破坏我网站上的用户体验,我们不会容忍!

请立刻帮忙!

我想谷歌可以在他们的系统中修复这个错误,正如你在上面读到的那样,我个人真的无能为力,我已经为我的用户在访问我的网站时的体验做了一切。

这不是他们系统中的bug,如果你有数十万个唯一的URL都进行API调用,并且你没有阻止使用robots.txt对它们进行爬网,这是你网站中的bug(请参阅此处)。

我最终以一种变通的方式解决了这个问题,对于其他有这个问题的人来说,这就是我所做的。

1) 我已经建立了3个API项目,每个项目每天可以拨打150000个电话

2) 我设置了逻辑来查看页面是否是从类似谷歌机器人的精灵访问的

3) 如果会话来自蜘蛛,则第三个API密钥设置为空

4) 系统尝试一个接一个地使用每个API,如果第一个结果集为空,则尝试第2个,如果第2个为空,那么尝试第3个

5) 由于第三个API键被设置为null,如果是蜘蛛,这允许为用户留出150000个调用,但现在我们必须停止抓取空白内容

6) 在从尝试API 1,然后2,然后3切换的逻辑块中,我让php重写了我的robots.txt文件,如果API 1可用,我设置如下:

file_put_contents('robots.txt','用户代理:*不允许:');

API 2也是如此,如果使用API 3,那么我将robots.txt重写为:

file_put_contents('robots.txt','用户代理:*不允许:/');

现在已经为用户留出了150000个呼叫,蜘蛛无法使用这150000个呼叫。当其他300000个呼叫用完时,任何蜘蛛都无法在当天剩余的时间里对网站进行爬网。

问题解决了!告诉过你,如果他们做不到,我会自己解决的。

哦,还有另一个注意,因为它的谷歌使用谷歌API的im不会因为谷歌杀死的30万个呼叫而收费,我只会因为真正的用户用完而收费。。。。。。纯粹的完美!