在谷歌云上存储来自网页的高流量事件


Storing high traffic events from web pages on Google Cloud

我正在尝试构建(以保持它尽可能简单)"类似于谷歌分析"。这意味着:我想从网页中存储少量信息(大小<2KB)的对象到一些存储中,并能够查询它。

我有JS代码,将这些事件对象发送到谷歌应用引擎上的PHP端点。然后,该端点将其插入到Google BigQuery中。这里是我的问题:插入是通过谷歌API PHP库- REST请求完成的。所以它执行HTTP请求,这是非常缓慢的。

我的问题是:有没有更好的方法来存储事件在谷歌云环境?使用PubSub或Redis在那里存储事件,并在后台有一些工作人员将此队列加载到BigQuery,是更好的(和更具成本效益?)

任何想法如何做到这一点(无论是在性能和成本),将是非常感谢!

如果我必须这样做,我会首先让端点处理程序将原始数据保存到推送队列中,因为在App Engine上排队的速度相对较快。数据的处理和BigQuery API调用将在稍后的任务队列中完成。

我猜你可以得到的性能和成本也会因应用引擎语言(PHP,Go,Java,…)而有所不同。