一次可以运行多少个作业


How many jobs can be run at a time?

我希望将查询作为aysnc作业发送到bigquery,但我不知道这是否真的是一个可行的过程。

小型故障:

  1. 获取请求
  2. 生成查询
  3. 发送异步查询
  4. 继续以完成代码

我想这么做是因为到目前为止,脚本中最长的部分正在等待bigquery发回回复。我不会将此回复用作所有流媒体插入,也无法了解bigquery作业的限制。

假设您谈论的是通过jobs.query()jobs.insert()运行查询,配额限制可以在BigQuery文档的quota Policy页面上找到。特别是:

并发速率限制(仅适用于按需查询):[…]最多20个并发查询。返回缓存结果的查询或使用dryRun属性配置的查询不计入此限制。

(关于工作规模的一些细节已删除,重点是我的)

如果您正在考虑从同步jobs.query()转移到使用异步jobs.insert(),您可能会发现文档中的查询数据页面也很有用。