Google BigQuery 日志：我无法识别的查询 - 我的盒子里有鬼？答案

【问题标题】：Google BigQuery logs: queries I do not recognize - ghosts in my boxes?Google BigQuery 日志：我无法识别的查询 - 我的盒子里有鬼？
【发布时间】：2017-10-06 16:58:28
【问题描述】：

我对 Google 云技术和 BigQuery 非常陌生。我一直在监控我们的试用实例使用情况和计费，发现账单每天增加 20-30 英镑。仔细查看日志，我可以看到一个对我来说毫无意义的查询：

SQL 完全没有意义，我也不记得写过它...使用GROUP EACH BY 这对我来说是个新闻
使用分区时间：_PARTITIONTIME >= TIMESTAMP('20170306') AND _PARTITIONTIME <= TIMESTAMP('20170608'))，我永远不会使用（太长且将来会使用）
使用表名 t0 - 在我的所有查询中，我倾向于将该表引用为 nf
~~随机运行时间（所以它没有安排在 cron 或其他东西中）~~
因“查询执行期间超出资源”而失败。第三阶段
在第一次失败后重新运行约 3 分钟（双击！），然后消失几个小时（在某些情况下可能是一天）
我在日志中看不到 callerIP in requestMetadata
确实在authenticationInfo.principalEmail（来自 UI）和user_email（来自bq show -j）中有我的电子邮件地址
它在bq ls -j 中显示为job_，而不是bqjob_ 或bquijob_
现在运行了将近一周
今天早上 1 点 48 分跑步......我确定我睡着了，我的梦游技巧还不足以启动我的笔记本电脑并输入该查询！
不幸的是，它访问了我们最大的领域 (IPv6)，因此我认为它会向我们收取很多费用

我尝试过的：

清除浏览器缓存
重新启动我的桌面（1:48 时唯一的机器）以摆脱任何挂起的进程
检查我的 google 帐户安全性，一切似乎都已到位
禁止我自己从项目中查看是否会再次出现（我现在必须依靠同事的 UI - 我仍然可以从服务器使用 bq）

问题：

job_是什么，如果不是bq或bqui，可以从哪里提交？
有没有办法查看哪个盒子提交了作业？某处应该有IP吧？
我是否可以安排该查询在 Google Cloud 本身上运行（鉴于日志中缺少 callerIP 字段）？
jobs 可以挂在 GC 或 echo 中吗？
任何其他想法（梦游除外！）

我真的不知道如何解决这个问题......

更新 1

似乎每 ~ 12 小时发生一次，bq ls -j -a -n 4000 | grep FAILURE | grep ' job_' | grep -v '0:00:00' 的输出：

job_gMFDrHsT291qb_GbWtE2LJcLjXc              query      FAILURE   08 May 14:36:04   0:01:07   
job_NyjyB18-fmBwgwd54TPrCjZAoNg              query      FAILURE   08 May 14:32:57   0:01:05   
job_li4-HVdwTmkFXWD73U5AeRKCDUc              query      FAILURE   08 May 01:49:21   0:00:19   
job_4pJageclv07PGjwDHrY81Eaj7mc              query      FAILURE   08 May 01:47:01   0:00:18   
job_tbuCj0TW8e3AOp2VQBQK4gglYS0              query      FAILURE   07 May 13:11:05   0:00:18   
job_yL5f6p15iEJKTZ-fp1jjDCJJyjo              query      FAILURE   07 May 13:08:20   0:00:43   
job_kY068APnwe5O4S4byne6bcqmYBM              query      FAILURE   07 May 00:27:52   0:00:17   
job_CezXvXKBgus-RdvbFFVsYfDcjEo              query      FAILURE   07 May 00:25:30   0:00:18   
job_S2b0y5RI6q1piYOVmPT_oMWAoN0              query      FAILURE   06 May 11:58:57   0:00:46   
job_HrJ_tcGAFoLuJPUgQ7oX9EAc2K0              query      FAILURE   06 May 11:56:17   0:00:38   
job_EHJGgzPm4nU5BXaAZmcYhzjgA20              query      FAILURE   05 May 23:19:30   0:00:17   
job_uusSrZ2egHSz746oa8AP663tmQI              query      FAILURE   05 May 23:16:47   0:00:41   
job_Y0V1Qvs0VS30RDuMejyj7ZPvK2s              query      FAILURE   05 May 10:42:55   0:00:16   
job_dPo0DWsAhQ7q84-hnijLTIGYYkI              query      FAILURE   05 May 10:40:36   0:00:18   
job_ve1yBjCDsjP5LMSeGV1bFza-Cx4              query      FAILURE   04 May 22:16:52   0:00:28   
job_1JnBDvDCPt8MkIMwfyzB4UmWSCo              query      FAILURE   04 May 22:14:30   0:00:20   
job_rG9UKl4qZ0p5T3AtXzH9hcDpafQ              query      FAILURE   04 May 09:22:15   0:00:19   
job_haQ-YE1nBb38_l9yvV1Qv4e0QKo              query      FAILURE   04 May 09:19:52   0:00:21   
job_PTPYDrppI02Noei67nSfjSpKa6E              query      FAILURE   03 May 20:41:16   0:00:17   
job_6mhiAbIkAFXaKMBF_aguy8NPOGY              query      FAILURE   03 May 20:38:54   0:00:20   
job_wq3yV1lGsXx_GGsuJJETGkrPgmQ              query      FAILURE   02 May 17:34:40   0:01:03   
job_ljTZeVt1yr-23faNNHPgutVRXdw              query      FAILURE   02 May 17:32:15   0:00:20   
job_LSFjN3oEM2UztrYxywnZWv-xHpw              query      FAILURE   02 May 12:25:14   0:00:13   
job_7G0_gZJx6uSYwU__lmMpWyuJtZ4              query      FAILURE   02 May 12:22:39   0:00:19   
job_7hFsQlIgMluj2iouPA-CKj2hxnE              query      FAILURE   02 May 12:22:34   0:00:19   
job_bJ_jRxkfWLggxcYHFBLE71rGB50              query      FAILURE   02 May 12:22:27   0:00:21

【问题讨论】：

您在使用任何第三方工具吗？
@MikhailBerlyant：不只是bq 和我自己使用gapi 编写的一个小的javascript 页面
可能是 datastudio，带有授权使用您的凭据运行的仪表板/报告？您可能正在观察 datastudio 尝试每 12 小时预取一次缓存数据。
@shollyman：！！！你是明星！！！我永远不会找到它......这是我正在研究的可视化解决方案之一，但需要视图，所以我放弃了它。测试仪表板仍然处于活动状态，我完全忘记了它。让您的评论成为答案（也可以很好地解释 12 小时模式和/或为什么没有 callerIP），我会投票并接受 :)
@MikhailBerlyant：抱歉我的误导性评论...

标签： google-bigquery

【解决方案1】：

Datastudio 能够使用嵌入您的凭据来支持可视化/报告。 datastudio 中还有一个称为prefetch caching 的功能，它将定期（通常为12 小时）发出查询。日志中缺少 CallerIP 可能表明请求是从其他 Google 服务发出的，而不是来自外部来源的请求。

【讨论】：