【问题标题】:Bigquery performance issue today?今天的 Bigquery 性能问题?
【发布时间】:2014-10-04 03:13:02
【问题描述】:

今天运行查询或响应较大的查询作业需要很长时间。它只是保持运行数十分钟而没有任何错误。这些都是我在过去几天使用的所有查询,它们都进行得很好。其中之一是:

select  sub.flag_time as flag_time 
    ,sub.hardware_id as hardware_id   
    ,t1.date_time as date_time   
    ,t1.latitude as latitude   
    ,t1.longitude as longitude   
    ,t1.zip_code as zip_code   
    ,t1.ignition as ignition   
    ,t1.speed as speed  
from 
( 
select flag_time, hardware_id, max(signature) as signature 
from fiona_test.online_actual_tmp  
group each by flag_time, hardware_id 
)as sub 
LEFT JOIN EACH 
(    
select  
     hardware_id 
    ,date_time   
    ,latitude   
    ,longitude  
    ,zip_code   
    ,ignition  
    ,speed 
    ,STRING(file_date_time)+STRING(date_time)+STRING(latitude)+STRING(longitude)+STRING(gps_valid)+STRING(ignition)+STRING(speed)+STRING(gps_reason)+STRING(zip_code) as signature  
FROM TABLE_DATE_RANGE(Geotab_test.gps32_,DATE_ADD('2014-10-01 00:00:00.339',-100,'SECOND'),TIMESTAMP('2014-10-01 23:58:20.339'))   
  GROUP EACH BY hardware_id,date_time,latitude,longitude,zip_code,ignition,speed,signature 
    HAVING (date_time BETWEEN DATE_ADD('2014-10-01 00:00:00.339',-100,'SECOND')+1 AND TIMESTAMP('2014-10-01 23:58:20.339'))  
)as t1 
ON t1.hardware_id = sub.hardware_id and t1.signature = sub.signature 

【问题讨论】:

  • P.S. : "此查询在运行时将处理 37.9 GB"。

标签: google-bigquery


【解决方案1】:

存在影响使用 JOIN EACH 和 GROUP EACH BY 的查询的持续洗牌器问题。我们目前正在调查,现在应该已针对新查询进行修复。

【讨论】:

  • 好的。这也是“连接错误,重试”的原因吗?当我在很短的时间范围内( 时,我得到了这个
  • 是的,这可能会导致并发查询超时甚至速率限制错误。
  • 你认为它什么时候会回来?
  • 一切都应该恢复正常运行。如果您仍然遇到问题,请 ping 此线程。
  • 此问题是否会导致查询返回部分结果?
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-01-23
  • 1970-01-01
  • 2021-05-14
  • 2023-03-22
  • 1970-01-01
相关资源
最近更新 更多