如何将显着性测试和相关性计算添加到 cube.js 流中？答案

【问题标题】：How to add Significance Testing and Correlation calculations into the cube.js flow?如何将显着性测试和相关性计算添加到 cube.js 流中？
【发布时间】：2021-03-01 23:47:59
【问题描述】：

我们目前正在将 cube.js 用于其数据基础架构、查询和 API 功能。

但是，作为我们要求的一部分，我们需要执行统计计算，例如显着性检验和某些度量的相关性。在 cube.js 中是否有这样做的内置方法？

我们已经尝试使用 PostgreSQL 中内置的关联函数，方法是从 cube.js 架构中的 sql 字段调用它，它可以工作（代码如下所示）但是还有其他选择吗？

measures: {
        testCorrelation: {
          title: 'Test Correlation',
          sql: `corr(${CUBE}.col1,${CUBE}.col2)`,
          type:`number`
        }
}

对于显着性测试，我们还没有找到任何解决方案。

我们考虑创建一个 python 统计微服务，它会向 cubejs 服务器（也称为立方体客户端）发出请求，处理计算，然后将带有计算结果的 resultSet 发送到 react 客户端。这种流程/架构会起作用吗？在这个领域是否做过类似的工作？

将不胜感激任何回应/想法。谢谢。

【问题讨论】：

标签： postgresql cube.js

【解决方案1】：

cube.js 中是否有这样做的内置方法？

不会，也可能不会。

Cube.js 提供了在度量中定义 SQL 的能力。有些任务可以在内置函数之上解决。另一部分可以在用户定义的过程/函数或已安装的扩展之上完成。

对于显着性测试，我们还没有找到任何解决方案。

PostgreSQL 本身只内置了有限的统计功能，但 PL/R 扩展支持的统计测试和其他功能超出了您的预期。

我们考虑创建一个 python 统计微服务，它会向 cubejs 服务器（也称为立方体客户端）发出请求

最好在数据库中做聚合，因为：

您将无法使用预聚合
数据传输可能需要大量时间和内存
某些数据库可以使用列格式进行存储和 SIMD 执行。

谢谢

【讨论】：

感谢您的回答！欣赏它