如何将部分信号与数据集相关联

Question

我有一些大型传感器值数据集，其中包含以一分钟间隔采样的单个传感器值，例如波形。整个数据集跨越几年。

我希望（使用 python）输入/选择任意一组传感器数据（例如，由 600 个值组成，因此需要 10 小时的数据）并找到在这些数据集中出现大致相同形状的所有相似时间戳。

应根据形状（相对差异）而不是实际值进行匹配，因为不同的传感器用于不同的偏差和环境。另外，我希望在单个数据集中检索多个匹配项，以进行进一步分析。

我一直在研究 pandas，但我现在被困住了……这里有任何大师吗？

Answer 1

我对 Pandas 中可用的功能了解不多。

我认为您需要首先确定典型的时间跨度 T 应该发生相关性。我要做的是 将所有时间序列拆分为（可能重叠）段 使用 Numpy 的持续时间 T（例如，参见 here）。 这将导致一长串细分。然后我会计算 使用例如所有段对之间的相关性corrcoef。 你会得到一个很大的相关矩阵，你可以在其中发现 通过在绝对值上应用阈值来成对相似段 相关性的值。您可以估计正确的阈值 通过将此算法应用于您不期望的数据集 任何相关性，或通过随机化您的数据。