Mathematica 中的条件数据操作

Question

我正在尝试在 Mathematica 中准备 用于高效数据分析的最佳工具。 我有大约 300 列和 100 000 行。

什么是最好的技巧：

“删除”、“提取”或简单地“考虑”数据结构的部分，例如用于绘图

我能想到的最棘手的例子之一是：

给定一个数据结构，

为第 2 列中的值等于 x 而第 8 列中的值不同于 y 的每一行提取第 1 列到第 3 列、第 6 列到第 9 列以及最后一个列

我也欢迎任何有关数据操作的一般性建议。

Answer 1

我读到了：

为第 2 列中的值等于 x 且第 8 列中的值不同于 y 的每一行提取第 1 列到第 3 列、第 6 列到第 9 列以及最后一个列

作为我们想要的意思：

• 每行的元素 1-3 和 6-9

与

• 行中的最后一个元素，其中[[2]] == x && [[8]] != y。

这是我一起破解的：

a = RandomInteger[5, {20, 10}];          (*define the array*)
x = 4; y = 0;                            (*define the test values*)

Join @@ Range @@@ {1 ;; 3, 6 ;; 9};      (*define the column ranges*)

#2 == x && #8 != y & @@@ a;              (*test the rows*)

Append[%%, #] & /@ % /. {True -> -1, False :> Sequence[]};  (*complete the ranges according to the test*)

MapThread[Part, {a, %}] // TableForm     (*extract and display*)

Answer 2

对于具有命名列的表中的数据的通用操作，我建议您参考我的this 解决方案，以解决类似的问题。对于任何特定情况，手动为Select 编写函数可能更容易。但是，对于许多列和许多不同的查询，弄乱索引的机会很高。这是来自上述帖子的修改后的解决方案，它提供了更友好的语法：

Clear[getIds];
getIds[table : {colNames_List, rows__List}] := {rows}[[All, 1]];

ClearAll[select, where];
SetAttributes[where, HoldAll];
select[cnames_List, from[table : {colNames_List, rows__List}], where[condition_]] :=
With[{colRules =  Dispatch[ Thread[colNames -> Thread[Slot[Range[Length[colNames]]]]]],
    indexRules  =  Dispatch[Thread[colNames -> Range[Length[colNames]]]]},
     With[{selF = Apply[Function, Hold[condition] /. colRules]},
       Select[{rows}, selF @@ # &][[All, cnames /. indexRules]]]];

这里发生的是Select 中使用的函数是根据您的规范自动生成的。例如（使用@Yoda 的例子）：

rows = Array[#1 #2 &, {5, 15}];

我们需要定义列名（必须是不带值的字符串或符号）：

In[425]:= 
colnames = "c" <> ToString[#] & /@ Range[15]

Out[425]= {"c1", "c2", "c3", "c4", "c5", "c6", "c7", "c8", "c9", "c10", "c11", "c12", 
"c13", "c14", "c15"}

（在实践中，通常名称当然更具描述性）。这是表格：

table = Prepend[rows, colnames];

这是您需要的选择语句（我选择了x = 4 和y=2）：

select[{"c1", "c2", "c3", "c6", "c7", "c8", "c9", "c15"}, from[table],
    where["c2" == 4 && "c8" != 2]]

{{2, 4, 6, 12, 14, 16, 18, 30}}

现在，对于单个查询，这可能看起来是一种复杂的方法。但是你可以做很多不同的查询，比如

In[468]:= select[{"c1", "c2", "c3"}, from[table], where[EvenQ["c2"] && "c10" > 10]]

Out[468]= {{2, 4, 6}, {3, 6, 9}, {4, 8, 12}, {5, 10, 15}}

和类似的。

当然，如果您的数据中存在特定的相关性，您可能会找到一种更快的特定专用算法。上面的函数可以通过多种方式进行扩展，以简化常见查询（包括“all”等），或自动编译生成的纯函数（如果可能）。

编辑

在哲学上，我相信许多 Mathematica 用户（包括我自己）发现自己不时地一次又一次地编写类似的代码。 Mathematica 具有简洁的语法这一事实使得它通常很容易为任何特定情况编写。但是，只要一个人在某个特定领域工作（例如，表中的数据操作），对于许多操作来说，重复自己的成本就会很高。我的示例在一个非常简单的设置中说明了一种可能的出路 - 创建一种特定于域的语言 (DSL)。为此，通常需要为它定义一个语法/语法，并从它编写一个编译器到 Mathematica（以自动生成 Mathematica 代码）。现在，上面的例子是这个想法的一个非常原始的实现，但我的观点是，Mathematica 通常非常适合 DSL 创建，我认为这是一种非常强大的技术。

Answer 3

要提取列（或行），您可以通过部分索引来完成

data = Array[#1 #2 &, {5, 15}];
data[[All, Flatten@{Range@3, Range @@ {6, 9}, -1}]]

MatrixForm@%

最后一行只是为了美观。

正如 Sjoerd 在他的评论中提到的（以及在他的回答中的解释中），可以使用 Span (;;) 命令轻松完成对单个范围的索引。如果您要连接多个不相交的范围，使用Flatten 组合使用Range 创建的单独范围比手动输入它们更容易。

Answer 4

data = RandomInteger[{1, 20}, {40, 20}]

x = 5;
y = 8;
Select[data, (#[[2]] == x && #[[8]] != y &)][[All, {1, 2, 3, 6, 7, 8, 9, -1}]]

==> {{5, 5, 1, 4, 18, 6, 3, 5}, {10, 5, 15, 3, 15, 14, 2, 5}, {18, 5, 6, 7, 7, 19, 14, 6}}

获取矩阵和列表的一些有用命令是Span (;;)、Drop、Take、Select、Cases 等。见tutorial/GettingAndSettingPiecesOfMatrices和guide/PartsOfMatrices，

Part ([[...]]) 与;; 结合使用会非常强大。例如，a[[All, 1;;-1;;2]] 表示取所有行和所有奇数列（-1 具有从末尾开始计数的通常含义）。

Select 可用于根据逻辑函数从列表中选择元素（记住矩阵是列表的列表）。它的孪生兄弟是Cases，它根据模式进行选择。我在这里使用的函数是'pure' function，其中# 指的是应用此函数的参数（在这种情况下是列表的元素）。由于元素本身是列​​表（矩阵的行），我可以使用 Part ([[..]]) 函数来引用列。