Numpy 的 genfromtxt 根据 dtype 参数返回不同的结构化数据答案

【问题标题】：Numpy's genfromtxt returns different structured data depending on dtype parametersNumpy 的 genfromtxt 根据 dtype 参数返回不同的结构化数据
【发布时间】：2016-04-24 02:05:38
【问题描述】：

我有以下几点：

from numpy import genfromtxt    
seg_data1 = genfromtxt('./datasets/segmentation.all', delimiter=',', dtype="|S5")
seg_data2 = genfromtxt('./datasets/segmentation.all', delimiter=',', dtype=["|S5"] + ["float" for n in range(19)])

print seg_data1
print seg_data2

print seg_data1[:,0:1]
print seg_data2[:,0:1]

原来seg_data1 和seg_data2 不是同一种结构。这是打印的内容：

[['BRICK' '140.0' '125.0' ..., '7.777' '0.545' '-1.12']
 ['BRICK' '188.0' '133.0' ..., '8.444' '0.538' '-0.92']
 ['BRICK' '105.0' '139.0' ..., '7.555' '0.532' '-0.96']
 ..., 
 ['CEMEN' '128.0' '161.0' ..., '10.88' '0.540' '-1.99']
 ['CEMEN' '150.0' '158.0' ..., '12.22' '0.503' '-1.94']
 ['CEMEN' '124.0' '162.0' ..., '14.55' '0.479' '-2.02']]
[ ('BRICK', 140.0, 125.0, 9.0, 0.0, 0.0, 0.2777779, 0.06296301, 0.66666675, 0.31111118, 6.185185, 7.3333335, 7.6666665, 3.5555556, 3.4444444, 4.4444447, -7.888889, 7.7777777, 0.5456349, -1.1218182)
 ('BRICK', 188.0, 133.0, 9.0, 0.0, 0.0, 0.33333334, 0.26666674, 0.5, 0.077777736, 6.6666665, 8.333334, 7.7777777, 3.8888888, 5.0, 3.3333333, -8.333333, 8.444445, 0.53858024, -0.92481726)
 ('BRICK', 105.0, 139.0, 9.0, 0.0, 0.0, 0.27777782, 0.107407436, 0.83333325, 0.52222216, 6.111111, 7.5555553, 7.2222223, 3.5555556, 4.3333335, 3.3333333, -7.6666665, 7.5555553, 0.5326279, -0.96594584)
 ...,
 ('CEMEN', 128.0, 161.0, 9.0, 0.0, 0.0, 0.55555534, 0.25185192, 0.77777785, 0.16296278, 7.148148, 5.5555553, 10.888889, 5.0, -4.7777777, 11.222222, -6.4444447, 10.888889, 0.5409177, -1.9963073)
 ('CEMEN', 150.0, 158.0, 9.0, 0.0, 0.0, 2.166667, 1.6333338, 1.388889, 0.41851807, 8.444445, 7.0, 12.222222, 6.111111, -4.3333335, 11.333333, -7.0, 12.222222, 0.50308645, -1.9434487)
 ('CEMEN', 124.0, 162.0, 9.0, 0.11111111, 0.0, 1.3888888, 1.1296295, 2.0, 0.8888891, 10.037037, 8.0, 14.555555, 7.5555553, -6.111111, 13.555555, -7.4444447, 14.555555, 0.4799313, -2.0293121)]
[['BRICK']
 ['BRICK']
 ['BRICK']
 ..., 
 ['CEMEN']
 ['CEMEN']
 ['CEMEN']]
Traceback (most recent call last):
  File "segmentationdata.py", line 14, in <module>
    print seg_data2[:,0:1]
IndexError: too many indices for array

我宁愿让genfromtxt 以seg_data1 的形式返回数据，尽管我不知道有任何内置方法可以强制seg_data2 符合该类型。据我所知，没有简单的方法：

seg_target1 = seg_data1[:,0:1]
seg_data1 = seg_data1[:,1:]

为seg_data2。现在我可以做data.astype(float)，但关键是，当我给它dtype 数组时，这不是genfromtxt 应该做的吗？

【问题讨论】：

["|S5"] + ["float" for n in range(19)] 到底是什么代表 dtype？
我不太明白您要做什么。你是说你“宁可让genfromtxt以seg_data1”的形式返回数据，那么你生成的seg_data1有什么问题呢？看起来您可能会将结构化数组中的 fields 与多维数组中的 columns 混淆。字段可以有不同的数据类型，但列不能。如果您想要一个“列”可以具有不同 dtype 的数据结构，那么您可能希望改用 pandas.DataFrame。
panda.DataFrame 是否使用结构化数组来存储其数据？还是dtype=object 数组？还是取决于什么方便？
@hpaulj 取决于 - 我认为它可以是任何类型的 ndarray，包括结构化和对象数组。
@TadhgMcDonald-Jensen 它表示第一列是字符串，其余列是浮点数。

标签： python numpy genfromtxt

【解决方案1】：

使用dtype="|S5"，您可以将所有列导入为字符串（5 个字符）。结果是一个二维数组，其行如下

['BRICK' '140.0' '125.0' ..., '7.777' '0.545' '-1.12']

使用dtype=["|S5"] + ["float" for n in range(19)] 为每列指定数据类型，结果是结构化数组。它是 1d 的，有 20 个字段。您可以按名称访问字段（查看set_data2.dtype），而不是按列号。

这个数组的一个元素或记录显示为一个元组，包括一个字符串和 19 个浮点数：

('BRICK', 140.0, 125.0, 9.0, 0.0, 0.0, 0.2777779, 0.06296301, 0.66666675, 0.31111118, 6.185185, 7.3333335, 7.6666665, 3.5555556, 3.4444444, 4.4444447, -7.888889, 7.7777777, 0.5456349, -1.1218182)

#初始字符列

print set_data2['f0']

指定dtype=None 应该会产生相同的结果，可能是一些整数列而不是所有浮点数。

也可以指定一个dtype 2 个字段，一个是字符串列，另一个是19 个浮点数。我必须检查文档并运行一些测试用例来确定格式。

我认为您阅读了足够多的 genfromtxt 文档以了解您可以指定复合 dtype，但不足以理解结果。

==================

导入带有文本和数字的csv示例：

In [139]: txt=b"""one 1 2 3
     ...: two 4 5 6
     ...: """

默认：所有浮点数

In [140]: np.genfromtxt(txt.splitlines())
Out[140]: 
array([[ nan,   1.,   2.,   3.],
       [ nan,   4.,   5.,   6.]])

自动 dtype 选择 - 4 个字段

In [141]: np.genfromtxt(txt.splitlines(),dtype=None)
Out[141]: 
array([(b'one', 1, 2, 3), (b'two', 4, 5, 6)], 
      dtype=[('f0', 'S3'), ('f1', '<i4'), ('f2', '<i4'), ('f3', '<i4')])

用户指定的字段数据类型

In [142]: np.genfromtxt(txt.splitlines(),dtype='str,int,float,int')
Out[142]: 
array([('', 1, 2.0, 3), ('', 4, 5.0, 6)], 
      dtype=[('f0', '<U'), ('f1', '<i4'), ('f2', '<f8'), ('f3', '<i4')])

复合 dtype，带有数字字段的列数（以及对字符串列的更正）

In [145]: np.genfromtxt(txt.splitlines(),dtype='S5,(3)int')
Out[145]: 
array([(b'one', [1, 2, 3]), (b'two', [4, 5, 6])], 
      dtype=[('f0', 'S5'), ('f1', '<i4', (3,))])

In [146]: _['f0']
Out[146]: 
array([b'one', b'two'], 
      dtype='|S5')

In [149]: _['f1']
Out[149]: 
array([[1, 2, 3],
       [4, 5, 6]])

如果您需要对数字字段进行数学运算，最后一种情况（或更复杂的情况）可能最方便。

要生成更复杂的东西，最好在单独的表达式中开发dtype（dtype 语法可能很棘手）

In [172]: dt=np.dtype([('f0','|S5'),('f1',[('f10',int),('f11',float,(2))])])

In [173]: np.genfromtxt(txt.splitlines(),dtype=dt)
Out[173]: 
array([(b'one', (1, [2.0, 3.0])), (b'two', (4, [5.0, 6.0]))], 
      dtype=[('f0', 'S5'), ('f1', [('f10', '<i4'), ('f11', '<f8', (2,))])])

【讨论】：