numpy genfromtxt - 如果未提供标题，则推断列标题

Question

我了解使用genfromtxt，defaultfmt 参数可用于推断默认列名，如果列名不在输入数据中，这很有用。而defaultfmt，如果未提供，则默认为f%i。例如

>>> data = StringIO("1 2 3\n 4 5 6")
>>> np.genfromtxt(data, dtype=(int, float, int))
array([(1, 2.0, 3), (4, 5.0, 6)],
  dtype=[('f0', '<i8'), ('f1', '<f8'), ('f2', '<i8')])

所以这里我们有自动生成的列名f0、f1、f2。

但是如果我想让 numpy 推断 both 列标题和数据类型怎么办？我以为你用dtype=None 来做。像这样

>>> data3 = StringIO("1 2 3\n 4 5 6")
>>> np.genfromtxt(data3, dtype=None, ???)  # some parameter combo
array([(1, 2, 3), (4, 5, 6)],
  dtype=[('f0', '<i8'), ('f1', '<i8'), ('f2', '<i8')])  

我仍然想要f0、f1...等自动生成的列名。我希望 numpy 能够根据数据自动确定数据类型，我认为这就是 dtype=None 的全部意义所在。

编辑 但不幸的是，这并不总是有效。

当我同时有浮点数和整数时，这种情况有效。

>>> data3b = StringIO("1 2 3.0\n 4 5 6.0")
>>> np.genfromtxt(data3b, dtype=None)
array([(1, 2, 3.), (4, 5, 6.)],
  dtype=[('f0', '<i8'), ('f1', '<i8'), ('f2', '<f8')])

所以 numpy 正确推断前 2 列的数据类型为 i8，最后一列为 f8。

但是，如果我提供所有整数，推断的列名称就会消失。

>>> data3c = StringIO("1 2 3\n 4 5 6")
>>> np.genfromtxt(data3c, dtype=None)
array([[1, 2, 3],
   [4, 5, 6]])

根据输入数据，我的相同代码可能有效，也可能无效？这听起来不对。

是的，我知道有熊猫。但我不是故意使用熊猫。所以请多多包涵。

Answer 1

In [2]: txt = '''1,2,3
   ...: 4,5,6'''.splitlines()

Defaylt 二维浮点数组：

In [6]: np.genfromtxt(txt, delimiter=',',encoding=None)
Out[6]: 
array([[1., 2., 3.],
       [4., 5., 6.]])

2d 个整数：

In [7]: np.genfromtxt(txt, dtype=None, delimiter=',',encoding=None)
Out[7]: 
array([[1, 2, 3],
       [4, 5, 6]])

指定的字段数据类型：

In [8]: np.genfromtxt(txt, dtype='i,i,i', delimiter=',',encoding=None)
Out[8]: 
array([(1, 2, 3), (4, 5, 6)],
      dtype=[('f0', '<i4'), ('f1', '<i4'), ('f2', '<i4')])

指定的字段名称：

In [9]: np.genfromtxt(txt, dtype=None, delimiter=',',encoding=None, names=['a','b','c'])
Out[9]: 
array([(1, 2, 3), (4, 5, 6)],
      dtype=[('a', '<i8'), ('b', '<i8'), ('c', '<i8')])

可以将非结构化数组转换为结构化数组：

In [10]: import numpy.lib.recfunctions as rf
In [11]: rf.unstructured_to_structured(Out[7])
Out[11]: 
array([(1, 2, 3), (4, 5, 6)],
      dtype=[('f0', '<i8'), ('f1', '<i8'), ('f2', '<i8')])

在numpy 中，默认的首选数组是多维数值。这就是为什么它会生成Out7]。