【问题标题】:Automatically resizing NumPy recarray自动调整 NumPy 重新数组的大小
【发布时间】:2011-06-19 21:57:16
【问题描述】:

我想创建一个 numpy.recarray 的子类,当数据添加到超出其当前长度的行时,它会自动调整大小。

下面的代码完成了我想要的大部分工作。

class autorecarray(numpy.recarray):

   def __init__(self,*args,**kwargs):
      self._increment = 1
      numpy.recarray.__init__(self,args,kwargs)

   def __setitem__(self,ind,y):
      try: 
         numpy.recarray.__setitem__(self,ind,y)
      except IndexError:
         self.resize((self.__len__()+self._increment,),refcheck=False)
         self.__setitem__(ind,y)

它适用于这个用例:

a = utils.autorecarray((1,),formats=['i4','i4'])
a[1] = (1,2) # len(a) will now be 2

但是,这种用法会在 numpy.core.records.recarray __getitem__ 方法上引发 IndexError:

a[2]['f1'] = 3

我最初的尝试是在我的子类中也覆盖__getitem__ 方法,但是这段代码不起作用。

def __getitem__(self,ind):
      try:
         numpy.recarray.__getitem__(self,ind)
      except IndexError:
         self.resize((self.__len__() + self._increment,),refcheck=False)
         self.__getitem__(ind)

它确实会自动扩展数组,但现在数组中的每一项都是None,并且无法更改。

谁能告诉我我做错了什么?

【问题讨论】:

    标签: python numpy subclassing


    【解决方案1】:

    首先,您在numpy.recarray.__init__ 调用中缺少星号:

    def __init__(self, *args, **kwargs):
        self._increment = 1
        numpy.recarray.__init__(self, *args, **kwargs)
    

    其次,您在__getitem__ 中缺少return 语句:

    def __getitem__(self,ind):
        try:
            return numpy.recarray.__getitem__(self,ind)
        except IndexError:
            self.resize((self.__len__() + self._increment,),refcheck=False)
            return self.__getitem__(ind)
    

    【讨论】:

      【解决方案2】:

      您覆盖的 __getitem__ 没有返回值。

      我花了很长时间才意识到这一点。

      另外,正如Petr Viktorin 指出的那样,您在__init__ 调用中遗漏了*** 运算符。

      【讨论】:

      • @bellamyj,我应该补充一点,我不一定推荐这种方法。你到底想做什么?
      • 我有一些应用程序将输出存储在一个recarray 中,但不知道提前需要多少行。为了避免违反 DRY 原则,这似乎是比检查数组大小并在我的代码中的许多位置根据需要扩展更好的解决方案。
      • 不过想一想,以这种方式覆盖 getitem 是危险的。如果您要检索一个超出数组边界的元素——而不是像我上面的示例那样写入它——你会得到不正确的结果。我会坚持只使用最重要的 setitem。
      • @bellamyj,好的,我明白你的意思。这是否意味着您只是 追加 到数组,而不是在 493 插入新值,即使数组只有 15 项日志?对于后者,我建议使用稀疏数据结构。但是如果你只是追加,为什么不分块分配内存呢?与其一次将数组大小调整一个项目,不如将其扩展 20%。然后当房间用完时,再次扩展它......您甚至可以编写一个单独的 append 方法来执行此操作,而不是覆盖 __setitem__ 以产生意想不到的副作用。
      • 正确,我只是追加到数组中,所以它不会稀疏。而且我实际上正在以块的形式增加数组大小。我有另一种方法可以将 _increment 更改为一个以外的值。为了简洁起见,我只是将其从上面的代码中省略了。
      猜你喜欢
      • 2014-06-18
      • 2021-10-01
      • 1970-01-01
      • 2021-04-21
      • 2018-06-15
      • 2012-10-29
      • 2017-04-23
      • 1970-01-01
      相关资源
      最近更新 更多