【问题标题】:keep having permission error while creating a hdf5 file创建 hdf5 文件时始终出现权限错误
【发布时间】:2020-12-04 22:15:47
【问题描述】:

我有以下代码段来创建一个 hdf5 文件,并使用“with”语句来确保文件正确关闭。但是,我仍然收到如下错误消息。

   filename = 'E30.hdf5'
   try:
        with h5py.File(filename, 'w-') as f:
            print('---')
    except: 
        os.remove(filename)
        f = h5py.File(filename, 'w-')     

但是,我仍然收到如下错误消息。在工作目录中,可能已经有一个名为“E30.hdf5”的现有文件。但这真的重要吗?我试图直接从Windows中删除它。但是,windows不允许我删除它说它正在打开。

---------------------------------------------------------------------------
OSError                                   Traceback (most recent call last)
<ipython-input-6-e8ccfbc1b5d2> in vid_to_hdf(En, start, end, chunk)
      9     try:
---> 10         with h5py.File(filename, 'w-') as f:
     11             print('---')

~\AppData\Local\Continuum\anaconda3\envs\fastai-py37\lib\site-packages\h5py\_hl\files.py in __init__(self, name, mode, driver, libver, userblock_size, swmr, rdcc_nslots, rdcc_nbytes, rdcc_w0, track_order, **kwds)
    407                                fapl, fcpl=make_fcpl(track_order=track_order),
--> 408                                swmr=swmr)
    409 

~\AppData\Local\Continuum\anaconda3\envs\fastai-py37\lib\site-packages\h5py\_hl\files.py in make_fid(name, mode, userblock_size, fapl, fcpl, swmr)
    176     elif mode in ['w-', 'x']:
--> 177         fid = h5f.create(name, h5f.ACC_EXCL, fapl=fapl, fcpl=fcpl)
    178     elif mode == 'w':

h5py\_objects.pyx in h5py._objects.with_phil.wrapper()

h5py\_objects.pyx in h5py._objects.with_phil.wrapper()

h5py\h5f.pyx in h5py.h5f.create()

OSError: Unable to create file (unable to open file: name = 'E30.hdf5', errno = 17, error message = 'File exists', flags = 15, o_flags = 502)

During handling of the above exception, another exception occurred:

PermissionError                           Traceback (most recent call last)
<timed eval> in <module>

<ipython-input-6-e8ccfbc1b5d2> in vid_to_hdf(En, start, end, chunk)
     11             print('---')
     12     except:
---> 13         os.remove(filename)
     14         f = h5py.File(filename, 'w-')
     15     # Create dataset within file

PermissionError: [WinError 32] The process cannot access the file because it is being used by another process: 'E30.hdf5'

【问题讨论】:

  • 它不允许您删除文件以重试,因为另一个进程正在使用它(可能是另一个 python 会话)。这似乎是 Windows 的一个“功能”。您需要找到另一个进程并停止它,然后希望它应该可以工作。
  • 当一个线程尝试修改共享资源的同时另一个线程正在修改该资源时,会发生争用情况,线程需要同步。您可以利用线程模块的 acquire() 和 release() 方法

标签: python python-3.x hdf5 h5py


【解决方案1】:

您同时遇到多个问题。 首先,让我们从h5py.File() access_mode 标志开始。

  • w- :创建文件,如果存在则失败(避免意外覆盖现有文件)
  • w :创建文件,如果存在则截断(意味着它会覆盖现有文件)
  • r+ :读/写,文件必须存在(用于打开已有文件写入数据)。

在您的以下逻辑中,如果E30.hdf5 不存在,您的try:/except: 模式将执行try: 语句。如果E30.hdf5存在,它将执行except: 语句。

每个分支都有不同的h5py.File() 方法,这很复杂。您的 try: 分支使用 with h5py.File() as f: 方法。因此,当您的代码执行此逻辑时,文件将在最后干净地关闭(没有f.close() 语句)。

但是,您的 except: 分支使用 f=h5py.File()。所以,当你的代码执行这个逻辑时,你需要一个f.close() 语句来保证最后的关闭。

这是我认为您正在经历的场景:

  1. 我假设您第一次运行代码时E30.hdf5 不存在。
  2. 所以,第一次运行时,您会经过try: 分支,文件最后会干净利落地关闭。
  3. 下次运行代码时,E30.hdf5 存在,因此,您将通过 except: 分支。因此,文件不会在进程结束时关闭,并且另一个进程无法访问它(Python 或操作系统)。

编码建议:

您的except: 块具有相同的行为mode=w。下面的代码行为相同,并且总是在进程完成时关闭文件。此外,它更具可读性(恕我直言)。注意:这两种方法都会删除E30.hdf5(如果存在)。

filename = 'E30.hdf5'
with h5py.File(filename, 'w') as f: # use mode=w
     print('---')

如果迫切需要保留try:/except: 模式,请进行此更改:(在不使用os.remove(filename) 的情况下,将try:/except: 用于访问模式w-r+ 很有用。)

filename = 'E30.hdf5'
try:
    with h5py.File(filename, 'w-') as f:
        print('---')
except: 
    os.remove(filename)
    with h5py.File(filename, 'w-') as f:
         print('+++')

【讨论】:

  • 感谢您非常详细的解释。
猜你喜欢
  • 2023-04-07
  • 2023-04-09
  • 2023-03-29
  • 1970-01-01
  • 2013-07-04
  • 1970-01-01
  • 2017-04-27
  • 2020-10-21
  • 2013-05-04
相关资源
最近更新 更多