泡菜依赖失败答案

【问题标题】：pickle dependency failure泡菜依赖失败
【发布时间】：2012-09-13 18:57:06
【问题描述】：

我在解开在 Linux 上创建的对象并（尝试）在 Windows 上解开时遇到模块依赖失败。泡菜在 Linux 中正确解压，但在 Windows 中失败。两个系统都运行 Python 2.6。

我研究了 pickle 手册页（特别关注让 unpickle 环境与 pickle 环境相同），以及这里的几条很好的建议 - 但我仍然很难过。大多数人建议确保 sys.modules 正确并已加载。以下是一些显示我正在尝试的 sn-ps：

酸洗代码：

...
pickle_fp = self.getPickleFile('wb')
pickler = Pickler(pickle_fp, protocol=2)
pickler.dump(archive)
pickle_fp.close()
...

在 unpickling 代码中，我添加了一行打印出 sys.modules 字典，以便我们可以看到存在的模块：

...
pickle_fp = self.getPickleFile('rb')
unpickler = Unpickler(pickle_fp)
pprint.pprint(sys.modules)
package = unpickler.load()
pickle_fp.close()
...

当我在 Linux 中运行 unpickle 时，它运行良好。当我尝试在 Windows 上解压缩在 Linux 上生成的泡菜时，我得到：

...
ImportError: No module named photo_data

至于环境，pprint.pprint(sys.modules) 在 Linux 上产生

...
'photo_data': <module 'photo_data' from 
'/home/xxx/Desktop/PythonPhoto/photo_data.pyc'>,
...

在 Windows 上

...
'photo_data': <module 'photo_data' from                       
'C:\Users\xxx\git\PhotoManagement\Photo\src\photo_data.pyc'>,
...

所以在我看来，我在环境中有photo_data 模块。我尝试在没有协议的情况下使用 pickle（默认为 0），并尝试运行 unix2dos 来剥离字符。我被正式难住了。

感谢您的帮助！

根据 cmets 中的建议，我生成了最简单但不起作用的案例。我正在腌制的课程如下所示：

class photo_data:
    def __init__(self):
        self.isdir = False
        self.size = 0
        self.mtime = -(sys.maxint - 1) #Set default time to very old
        self.timestamp = datetime.datetime.strptime('1700:1:1 00:00:00', '%Y:%m:%d %H:%M:%S')
        self.gotTags = False
        self.signature = ''
        self.fileMD5 = ''
        self.userTags = ''
        self.inArchive = False
        self.candidates = []
        self.dirpaths = []
        self.filepaths = []      

class photo_collection:  #This class should be data only

    def __init__(self):
        self.host = ''
        self.path = ''
        self.photo = dict()
        self.pickle = None
        self.datasetChanged = False

    def __getitem__(self, key):
        return self.photo[key]

    def __setitem__(self, key, value):
        self.photo[key] = value

在我的用例中，photo_collection 对象被实例化，而字典 self.photo 填充有 photo_data 的实例。在系统之间工作的最简单的情况是其中包含一张照片的目录，而任意复杂的情况在一个系统中工作。在系统之间不起作用的最简单的情况是一个目录有一张照片和一个子目录也包含一张照片。

根据要求，我附上了保存在format = 0 中的两个泡菜文件。如果您比较它们，我会发现程序以不同的顺序下降了文件树（可能并不奇怪，因为我在系统和操作系统之间复制了目录），但除此之外，它们似乎以相同的结构打开和关闭，而不是文件-具体数据。我看不到如何将文件上传到单独的位置，因此我将它们直接包含在此处。

这是 Windows 生成的 pickle：

(iphoto_data
photo_collection
p0
(dp1
S'path'
p2
S'C:\\Users\\scott_jackson\\Desktop\\phototest'
p3
sS'host'
p4
S'4DAA1001312'
p5
sS'pickle'
p6
NsS'datasetChanged'
p7
I01
sS'photo'
p8
(dp9
S'C:\\Users\\scott_jackson\\Desktop\\phototest\\img_4697.jpg'
p10
(iphoto_data
photo_data
p11
(dp12
S'isdir'
p13
I00
sS'dirpaths'
p14
(lp15
sS'filepaths'
p16
(lp17
sS'timestamp'
p18
cdatetime
datetime
p19
(S'\x07\xda\x04\x12\x124&\x00\x00\x00'
p20
tp21
Rp22
sS'gotTags'
p23
I01
sS'signature'
p24
S'9b2ca527b2bf0865d9b87ecd2a68d417'
p25
sS'fileMD5'
p26
S''
p27
sS'candidates'
p28
(lp29
sS'mtime'
p30
F1347576558.0
sS'inArchive'
p31
I00
sS'userTags'
p32
S'NA'
p33
sS'size'
p34
L6489323L
sbsg3
(iphoto_data
photo_data
p35
(dp36
g13
I01
sg14
(lp37
S'C:\\Users\\scott_jackson\\Desktop\\phototest\\060101 Nags Head'
p38
asg16
(lp39
g10
asg18
g19
(S'\x06\xa4\x01\x01\x00\x00\x00\x00\x00\x00'
p40
tp41
Rp42
sg23
I00
sg24
g27
sg26
g27
sg28
(lp43
sg30
I-2147483646
sg31
I00
sg32
g27
sg34
I0
sbsS'C:\\Users\\scott_jackson\\Desktop\\phototest\\060101 Nags Head\\img_1150.jpg'
p44
(iphoto_data
photo_data
p45
(dp46
g13
I00
sg14
(lp47
sg16
(lp48
sg18
g19
(S'\x07\xd6\x01\x01\x11\t#\x00\x00\x00'
p49
tp50
Rp51
sg23
I01
sg24
S'5925063685af0d741a23fe6d75523741'
p52
sg26
g27
sg28
(lp53
sg30
F1347751812.0
sg31
I00
sg32
g33
sg34
L538233L
sbsS'C:\\Users\\scott_jackson\\Desktop\\phototest\\060101 Nags Head'
p54
(iphoto_data
photo_data
p55
(dp56
g13
I01
sg14
(lp57
sg16
(lp58
g44
asg18
g19
(S'\x06\xa4\x01\x01\x00\x00\x00\x00\x00\x00'
p59
tp60
Rp61
sg23
I00
sg24
g27
sg26
g27
sg28
(lp62
sg30
I-2147483646
sg31
I00
sg32
g27
sg34
I0
sbssb.

这是 Linux 生成的 pickle：

(iphoto_data
photo_collection
p0
(dp1
S'path'
p2
S'/home/scott/phototest'
p3
sS'host'
p4
S'barney'
p5
sS'pickle'
p6
NsS'datasetChanged'
p7
I01
sS'photo'
p8
(dp9
S'/home/scott/phototest/060101 Nags Head/img_1150.jpg'
p10
(iphoto_data
photo_data
p11
(dp12
S'isdir'
p13
I00
sS'dirpaths'
p14
(lp15
sS'filepaths'
p16
(lp17
sS'timestamp'
p18
cdatetime
datetime
p19
(S'\x07\xd6\x01\x01\x11\t#\x00\x00\x00'
p20
tp21
Rp22
sS'gotTags'
p23
I01
sS'signature'
p24
S'5925063685af0d741a23fe6d75523741'
p25
sS'fileMD5'
p26
S''
p27
sS'candidates'
p28
(lp29
sS'mtime'
p30
F1347751812.0842018
sS'inArchive'
p31
I00
sS'userTags'
p32
S'NA'
p33
sS'size'
p34
I538233
sbsS'/home/scott/phototest/060101 Nags Head'
p35
(iphoto_data
photo_data
p36
(dp37
g13
I01
sg14
(lp38
sg16
(lp39
g10
asg18
g19
(S'\x06\xa4\x01\x01\x00\x00\x00\x00\x00\x00'
p40
tp41
Rp42
sg23
I00
sg24
g27
sg26
g27
sg28
(lp43
sg30
I-9223372036854775806
sg31
I00
sg32
g27
sg34
I0
sbsS'/home/scott/phototest/img_4697.jpg'
p44
(iphoto_data
photo_data
p45
(dp46
g13
I00
sg14
(lp47
sg16
(lp48
sg18
g19
(S'\x07\xda\x04\x12\x124&\x00\x00\x00'
p49
tp50
Rp51
sg23
I01
sg24
S'9b2ca527b2bf0865d9b87ecd2a68d417'
p52
sg26
g27
sg28
(lp53
sg30
F1347576558.5344362
sg31
I00
sg32
g33
sg34
I6489323
sbsg3
(iphoto_data
photo_data
p54
(dp55
g13
I01
sg14
(lp56
S'/home/scott/phototest/060101 Nags Head'
p57
asg16
(lp58
g44
asg18
g19
(S'\x06\xa4\x01\x01\x00\x00\x00\x00\x00\x00'
p59
tp60
Rp61
sg23
I00
sg24
g27
sg26
g27
sg28
(lp62
sg30
I-9223372036854775806
sg31
I00
sg32
g27
sg34
I0
sbssb.

请随意将这些粘贴到您最喜欢的“比较”编辑器中；我对泡菜知之甚少，无法发现问题。

提前感谢您的帮助！！

【问题讨论】：

请运行python并打印sys.path？
我在 Eclipse 中运行。定义了一个广泛的 PYTHONPATH；我还没有弄清楚如何打印出来……我一次只能突出显示一行。嗯嗯..
pydev.org/manual_adv_interactive_console.html 用于运行 python，pydev.org/manual_101_interpreter.html 用于配置 PYTHONPATH。您应该将其添加到问题中
知道了。在 Eclipse 中，我的 PYTHONPATH 是：C:\Users\xxx\Documents\Personal\Programming\eclipse\plugins\org.python.pydev_2.4.0.2012020116\PySrc\pydev_sitecustomize;C:\Users\xxx\git\PhotoManagement\照片\src;C:\Python26;C:\Python26\DLLs;C:\Python26\lib;C:\Python26\lib\lib-tk;C:\Python26\lib\plat-win;C:\Python26\ lib\site-packages;C:\Python26\lib\site-packages\PIL;C:\Python26\lib\site-packages\Pythonwin;C:\Python26\lib\site-packages\nose-0.11.3-py2 .6.egg;C:\Python26\lib\site-packages\win32;C:\Python26\lib\site-packages\win32\lib;C:\Python26\lib\site-packages\wx-2.8-msw-统一码
好吧，他已经安装了它（阅读问题），它在路径上（C:\Users\xxx\git\PhotoManagement\Photo\sr‌c）所以这真的很奇怪：/

标签： python cross-platform pickle python-2.x

【解决方案1】：

我已经通过在我的 Mac OS X 机器上保存带有 CRLF (Windows) 行结尾的泡菜来重现您的问题。

泡菜机器对换行非常讲究。如果使用非二进制传输模式保存或复制泡菜（例如，在 Windows 上使用文本编辑器重新保存，使用 ASCII FTP 传输复制，从网站保存为文本文件等），泡菜将添加了 CR 字符而损坏。

现在，问题出在 pickle.py 中的这一行：

module = self.readline()[:-1]

如果您提供Unpickler 的文件打开'rb' 但包含CRLF，那么这些行将读取module = "photo_data\r"，这不是有效的模块名称。导入后，错误将显示为

ImportError: No module named photo_data

在photo_data 之后有一个未打印回车（非常狡猾！）。

解决方案是确保您以二进制方式传输文件，并且不要在 pickle 上运行 unix2dos 或任何类似的实用程序。或者，如果使用协议 0（文本）pickle，则可以安全地使用'rU'（通用换行模式）来打开 pickle 文件。

另见Pickled file won't load on Mac/Linux。

【讨论】：

就是这样！我尝试了我使用的所有文件变体，'rU' 解决了这个问题。你是对的，unix2dos 确实不解决了这个问题。几周前我从使用FTP 更改为winscp - 我想知道这是否是问题所在。您使用什么来保证系统之间的二进制传输？并感谢一百万 - 我已经浪费了很多时间......
只是分享一点我学到的东西：winscp 根据文件扩展名更改传输模式。我在 pickle 文件名的末尾任意添加了.txt，这样我就可以使用文本编辑器自动打开它，只是得知winscp 有一个可配置的文件类型列表，它以 ASCII 模式而不是二进制模式传输.所以改变文件扩展名默默地改变了传输模式。活到老，学到老。再次感谢您的所有帮助！

【解决方案2】：

我今天遇到了类似的问题：由于 CRLF 行结尾，在 linux 上腌制的对象无法在 Windows 上加载，正如 @nneonneo 在他的回答中解释的那样。

问题是 git 认为 .pkl 对象是文本文件，它应该规范化行尾。因此，当我在 linux 机器上推送带有二进制 .pkl 文件的项目，并将它们拉到 windows 机器上时，行尾是 CRLF 而不是 unix 行尾。解决方案是将.gitattributes 文件添加到回购中

*.pkl binary

强制 git 根本不操作文件。

然后，您可以按照here 的建议“刷新”更改。我改为在 windows 机器上删除并再次克隆该项目。

【讨论】：