将预训练的深度学习模型导入 Foundry Codeworkbooks答案

【问题标题】：Import pre-trained Deep Learning Models into Foundry Codeworkbooks将预训练的深度学习模型导入 Foundry Codeworkbooks
【发布时间】：2021-08-11 00:30:20
【问题描述】：

如何将 Foundry 本地的 h5 模型导入代码工作簿？我想使用如下所示的拥抱人脸库，在其文档中，from_pretrained 方法需要一个指向预训练模型所在位置的 URL 路径。

理想情况下，我希望将模型下载到我的本地计算机上，然后将其上传到 Foundry，然后让 Foundry 读取所述模型。

作为参考，我正在尝试在代码工作簿或代码创作中执行此操作。看起来您可以直接使用那里的文件，但我已经阅读了文档，并且给定的示例是针对 CSV 文件的，而此模型包含各种文件，例如 h5 和 json 格式。想知道如何访问这些文件并将它们从转换器包传递到 from_pretrained 方法

谢谢！

【问题讨论】：

标签： palantir-foundry foundry-code-workbooks

【解决方案1】：

我已经开始将变形金刚（拥抱脸）包添加到平台上。

至于上传包可以按照以下步骤进行：

将您的数据集与模型相关文件用作代码工作簿转换的输入
使用pythons raw file access访问数据集的内容：https://docs.python.org/3/library/filesys.html
使用pythons内置的临时文件建立一个文件夹并添加步骤2中的文件，https://docs.python.org/3/library/tempfile.html#tempfile.mkdtemp，https://www.kite.com/python/answers/how-to-write-a-file-to-a-specific-directory-in-python
将临时文件（tempfile.mkdtemp() 返回绝对路径）传递给 from_pretrained 方法

import tempfile

def sample (dataset_with_model_folder_uploaded):
  full_folder_path = tempfile.mkdtemp()

  all_file_names = ['config.json', 'tf_model.h5', 'ETC.ot', ...]

  for file_name in all_file_names:
    with dataset_with_model_folder_uploaded.filesystem().open(file_name) as f:
      pathOfFile = os.path.join(fullFolderPath, file_name)
      newFile = open(pathOfFile, "w")
      newFile.write(f.read())
      newFile.close()
  
  model = TF.DistilSequenceClassification.from_pretrained(full_folder_path)
  tokenizer = TF.Tokenizer.from_pretrained(full_folder_path)

谢谢，

【讨论】：