从 Jupyter Notebook 运行带有可变解析器参数的 python 脚本

Question

我正在处理transformers。

我有一个 python 脚本，它通过 argparse 将参数作为输入。

这是其中的一部分：

    parser = argparse.ArgumentParser()
    parser.add_argument("--model_type", default=None, type=str, required=True,
                        help="Model type selected in the list: " + ", ".join(MODEL_CLASSES.keys()))
    parser.add_argument("--model_name_or_path", default=None, type=str, required=True,
                        help="Path to pre-trained model or shortcut name selected in the list: " + ", ".join(ALL_MODELS))

我希望能够使用不同的参数迭代地调用脚本。 我可以使用 %run 或 !python bash command> 调用脚本，但我不能将变量传递给它以解释为参数，因为它将变量视为实际的字符串值：

%run examples/run_lm_finetuning.py --gradient_accumulation_steps=1 --output_dir='output_medium' --model_type='gpt2' \
                      --model_name_or_path=model_load --do_train --train_data_file='/root/sharedfolder/omri/data/pieces/backup/{}'.format(file)\
                      --overwrite_output_dir --per_gpu_train_batch_size=1 --per_gpu_eval_batch_size=1 --save_total_limit=5

返回：

OSError: Model name 'model_load' was not found in 
model name list (gpt2, gpt2-medium, gpt2-large, gpt2-xl, distilgpt2). 

We assumed 'model_load' was a path or url to a configuration file named 
config.json or a directory containing such a file but couldn't find any 
such file at this path or url.

Answer 1

看起来{} 扩展了变量。我在尝试使用 Python f'' 格式化时偶然发现了它。我在%run docs 中没有看到它；它必须是 %magic 语法的一部分。

无论如何，用一个简单的echo 脚本：

In [29]: cat echo.py                                                            
import sys
print(sys.argv)

In [30]: foo = "a string"                                                       

In [31]: run echo.py {foo} bar                                                  
['echo.py', 'a', 'string', 'bar']
In [32]: run echo.py "{foo}" bar                                                
['echo.py', 'a string', 'bar']

===

用另一种魔法

In [71]: astr="*.h5"                                                            
In [72]: ls {astr}                                                              
abc_copy.h5  string.h5          testdate.h5       test_str.h5...

===

$ 也这样做：

In [79]: foo = "a string"                                                       
In [80]: run echo.py $foo bar                                                   
['echo.py', 'a', 'string', 'bar']

How to pass a variable to magic ´run´ function in IPython

IPython.core.magic.no_var_expand(magic_func) 将魔术函数标记为不需要变量扩展

默认情况下，IPython 将传递给魔法的行中的 {a} 或 $a 解释为变量，这些变量应该在将行传递给魔法函数之前从交互式命名空间进行插值。这并不总是可取的，例如当魔法执行 Python 代码时（%timeit、%time 等）。使用 @no_var_expand 装饰魔法以选择退出变量扩展。

https://ipython.readthedocs.io/en/stable/api/generated/IPython.core.magic.html

Answer 2

RafalS 的回答很棒，但如果你愿意，它不会打印标准输出， 方法如下：

将整个语句放在一个fstring中并赋值给一个变量run：

run = f"python examples/run_lm_finetuning.py\
                    --model_name_or_path={model_load}\
                    --train_data_file='/root/sharedfolder/omri/data/pieces/backup/{file}'\
                    --overwrite_output_dir\
                    --per_gpu_train_batch_size=1\
                    --per_gpu_eval_batch_size=1\
                    --save_total_limit=5"

然后通过简单的方式运行 Jupyter shell：

!{run}

Answer 3

所以%run 中的model_load 应该被解释为python 变量？那会有点奇怪，你不觉得吗？尝试直接从 python 调用 python，而不是通过 ipython 魔术函数：

In [18]: import subprocess                                                                                                                                                                            

In [19]: model_load = "gpt2"                                                                                                                                                                          

In [20]: subprocess.run(f"python file.py --model_name_or_path={model_load}", shell=True)