【问题标题】:SGE: How to see the output in real timeSGE:如何实时查看输出
【发布时间】:2014-10-31 03:13:50
【问题描述】:

我正在向 Sun Grid Engine 提交作业(脚本)。这项工作是一个python程序。运行可能需要几个小时,但它会定期写入 stdout 和 stderr 以通知我其状态(例如完成了多少次迭代等)。问题是 SGE 正在缓冲输出并且只在最后写入文件,这意味着我无法在屏幕上看到输出或实时拖尾文件。我只能在工作完成后才能知道状态。有没有办法通过配置 SGE(qsub 等)来解决这个问题?

【问题讨论】:

  • 尝试使用 sys.stdout.write() 和 sys.stdout.flush() 而不是 print()

标签: python linux sungridengine


【解决方案1】:

不要使用 qsub,而是使用 qrsh。

【讨论】:

  • 如何将我的qsub 更改为qrsh 命令?目前该命令如下所示:qsub -V -b n -cwd -j y -S /usr/bin/pythonqrsh 似乎支持一组不同的命令。
  • 我没有尝试过直接使用交互式调用,例如 python。对于非交互式呼叫,它是直截了当的。例如:“qrsh -V -cwd -j y pwd && 主机名”。对于交互式呼叫,您可以分两步完成。首先调用“qrsh”,它会将您登录到工作节点。然后调用“python”。
猜你喜欢
  • 2021-12-28
  • 1970-01-01
  • 1970-01-01
  • 2021-11-01
  • 2012-11-09
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2010-10-08
相关资源
最近更新 更多