【问题标题】:Provide remote shell for Python script为 Python 脚本提供远程 shell
【发布时间】:2015-03-19 15:13:05
【问题描述】:

我想创建一种方便简单的方法来远程连接到我正在运行的 Python 脚本(通过文件套接字、TCP 或其他方式)以获取远程交互式 shell。

我认为通过 IPython 左右这会很容易。但是,我并没有真正找到任何好的例子。我试图启动IPython.embed_kernel(),但那是阻塞的。所以我尝试在另一个线程中运行它,但这对我的脚本的其余部分产生了许多奇怪的副作用,我不想要任何副作用(不替换 sys.stdoutsys.stderrsys.excepthook 或其他)和它也没有工作 - 我无法连接。我发现this related bug reportthis code snippet 建议使用mock.patch('signal.signal'),但这也没有用。另外,我为什么需要它 - 我也不希望 IPython 注册任何信号处理程序。

还有一些诸如pyringe 和我自己的pydbattach 之类的hack 可以附加到一些正在运行的Python 实例上,但它们似乎太hacky。

也许QdbRemotePythonDebugger可以帮助我?

【问题讨论】:

标签: python ipython


【解决方案1】:

我目前的解决方案是设置一个 IPython ZMQ 内核。我不只是使用

IPython.embed_kernel()

因为它有很多副作用,比如搞乱sys.stdoutsys.stderrsys.excepthooksignal.signal 等,我不想要这些副作用。此外,embed_kernel() 处于阻塞状态,并且不能在单独的线程中开箱即用(请参阅here)。

所以,我想出了这段代码,在我看来这太复杂了。 (这就是为什么我创建了一个功能请求here。)

def initIPythonKernel():
  # You can remotely connect to this kernel. See the output on stdout.
  try:
    import IPython.kernel.zmq.ipkernel
    from IPython.kernel.zmq.ipkernel import Kernel
    from IPython.kernel.zmq.heartbeat import Heartbeat
    from IPython.kernel.zmq.session import Session
    from IPython.kernel import write_connection_file
    import zmq
    from zmq.eventloop import ioloop
    from zmq.eventloop.zmqstream import ZMQStream
    IPython.kernel.zmq.ipkernel.signal = lambda sig, f: None  # Overwrite.
  except ImportError, e:
    print "IPython import error, cannot start IPython kernel. %s" % e
    return
  import atexit
  import socket
  import logging
  import threading

  # Do in mainthread to avoid history sqlite DB errors at exit.
  # https://github.com/ipython/ipython/issues/680
  assert isinstance(threading.currentThread(), threading._MainThread)
  try:
    connection_file = "kernel-%s.json" % os.getpid()
    def cleanup_connection_file():
      try:
        os.remove(connection_file)
      except (IOError, OSError):
        pass
    atexit.register(cleanup_connection_file)

    logger = logging.Logger("IPython")
    logger.addHandler(logging.NullHandler())
    session = Session(username=u'kernel')

    context = zmq.Context.instance()
    ip = socket.gethostbyname(socket.gethostname())
    transport = "tcp"
    addr = "%s://%s" % (transport, ip)
    shell_socket = context.socket(zmq.ROUTER)
    shell_port = shell_socket.bind_to_random_port(addr)
    iopub_socket = context.socket(zmq.PUB)
    iopub_port = iopub_socket.bind_to_random_port(addr)
    control_socket = context.socket(zmq.ROUTER)
    control_port = control_socket.bind_to_random_port(addr)

    hb_ctx = zmq.Context()
    heartbeat = Heartbeat(hb_ctx, (transport, ip, 0))
    hb_port = heartbeat.port
    heartbeat.start()

    shell_stream = ZMQStream(shell_socket)
    control_stream = ZMQStream(control_socket)

    kernel = Kernel(session=session,
                    shell_streams=[shell_stream, control_stream],
                    iopub_socket=iopub_socket,
                    log=logger)

    write_connection_file(connection_file,
                          shell_port=shell_port, iopub_port=iopub_port, control_port=control_port, hb_port=hb_port,
                          ip=ip)

    print "To connect another client to this IPython kernel, use:", \
          "ipython console --existing %s" % connection_file
  except Exception, e:
    print "Exception while initializing IPython ZMQ kernel. %s" % e
    return

  def ipython_thread():
    kernel.start()
    try:
      ioloop.IOLoop.instance().start()
    except KeyboardInterrupt:
      pass

  thread = threading.Thread(target=ipython_thread, name="IPython kernel")
  thread.daemon = True
  thread.start()

请注意,此代码现已过时。我制作了一个包here,它应该包含更新的版本,并且可以通过 pip 安装。


在没有事先准备的情况下附加到正在运行的 CPython 进程的其他替代方法。那些通常使用操作系统调试功能(或使用 gdb/lldb)附加到本机 CPython 进程,然后注入一些代码或仅分析本机 CPython 线程堆栈。

这里有其他替代方法,您可以事先准备好 Python 脚本以侦听某些(tcp/文件)套接字,从而为远程调试和/或仅提供 Python shell/REPL 提供接口。

一些概述和收集的代码示例:

(此概述来自here。)

【讨论】:

  • 天哪!这将对我有很大帮助(嵌入在 tkinter 应用程序中)。我将添加from jupyter_core.paths import jupyter_runtime_dir 以将文件写入更易于访问的目录中。