【发布时间】:2023-01-10 01:05:01
【问题描述】:
我正在运行 luigi,这是一个处理 1000 个任务的管道管理器。目前我正在轮询 AWS 终止通知。如果它存在,那么我重新排队工作;等待 30 分钟;然后启动一个新服务器,从头开始所有任务。但是有时它会多次重新启动同一个作业,效率很低。
相反,我正在考虑将 create_fleet 与 InstanceInterruptionBehaviour=Stop 一起使用?如果我这样做,那么当它重新启动时,它是否仍会运行 luigi 守护进程并保留所有任务的状态?
【问题讨论】:
-
就像它在您的笔记本电脑上运行一样,您确实关闭了笔记本电脑,然后又将其重新打开。 RAM 中的任何内容都将被擦除。操作系统和所有应用程序都必须重新启动。我不知道“luigi”是什么,所以我不知道它是否会从它停止的地方启动,但它必须在关机时将其状态保存到硬盘驱动器并在启动时读取它,以便那个工作,所以你必须考虑配置你的应用程序来做到这一点。
标签: amazon-ec2