.Net 框架来管理不同机器上的后台运行进程

Question

我有一个驻留在服务器上的 asp.mvc 应用程序。从这个应用程序中，我想启动一个运行时间较长的进程，并且将是资源密集型操作。

所以我想要做的是我想要一些像 3 这样的用户代理，它将在 3 台机器上，并且这个用户代理将只使用它们各自机器的资源。

与 Hadoop 一样，我们有主节点和集群，其中任务在单个集群上运行，并且有 1 个主节点跟踪所有这些集群。

在 Azure 中，我们有运行任务的虚拟机，如果需要，Azure 可以通过启动新实例来自动水平扩展以加快任务速度。

所以我想创建这样的基础设施，我可以将我的任务从 mvc 应用程序提交给 3 个用户代理，我的应用程序将跟踪这些代理，比如哪个代理是免费的，哪个被占用，哪个不工作这个。

我想从每个用户代理接收进度并显示在我的 MVC 应用程序上。

.net 中是否有任何框架可以让我管理此后台运行操作（跟踪、启动、停止等），或者应该采用什么方法？

更新：我不想为这个长时间运行的操作放置大量服务器，而且我想跟踪这个长时间运行的进程，就像他们在做什么一样，错误在哪里等.

以下是我正在考虑的方法，我不知道哪种方法更有意义：

1) 以本地 2-3 台计算机的代理形式安装 Windows 服务，以利用 resp 资源并打开与该代理的 tcp/ip 连接，除非并且直到长时间运行的过程完成。

2) 使用 hangfire 在 IIS 线程之外运行这个长时间运行的进程，但我想这会给服务器带来负载。

我想知道上述方法可能存在的问题，以及是否有比这更好的方法。

Answer 1

Hangfire 确实是处理后台任务的绝佳解决方案，我们已在项目中大量使用它。

我们已经在单独的 IIS 服务器上设置了 MVC 应用程序，该服务器也是一个 hangfire 客户端，只是将需要由 hangfire 服务器执行的作业排入队列。然后我们有两个hangfire服务器实例，它们是windows服务应用程序。如此有效地，MVC 应用服务器上没有负载来处理后台作业，因为它是由单独的 hangfire 服务器处理的。

hangfire 非常有用的功能之一是其开箱即用的仪表板，它允许您监视和控制后台作业处理的任何方面，包括统计信息、后台作业历史记录等。

在应用程序和hangfire服务器中配置hangfire

public void Configuration(IAppBuilder app)
{
    GlobalConfiguration.Configuration.UseSqlServerStorage("<connection string or its name>");

    app.UseHangfireDashboard();
    app.UseHangfireServer();
}

请注意，您使用相同的连接字符串。仅当您想将实例用作hangfire 服务器时才使用app.UseHangfireServer()，因此在您的情况下，您希望从应用程序服务器配置中省略此行并仅在hangfire 服务器中使用。 在实例中也使用app.UseHangfireDashboard()，它将为您的hangfire仪表板提供服务，这可能是您的MVC应用程序。

当时我们使用Windows Service 完成了它，但如果现在必须这样做，我想使用Azure worker role 甚至更好的现在Azure Web Jobs 来托管我的hangfire 服务器，并管理诸如自动之类的东西轻松缩放。

请参考hangfire overview 和 documentation 了解更多详情。

Answer 2

将消息从您的 MVC 应用程序推送到 MSMQ，并让您的 Windows 服务侦听（或循环）进入队列的新消息。

在您的 MVC 应用程序中为每个排队的消息创建一个 ID，以便在工作取得进展时从您的 Windows 服务返回到 mvc 应用程序的 restful API 调用？

Answer 3

看看 Hangfire，它可以管理后台任务并跨 VM 工作而不会发生冲突。我们已经使用它替换了 Windows 服务，它运行良好。

https://www.hangfire.io

Answer 4

试试http://easynetq.com/

EasyNetQ 是一个简单易用、固执己见的 RabbitMQ .NET API。

EasyNetQ 是在 RabbitMQ.Client 库之上提供服务的组件集合。它们执行序列化、错误处理、线程编组、连接管理等操作。

使用 EasyNetQ 发布

var message = new MyMessage { Text = "Hello Rabbit" };
bus.Publish(message);

要订阅消息，我们需要给 EasyNetQ 一个动作，以便在消息到达时执行。我们通过传递 subscribe 一个委托来做到这一点：

bus.Subscribe<MyMessage>("my_subscription_id", msg => Console.WriteLine(msg.Text));

现在，每次发布 MyMessage 的实例时，EasyNetQ 都会调用我们的委托并将消息的 Text 属性打印到控制台。

EasyNetQ 的性能与 RabbitMQ 代理的性能直接相关。这可能因网络和服务器性能而异。在具有本地 RabbitMQ 实例的开发人员机器上进行的测试中，实现了每秒约 5000 条 2K 消息的持续过夜性能。所有 EasyNetQ 端点的内存使用在夜间运行中都很稳定