可扩展的延迟 PHP 处理

Question

我正在开发一个需要延迟 PHP 事件的在线 PHP 应用程序。基本上，我需要能够在最初访问 URL 后的多秒（但可能是几天）内执行任意 PHP 代码。我需要相当精确地执行这些 PHP 事件，而且我希望它具有相当的可扩展性。我试图避免需要安排一个 cron 作业每秒运行一次。我正在研究Gearman，但它似乎没有提供任何安排事件的能力，据我所知，PHP 并不是真的要作为守护进程运行。

如果我可以告诉一些外部进程在下一个事件应该运行的确切时间轮询 PHP 服务器上的“事件检查器”url，那将是理想的。这个轮询时间需要能够随意减少或增加，因为可以删除事件并将其添加到队列中。有什么想法可以优雅地完成此任务吗？ 在外部调用 PHP（必须解析 HTTP 请求或通过 CLI 调用）来使这个想法对我的需求可行。

我目前的计划是编写一个 PHP 守护程序，它将运行事件并使用 gearman 从 PHP 服务器与它交互。 PHP 守护程序将围绕SplMinHeap 构建，因此希望性能不会太差。这个想法在我的嘴里留下了不好的味道，我想知道是否有人有更好的想法？想法略有改变。阅读编辑 2。

编辑：

我正在创建一个在线游戏，让玩家在不同的时间限制下轮流进化。我正在使用 XMPP 和 BOSH 来允许我将消息推送到我的客户或从我的客户那里推送消息，但是我已经完成了这部分工作。现在我正在尝试添加一个在客户端播放后触发的任意事件，以让客户端（以及游戏中的其他人）花费很长时间。我不能在客户端使用定时触发器，因为这可以被利用（因为客户端可以自己玩）。希望对您有所帮助。

编辑 2：

感谢大家的反馈。尽管我认为您的大多数想法在小规模上都可以很好地发挥作用，但我感觉它们的扩展性不会很好（外部事件管理器）或缺乏该项目所需的准确性（CRON）。此外，在这两种情况下，它们都是外部部件，可能会出现故障并增加已经很复杂的系统的复杂性。

我个人觉得唯一clean的解决方案满足这个项目的要求就是写一个PHP daemon来处理延迟事件。我已经开始编写我认为是first PHP runloop。它处理监视套接字和执行延迟的 PHP 事件。希望当我接近完成这个项目时，我可以发布源代码，如果你们中的任何人对此感兴趣的话。到目前为止，在测试中它已被证明是一种很有前途的解决方案（没有内存泄漏或不稳定的问题）。

编辑 3： 这里有一个指向名为LooPHP 的 PHP 事件循环库的链接，供感兴趣的人使用。

TL；DR 要求

• 延迟调用（最好是本地）PHP（从几秒到几天）
• 任意处理事件的创建/更新/删除（我预计会取消大量调用）。
• 处理调度的高负载事件（每台服务器每秒 100-1000 次）
• 通话时间应在预定时间的一秒内
• 目前我不打算将代码库重写为另一种语言（也许有一天我会这样做）

Answer 1

使用命令“at”让您的 php 脚本执行 exec 调用以安排您的 PHP 脚本在您需要的时间运行

exec("at 22:56 /usr/bin/php myscript.php");

at 在指定时间执行命令。

来自手册页：

At 允许相当复杂的时间规范，扩展了 POSIX.2 标准。它接受 HH:MM 形式的时间以 spe 运行作业 一天中的具体时间。 （如果那个时间已经过去，那么第二天就是 假定。）您还可以指定午夜、中午或下午茶时间（下午 4 点）和 您可以有一个以 AM 或 PM 为后缀的时间，以便在 早上或晚上。您还可以说作业将在哪一天运行， 通过使用可选年份以月份名称日期形式给出日期，或 给出格式为 MMDDYY 或 MM/DD/YY 或 DD.MM.YY 的日期。具体 日期的阳离子必须遵循一天中的时间规范。你 也可以给出像现在这样的时间+计数时间单位，其中时间单位 可以是几分钟、几小时、几天或几周，您可以告诉 at 运行 今天的工作，通过给今天的时间加上后缀，明天运行工作 用明天作为时间的后缀。

此外，如果您需要一秒钟的时间分辨率，请让您的脚本在一分钟开始运行，然后只需休眠 n 秒直到执行时间。

Answer 2

我认为仅 PHP 的解决方案很难（几乎不可能）实现。针对您的问题，我想出了两个解决方案。

PHP/Redis 解决方案

肯德尔提出的问题：

• redis 有多稳定：

Redis 非常稳定。开发人员确实编写了一些干净的 C 代码。你应该在 github 上查看它；）。还有很多大网站都在使用redis。例如 github。他们有一个非常有趣的博客 post 他们如何让 github 变得更快 :)。 superfeedr 也使用redis。有更多的大公司在使用 redis ;)。我建议你用谷歌搜索它；）。

• redis 对 PHP 的友好程度如何：

PHP 对 PHP 非常友好。很多用户都在为 redis 编写 PHP 库。该协议非常简单。您可以使用 telnet 对其进行调试；）。例如，快速查看 predis 是否实现了阻塞弹出。

• 如何删除事件：

我认为你应该使用 ZRemCommand 之类的东西。

Redis 是一种高级键值存储。 它类似于 memcached 但 数据集不是易失性的，并且值 可以是字符串，就像在 memcached，还有列表、集合和 有序集。所有这些数据类型都可以 使用原子操作进行操作 推送/弹出元素，添加/删除 元素，执行服务器端联合， 交集，集合之间的差异， 等等。 Redis 支持不同的 排序能力。

我想出了什么（伪代码....）：

处理器.php：

<?php
######----processer.php
######You should do something like nohup php processor.php enough times for processors to run event. 
#$key: should be unique, but should also be used by wakeup.php
while(true) {
    $event = blpop($key); #One of the available blocking threads will wakeup and process event
    process($event); #You should write process. This could take some time so this process could not be available
    zrem($key1, $event); #Remove event after processing it. Added this later!!!!!!
}

client.php:

######----client.php
######The user/browser I guess should generate these events.
#$key1: should be unique.
#$millis: when event should run
#$event: just the event to work on.

if ("add event") {
  zadd($key1, $millis, $event);
} else if ("delete event") {
  zremove($key1, $event)
}

#Get event which has to be scheduled first
$first = zrange($key1, 0, 0);

if ($oldfirst <> $first) { #got different first event => notify wakeup.php.
    lpush($key2, $first);
}

$oldfirst = $first;

wakeup.php：

####wakeup.php
#### 1 time do something like nohup php wakeup.php
#http://code.google.com/p/redis/wiki/IntroductionToRedisDataTypes => read sorted set part.
while(true) {
    $first = zrange($key1, 0, 0);
    $event = blpop($key2, $timeoutTillFirstEvent);

    if ($event == nill) {
        #Blockingqueue has timedout which means event should be run by 1 of blocking threads.
        blpop($key2, $first);
    }    
}

您也可以使用 PHP 编写一个非常高效的调度程序（好吧，redis 是 C 这么快 :)），它也会非常高效 :)。我也想编写这个解决方案，所以请继续关注；）。我想我可以在一天内编写一个可用的原型......

我的java解决方案

今天早上我想我创建了一个java program，你可以用它来解决你的问题。

1. 下载：

   访问github's download page 下载jar 文件（包括所有依赖项）。

2. 安装：

   java -jar schedule-broadcaster-1.0-SNAPSHOT-jar-with-dependencies-1277709762.jar

3. Run simple PHP snippets

   1. 第一php -f scheduler.php
   2. 下一个php -f receiver.php

4. Questions

   我创建了这些小 sn-ps，希望您能了解如何使用我的程序。 WIKI 中也有一些文档。

App Engine 的任务队列

一个快速的解决方案是使用具有合理免费配额的 Google 应用引擎任务队列。之后你必须为你使用的东西付费。

使用此模型，App Engine 的任务 Queue API 允许您指定任务 作为 HTTP 请求（两者的内容 请求作为其数据，以及 请求的目标 URL 作为其代码 参考）。以编程方式引用 到这个捆绑的 HTTP 请求 时尚有时被称为“网络 钩子。”

重要的是， 任务队列 API 允许您指定 网络钩子提前，没有 等待他们的实际执行。 因此，一个应用程序可能会创建许多 立即将网络钩子交给它们 转到 App Engine；系统将 然后异步处理它们 背景（通过“调用”HTTP 要求）。这个网络钩子模型使 高效的并行处理 - 应用 引擎可以调用多个任务，或者 网络挂钩，同时进行。

总而言之，任务队列 API 允许开发人员在 背景，异步，通过 将工作分块到离线网络中 钩子。系统将调用那些 代表应用程序的网络挂钩， 通过调度以获得最佳性能 可能执行多个 webhook 在平行下。这种颗粒状模型 工作单元，基于 HTTP 标准，允许 App Engine 高效执行后台 以适合的方式处理 任何编程语言或网络 应用程序框架。

Answer 3

这似乎是数据库中事件队列的理想场所。

让您的用户创建的事件（通过访问网页触发）在数据库中创建一个条目，其中包括要执行的操作的说明以及应该发生的时间戳。您的守护程序（持久应用程序或由 CRON 触发）检查数据库中应该发生的事件（$TriggerTime <= time()）并且尚未标记为“已处理”。如果您发现这些事件中的一个或多个，执行指令，最后在 DB 中将事件标记为“已处理”或直接删除条目。

使用 DB 来存储事件（而不是驻留在应用程序的 RAM 中的东西）的好处是您可以从崩溃中恢复而不会丢失数据，您可以让多个工作人员同时读取一次事件，您可以简单地修改事件。

另外，有很多人使用 PHP 作为服务器等上的通用守护程序脚本语言。Cron 可以执行 PHP 脚本（并确认该“应用程序”的实例已经在运行）检查事件队列每隔一段时间。您可以有一个小应用程序在不活动一分钟后死机，然后由 CRON 重新启动。该应用程序可以以您选择的快速频率（如 1 秒）检查数据库中的条目。通常，Cron 执行计时事件的速度不能超过每分钟一次。

Answer 4

我也推荐队列策略，但您似乎不喜欢将数据库用作队列。您已经拥有 XMPP 基础架构，因此请利用它：使用 pubsub 节点并将您的事件发布到此节点。可以选择将 Pubsub 配置为以持久方式存储未获取的项目。

您的守护进程（无论是什么语言）可以在启动时获取所有存储的项目并订阅更改以获取有关传入操作的通知。通过这种方式，您可以以一种优雅的异步方式解决您的问题。

Answer 5

您可以使用 Node.JS，它是一个事件驱动、基于 JavaScript 的 Web 服务器。使用脚本在一个秘密的内部端口上运行它，该脚本接收来自 PHP 脚本的通知，然后安排在 xx 秒后运行该操作。 Node.JS 中的操作可以像在主 Web 服务器上运行 PHP 脚本一样简单。

Answer 6

这个呢：

http://www.phpjobscheduler.co.uk/

Answer 7

我不确定您为什么要避免使用 cron。您可以在表中创建一个请求队列，并让 cron 启动一个进程来检查当前作业。

存在一些问题，具体取决于您的具体要求。例如：

• 调用必须有多精确？
• 每次通话需要多长时间？
• 什么是正常负载和峰值负载 任何特定时期？

因此，如果您想要精确执行，或者执行时间超过一秒，或者有可能产生繁​​重的负载，那么 cron 方法可能会遇到问题。

我有许多运行 PHP 的守护进程（使用 daemontools）。使用这种方法，您可以将请求保存在核心中，并在内部执行您想要的任何时间。

但是，如果您想要准确可靠的时间安排，您可能应该完全放弃 PHP。

Answer 8

A 想不出任何能满足你要求的东西：

• 必须非常精确
• 长时间延迟
• 能够删除/更改活动时间

简单的方法是使用以下函数的组合：

set_time_limit(0);
ignore_user_abort(true);
time_sleep_until(strtotime('next Friday'));
// execute code

但是，就像@deceze 所说的那样，这可能不是一个好主意，因为如果您设置高延迟，Apache 最终可能会杀死子进程（除非您使用 PHP CLI，否则会更容易）。除非您设置更复杂的逻辑和数据库来保存事件，否则它也不允许您更改/删除事件。另外，如果您想走这条路，register_shutdown_function() 可能会很有用。

在我看来，更好的方法是设置 CRON 作业。

Answer 9

我会每隔一段时间（即 5 分钟）使用 cron 运行一个 PHP 文件。 PHP 文件将检查是否有任何事件需要在下一个间隔内触发，获取间隔事件列表，然后休眠直到下一个事件。唤醒，触发列表中的下一个事件，休眠直到下一个，重复直到完成。

您甚至可以通过分叉或启动另一个 php 文件来实际触发事件来扩展它。然后你可以同时触发多个事件。

Answer 10

使用任何一个 cron 来运行检查器怎么样，例如可以从数据库中执行的东西。

或者使用“at”linux命令来调度某些命令的执行？

Answer 11

这是正确答案，但你可能不喜欢。

PHP 完全是围绕用作请求-响应 (http) 语言而设计的，因此不支持您正在寻找的内容 - 破解并找到解决方法很好，但它只是一个 hack ，无论你最终得到什么“解决方案”。

您真正需要的是一种支持 xmpp 的事件驱动语言，为此您只需要查看 node.js /v8 和支持的 XMPP 库即可 - 它本机支持并专为您的需要而设计。你也可以走 Java 路线，但如果你想快速移植并获得大量新功能并支持你正在做的事情，那么 node 就是其中之一。

如果您坚持使用 PHP（就像我多年来多次使用的那样），那么“最轻松”和最有效的方法是在数据库中使用具有事件队列的持久 PHP 守护程序 - 很遗憾！

Answer 12

存在纯 PHP 解决方案。埃文在回答中所说的差不多。只需为事件引入“处理”状态，就可以减少 DB 上的负载（和锁定问题）。当处理脚本从队列 (DB) 中获取事件时，它们被标记为“正在处理”并已提交。脚本完成后，它们被标记为“已处理”。如果出现错误或脚本失败，“处理”事件必须更新回原始状态。 （这是对埃文的回答的评论，但我还没有足够的声誉）

Answer 13

• 将所有任务存储在具有触发时间的数据库中
• Cron 作业每小时运行一次
  • 阅读接下来 60 分钟的作业
  • 主循环
    • 无事可退
    • 微睡眠直到下一份工作
    • 在触发时间分派所有作业

Answer 14

使用 redis 签出。可能对您的问题有用

https://github.com/chrisboulton/php-resque-scheduler

Answer 15

使用睡眠功能： http://php.net/sleep