【发布时间】:2016-01-31 10:00:18
【问题描述】:
我问了一个类似的问题,关于如何检测和报告 celery 任务何时完成(或失败)。这个问题集中在如何使用 Django 消息框架来做到这一点,结果证明这对我的目的来说是不必要的。我目前的方法是简单地发送一个 JSON HttpResponse,并根据收到的 JSON 呈现成功或失败消息。下面是我轮询任务状态的代码:
views.py:
def poll_state(request):
if request.is_ajax():
if 'task_id' in request.POST.keys() and request.POST['task_id']:
task_id = request.POST['task_id']
task = AsyncResult(task_id)
if task.successful():
logger.debug("Successful upload")
return HttpResponse(json.dumps({"message":"Upload successful!", "state":"SUCCESS"}), content_type='application/json')
elif task.failed():
logger.debug("Error in upload")
return HttpResponse(json.dumps({"message":"Error in upload!", "state":"FAILURE"}), content_type='application/json')
else:
logger.info('No task_id in the request')
else:
logger.info('Not an ajax request')
result = task.result
state = task.state
response = {}
response["percent"] = result["percent"]
response["state"] = state
json_data = json.dumps(response)
return HttpResponse(json_data, content_type='application/json')
以及对应的 jQuery(和 Django 模板):
{% if task_id %}
var PollState = function(task_id) {
jQuery.ajax({
url: "poll_state",
type: "POST",
data: "task_id=" + task_id,
}).done(function(task) {
if (task.percent) {
console.log(task.percent);
jQuery('.bar').css({'width': task.percent + '%'});
jQuery('.bar').html(task.percent + '%');
}
else if (task.state == "SUCCESS" || task.state == "FAILURE") {
console.log(task.state);
jQuery('.status').html(task);
};
else {
jQuery('.status').html(task);
}
setTimeout(function () {
PollState(task_id);
}, 300);
});
}
PollState('{{ task_id }}');
{% endif %}
下面是任务本身的代码:
tasks.py:
@task(base=DBTask) # a custom base task class
def upload_task(datapoints, user, description): # datapoints is a list of dictionaries, user and description are strings
from utils.db.databaseinserter import insertIntoDatabase
for dp_count in insertIntoDatabase(datapoints, user, description): # insertIntoDatabase yields the number of datapoints inserted into the database so far at the end of each iteration
percent_completion = int(100 * (float(dp_count) / float(len(datapoints))))
current_task.update_state(state='PROGRESS', meta={'percent':percent_completion})
如果上传成功,那么一旦上传完成,控制台日志就会出现 JSON 成功消息。如果上传有错误,那么重新加载会使日志中出现错误消息。在这两种情况下,poll_state 都在不断地发送成功或失败的 HttpResponse。此外,在开始一项新任务后,我仍然发送旧任务信息而不是当前任务信息。唯一收到当前任务信息的时间是服务器第一次启动时的第一个任务;对后续任务的任何轮询只会获得第一个任务的信息。
我在这里做错了什么?我一直在为此挠头一段时间,但无法弄清楚。这里的最终目标是在网页上显示某种任务完成或任务失败的通知,并且完成后不会重复发送成功/失败 HttpResponse。
我尝试删除poll_state 中task.successful() 和task.failed() 块中的task_id 会话密钥。这确实可以防止重复发送成功/失败 HttpResponse,但我仍然有后续任务没有发送 HttpResponse 的问题;发生的情况是,一旦在第一个任务之后启动了一个新任务,第一个任务的 HttpResponse 就会被发送,并且当前任务的百分比跟踪不再起作用。
【问题讨论】:
-
能否添加您在服务器端遇到的异常,好吗?这也许可以帮助我们找出失败的地方。
-
我实际上已经对这个问题做了很多修改,以反映现在发生的事情。我得到的上一个例外是在
poll_state的Django 端滥用json.dumps,这无疑是愚蠢的。不幸的是,这个错误并不是我希望的那样是问题的核心,而且我当前的投票仍然存在问题。 -
嘿,丹,你看过这个:docs.celeryproject.org/en/latest/reference/… 吗?
-
我查看了那个链接,在考虑了一段时间之后,我仍然不确定如何利用它来解决这个问题。你有什么特别的想法吗?谢谢。
标签: javascript jquery python django celery