【发布时间】:2012-05-05 04:12:51
【问题描述】:
我这里有潜在的内存泄漏。应该是小韩的吧。我希望得到你的见解。 (这几天一直在调试这个脚本,昨晚终于放弃了)。
此脚本的作用如下:
基本上,这是一个后台工作者(托管在 Pagodabox)。这就是为什么它是一个无限的while循环的原因。一步一步:
- 它试图获取一篇未处理的文章
- 然后从相关表中获取相关信息
- 它将信息保存到一个表中(emailerscheds)
- 自然,由于从表中只取了一篇文章记录,所以它会返回顶部并获取另一篇文章。
- 又从 1 开始。
问题:在第一条记录之后内存没有被清除,最终分配的内存,无论多么巨大,它都会用完。我不得不认为,由于您正在处理一个新的数据库对象,因此必须清除内存。但事实并非如此。
我尝试了不同的方法,你可以想到清除内存。我已经尝试将变量设为 NULL、unset(),我已经声明了 gc_enable、gc_collect_cycles(),我已经尝试让脚本休眠 60 秒,希望垃圾收集器能够在平静的时刻完成他的工作(眨眼——我知道我疯了)。我认为 ORM 是问题,所以我尝试了 DB。我试过关闭分析——顺便说一句,这有帮助,但首先不是问题。我试过__destruct。
内存仍然用完。
您可能会说数据集可能很大。这是。但问题是,这可以在内存不足之前处理大约 3 到 4 条文章记录。意思是,它实际上可以处理至少一个。我希望在 1 条记录之后,内存被释放。
public function action_grab_article_topics()
{
gc_enable();
$x = 1;
while ($x == 1)
{
// $articles = ORM::factory('article')
// ->where('sent', '=', 0)
// // ->limit(1)
// ->find();
$articles = DB::select()
->from('articles')
->where('sent', '=', 0)
->as_object()
->execute()
->current();
$topics = array();
//foreach ($articles as $a)
//{
//$topics = $articles->topics->find_all()->as_array();
if ($articles)
{
$topics = DB::select('topic_id')
->from('articles_topics')
->where("article_id", '=', $articles->id);
if (! empty($topics))
{
$members = DB::select('members.id', 'members.email', 'members_topics.topic_id', 'topics.topic_name')
->from('members_topics')
->join('members')
->on('members.id', '=', 'members_topics.member_id')
->join('topics')
->on('topics.id', '=', 'members_topics.topic_id')
->where('members_topics.topic_id', 'IN', $topics)
// ->limit(20)
->as_object()
->execute();
foreach ($members as $m)
{
$topic_id = $m->topic_id;
$topic_name = $m->topic_name;
$data = array(
"member_id" => $m->id,
"topic_id" => $topic_id,
"article_id" => $a->id,
"topic_name" => $topic_name,
"title" => $a->title,
);
$emailersched = ORM::factory('emailersched')->values($data)->save();
unset($m);
}
$members->__destruct();
//sleep(2);
//$m = NULL;
}
$data = array('sent'=> time());
$query = DB::update('articles')
->set($data)
->where('id', '=', $articles->id)
->execute();
// $articles->sent = time();
// $articles->save();
//}
//echo "done";
//$a = NULL;
//$articles->__destruct();
$articles = NULL;
$topics = NULL;
unset($articles);
unset($topics);
}
gc_collect_cycles();
//sleep(60);
}
}
编辑:在我的“内存泄漏”调查中(因为我的代码继续遇到问题),这里有一些我遇到的奇怪的东西:
http://pastebin.com/c7pc5XjW 此代码在 Kohana 和 FuelPHP 上运行 - 相同的基本代码库,使用内置 DB 模块,不使用 ORM,访问相同的数据库。燃料不使用油。它是通过公共 http 访问的,就像访问 Kohana 一样。
此代码尝试处理总共约 10k 条记录中的 50 条记录。
这是我对 Kohana 的记忆日志:http://pastebin.com/gUiF9D2w
这是我的 FuelPHP 内存日志:http://pastebin.com/v8Pzwu77
请注意,Kohana 以 3Mb 开始,以 7Mb 结束。然而,FuelPHP 开始时大约 11Mb,但也以 11MB 结束。虽然 Kohana 一开始很小,但在我看来它在这方面确实存在漏洞。
有什么想法吗?
【问题讨论】:
-
什么版本的 Kohana?罪魁祸首会不会是日志记录?
-
它的 3.1。我已停用 Profiling。
-
这是一场精彩的框架大战:在我绝望的情况下,我尝试在 FuelPHP 上运行相同的代码(通过 OIL 上的任务)。结果:在 2 分钟内处理了 -302k 条记录 - 内存泄漏消失了!所以,我想这里的结论是,Kohana 代码库的某个地方存在泄漏,不知何故。 -阿诺德
-
我建议您不要使用 Web 应用程序框架运行此类后台工作守护程序。将其转换为纯 PHP 它将完美运行。
-
在 PHP 中永远运行会像 cookie 怪物吃饼干一样消耗你的 CPU 周期......而且它很可能是库中的循环引用。对您的对象进行转储并查找 **RECURSION** 因为这可以解析为未收集的对象,而且由于 PHP 本身的代码在技术上不能泄漏内存,因此泄漏必须在 C 中。