【问题标题】:Kohana memory leak?Kohana内存泄漏?
【发布时间】:2012-05-05 04:12:51
【问题描述】:

我这里有潜在的内存泄漏。应该是小韩的吧。我希望得到你的见解。 (这几天一直在调试这个脚本,昨晚终于放弃了)。

此脚本的作用如下:

基本上,这是一个后台工作者(托管在 Pagodabox)。这就是为什么它是一个无限的while循环的原因。一步一步:

  1. 它试图获取一篇未处理的文章
  2. 然后从相关表中获取相关信息
  3. 它将信息保存到一个表中(emailerscheds)
  4. 自然,由于从表中只取了一篇文章记录,所以它会返回顶部并获取另一篇文章。
  5. 又从 1 开始。

问题:在第一条记录之后内存没有被清除,最终分配的内存,无论多么巨大,它都会用完。我不得不认为,由于您正在处理一个新的数据库对象,因此必须清除内存。但事实并非如此。

我尝试了不同的方法,你可以想到清除内存。我已经尝试将变量设为 NULL、unset(),我已经声明了 gc_enable、gc_collect_cycles(),我已经尝试让脚本休眠 60 秒,希望垃圾收集器能够在平静的时刻完成他的工作(眨眼——我知道我疯了)。我认为 ORM 是问题,所以我尝试了 DB。我试过关闭分析——顺便说一句,这有帮助,但首先不是问题。我试过__destruct。

内存仍然用完。

您可能会说数据集可能很大。这是。但问题是,这可以在内存不足之前处理大约 3 到 4 条文章记录。意思是,它实际上可以处理至少一个。我希望在 1 条记录之后,内存被释放。


public function action_grab_article_topics()
{
    gc_enable();

    $x = 1;
    while ($x == 1)
    {

        // $articles = ORM::factory('article')
        //   ->where('sent', '=', 0)
        //   // ->limit(1)
        //   ->find();

        $articles = DB::select()
                ->from('articles')
                ->where('sent', '=', 0)
                ->as_object()
                ->execute()
                ->current();

        $topics = array();
        //foreach ($articles as $a)
        //{
            //$topics = $articles->topics->find_all()->as_array();
        if ($articles)
        {   
            $topics = DB::select('topic_id')
                    ->from('articles_topics')
                    ->where("article_id", '=', $articles->id);

            if (! empty($topics))
            {
                $members = DB::select('members.id', 'members.email', 'members_topics.topic_id', 'topics.topic_name')
                        ->from('members_topics')
                        ->join('members')
                        ->on('members.id', '=', 'members_topics.member_id')
                        ->join('topics')
                        ->on('topics.id', '=', 'members_topics.topic_id')
                        ->where('members_topics.topic_id', 'IN', $topics)
                        // ->limit(20)
                        ->as_object()
                        ->execute();

                foreach ($members as $m)
                {
                    $topic_id = $m->topic_id;
                    $topic_name = $m->topic_name;

                    $data = array(
                                "member_id" => $m->id,
                                "topic_id" => $topic_id,
                                "article_id" => $a->id,
                                "topic_name" => $topic_name,
                                "title" => $a->title,
                            );

                        $emailersched = ORM::factory('emailersched')->values($data)->save();

                        unset($m);

                 }

                $members->__destruct();

            //sleep(2);

            //$m = NULL;
            }

            $data = array('sent'=> time());

            $query = DB::update('articles')
                    ->set($data)
                    ->where('id', '=', $articles->id)
                    ->execute();

             // $articles->sent = time();
             // $articles->save();


            //}

         //echo "done";
            //$a = NULL;
            //$articles->__destruct();

            $articles = NULL;
            $topics = NULL;
            unset($articles);
            unset($topics);

            }

        gc_collect_cycles();
        //sleep(60);

    }
}

编辑:在我的“内存泄漏”调查中(因为我的代码继续遇到问题),这里有一些我遇到的奇怪的东西:

http://pastebin.com/c7pc5XjW 此代码在 Kohana 和 FuelPHP 上运行 - 相同的基本代码库,使用内置 DB 模块,不使用 ORM,访问相同的数据库。燃料不使用油。它是通过公共 http 访问的,就像访问 Kohana 一样。

此代码尝试处理总共约 10k 条记录中的 50 条记录。

这是我对 Kohana 的记忆日志:http://pastebin.com/gUiF9D2w

这是我的 FuelPHP 内存日志:http://pastebin.com/v8Pzwu77

请注意,Kohana 以 3Mb 开始,以 7Mb 结束。然而,FuelPHP 开始时大约 11Mb,但也以 11MB 结束。虽然 Kohana 一开始很小,但在我看来它在这方面确实存在漏洞。

有什么想法吗?

【问题讨论】:

  • 什么版本的 Kohana?罪魁祸首会不会是日志记录?
  • 它的 3.1。我已停用 Profiling。
  • 这是一场精彩的框架大战:在我绝望的情况下,我尝试在 FuelPHP 上运行相同的代码(通过 OIL 上的任务)。结果:在 2 分钟内处理了 -302k 条记录 - 内存泄漏消失了!所以,我想这里的结论是,Kohana 代码库的某个地方存在泄漏,不知何故。 -阿诺德
  • 我建议您不要使用 Web 应用程序框架运行此类后台工作守护程序。将其转换为纯 PHP 它将完美运行。
  • 在 PHP 中永远运行会像 cookie 怪物吃饼干一样消耗你的 CPU 周期......而且它很可能是库中的循环引用。对您的对象进行转储并查找 **RECURSION** 因为这可以解析为未收集的对象,而且由于 PHP 本身的代码在技术上不能泄漏内存,因此泄漏必须在 C 中。

标签: php kohana


【解决方案1】:

您是否还确定已禁用数据库分析?

config/database.php

'profiling'    => FALSE

如果设置为 TRUE,则会导致大量泄漏,默认情况下是这样。

很容易错过这个设置,只在引导文件中更改主分析设置。

【讨论】:

  • 这是 95% 的时间看到内存“泄漏”的原因。这应该在生产中关闭。
【解决方案2】:

调试一个遗留的 Kohana 1 项目我发现 config/database.php 中的“基准”设置是罪魁祸首。在现有配置中设置为 TRUE 会导致内存泄漏,每个数据库查询对应于 UPDATE/INSERT 中的数据大小或 SELECT 中结果集的大小。设置为 FALSE,内存泄漏消失。

【讨论】:

    【解决方案3】:

    这是一场精彩的框架大战:在绝望中,我尝试将相同的代码运行到 FuelPHP(通过 OIL 上的任务)。

    结果:

    -302k 记录在 2 分钟内处理 -内存泄漏消失了!

    所以,我想这里的结论是,Kohana 代码库的某个地方存在泄漏,不知何故。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2011-10-08
      • 2013-01-20
      • 2011-10-31
      • 2019-08-10
      • 2013-06-24
      • 2011-03-22
      • 2015-04-20
      相关资源
      最近更新 更多