从 python 模块加载 Jinja 模板（预编译模板）答案

【问题标题】：loading Jinja templates from python modules (pre-compiled templates)从 python 模块加载 Jinja 模板（预编译模板）
【发布时间】：2012-03-14 11:06:47
【问题描述】：

我在 App Engine 上使用 Python 2.5 并尝试让 Jinja2 ModuleLoader 工作。

初始化我使用的环境：

@staticmethod                                                   # get Jinja environment (global)
def get_new():                                                   # and initialize Jinja environment
    if  myEnv._my_env == None :
        path = os.path.join(os.path.dirname(__file__), 'compiled')
        myEnv._my_env = Environment(loader = ModuleLoader(path))     

    return myEnv._my_env

'compiled' 是我的 GAE 项目中的一个目录。但是我一直收到 TemplateNotFound 异常？？

我使用以下方法编译了模板：

    env = Environment(extensions=['jinja2.ext.i18n'])

    env.filters['euros'] = Euros

    db_runtimes = Runtimes.all()                                                       # the html templates saved in a db.Blob
    for each in db_runtimes.fetch(999) :
        key = each.key().name()
        source =  db.Blob(each.content).decode('utf-8')
        name = key.split('.')[0]
        raw = env.compile(source, name=name, filename=name + '.py', raw=True)
        each.compiled = db.Blob(raw.encode('utf-8'))                           # compile and save the .py
        each.put()

生成的代码看起来不错。有任何想法吗？我希望你能帮助我。 Rodrigo Moraes 的这篇文章展示了从 python 模块加载模板的速度非常快。但在这个 2009 年的概念证明中，他“破解”了 Jinja 代码，以便能够运行该代码。我认为 ModuleLoader 应该做同样的工作。 https://groups.google.com/group/pocoo-libs/browse_thread/thread/748b0d2024f88f64

testmod.py 看起来像这样：

from __future__ import division
from jinja2.runtime import LoopContext, TemplateReference, Macro, Markup, TemplateRuntimeError, missing, concat, escape, markup_join, unicode_join, to_string, identity, TemplateNotFound
name = u'testmod.py'

def root(context, environment=environment):
    if 0: yield None
    yield u'<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0      Transitional//EN"\n"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\n<html xmlns="http://www.w3.org/1999/xhtml">\n<head>\n<meta http-equiv="Content-Type" content="text/html;   charset=utf-8" />\n<title>TEST</title>\n</head>\n<body>\n\t<p>test template</p>\n</body>\n</html>'

blocks = {}
debug_info = ''

还有页面处理程序：

def get(self):

    my_env = myEnv.get() 
    page = 'testmod.py' 
    template = my_env.get_template(page)  
    self.response.out.write(template.render({}))

我也尝试获取不带 .py 扩展名的模板。

【问题讨论】：

被编译/指定为 app.yaml 中的 static_dir？
编译为Python包，不需要app.yaml中的handler。

标签： python google-app-engine jinja2

【解决方案1】：

更新：使用我用于 CMS 的代码查看此要点：

https://gist.github.com/voscausa/9154936

更新：现在我使用 Python 27 并且能够创建一个模块加载器，它可以从包或数据库（包 = 无）加载 jinja 编译的模板（python 代码）。

要初始化加载器，可以使用：

from jinja2 import Environment
Environment(auto_reload=False, loader = moduleloader.FileSystemModuleLoader(package))

class ModuleLoader(object):
    """Base mixin class for loaders that use pre-parsed Jinja2 templates stored
    as Python code.
    """
    def get_module(self, environment, template):
        raise TemplateNotFound(template)

    def load(self, environment, filename, j_globals=None):
        """Loads a pre-compiled template, stored as Python code in a template
        module.
        """
        if j_globals is None: j_globals = {'environment' : environment}

        t = object.__new__(environment.template_class)

        module = self.get_module(environment, filename)
        name, blocks, root, debug_info = module.run(environment, t)   # module run function      

        t.environment = environment
        t.globals = j_globals
        t.name = name
        t.filename = filename
        t.blocks = blocks
        # render function and module
        t.root_render_func = root
        t._module = None

        # debug and loader helpers
        t._debug_info = debug_info
        t._uptodate = lambda: True
        return t

class FileSystemModuleLoader(ModuleLoader):

    def __init__(self, package = None):   # load module from package or datastore
        self.package = package            # package = "compiled" or package = None

    def get_module(self, environment, template):
        # Convert the path to a module name
        name = template.replace('.html', '').replace('.txt','').replace('/', '.')   # NO extensions   
        module = None

        if self.package == None :
            if name in sys.modules : return sys.modules[name]
            logging.info('load module : ' + name)      # load module from runtimes db
            try :
                runtime = models.Runtimes.get_by_key_name(template)
                module_code = db.Text(runtime.compiled)                                 
                module = imp.new_module(name)
                exec module_code in module.__dict__                                         
                sys.modules[name] = module             # add to sys modules, so no import
                return module
            except (ImportError, AttributeError):
                logging.error('load failed : ' + name)

        else :                                         # load module from package
            logging.info('load module : ' + name + ' from package : ' + self.package)
            try: 
                mod_import = __import__(self.package, globals(), None, [str(name)])
                module = getattr(mod_import, name)
                return module
            except (ImportError, AttributeError):
                logging.error('load failed : ' + name)

        raise TemplateNotFound(template)

【讨论】：

【解决方案2】：

我假设您在开发环境中预编译模板然后部署它们。您是否确认在部署的环境中可以访问这些文件？

【讨论】：

我编写了一个 Jinja CMS，其中所有 HTML 模板都存储在 blobproperty 中。我使用 Jinja FunctionLoader 从 CMS 加载 HTML 模板。这工作正常。现在我已经将这些 HTML 模板编译为 Python 代码，下载并存储在我的项目目录中。
顺便说一句，我在 SDK 中遇到了同样的问题，正如我所说的代码看起来不错，但是这些行报告了一个错误：我的 PyDev Eclipse 中的 def root(context, environment=environment)
像 : from compiled import testmod 这样的导入能够访问该模块。我还在 app.yaml 中添加了路径的静态目录

【解决方案3】：

我放弃了 ModuleLoader 并回到了 Rodrigo Moraes 的解决方案。我不必“破解” Jinja2 代码。我选择在生成的源码中插入两行代码来获取环境。

from templating import myEnv
environment = myEnv.get()                  # get (and initialize) the Jinja Environment global

我在 ModuleLoader 中更改了 Rodrigo 的加载函数：

def load(self, environment, filename, j_globals=None):
    """Loads a pre-compiled template, stored as Python code in a template
    module.
    """
    if j_globals is None: j_globals = {'environment' : environment}

    t = object.__new__(environment.template_class)

    module = self.get_module(environment, filename)
    # name, blocks, root, debug_info = module.run(environment, t)    CHANGED THE HACK

    t.environment = environment
    t.globals = j_globals
    t.name = module.name
    t.filename = filename
    t.blocks = module.blocks

    # render function and module
    t.root_render_func = module.root
    t._module = None

    # debug and loader helpers
    t._debug_info = module.debug_info
    t._uptodate = lambda: True
    return t

结果看起来很有希望。

【讨论】：

但是性能不是很好。所以我用hack和run函数改变了编译器生成的代码。现在速度相当快。我希望有人能提供一个如何使用 Jinja ModuleLoader 的例子。