【问题标题】:Flask-SQLAlchemy Query Cost - Unicode ConversionFlask-SQLAlchemy 查询成本 - Unicode 转换
【发布时间】:2014-09-17 02:43:47
【问题描述】:

我是数据库新手,我正在尝试加快我在 Flask-SQLalchemy (Python 2.7) 应用程序中的查询速度。我已经分析了代码,但不知道如何解释它。我会喜欢关于这个主题的更一般的提示,但我的具体问题是:查询的“string_decoder”执行时间似乎非常昂贵,我假设它将字符串转换为 unicode,以便它可以以 unicode 格式返回它们。

  259619 function calls (259567 primitive calls) in 1.108 seconds                                                                                                                      

   Ordered by: cumulative time                                                                                                                                                                

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)                                                                                                                       
    1    0.007    0.007    1.108    1.108 /usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/query.py:2235(all)                                                                        
 5947    0.019    0.000    0.651    0.000 /usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/loading.py:27(instances)                                                                  
 5946    0.116    0.000    0.515    0.000 /usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/loading.py:323(_instance)                                                                 
    1    0.000    0.000    0.449    0.449 /usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/query.py:2348(__iter__)                                                                   
    1    0.000    0.000    0.448    0.448 /usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/query.py:2362(_execute_and_instances)                                                     
    1    0.000    0.000    0.448    0.448 /usr/local/lib/python2.7/dist-packages/sqlalchemy/engine/base.py:597(execute)                                                                   
    1    0.000    0.000    0.448    0.448 /usr/local/lib/python2.7/dist-packages/sqlalchemy/engine/base.py:727(_execute_clauseelement)                                                    
    1    0.000    0.000    0.446    0.446 /usr/local/lib/python2.7/dist-packages/sqlalchemy/engine/base.py:812(_execute_context)                                                          
    1    0.000    0.000    0.445    0.445 /usr/local/lib/python2.7/dist-packages/sqlalchemy/engine/default.py:323(do_execute)                                                             
    1    0.000    0.000    0.445    0.445 /usr/local/lib/python2.7/dist-packages/MySQLdb/cursors.py:164(execute)                                                                          
    1    0.000    0.000    0.445    0.445 /usr/local/lib/python2.7/dist-packages/MySQLdb/cursors.py:343(_query)                                                                           
    1    0.000    0.000    0.427    0.427 /usr/local/lib/python2.7/dist-packages/MySQLdb/cursors.py:348(_post_get_result)                                                                 
    1    0.000    0.000    0.427    0.427 /usr/local/lib/python2.7/dist-packages/MySQLdb/cursors.py:314(_fetch_row)                                                                       
    1    0.068    0.068    0.427    0.427 {built-in method fetch_row}                                                                                                                     
 5946    0.092    0.000    0.231    0.000 /usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/loading.py:280(populate_state)                                                            
12547    0.040    0.000    0.208    0.000 /usr/local/lib/python2.7/dist-packages/MySQLdb/connections.py:206(string_decoder)                                                               
12547    0.053    0.000    0.168    0.000 {method 'decode' of 'str' objects}                                                                                                              
 5946    0.121    0.000    0.152    0.000 /usr/local/lib/python2.7/dist-packages/MySQLdb/times.py:44(DateTime_or_None)                                                                    
12547    0.064    0.000    0.115    0.000 /usr/lib/python2.7/encodings/utf_8.py:15(decode)                                                                                                
53514    0.086    0.000    0.086    0.000 /usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/strategies.py:150(fetch_col)                                                              
 5946    0.038    0.000    0.085    0.000 /usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/instrumentation.py:286(new_instance)                                                      
    1    0.037    0.037    0.070    0.070 /usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/state.py:505(_commit_all_states)                                                          
 5946    0.015    0.000    0.052    0.000 /usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/strategies.py:619(reset_for_lazy_callable)                                                
12547    0.051    0.000    0.051    0.000 {_codecs.utf_8_decode}                                                                                                                          
 5946    0.028    0.000    0.037    0.000 /usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/identity.py:107(add)                                                                      
 5946    0.023    0.000    0.037    0.000 /usr/local/lib/python2.7/dist-packages/sqlalchemy/orm/state.py:285(_reset)                                                                      
17838    0.031    0.000    0.031    0.000 {method 'split' of 'str' objects}                                                                                                               
    2    0.018    0.009    0.029    0.014 /usr/local/lib/python2.7/dist-packages/sqlalchemy/util/_collections.py:687(unique_list)                                                         
 5946    0.027    0.000    0.027    0.000 /usr/local/lib/python2.7/dist-    packages/sqlalchemy/orm/state.py:44(__init__)

但是,我不需要这种情况发生。我不需要字符串为 unicode 格式,典型的 ASCII 或 python 'str' 类型就可以了。我不知道如何摆脱它,或者为什么我需要它。我可能遗漏了什么。

最后,有人可以确认检索 6k 行所需的总时间(超过一秒)真的很慢吗?这对我来说似乎太长了,但我没有太多依据。

【问题讨论】:

    标签: mysql sql python-2.7 unicode flask-sqlalchemy


    【解决方案1】:

    延长查询时间的主要因素是您获得了 6000 行。你真的需要所有 6000 行的所有列吗?解码花费的时间不到总时间的 1/5。试图对其进行微优化可能是浪费时间。考虑一下您需要移动的数据并让数据库完成繁重的工作可能是更好地利用您的时间。

    【讨论】:

    • 即使抓取 350 行和一列,查询仍然很慢,大约为 1/3 秒。原始 SQL 查询在 0.01 秒内抓取行。
    猜你喜欢
    • 2017-02-01
    • 2013-07-24
    • 2019-04-23
    • 2019-12-13
    • 2017-08-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-04-25
    相关资源
    最近更新 更多