python - 使用雪花和python连接池耗尽时如何处理

Question

有人可以解释一下当任何数据库达到最大连接数限制时我们如何处理这种情况。我们可以在等待状态下建立连接，直到任何现有连接自动释放。

import snowflake.connector as sf
import sqlalchemy.pool as pool
def get_conn():
    conn = sf.connect(
        user='username',
        password='password',
        account='snowflake-account-name',
        warehouse='compute_wh',
        database='customer_data'
    )

    return conn

mypool = pool.QueuePool(get_conn, max_overflow=10, pool_size=5)
a = mypool.connect()
a1 = mypool.connect()
a2 = mypool.connect()
a3 = mypool.connect()
a4 = mypool.connect()
a5 = mypool.connect()
a6 = mypool.connect()
a7 = mypool.connect()
a8 = mypool.connect()
a9 = mypool.connect() 
a11 = mypool.connect()
a12 = mypool.connect()
a13 = mypool.connect()
a14 = mypool.connect()
a15 = mypool.connect()

直到 a14 我们将成功获得 10 个连接对象，但是 当我们取消注释并运行这个 a15.当池用尽时，我们会收到一个错误。如何处理这种情况？？

如果我们需要以这样一种方式编写逻辑，我们甚至必须授予访问权限
尽管实例不断增加。帮助我如何发回连接
去游泳池？？

Answer 1

您的池配置为容纳五个与数据库的打开连接，并在负载较重时创建多达十个“溢出”连接。

执行mypool.connect() 将检查连接，因此当您超过池大小加上溢出时会出现错误。

如果您不需要它们做更多的工作，您应该将连接返回到池中。

这可以通过调用例如明确地完成。 a1.close()（顺便说一句，最好给出描述性名称 - 这些是 Connection 对象）。

但是，更好的方法是使用上下文管理器，因为如果在您签出连接并使用conn.close() 返回它之间抛出异常，您最终将拥有一个永久签出的连接并最终遇到同样的问题。

例如

with mypool.connect() as conn:
    do_some_work(conn)

more_code()

当您完成 with 块（上下文管理器）并继续执行更多代码时，或者如果您因异常退出它，连接将返回到池以供将来使用。

Answer 2

我认为即使在池中达到最大限制，此代码也会起作用。如果我做错了什么，请纠正我。

import snowflake.connector as sf
import sqlalchemy.pool as pool
    
class Database:
    connection_pool = None
    
    @classmethod
    def initialise(cls):
        def get_conn():
            conn = sf.connect(
                user='username',
                password='password',
                account='accountname',
                warehouse='compute_wh',
                database='customer_data'
            )
    
            return conn
    
        cls.connection_pool = pool.QueuePool(get_conn, max_overflow=1, pool_size=1)
    
class ConnectionFromPool:
    def __init__(self):
        self.connection  = None
        
    def __enter__(self):
        self.connection = Database.connection_pool.connect()
        return self.connection
        
    def __exit__(self, exc_type, exc_val, exc_tb):
        self.connection.commit()
        Database.connection_pool.dispose()
    
    
class User:
    def __init__(self, cust_key, name, address):
        self.cust_key = cust_key
        self.name = name
        self.address = address
    
    def save_to_db(self):
        with ConnectionFromPool() as connection:
            with connection.cursor() as cursor:
                cursor.execute("insert into data(cust_key,name,address) values (%s, %s, %s)", (self.cust_key, self.name, self.address))
    
    
    
Database.initialise()
user_to_db = User(1,'padma', 'ramnagar')
user_to_db.save_to_db()
user_to_db.save_to_db()
print("success")