屌屌的 Postgresql 连接池

2017-03-31 13:48:36 +08:00
 dikT

屌屌的 Postgresql 连接池

原文是这么描述的

class psycopg2.pool.AbstractConnectionPool(minconn, maxconn, *args, **kwargs)
	Base class implementing generic key-based pooling code.
	
	New minconn connections are created automatically. The pool will support a maximum of about maxconn connections. *args and **kwargsare passed to the connect() function.
	
	The following methods are expected to be implemented by subclasses:
	
	getconn(key=None)
	Get a free connection and assign it to key if not None.
	
	putconn(conn, key=None, close=False)
	Put away a connection.
	
	If close is True, discard the connection from the pool.
	
	closeall()
	Close all the connections handled by the pool.
	
	Note that all the connections are closed, including ones eventually in use by the application.

大致意思是说在创建这个pool对象时,会自动创建参数minconn个数的连接池.并且最终最多能支持maximum这么多个链接

然后这个pool提供getconn,putconn,closeall三个方法

getconn用于获取一个链接, 可选参数key,传入获取对应的链接

putconn回收一个链接, 可选参数key,与 get 与之相对

closeall关闭所有链接

试一试

普通的 connect, 10000 次查询

import database
from time import time
t = time()
n = 10000
db = database.PSQL()
while n:
    db.get_conn()
    data = db.query(table="vshop_order",
                      columns=["id", "order_no", "state"],
                      order_by="-id",
                      limit=1)
    n -= 1
print(time() - t) 
$: 138.07099604606628

使用连接池

import database
from time import time
db = database.PSQL()
lst = [str(i) for i in range(20)]
t = time()
n = 10000
while n:
    key = lst.pop(0)
    db.get_conn(key)
    data = db.query(table="vshop_order",
                      columns=["id", "order_no", "state"],
                      order_by="-id",
                      limit=1)
    n -= 1
    db.put_conn(key)
    lst.append(key)
print(time() - t)
$: 8.982805013656616

效果还是很明显的, 重复测试多次,倍数范围都在 15 倍左右

顺便说下环境

源码下载

>>>原文地址<<<

5983 次点击
所在节点    分享发现
10 条回复
welsmann
2017-03-31 14:08:42 +08:00
....连接池不就是干这个的吗....
dikT
2017-03-31 14:19:34 +08:00
@welsmann 然而我们公司之前的框架都是实例化一个新对象...
glasslion
2017-03-31 15:54:15 +08:00
Postgresql 连接池一般用 pgbounce 或 pgpool 之类的中间件
dikT
2017-03-31 15:56:55 +08:00
@glasslion tks,我去看看
stabc
2017-03-31 16:17:08 +08:00
我对这个概念不懂,这是不是一万次查询和一万次连接数据库的性能差别?
imherer
2017-03-31 16:47:10 +08:00
1069401249
2017-03-31 18:37:32 +08:00
没达到性能瓶颈吧,现在高并发的产品毕竟不多,所以你们还没做优化。。。
dikT
2017-03-31 20:00:54 +08:00
@1069401249 是啊,去哪儿找那么多高并发 ( ͡° ͜ʖ ͡°)
AcmeSa
2017-04-11 00:06:50 +08:00
@welsmann S 的账号好象不能登录了,弱弱问一句,还能带我一起玩吗?
dikT
2017-04-11 09:20:44 +08:00
@AcmeSa 你在说啥..

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/351734

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX