加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Python > 正文

Django数据库连接的问题

发布时间:2020-12-20 10:21:27 所属栏目:Python 来源:网络整理
导读:多线程运行项目。有N个工作线程从DB中获取jobs,并把结果写回DB。 项目运行一段时间后,发现数据库连接耗尽了,幸好内存大,然后一直往上调,最后连接数都上8000多。耗尽连接数的时候,postgresql 会出现类似这样的错误: FATAL: remaining connection slots

多线程运行项目。有N个工作线程从DB中获取jobs,并把结果写回DB。

项目运行一段时间后,发现数据库连接耗尽了,幸好内存大,然后一直往上调,最后连接数都上8000多。耗尽连接数的时候,postgresql 会出现类似这样的错误:

FATAL: remaining connection slots are reserved for non-replication superuser connections

大概是这么两个知识点:
1.如果是Web项目,在请求结束的时候,Django会去关闭掉连接。是的,没有连接池。
2.因为我们是非Web项目,所以不存在请求结束事件,所以一直没的关闭连接。但本来这个应该也不会造成问题的,因为没关闭就一直用呗,但不知道哪里出了问题,会出现连接泄漏,所以连接数据会一直增长。

最后的解决方案是找时机主动关闭数据库连接,具体到我们项目,就是每次工作线程完成一个任务后,就把它相关的连接关掉,因为我们用的是ThreadPoolExecutor,所以Django很容易做到这一点。
代码如下:
from django.db import connections
def on_done(future):
? ? connections.close_all()
def main():
? ? with ThreadPoolExecutor() as executor:
? ?? ???while True:
? ?? ?? ?? ?future = executor.submit(do,get_a_job())
? ?? ?? ?? ?future.add_done_callback(on_done)

更多技术资讯可关注:gzitcast

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读