单独使用 Celery 和 Django ORM 时, celery worker process 复制 main process 的数据库连接?

# encoding: utf-8
from __future__ import absolute_import

from some_django_app.celery import app
from .services import use_orm

@app.task
def test():
    print 'Test succeed'


@app.task
def do_some():
    use_orm
do_some.delay()

是否在执行 celery worker -l info -A project_name 时创建的数据库连接先由Main process建立, 然后再生成celery worker process, 从而多个celery worker process共用一个数据库连接?

Celery

Worker

Process

import

4 replies • 2017-11-01 13:38:59 +08:00

myyou

Nov 1, 2017

Django 没有使用连接池而是持久化，所以只有你对数据库操作时才会建立数据库链接，刚建立进程时是没有数据库连接的。即使有连接池，进程之间资源也不共享，子进程只是父进程的 copy，并不共享内存，所以你程序中有操作数据库的话，还是一个进程会占用一个连接。

noobsheldon

Nov 1, 2017

@myyou 我数据库设置的连接过期时间为 5 分钟, Django 的 Setting.py 中没有设置 MAX_CON_AGE(默认值是 0); 我在 use_orm 中起了一个 RabbitMQ 的消息队列的消费者(start_consuming), 收到消息并利用 ORM 保存数据库. 刚启动 Celery 的时候是正常的, 但是过了 5 分钟后, 再从消息队列接收到消息时, 就会出现 MySQL server has gone away 的错误. 这为啥呢? 能说说你的想法么

myyou

Nov 1, 2017

@noobsheldon 独立进程需要手动手动管理数据库关闭。在你使用 orm 的函数起始位置加上 close_old_connections() 例如：
```
from django.db import close_old_connections
def func_use_orm():
close_old_connections()

······

close_old_connections()
```

noobsheldon

Nov 1, 2017

@myyou close_old_connections() 没有用, 使用`connection.close()`倒是能行