- 问题来源:迫于业务需求,需要持续性消费队列中的数据。
- 自身想法:如果在任务中分段取,感觉实时性会受到影响。异步开独立线程又不稳定
- 疑问:如果在 Celery 中执行一个死循环任务会发生什么
- 还有无更好的方案推 jian。
1
Aether Nov 6, 2019
你就说一句”业务需求“?你的整个问题最应该详细说明逻辑的,不就是这几个字么……
|
3
locoz Nov 6, 2019
前面业务相关的描述太简单了点...
执行死循环任务是指?消费者消费这个任务的时候会一直处于处理状态而不 ack ?还是说是同一个任务做完一次之后又扔回队列?这两种情况都是:如果生产者一直在发同样的任务,就会导致队列被塞爆。但如果生产者只发一次任务的话,不会怎么样,后者会更好监控状态一些而已。 |
4
littlespider89 Nov 6, 2019
上 kafka
|
5
GoLand Nov 6, 2019
开个独立进程去拉队列里的消息,拉到消息就直接放进 celery 消费。不用担心进程不稳定,消费速度也没有瓶颈了。celery 不是你这么用的。
|