RabbitMQ 消费存储到 Mysql 的速度？

This topic created in 2492 days ago, the information mentioned may be changed or developed.

项目基础：Springboot+MQ+Druid+Mysql

因为需要从 api 获取到 1kw 左右的数据，现在的做法是 api->mq->mysql。

存的数据基本是些文章数据，因此我还把 titile、content 单独放了张表

消费那边我开线程，发现手动 ack 速度稳定在 200~300

不知道这个速度是否正常，还是很低？有大佬能提下建议或者看法嘛？

MySQL

springboot

api-

mq-

2 replies • 2019-08-13 12:08:02 +08:00

1ffree

Aug 13, 2019

单机消费 300 不少了，瓶颈就在消费端吧
首先确保数据写已经优化好，然后扩消费端机器&线程，再后面就是数据库性能了

ARhen

Aug 13, 2019

@1ffree 嗯，程序放在服务器上跑了，基本上在这个速度。
开了一个线程池，线程池最大容纳线程刚好和最大预取数一致，也就是 50
之前测试过，开多个程序感觉 ack 速度提不上来，没有明显的 1+1 的效果
不知道是不是 mysql 那边的问题了。

还有就是有个奇怪的地方，多台消费端的话，如何友好的处理这些消费端？消费端一直开着嘛？后期队列有一条就会被拿走？