我这种用 celery 对吗？

This topic created in 3395 days ago, the information mentioned may be changed or developed.

有两个函数对应两个多线程爬虫，把这两个函数放 celery 里面跑，不管他自己开的线程，可以么？

按道理是不是应该爬虫函数自己不开线程，全抛队列里，让队列开多线程去取？

1 replies • 2017-04-05 11:31:47 +08:00

1

simapple

Apr 5, 2017

没毛病，我就是用 celery 定时执行 scrapy 去抓取数据的