python 多进程遇到的几个令人疑惑问题，求解！

实现一个爬虫，使用了python的进程池，multiprocessing.Pool，其中process个数设为multiprocessing.cpu_count()。然后遇到三个十分诡异的问题：

1. 进程池启动的进程有一些根本不干活，正在工作的进程少于process个数

2. 进程池中进程完成一个任务后就停止了，等到所有进程都完成了任务再开始新的一轮。比如说，进程池10个进程，每个取一个任务来执行，执行结束进程不再取新任务，貌似是退出了，等到池内10个进程任务都完成，然后10个进程都重新启动去取任务。

3.进程池在所有任务没有完成的且没有异常的情况下私自退出！

进程池每个进程执行一样的任务，任务中有多次次数据库读写和http请求。

困扰很长时间，希望解答

进程

任务

5 replies • 1970-01-01 08:00:00 +08:00

justfly

Dec 30, 2013

主要代码如下：

pool = multiprocessing.Pool(processes=multiprocessing.cpu_count())

for book in books:
....pool.apply_async(task, (book.book_id, book.cp_id))

pool.close()
pool.join()

hahastudio

Dec 30, 2013

1. 不清楚= =

2. Pool的话，只要池里有一个结束了就能上新任务吧
你说的“等到所有进程都完成了任务再开始新的一轮”应该是因为你这几个进程基本同时开的，工作任务基本一致，然后就基本能同时做完，那么当然感觉上是都做完了再开新的一轮。

现象你可以跑下面的代码看看，比如我这里Process 0 先跑完，然后8就跟着起来了，而不是等1~7结束

3. 是不是主进程没有pool.join()？

https://gist.github.com/hahastudio/8177137

hahastudio

Dec 30, 2013

撞上了= =有join的话= =不清楚= =

powerfj

Dec 30, 2013

建议别用多进程编程，坑多，可以试试gevent，如果scrapy可以实现功能，就用scrapy吧..

thwawar

Dec 30, 2013

@powerfj 赞同！用 gevent 即清晰又省内存