V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4157 days ago, the information mentioned may be changed or developed.
实测：
20 个协程 * 1000 个任务 = 23 秒
20 个线程 * 1000 个任务 = 12 秒
10个协程 cpu 占用 2.3%
20 个线程 cpu 占用 56 %
测试代码为最简单 get 网页（ with gevent.pool & reqeusts）
20 个协程 * 1000 个任务 = 23 秒
20 个线程 * 1000 个任务 = 12 秒
10个协程 cpu 占用 2.3%
20 个线程 cpu 占用 56 %
测试代码为最简单 get 网页（ with gevent.pool & reqeusts）
 |
1
felixzhu Dec 9, 2014
切换成本？
|
 |
2
phoneli Dec 9, 2014
网络io处理的问题？
|
 |
3
imn1 Dec 9, 2014
你那个不是乘的关系吧？
12秒 1k任务挺难想象的……爬什么网？ 如果只是本地，实际上只是磁盘IO…… |
 |
4
est Dec 9, 2014
目测代码姿势奇特。
|
 |
5
clino Dec 9, 2014
因为协程只能用一个cpu吧
所以适合与高IO低CPU的任务 |
 |
6
wuyadong Dec 9, 2014
requests是阻塞的吧。这样用没有用到协程的效果吧。
|
|
7
clino Dec 9, 2014
是不是因为爬到本地以后要做不少耗CPU的处理导致有这样的结果?
如果有比较耗CPU的动作,看能不能在协程中调用子进程处理,这样就不会因为高CPU阻塞本进程 |
 |
8
Feiox OP |
 |
9
richardtsai Dec 9, 2014
|
 |
10
dant Dec 9, 2014 via iPhone
20 个线程应该完全没有压力啊...
不过 CPython 好像有 GIL？ |
 |
11
tabris17 Dec 9, 2014
你协程有没有充分利用多CPU资源，协程使用的IO库是不是阻塞的
|
 |
12
sujin190 Dec 9, 2014
协程不是这么用的
|
 |
13
displayabc Dec 9, 2014
为什么协程会比线程快？
|
 |
14
cloverstd Dec 9, 2014
|
 |
15
zhouquanbest Dec 9, 2014
为了取得平衡
我一般是多worker(process)+gevent 数量根据业务调配 这样比较方便 （论人手一个Python爬虫轮子的重要性） |
|
16
clino Dec 9, 2014
楼主用 grequests 试过了吗?
|
 |
17
njutree Dec 9, 2014
首先不同语言的协程和线程还是有区别的，其次楼主爬的什么网页io高么，最后使用协程的时候没有让他们有阻塞么？
|
 |
18
zenliver Dec 10, 2014
request 阻塞的 无误
|
|
19
wuyadong Dec 10, 2014
@Feiox request是阻塞的，异步的关键是非阻塞的IO。我不是特别清楚gevent是否能将request转成非阻塞IO，但是我觉得有可能这个阻塞IO可能是关键。：）
|
 |
21
datou552211 Dec 30, 2014 via iPhone
协程 语言本身代替系统做了线程的工作 所以和语言的效率有关
|
Select Language