使用 tornado 这种异步请求框架做爬虫，效率高么？

爬虫

Tornado

异步

请求

14 replies • 2016-01-18 02:27:58 +08:00

1

loading

Jan 17, 2016 via Android

1

爬虫要什么效率…不然大家都不会用 python 写了。
好写才是重点，很多时候都是网速不给力。

2

binux

Jan 17, 2016

高

3

lepture

Jan 17, 2016

@loading 所言得之

4

Garantion

Jan 17, 2016

celery

5

ethego

Jan 17, 2016

@loading 正因为网速不给力所以异步带来的效率提升才是惊人的，根本不是你说这的这样。

6

ethego

Jan 17, 2016

@Garantion celery 不能解决阻塞的问题吧

7

Garantion

Jan 17, 2016

@ethego 这个不太清楚一般我会在调度的时候就尽量考虑阻塞的问题有什么好办法吗？

8

ethego

Jan 17, 2016

@Garantion gevent ， python3 的话有 asyncio

9

Garantion

Jan 17, 2016

@ethego 对对对你一说这个我上次偷懒没用 gevent 看来的确要用一下学习一下多谢多谢

10

loading

Jan 17, 2016 via Android

@ethego 带宽跑满了，能更快？

11

ethego

Jan 17, 2016

@loading 如果不开多线程或者协程，能跑满带宽？

12

loading

Jan 17, 2016 via Android

@ethego 我没说不开多线程…你看下楼主问题好吧。

13

ethego

Jan 17, 2016

@loading 楼主问的是是 tornado ，不是 python ， tornado 是通过 ioloop 的方式解决阻塞的问题。

14

ericls

Jan 18, 2016

是很高的