写爬虫异步处理，会大大加快请求速度。我尝试在 django 里写了这么一个爬虫模块，用的 gevent,给 view 提供数据；逼不得已，要异步爬数据，前端请求 20 条数据，后端我要向对方服务器请求 3 种不同的 URL，共 60 条请求。不异步的话，前端会等上 10s... 前端：微信小程序，后端：我的 Django 服务器，数据提供方：对方 web 服务器。谷歌了下，貌似不倡导在 django 直接使用异步请求。实在没办法了，求大佬们指条明路。
This topic created in 2722 days ago, the information mentioned may be changed or developed.
 |
1
linnchord Dec 27, 2018
celery
|
 |
2
snoopy1024 OP @linnchord 我可能没说清楚 后端的数据要及时返回给前端，后端大部分模块就是个爬虫爬数据。用类似 gevent 可以加快爬取速度。但是 在 django 里使用 异步操作就会报错… celery 我了解了下，适合做那些不需要及时返回给前端的事，例如发个邮件。
|
 |
3
DeSireFire Dec 4, 2019
楼主，我也有这样的需求，现在时隔 300 多天，可有解决方案
|
Select Language