Home
Sign Up
Sign In
推荐学习书目
›
Learn Python the Hard Way
Python Sites
›
PyPI
- Python Package Index
›
http://diveintopython.org/toc/index.html
›
Pocoo
值得关注的项目
›
PyPy
›
Celery
›
Jinja2
›
Read the Docs
›
gevent
›
pyenv
›
virtualenv
›
Stackless Python
›
Beautiful Soup
›
结巴中文分词
›
Green Unicorn
›
Sentry
›
Shovel
›
Pyflakes
›
pytest
Python 编程
›
pep8 Checker
Styles
›
PEP 8
›
Google Python Style Guide
›
Code Style from The Hitchhiker's Guide
V2EX
›
Python
一个分布式采集系统问题,请大神解答下
guch99999
·
Oct 21, 2021
· 2354 views
This topic created in 1703 days ago, the information mentioned may be changed or developed.
最近在做一个爬虫系统,本地的爬虫端我我做的,包含了几款 app 的登录爬取操作,后台是后端兄弟用 springboot 做的,现在在进行对接,他那边下发任务通过 redis 消息通道,我这边要上报心跳和任务爬取状态,要支持并发。 想问下,我这边客户端怎么做并发操作,就是定时节点心跳上报同时开站爬虫、任务采集状态上报。 难道用进程和线程吗? python 这边有没有比较好的异步处理方案或者工具
爬虫
上报
并发
心跳
1 replies
1
Livid
MOD
PRO
Oct 24, 2021 via iPhone
https://python-rq.org/
About
·
Help
·
Advertise
·
Blog
·
API
·
FAQ
·
Solana
·
2612 Online
Highest 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 28ms ·
UTC 04:59
·
PVG 12:59
·
LAX 21:59
·
JFK 00:59
♥ Do have faith in what you're doing.
❯