Home Sign Up Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
x14oL
V2EX  ›  Python

分布式 py 程序案例？求助。

  •   
  •   x14oL · Mar 25, 2015 · 2644 views
    This topic created in 4123 days ago, the information mentioned may be changed or developed.
    由于题主需要，准备开发一套基于分布式原理的程序，一个主控端下达指令给agent，agent自动获取任务进行调度。
    其中还需要包含可扩展的插件形式执行一些附加的脚本或者过滤代码。
    大家可以理解成是一只分布式的爬虫。

    不知道描述的是不是有问题？
    只是没有写过这样的东西，github上有没有这样的案例？（自己没发现）
    或者有没有人大概有一些类似的案例可以分享的。
    想了解一下具体的技术细节，并不是来要代码的。
  • 分布式
  • 案例
  • agent
    6 replies  •  2015-03-26 07:29:33 +08:00
    zhicheng
        1
    zhicheng  
       Mar 25, 2015
    这不是分布式，你这是一个队列。
    x14oL
        2
    x14oL  
    OP
       Mar 25, 2015
    @zhicheng
    是我表达不清，我要是的可以通过添加主机的情况，去完成任务。
    我要的不是队列。
    mengzhuo
        3
    mengzhuo  
       Mar 25, 2015
    不上数据中心的算个啥分布式
    随便一个Github上的爬虫项目都可以搞定
    x14oL
        4
    x14oL  
    OP
       Mar 25, 2015
    @mengzhuo 对这个的概念不是很理解。
    有啥优秀的项目地址可以推荐，因为本身我不是为了分布式。举爬虫的例子只是方便理解。
    有相关的文章介绍分布式不？
    我搜的文章感觉都讲的不是很清楚。
    谢谢
    czheo
        5
    czheo  
       Mar 25, 2015 via iPhone   ❤️ 1
    没看懂
    Owenjia
        6
    Owenjia  
       Mar 26, 2015 via Android
    感觉这个需求在哪见过的样子，好像是某公司招人的题目……
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1499 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 16:37 · PVG 00:37 · LAX 09:37 · JFK 12:37
    ♥ Do have faith in what you're doing.