xiyangyang
V2EX  ›  问与答

要做采集系统,怎么设计采集系统的架构最好

  •  
  •   xiyangyang · Jan 13, 2016 · 2379 views
    This topic created in 3816 days ago, the information mentioned may be changed or developed.

    技术需求:
    1. 多线程 java
    2. docker 上开多个虚拟机
    3. 能监控采集结果,采不到报警
    4. 对采集源的采集频率可以定制
    5. 兼容将来的大数据平台

    请教各位大神,是否已经有这种系统架构了?没有的话,得自己设计了。

    5 replies    2016-01-14 12:00:57 +08:00
    hienchu
        1
    hienchu  
       Jan 13, 2016
    采集什么数据?用什么设备?以前在学校都是直接用数据采集卡的配套软件,基本上这些功能都有了
    xujif
        2
    xujif  
       Jan 13, 2016
    pyspider
    xiyangyang
        3
    xiyangyang  
    OP
       Jan 13, 2016
    @xujif

    各种媒体平台都要采集,网站,论坛,博客,微博,微信等
    sohoer
        4
    sohoer  
       Jan 14, 2016
    跟我合作吧,完全满足

    https://coding.net/u/speed/p/newcrawler/paas
    test
    test
    xiyangyang
        5
    xiyangyang  
    OP
       Jan 14, 2016
    @sohoer, 虽然跟我们想要的还有点距离。 联系一下把, QQ : 16983994
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1245 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 17:22 · PVG 01:22 · LAX 10:22 · JFK 13:22
    ♥ Do have faith in what you're doing.