aidevs
V2EX  ›  问与答

spark 是个什么玩意?可以用来干嘛?

  •  
  •   aidevs · Jul 29, 2016 via iPhone · 4261 views
    This topic created in 3645 days ago, the information mentioned may be changed or developed.
    最近老看到这个词
    5 replies    2016-07-30 09:09:44 +08:00
    DingSoung
        1
    DingSoung  
       Jul 29, 2016
    集群
    ooonme
        2
    ooonme  
       Jul 30, 2016 via iPhone
    分布式计算,机器学习,人工智能
    shakespaces
        3
    shakespaces  
       Jul 30, 2016 via Android
    类似于 hadoop 的另一种实现,主要用 scala ,不过还不是非常的成熟
    yyfearth
        4
    yyfearth  
       Jul 30, 2016   ❤️ 1
    @shakespaces 虽然都是大数据处理引擎 但是和 Hadoop 还是很不一样的
    Hadoop 一般用来后期处理数据 而 Spark 更偏向于实时处理
    应用场景不完全一致 所以不应该说是 “类似于 hadoop 的另一种实现”
    虽然很多简单的情况 两种都能做
    xiamx
        5
    xiamx  
       Jul 30, 2016
    @shakespaces 不对的。已经很成熟了。百度,淘宝, Amazon , Ebay 都部署了生产级别的 Spark 集群 https://cwiki.apache.org/confluence/display/SPARK/Powered+By+Spark
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3761 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 10:24 · PVG 18:24 · LAX 03:24 · JFK 06:24
    ♥ Do have faith in what you're doing.