• 请不要在回答技术问题时复制粘贴 AI 生成的内容
chy373180
V2EX  ›  程序员

关于 spark 应用的请教

  •  
  •   chy373180 · May 10, 2016 · 2790 views
    This topic created in 3681 days ago, the information mentioned may be changed or developed.

    现有如下场景: mongo 中有大量记录,现在需要计算两两之间的相似度,用 spark 合适么,我觉得不是典型的 map reduce ,不知道是不是不适合用 spark 计算。希望大家给点思路。

    2 replies    2016-05-10 14:29:40 +08:00
    lsnl8480
        1
    lsnl8480  
       May 10, 2016   ❤️ 1
    1 ,合适
    2 , spark 实现了一些协同推荐的算法
    3 , spark 读取 mongo 数据: https://databricks.com/blog/2015/03/20/using-mongodb-with-spark.html
    chy373180
        2
    chy373180  
    OP
       May 10, 2016
    @lsnl8480 可以加个扣扣什么的 详细请教下么
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1018 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 19:17 · PVG 03:17 · LAX 12:17 · JFK 15:17
    ♥ Do have faith in what you're doing.