V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2611 days ago, the information mentioned may be changed or developed.
JavaPairRDD<String, Map<String, String>> 结构的 RDD，input data 约在 1T 作用，使用常规的 reducebykey 的 excutor 内存会不够， 目前，spark.executor.memory 设置的 4G，准备继续往上加到 8G 再试， 这种情况下除了 加 executor.memory 还有其他 有效解决方式吗？ 小弟 spark 菜鸡，希望各位大佬给点指导。
 |
1
decken Mar 4, 2019
内存不够时间来凑 可以用 reparation 将数据分成更多分区
|
 |
2
ijk0 Mar 4, 2019
增加 executer 数
|
 |
3
bsidb Mar 4, 2019
用 Spark 的 DataFrame 的 API 来完成聚合操作。DataFrame API 在处理超大规模数据时，性能比 RDD 的 reduceByKey 高非常多。
|
 |
4
sampeng Mar 4, 2019 via iPhone
你这个怎么感觉就跟 500m 内存怎么分析一个 T 数据一个故事呢…内存不够时间来凑…
|
 |
7
burby Mar 4, 2019 via iPad
google bigquery
|
Select Language