V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 1526 days ago, the information mentioned may be changed or developed.
性能上的差异是微乎其微的，Spark 底层都是转换成 RDD 执行。对于习惯写 SQL 的人来说，似乎关注 SQL 层面的优化即可。大佬们生产上都怎么用？
 |
1
picone Feb 21, 2022
我觉得重点还是需要关注最终执行计划，怎么实现都不重要。看看 DAG 有没有可优化的地方，比如减少 shuffle 数据，把重复计算的地方 cahce 等等。
|
 |
2
F281M6Dh8DXpD1g2 Feb 21, 2022 via iPhone
写啥都一样
|
 |
3
sl19981007 Feb 21, 2022
sql 能实现的用 DataFrame 的各种函数也都能实现，看个人习惯吧，用哪个都能用到 Spark SQL 的各种优化机制，Catalyst 、Tungsten 等,重要的还是减少 shuffle 吧
|
 |
4
vincent7245 Feb 21, 2022
看具体业务啦，对于临时性的简单业务，一般公司大数据中台都可以直接把 sql 提交到 spark 运行，这样更灵活一些。对于复杂的业务，一条 sql 搞不定的，或者比较稳定的业务，就手撸 DataFrame
|
 |
5
Aksura Feb 21, 2022
混合着用，有的逻辑 SQL 写清晰，有的逻辑调用方法清晰。
|
Select Language