1.flink-doris 写入任务 到某个内存阈值 be 就挂了 一天能挂几次 但是看使用情况并没有到达百分之八十 还是有很多内存
2.排除任务的问题，已经运行了一年多了
3.我们大裁员裁到大动脉了 我也不太懂这些 有老哥知道怎么排除问题吗 感谢
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 384 days ago, the information mentioned may be changed or developed.
 |
1
LiaoMatt May 20, 2025
dmsg 看下 pid 有没有 oom
|
 |
2
Devifish May 20, 2025
BE 是 java 跑的，CPU 占用这么高目测全是 GC 。 看下 jvm 堆配置的大小
|
 |
3
R77 May 20, 2025
内存 oom 吧
|
 |
4
lyt001 May 20, 2025
fe 和 be 混布吗？
把混布的机器 be.conf 的设置内存调小，但是这样 be 不会崩又会导致查询或者导入任务内存不足崩溃 一劳永逸的办法就是加机器 |
 |
5
zwenooo May 21, 2025
把 be 的 crash 日志都上来撒。
|
|
6
zwenooo May 21, 2025
be/log/be.out 里头只有你发的这些吗？再看看
|
 |
7
Marelbruim OP @LiaoMatt
 显示这个 |
|
8
Marelbruim OP @wzwmeme #6 是的只有这些 ：(
|
|
9
Marelbruim OP @lyt001 是混布的 de.conf 调小 不会更容易崩吗
|
|
10
lyt001 May 21, 2025
@Marelbruim
所以说一劳永逸的方法是加机器，把 fe 和 be 分开部署 要是实在加不起机器，那就舍弃 fe 的冗余，只布 1 台 fe ，另外 2 台关掉。 把留下的那台的 fe 上面的 be 关掉数据转移到其他 be 上去 |
|
11
lyt001 May 21, 2025
@Marelbruim 拿你的日志问了下 deepseek ，初步判断大概是 compation 分配不到内存空间，be 可用内存不足的问题。
你的监控页面采集的大概率只是 be 进程占用的内存，但是 fe 占用和系统占用的内存没有计算进去，所以你看内存还有剩余，但是其实已经没有了。 调小 be.conf 设置的内存值，be 会更保守预估可用内存，减少崩溃的概率，但是会在内存紧张时拒绝一些查询或导入任务，其实也是治标不治本。 |
|
12
Marelbruim OP @lyt001 #11 soga 这已经超出我的能力范围了 还是躺平吧
 |
Select Language