This topic created in 1264 days ago, the information mentioned may be changed or developed.
今年团队打算实现一个 BI 大数据分析平台,团队人不多,都 1-2 年经验,主要做 hadoop spark flink 这种的大数据开发工作,由于项目太多,而且项目都比较类似,接入数据源、处理分析、输出应用。
所以就想做一个通用化的平台,业务场景也不复杂,老板给时间让我们自研,所以不考虑使用现成的 BI 产品。
但是我们对这个都没啥经验,无从下手,前些天看了网易有数,能实现有个简易版的网易有数这种就百分之百可以满足需求了,对于技术这块,有开源的产品可以借鉴吗?或者我们应该储备哪些知识点?都有哪些环节,如何开展呢?
因为要讲图形化拖拽转化为代码逻辑,这块我就不知道是如何实现了,希望大佬们多给支支招!
Supplement 1 · Jan 3, 2023
感谢各位大佬,superset 之前使用过,但是好像不能做网易有数那种一个 flow 的数据计算。
比如在界面拖拽数据源,再退拽算子,然后拖转 sink 的数据库这种
11 replies • 2023-10-02 10:53:18 +08:00
 |
|
1
xingdu Jan 2, 2023 1
apache superset 就是搞这种拖拉拽生成图表的,只是后端是 python 写的,不确定二次开发的成本有多大。
|
 |
|
2
shinyzhu Jan 2, 2023 1
现在做个 BI 也很简单了,不像之前还要做一个 EDW 。
楼上提到的 superset 是一个很好的选择,配套的你把数据流水线弄好就行,推荐 Airflow ,同样是开源项目的。然后用一套 web 承载整个 BI 就可以了。
|
 |
|
3
512357301 Jan 3, 2023 via Android 1
真心建议,采购吧,十万预算也可以好好挑挑了。 备选方案是用市面上的各种低代码平台搭建,不用很高深,让运营能快速上手就行
|
 |
|
5
wenqiang1208 Jan 3, 2023 1
之前做过 superset 的二开,需要后端 python 和 前端 React 的相关技能。 superset 只需要配置好数据源, 就可以从数据源中取数据进行数据聚合展示。
|
 |
|
6
daysv Jan 3, 2023 1
以前做过, 这一块东西很复杂的, 1-2 年经验做出来的东西不得行, 建议外购
|
 |
|
7
ptaooo Jan 3, 2023 1
楼上说的 airflow 我大概接触过一点,比较适合做任务的调度,不太建议来做数据相关的,他的任务组件之间没有数据流,只有任务间的执行逻辑关系
|
 |
|
8
jones2000 Jan 3, 2023 1
会用 canvas 就可以, 自己画呗。2-3 年用 canvas 开发的就基本可以了。
|
 |
|
9
512357301 Jan 4, 2023 via Android 1
如果准备自研的话,产品经理必须给力,研发其实难度并没有那么大,产品经理没有规划的话,做不出来好东西,最好是有从 BI 平台跳过来的产品经理
|
 |
|
10
leokun Sep 2, 2023
bi 现在很简单,我们公司 3 个人 1 个半月就开发出来了
|