关于大数据上层的数据应用平台，有哪些，是可以做的呢？

[Jim2Chen]

背景

我目前是做大数据的数据开发平台的（严格来说，是维护前人遗留的数据中台的项目），现在要找一些事情做。就是不想再往数据开发平台方向找活干了。没啥产出，也容易出事故。

近期干的活

去年搞了个，基于用户行为的数据分析平台。其实就是以前需要写 SQL 查询的，现在页面上点点，能查询出来了。比如，事件分析、漏斗分析、留存分析等。

今年上半年，搞了个，用户分群的平台。其实就是基于用户行为数据的一堆条件，筛选出一个人群包，这种。

困境

现在，不知道还有哪些数据应用平台的活，是可以做的？大家有想法的，可以指导一下。或者，你们公司内部，有哪些好用的产品，平台。得找点事情干了

[icchux]

现在主流开始推广 Flink+Paimon+Doris 技术栈替换原来的 Hadoop ，Hive ，Durid ，Trino 等，统一数据源出口，简化平台引擎统一存储，降本增效。up 可以研究一下 Flink-CDC 同步到 Paimon 链路，打磨到生产高可用，再结合 Doris 可实现数据实时查询，引申出 Flink-CDC 同步链路的开发运维监控和 Doris 数仓的管理方面技术。

[Jim2Chen]

@icchux 这个我理解，还是偏数据开发平台的东西。这个说到底，还是给数据开发人员用的。我是想问的，给偏产品、运营、分析师人群用的，偏上层的数据应用平台。

[dlmy]

我曾经待过的 "用户增长“ 相关的数据方向符合你的要求，就是专门给产品、运营、分析师人群用的，可以直接拿去跟老板汇报。

比如产品可以这个，开辟新的业务渠道以及增长需求；运营可以根据这个，调整营销活动以及优惠力度；分析师可以根据这个，计算出投入产出比以及预估产品潜力......

但这个一般是互联网产品才有的东西，尤其是电商业务，几十人的团队才能做。

[softnero]

看的出来 LZ 真想搞点新东西出来，年底了 KPI 压力大......

[linhrdom]

@Jim2Chen 那可以看看云器的数据分析平台，有一整套的开发套件，不用自己搭建，还能做深度一点的分析，ETL 做数仓也行，Python 写 notebook 也行。

[pigeon2099]

运营日报 运营周报 运营月报 运营季度报 运营半年报 运营年报
大模型智能问数

想做总有能做的

[Jim2Chen]

@softnero 是的。。。。。

[Jim2Chen]

@dlmy 是的，有竞品吗？我参考一下

[Jim2Chen]

@pigeon2099 这个各种报，数仓做个报表就行了。平台没啥做的。至于大模型智能问数，真正能落地的很难。

[Wind2Illidan]

这不巧了么，我也做过一样的东西，你说的这些模块也都做过，估计功能也都一样。
结论：没啥事情可做。
下面是我个人观点：有这套东西的至少是个中大厂，分工明确，基建也都完善了。应用层就从 olap 查数或者提交个 spark 任务跑数在页面展示。用户群体主要就是运营或者商分，业务价值也不好界定，不好量化产出。我们当时做功的点就是架构优化，降本增效，提高查询效率。怎么做呢，实时查询改为指定好一些查询条件，提前预计算，砍掉一些没用的查询等等，做着很无聊也没啥技术难度。再往下的数据建模，有数仓的人做，查询引擎优化，有引擎那边团队做，应用层啥也做不了。按这个方向跳槽也很难，业务很简单，也没高并发，只能往大数据优化啊，spark 优化，olap 优化硬靠。总之就是尴尬。

[Jim2Chen]

@Wind2Illidan 我目前的想法，是往经营分析、营销分析那个方向靠

[wysnxzm]

我给公司做了一套自动化报表,实现物理表映射虚拟表物理字段映射虚拟字段,除了新增数据源需要适配一下新增表和字段后端不用改一行代码

[Wind2Illidan]

@Jim2Chen #11 按我的经验，有点难，这种系统一般偏数据中台，离业务远，没有业务敏感性，而且上面那些是用户分析，最终目标是分析群体标签属性和某些行为的关联关系（我们曾经做过一些常用分析的预计算，然后有运营反馈，你们预计算出的结果都是我们的业务认知，都知道的事情，简单说比如买口红的大概率是女性，他们是想探查他们不知道的关联关系），做精准投放的，和经营分析关系不大，和营销还是有关系的，所以一般都会有圈人的功能，圈人给营销平台用。 我也做过经营分析，所以用户分析这套和经营分析关系不大，建模方向也不太一样。

[Jim2Chen]

@Wind2Illidan 兄弟，没活路了吗。。。。。。那你后来，咋办的，也不能一直没活干啊

[cosen]

1.多维查询分析平台，支持多维度查询数仓指标，生成自定义看板，周报，日报等
2.多源查询平台，支持多数据源即席查询分析
3.风控平台，结合规则引擎实现业务风控管理
4.固定化报表，如果做了，可以考虑做 h5 ，让高管看

[Wind2Illidan]

@Jim2Chen #14 多学学底层一些优化吧，上层业务没啥用，跳槽时候吹牛逼能用上。我的经验也就是根据我们当时情况，我们会比较推崇做技术上优化（我们的价值观是完成产品功能是本分，技术上做改进才是产出），业务上的 kpi 就是支持产品迭代，技术上 kpi 就是优化查询。你看看往查询优化上做做功呢。

[b2byco]

有块数据不大，规则很复杂但是每家公司都涉及的领域，可以关注一下财务部门的报表需求，结账期间哪些数据出的慢，出不出来得线下纯手工。不过偏财务的数据不算大，并且财务是成本部门，可能投入产出比不直观，不是很好看。并且一旦要做涉及业务财务结合的报表，难度就不在数据处理本身了。

[softnero]

@Jim2Chen 业务难出成果的话，往降本增效的方向上想想

[zhangfannn]

我感觉除了取数, 或者报表外, 还可以考虑基于现在的数据 引入点能产生业务价值的算法模型,

比如我们公司是做网络安全的, 现有一些基于网络设备抓的数据 , 我想在这些数据基础上实现一些异常检测的算法

[zsk425]

我能想到的主要有两种，一种是类似 DataBricks Genie 这种基于 AI 的 BI 工具，另一种是类似数数上的运营工具。或者你能深度接触业务，能轮岗过去，或许可以发现一些可以做的事。

[sxwsuieyqwe11]

数据可视化分析平台

[Jim2Chen]

@sxwsuieyqwe11 类似 HUE ？

[sxwsuieyqwe11]

@Jim2Chen 就是 bi 报表，最直观的数据应用了

[Jim2Chen]

@sxwsuieyqwe11 这个有了

[sarracenia4101]

引入一点 ai 吧，比如用 ai 生成对应平台的 sql 方言啥的。

[Jim2Chen]

@sarracenia4101 这块落地的效果，太不可靠、太不稳定了。