现在比较轻量的 bi 和 etl 是什么？

[sunorg]

有一批数据要处理，数据源乱七八糟，但数据量不大，一般一天递增 2 万，哪位朋友能给推荐个 ETL 和 BI 可视化的？？

[sunorg]

.补充下信息:

目前数据源主要是 excel ，mongodb ，json 文本，普通 txt.

主要使用需要是 python 。

[haimianbihdata]

有预算就帆软的，没有就开源 superset 之类的 bi 。etl 就海豚调度➕Python 处理文本入库。大差不差

[KKLeon]

powerbi 和 tableau ？ tableau 可视化做的不错，原来体验过，不过我用的很基础

[ferock]

mark ，期待后续解答

[hysys32]

powerbi 宇宙最强

[sunorg]

@haimianbihdata 感谢，我学习一下这个去

[Babbitt]

有类似需求，关注下

[fridaycatye]

mark ，我自己用过 datax 和 kettle

[sujin190]

https://github.com/snower/syncany-sql

那来推荐下这个项目呗，写 SQL 可以同时查询你需要的这些数据源还可以相互 join ，python 搞的，出发点也就是你现在遇到的这种需求，把统计结果同步到 mysql 之类的，图表用 superset 就很好用了

[sunorg]

@sujin190 十分有意思的项目，谢谢。晚点我试一下

[howfree]

有个叫 datart 的，不知道能不能满足你的需求

[sujin190]

@sunorg #10 顺便补充一点点，这个写的 SQL 主要方向还是数据导出和数据同步，所以 insert into 并不和数据库的 insert into 一样，其 select 的第一个字段表示主键唯一值，insert into 的时候可以指定选项按这个字段值存在则更新否则插入以保证可重入，毕竟定时脚本统计同步数据不能保证重入简直坑死人，默认则是追加，如果是按天统计结果的也推荐用日期加统计类型来构建一个唯一值更容易保证不出错

[Chalice]

最近测了很多 bi ，大部分对 MongoDB 的支持都很烂（比如 metabase 不支持 MongoDB 的 array ）， 有的甚至完全不支持，最好先用 MongoDB Connector for BI 转换下。

[sunorg]

@sujin190 有点不合适，有些追加有些覆盖

[sunorg]

@haimianbihdata

海豚调度，客户端太耗费系统资源了。