Yoo趣儿

Yoo趣儿 › Geek › 程序员 › 智能 SQL 分析系统（我的新作品）

智能 SQL 分析系统（我的新作品）

查看 820|回复 103
Braisdom
OP
  
@xmh51 我要计算的是过亿级别的数据，其它的小数据 excel 和 power bi 足够了。
xmh51   
@Braisdom
1 ）数据的二次处理 正是因为数据规整化的需求，才诞生了二次处理的这个实现。就算没有 etl ，你用原生的 sql 做多表的连接，也是数据的规整化的一个环节。这个只是技术实现方式的不同而已。原生 sql 和 etl 和轻量级可视化 elt 和可视化生成的优劣不在这里进行对比
3 ）大量复杂的 SQL
没有见到过主流的 bi 产品必须要写 sql 的，各大 bi 产品，sql 都是可选功能。
Braisdom
OP
  
@xmh51 如果没有数据的再加工（提前按维度聚合），现有的 BI 都需要写 SQL 的。都是原始表的话，任何一个分析基本上都需要几百行的 SQL ，join 几十几张表。
xmh51   
@Braisdom 用一下国内的 BI （远观，网易有数，帆软，Quick BI ），基本上都是无代码。功能基本上都是，数据源（各种数据库），数据集（库内 SQL 各种 JION ），自助取数，即席分析，仪表板，中国式电子表格，加速引擎。这些都是无代码 OLAP 最后落地的产品。你引以为傲的用户输入端的 SQL ，解析成为语法树，再到生成各个数据库的 SQL ，这样的能力，说真的到处都是（做法不同，但是都做出来了 SQL 适配各种数据库的方言）。我很鼓励你去做这个系统，我还是只能说，你往后要做的路，无疑还是一个中国 BI
Braisdom
OP
  
关注一下
Braisdom
OP
  
@beneo 这些 BI 我都用过，也研究过他们的实现方案，基本上都是通过宽表的方式解决的。网易有数，帆软 这两个我特别仔细的研究过，很难做到开箱即用，前期都需要做很多工作。
xmh51   
@Braisdom 提几个问题，希望你不熬介意，有接触过亿级别数据量公司的具体诉求吗？市场规模有多大？他们正在使用的产品是什么？出于什么原因，这些公司会使用 bi 产品？这些核心功能交互是怎么样的？准备投入多少成本进来开发？你有信心说服客户更换系统吗？你的核心优势是什么？
恕我直言，你认为两个痛点，已经有很多的可视化解决方案了
另外，稍微大的公司是不会让你裸连 sql 服务器的，不建设 bi 平台，怎么访问 sql 服务器？
bi 产品不在于技术，不是拼谁的刀快，而是拼厚度，深度，这个积累的成本非常高。
xmh51   
@beneo 还有用户端输入的不是 SQL ，而是任意关系的几十张表中的列，或者 count, sum 聚合，还有各种多表的计算表达式映射的中文指标。生成的 SQL 中会有大量子查询解决 overcounting 问题，不是简单的 join
Braisdom
OP
  
@Braisdom 有想过为什么没有办法做到开箱即用吗？ bi 不像基础架构类似的组件，简洁优雅，直面客户的产品，尤其是大客户的业务产品的复杂度都不会低，希望你有准备。
xmh51   
@xmh51
1 ）我之前的公司是个很小公司，做零售数据业务的，正常分析的数据差不多 20 亿左右吧。后面换了一个做招聘数据分析
的公司，数据也过亿了。
2 ）我的 Agile Query 是个开箱即用的，不需要二次开发，直接连接上数据库就可以进行各种复杂分析。
3 ）数据分析和正常的业务完全可以分开的，通过 CDC 实时同步一份进行分析。不存在安全问题。
4 ）技术的发展是降低开发、维护工作量，充分满足灵活的业务发展，以及更便宜的价格。
下一页 »
12345678910... 11下一页
返回列表
您需要登录后才可以回帖 登录 | 立即注册

AD1

热门主题

热门板块

问与答分享发现分享创造奇思妙想分享邀请码商业推广优惠信息PythonPHPJavaJavaScriptNode.jsGo语言C++HTML

公告

标签|小黑屋|Yoo趣儿

GMT+8, 2024-9-20 20:38 , Processed in 0.008979 second(s), 5 queries , Gzip On, MemCached On.

Powered by Discuz! X3.2

The happiest thing in the world is to strive for an ideal.

返回顶部