[数据开发] Doris 实际生产经验以及问题请教

查看 42|回复 2
作者:yellowmarlboro   
本人为数据开发新手。工作内容需要给分析师提供线上实时的计算和统计工作,但是目前业务数据使用的是 mysql ,虽然大部分情况我这里是使用从库,但过于复杂和大量数据的统计使用 mysql 依然不合适。目前有一部分任务可以放在离线大数据平台如 hive 等做,但是还是有一部分需要线上实时的计算(需要和业务主库延迟在毫秒级)的任务需要。实时计算 mysql 的单表数量大多是 10 亿内,会在各表之间关联做逻辑,大概 100 张表
最近调研了一下 doris ,也看了很多文档,但是不知道 doris 在这方面是不是合适,是不是既可以满足在线其它系统实时调用的快速计算,又可以定制批量计算任务?。希望有经验的大佬分享一下。
另外还有一些问题
  • 数据同步方面,binlog 同步至 doris 是不是保证低数据延迟的解?有没有别的更合适的方案
  • 大家有没有类似的需求又是如何解决的?
    谢谢~

    doris, MySQL, 计算, 数据

  • David1119   
    合适,flink+doris 轻松搞定,如果不需要开窗口或者状态计算,doris 就够
    notvalid   
    我司用 StarRocks (和 Drois 同源)做流批一体,既可以满足实时计算需求,也可以满足批处理需求。
    您需要登录后才可以回帖 登录 | 立即注册

    返回顶部