大数据量联表操作

查看 272|回复 21
作者:ModiKa2022   
公司现在的业务, 总会涉及到连表操作, 百万级的数据, 一联表, 查询会变得的缓慢.
例如订单, 收货单, 入库单, 退货单, 验收单
数据一直在写入
如果涉及到这种情况, 除了冗余存储数据外, 还有什么其他的解决方案吗?
诚恳的咨询下各位
现在主要的解决方案是使用 PG 的物化视图的功能, 每隔几分钟生成一次物化视图, 但是数据实时性会有问题
opengps   
现在主要的解决方案是使用 PG 的物化视图的功能, 每隔几分钟生成一次物化视图, 但是数据实时性会有问题
sagaxu   
硬限制没有太好的办法,就是靠闲时提前生成缓存之类的
coderxy   
难道不先分析一下查询计划?
xiaohang427   
分开查询,在程序里关联
lingalonely   
看查询内容
查询明细,建议不要连表,先查主表,在关联其它表补充数据
汇总查询,定期生成汇总表,避免在大表里做汇总操作。很耗时
endershadow   
为什么需要连表,你又不是做分析,单纯查明细就不要连表
dddd1919   
大数据领域的技术都卷得这么厉害,感觉好多人都不知道似的
wxyrrcj   
1. 正常业务功能,用 CDC 工具做宽表,在宽表处理
2. 数据分析,那就把业务数据同步到分析库比如 es
gerefoxing   
分开查询,在程序里关联
您需要登录后才可以回帖 登录 | 立即注册

返回顶部