想搞服务拆分,日志系统现在一般大厂是怎么做的?

查看 70|回复 9
作者:LeeReamond   
以前没啥经验,Python 现在,日志这部分如果想搞个大粒度的拆分,不知道是咋搞的,大厂也是单个项目内所有日志统一进 ES ?
寻思了一下,对日志好像没啥太细致的分析需求。大概就是能把握一下整体的网关信息,比如某时刻有多少个 Get ,多少个 Post 之类的,各个路由的访问率之类的。如果出问题要能看到完整 debug 信息,要能具体按时间查询日志,大概就这些需求。
Python 现在有什么比较成熟的解决方案吗?还是学着用 ELK ?感觉有点重就是。。。
cndenis   
日志直接写硬盘, 部署日志同步程序上传到日志系统, 比如 ELK, 阿里云 SLS 之类
seedhk   
只是单纯的接口信息的话,前面接个 nginx ,nginx 来统计,日志记下来后接 ELK 分析查询
yyttrr   
一般分三种,gateway 日志,业务日志,运行时日志
vicalloy   
日志管理和具体语言没多大关系。
配置一个 SysLogHandler 的 handle ,将日志发给 syslog ,由 syslog 做多服务器的日志汇总。
如果要便于查询可以加个 Loki 。
wxw752   
之前问过朋友是解耦的,用 EFLK
zshineee   
@cndenis 写硬盘对性能影响大吗?比如说网关记录接口调用的日志,如果接口调用频繁,也是直接写硬盘吗?
zsj1029   
参看腾讯云的服务,都是独立收费服务,每个都可以看做组件,看看他们划分就行了
cndenis   
@zshineee 写硬盘是依赖最小的, 万一你的日志服务挂了也不至于直接崩掉业务.
你会在这里问这个问题的话, 估计业务量也大不到单纯日志就能写到硬盘性能不够的程度
网关可以用专门的网关, 比如 nginx, apisix, 或是云上的负载均衡服务之类, 它们都有标准化的日志.
cheng6563   
现在完善的开源方案应该就仨:
el(f)k: 功能全面,非常重
loki: 省资源,但他的 webui 是 grafana ,grafana 感觉用来看个图表还行,用来查日志太蛋疼了。
openobserve: 省资源,查日志也挺不错,我司现在就在用
然后日志最好还是写盘,然后用采集器收集,而不是直接传到日志服务去.
您需要登录后才可以回帖 登录 | 立即注册

返回顶部