AWS S3 大量日志数据写入数据库方法

查看 22|回复 0
作者:Frankcox   
最近要将 S3 的日志数据导出到自建 clickhouse ,日志都是统一格式,但是数据量很大。尝试使用 goroutine 并发读写,但是发现在请求数过多时,aws s3 client 会报 read: connection reset by peer 的异常,导致并发数上不去,光是一天的日志就要请求将近几十分钟,想知道有什么实现好办法?
您需要登录后才可以回帖 登录 | 立即注册

返回顶部