AWS S3 大量日志数据写入数据库方法

[Frankcox]

最近要将 S3 的日志数据导出到自建 clickhouse ，日志都是统一格式，但是数据量很大。尝试使用 goroutine 并发读写，但是发现在请求数过多时，aws s3 client 会报 read: connection reset by peer 的异常，导致并发数上不去，光是一天的日志就要请求将近几十分钟，想知道有什么实现好办法？

[Frankcox]

还有就是考虑如何同步数据，可以用代码监控，不知道 lambda 表达式能不能支持。

[gtx990]

replicate 到多个 bucket ，每个路径单独算 throttle 。

或者你这样，直接用 redshift (spectrum)，直接 query s3 ，或者 load 到 redshift managed 的 s3 ，性能完全不比 clickhouse 差。

[Frankcox]

@gtx990 #2 性能倒不是特别关注的问题，这个活是老板给的，，，就是让把数据导到 clickhouse 。第一个能详细解释下吗