有 akka 大佬吗, 请教一个问题

2019-11-15 16:32:55 +08:00
 scalaer

用 slick 流式读取 mysql 一个大表 700w, 在 map 的时候计数,发现到 360w 就停了, 请问下这是什么原因?

val source: Source[Event, NotUsed] = Slick.source(query1)

val sink: Sink[ProducerRecord[String, Event], Future[Done]] = Producer.plainSink(p)

var counter = 0;

val done: Future[Done] =
        source
          .map(
            e =>
              {
                counter += 1
                println(counter)
                new ProducerRecord(topic, e.sid, EventFactory.build_event(e))
              }
).runWith(sink)
1418 次点击
所在节点    问与答
4 条回复
woodfish
2019-11-15 18:11:10 +08:00
是不是 mysql keepalive 超时了
scalaer
2019-11-15 20:43:14 +08:00
@woodfish 现在定位到是 kafka producer 超时了, 这个有啥参数可以设置的吗?
woodfish
2019-11-15 22:36:07 +08:00
scalaer
2019-11-16 22:26:33 +08:00
@woodfish close-timeout 设置了很大, 不起作用..

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/619952

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX