V2EX › leonme 的所有回复 › 第 42 页 / 共 157 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 38 39 40 41 42 43 44 45 46 47 ... 157

❮

❯

2022-09-20 12:10:40 +08:00

回复了 aukus 创建的主题 › 宽带症候群 › 求教不同运营商双线分流的方案

@huaes 你们聊的都不是一个东西，你这个只是机场分流

2022-09-19 22:44:36 +08:00

回复了 leesamsik 创建的主题 › iPhone › 给用外版带 esim 功能的各位推荐个软件

@zilil #25 国内三大运营商目前 5G 最多跑 1000M 多点

2022-09-19 22:41:09 +08:00

回复了 leonme 创建的主题 › Java › Spark 如何精准控制消息的发送速率？

@noparking188 #13 是这样的，mafka 某个 topic 下面有几十个消费组（只有几台消费实例（机器）），spark 瞬间往 mafka 发了几千万消息，导致机器网卡瞬态流量非常大（网络流量约等于消费组数量*消息数*每条消息大小），cpu 瞬态使用率过高

所以在想是不是通过对 Spark 写入进行分布式限流，往 topic 里写慢点，这样消费组就不会出现瞬态负载过高的问题

消费端目前是只要来了立马消费

2022-09-19 18:13:11 +08:00

回复了 ShuoHui 创建的主题 › iPhone › 今年想从日本海淘 iPhone ，有靠谱的转运么。

日版相机还有声音吗？

2022-09-19 09:26:19 +08:00

回复了 leesamsik 创建的主题 › iPhone › 给用外版带 esim 功能的各位推荐个软件

@zilil 国内跑 3000M ？上个图看下呢

2022-09-18 21:17:09 +08:00

回复了 leonme 创建的主题 › Java › Spark 如何精准控制消息的发送速率？

@kkeep #5 是这样的，MQ 采用 mafka ，有多个消费组订阅 topic ，对于某个消费组来说，有很多无关消息（上亿），导致瞬态流量很大（虽然直接 return ），cpu 瞬态使用率过高

2022-09-18 21:16:47 +08:00

回复了 leonme 创建的主题 › Java › Spark 如何精准控制消息的发送速率？

@noparking188 #9 是这样的，有个问题在于，MQ 采用 mafka ，有多个消费组订阅 topic ，对于某个消费组来说，有很多无关消息（上亿），导致瞬态流量很大（虽然直接 return ），cpu 瞬态使用率过高

2022-09-18 21:13:46 +08:00

回复了 leonme 创建的主题 › Java › Spark 如何精准控制消息的发送速率？

@noparking188 #9 感谢，一般实践中是不会去控制"Spark 写 Parquet 文件"的速度，二是控制"DataX 之类工具读 Parquet 写 DB"的速度，是吧？

所以到我这块是要控制 MQ 消费的速度，而不是 Spark 发送 MQ 的速度

2022-09-18 17:36:04 +08:00

回复了 leonme 创建的主题 › Java › Spark 如何精准控制消息的发送速率？

@kkeep #4 或者再假设一个场景，比如 Spark 将最终处理结果写入 DB ，但是 DB 的写入 QPS 有限，这块该如何限制呢？

2022-09-18 17:35:21 +08:00

回复了 leonme 创建的主题 › Java › Spark 如何精准控制消息的发送速率？

@winglight2016 #6 或者再假设一个场景，比如 Spark 将最终处理结果写入 DB ，但是 DB 的写入 QPS 有限，这块该如何限制呢？

2022-09-18 14:06:43 +08:00

回复了 Lambert2022 创建的主题 › Apple › iPhone 手机膜

挑便宜的就行

2022-09-18 00:09:05 +08:00

回复了 e1o 创建的主题 › Java › 想请问下关于 ThreadLocal 的使用

@Hurriance 解释的很明白

2022-09-17 22:06:30 +08:00

回复了 leonme 创建的主题 › Java › Spark 如何精准控制消息的发送速率？

@ruanimal #1 感谢回答
1 、基于外部存储限流是一个挺好的解决方案，但不确定是不是最佳实践。另外，对 Spark 不太熟悉，不知道它有没有内置一些流控的方式呢？
2 、如何在运行过程中动态的获取 worker 的数目呢？感觉占用的 executor 也是运行过程中根据实际资源占用动态分配的

2022-09-17 22:01:46 +08:00

回复了 badboy17 创建的主题 › Java › 关于限流组件，令牌桶和漏桶

"令牌桶可以允许突然的并发流量，但是漏桶不行"
-----------------------------------------------------------
没太理解这句话？

2022-09-15 16:44:59 +08:00

回复了 alexcding 创建的主题 › Apple › 极客湾 A16 评测

@hellojay 那 13 更适合

2022-09-14 23:59:29 +08:00

回复了 Glauben 创建的主题 › Apple › 没人讨论钟文泽 iPhone 14 的评测吗，感觉很不错啊。

@sharkli 内存影响切换是否加载卡顿，基带影响日常户外网络体验，可以说是日常最重要的了～什么灵动岛，什么 4800w ，都是锦上添花的东西……

2022-09-14 23:29:28 +08:00

回复了 Glauben 创建的主题 › Apple › 没人讨论钟文泽 iPhone 14 的评测吗，感觉很不错啊。

基带，信号，内存……重要的一个没说