如何用 kafka 来订阅上万个 设备 呢？

[2018yuli]

如题：

1. kafka 创建上 w 个 topic ？ 听说 3000~4000 个 topic 会开始影响到 kafka 的性能
2. 如果创建上 w 个 分片？我害的维护每个设备和分片之间的关系
3. 由于 kafka 是基于 pull 模式的，现成的 consumer 需要手动改造（启用协程并发 pull ）
4. 是不是使用要给大 topic ，然后自己实现 分发 更好呢？有什么开源分发中间件推荐么？

[XJohn]

如果你说的是 iot 设备，一般会使用基于轻量级 MQTT 协议的 MQ ，设备和 sever 之间维护长连接通信。
如果不是 iot 设备，你可能需要考虑清楚你的场景到底是啥，走 MQ 的方式是不是伪解决方案

[julyclyde]

既然这么多不好，你为什么要用 kafka 呢？
不能先定结果再论证理由
要根据需求去选方案

你的问题应该是：
订阅上万个设备，应该选哪种消息队列

[tairan2006]

外围一般是 emqx 连接，消息可以重定向到 kafka 里

[swulling]

如果是上万个设备，大 topic 统一消费会好一些。倒也不是都放到一个 topic 中，根据设备类型以及消息类型分 topic ，从而控制消费优先级。

如果设备数太多，也可以对同一个 topic 进行 hash 分片分成多个 topic 。

[superliy]

Kafka 一个 topic 对应一个文件，大量 topic 意味着大量的文件，大量的文件切换是不是等于随机读写了

[2018yuli]

不是直连 iot 设备，而是 emqx 后面的消息处理中间件。

[2018yuli]

感谢，我觉得我又会了

[XJohn]

@2018yuli 那好简单啊，你只是为了处理收集到的设备消息呗，区分设备可以用消息里面的数据，没必要分这么多 topic