多线程异步处理情况下,如何保证局部顺序处理,有什么模型可以提高处理效率,又能保证顺序?

2016-11-15 12:00:18 +08:00
 Tinngi

比如说:有一群人在讲话,需要处理每个人讲的话。为了提高处理速度,将每段话多线程异步处理,但是又要保证同一个人的话按顺序处理。(即可以不保证全局顺序,但要保证局部顺序) 有什么模型可以做到?

我想的方法有两个: 1 、一个线程池,同时维护一个每个线程执行任务的信息。新的任务来了,判断是否有对应用一资源执行的任务,放在一个等待队列里。起一个定时作业,轮询是否完成。若完成放入线程池执行。 2 、起多个线程,多少个线程就起多少个队列,线程 take 队列里的 task 。拿到消息 hash 到各自队列中. 在知乎上提了个问题欢迎大家解答。 https://www.zhihu.com/question/52616271

3657 次点击
所在节点    编程
1 条回复
ryd994
2016-11-15 16:20:03 +08:00
总的来讲,是每人一个线程
当然,这里说一个线程并不需要是操作系统里一个实际线程
简单高效就是用协程,比如 greenlet ,比如 golang
复杂点就是 event based ,实际上无非自己实现一遍协程
要同时保证线程内部有序就线程内加锁

或者用 worker 模型,启动的时候启动多个 worker ,由 dispatcher 分批给某个 worker ,从此保证来自这个用户的事件只由这个 worker 处理,就不需要加锁

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/320629

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX