C/S 架构线程池并发问题?

2023-06-06 14:24:37 +08:00
 0littleboy

目前有个练手的项目

现在遇到几个问题:

  1. epoll 作为 io 多路复用模型,本身单线程就可以处理了,为何需要网络线程池
  2. 为什么要挂载在队列上,直接唤醒线程池不可以吗,反正线程池内部也有一个任务队列
  3. 如果要设定线程池线程上限的话,一般是多少,cpu 核数?
  4. 为啥要设定多个线程池,感觉一个线程池就够了,反正可以塞入不同的函数
  5. 在上传的时候,有必要分为 create 和 upload 两个步骤吗

需求如下所示:

采用 C/S 架构模拟 hdfs 实现文件上传下载,采用 protobuf 设计通信协议,需要分别实现客户端和服务端

服务端:程序启动后,创建三个线程池。其中网络线程池使用 epoll 来监听 socket ,对于有新的数据到达后,完整接收下来,根据数据类型,挂载到元数据队列或数据队列上,并唤醒相应线程池的一个线程负责处理。元数据线程池被唤醒后,则从元数据队列取下数据,完成文件的创建、删除等。数据线程池被唤醒后,则从数据队列取下数据,完成文件的读、写等。

客户端:程序启动后,创建两个线程池,采用命令行交互,用户上传或下载文件。待上传的文件挂载到上传队列,并唤醒上传线程池的一个线程负责处理,与服务器建立连接,上传本地文件。待下载的文件挂载到下载队列,并唤醒下载线程池的一个线程负责处理,与服务器建立连接,下载文件

723 次点击
所在节点    程序员
1 条回复
junmoxiao
2023-06-06 17:14:09 +08:00
"为何需要线程池":用多线程主要是为了利用多核,io 多路复用通俗来说就是把多次的阻塞等待合并到一起,但是还是一个线程在跑。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/946285

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX