Python 部署 GPU 应用方式

2021-01-24 23:52:55 +08:00
 Carry0317

想实现一个调用 GPU 应用的 API 服务，python 框架及部署方式用哪种性能最高 用过 flask+gunicorn 并发数好像并没有很高

2040 次点击
所在节点    Python
5 条回复
cz5424
2021-01-25 00:30:00 +08:00
Gpu 并发数瓶颈不在显存占用率？测试一下你应用能开多少个进程跑，单个数据请求多少就知道可以支持多少并发了
vanwtf
2021-01-25 09:44:02 +08:00
换 fast api 试试?
Carry0317
2021-01-25 09:52:28 +08:00
@vanwtf 也试过 但没什么提升，所以来请教一下正确姿势
rust
2021-01-25 13:04:57 +08:00
好奇你有多少个 GPU,竟然可以触及 FastAPI 的性能瓶颈
vanwtf
2021-01-25 13:32:29 +08:00
FastAPI 没提升的话，你用 Falcon 试下？还不行应该不是框架的问题了吧

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/747986

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX