新手请问我这样处理文件上传对不对

254 天前
 Pters

后端是 fastapi ,前端 react ,这两个语言我只业余时间摸索了一个月,现在的需求是多用户上传大文件,我现在的流程是,前端判断类型,大小,MD5 等去重 -> 然后后端判断 类型,大小,MD5 去重 -> 后端保存,执行长耗时任务 -> 丢到 celery work 队列处理,redis 处理消息 -> redis 订阅消息,然后 websocket 发送到前端。这样说不知道对不对,是否过于繁琐,有啥好的方法推荐?前提是基于这俩语言,谢谢!

1696 次点击
所在节点    Python
10 条回复
zhufpy
254 天前
大文件,用 obs
Pters
254 天前
@zhufpy 就是最大 5gb 每个
makerbi
254 天前
你自己的服务器管理大文件?一般来说 GB 级了用 OSS 更方便吧
zhufpy
254 天前
@Pters 不能是本地存储吧,直接上第三方 obs 呗。
Pters
254 天前
@makerbi 不是单纯的存储文件,是对文件分析签名等,是不是必须得本地处理
guanzhangzhang
254 天前
正规项目是返回 sts token ,分片向对象存储上传
morty2
254 天前
我现在这个项目也用 fastapi+react 实现大文件上传,用 filepond 前端库解决的。
vivisidea
253 天前
直接搭一个 Minio ,或者直接用现成的 OSS 这类服务,稳定可靠
F7TsdQL45E0jmoiG
253 天前
用 oss
chesha1
253 天前
最好不要经过后端吧,直接上传到对象存储,节约带宽

如果你有对文件进一步处理的需求,也从对象存储拉到服务器上更好,用户上传到后端是公网的小水管,但是用户传到对象存储用的是公网的大水管,对象存储到服务器是内网的更大水管,节约带宽

而且你还可以用云函数,不一定要真的手动取到后端来运算

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1033696

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX