大文件上传方案

[HelloWorld556]

我们是基础 cesiumjs 做的一个三维模型展示系统，现在有上传大文件的需求，想看看大家是怎么做的。

有比较大的模型，4G 以上的。

现在的做法是，由客户端切片上传， 当最后一个切片上传完成之后会开始合并文件。 合并完成之后插入数据库返回一个文件 ID 给客户端。

合并的过程中客户端是一直在等待的，文件越大等的时间就越长。客户端出现请求超时，上传失败。

我想的是改成上传之前先向服务器请求得到一个文件 ID ，后续的上传都带上这个 ID ，表示要存储在这个目录。

想问一些各位关于大文件上传都是怎么做的呢，或者有什么现成的框架可以用的呢。

[trzzzz]

可以参考 S3 的分片上传逻辑
初始化分片，获取 uploadId
上传分片序列
合并分片（ server 中不需要合并，只需要记录每个片的信息）

读取的时候 merge 读就行，也可以提供 range 和 partNumber 读取

[rekulas]

正常都是第二种,上传时生成分片 ID, 之后的分片都合并到指定文件上,最后上传完毕校验指纹通过认为成功
临时文件设置过期清楚策略

[dayeye2006199]

你们是自己的文件存储方案吗？如果使用对象存储，s3, minio 都有分块上传的功能

[cyningxu]

分片是肯定的，上传后每次校验分片，但合并可以后续消费吧，甚至说不合并直接按分片顺序读写？

[Macrow]

https://github.com/tus/tusd

[HelloWorld556]

@dayeye2006199 我们自己写的服务，分片上传没问题，就是合并的时间比较长，会超时，minio 好像也是同步等服务器合并完成把。
@rekula 主要问题是客户端传完切片等到文件合并完成这段时间怎么处理
@cyningxu 传上来的模型有的是已经转换后 web 可以直接读的，还有的是模型源文件，需要服务器处理成 web 端能用的。所以还是要合并之后给转换工具用

[trzzzz]

@HelloWorld556 能在转换工具里修改读取实现的话，最好不要合并，并发小 block 读性能远大于读一整个

[HelloWorld556]

@trzzzz #7 跨部门提需求还是挺麻烦的。

[lotusgrm]

为了解决合并过程中 client 一直等待可能会导致超时的问题，一般就是使用异步的方式，比如：
1 、client 请求上传接口时，服务器生成一个唯一的文件 ID,并将这个 ID 返回给 client
2 、client 将文件切片上传到服务器，并且将唯一的文件 ID 作为参数
3 、服务器接收到每个切片之后，将其暂时存储在指定的位置，并且记录切片的索引和文件 ID
4 、当所有的切片上传完成之后，服务器通过一个后台 job 处理切片的合并，而不是让 client 一直等待
5 、后台 job 从指定的存储位置获取所有切片，按照索引顺序合并成一个完整的文件
6 、合并完成之后，再把合并之后的文件保存到指定的位置，然后更新数据库中的文件状态
7 、额外提供一个查询接口，client 可以轮询这个接口检查文件是否合并完成

之前我通过这种方式处理过，可以作为参考看看

[HelloWorld556]

@lotusgrm 我现在用的方法是:
收到第一个切片的时候会创建一个空的文件，然后根据收到切片的索引插入到文件指定的位置，这样就不需要合并了