上传文件时,如何设计不会保存未引用的文件

2021-10-09 18:39:02 +08:00
 wunonglin

例如一个图床服务。

1 、数据库使用了 file 和 image 两个表设计
2 、系统接入了第三方对象存储
3 、使用直传对象存储方式
4 、入库储存的是对象存储的 key 值
5 、我知道一些云是有回调服务器的功能,可以利用此功能将文件 key 写进 file 表

在这种情况下,如果我上传了文件,但是我不提交到 image,那文件就会存在 file 里面,也就是微博图床的现状。

当然实际情况肯定不只只有 image 使用了 file,还会有各种地方。

我目前的做法是服务器中转来创建文件,让后创建 image 的同时创建 file 以此保证一致性

func CreateXXX -> func CreateFile
func CreateXXX -> func CreateFile

另一个想法是在 file 表加 ack 机制然后做定时任务去删除

所以在上传这种场景中,如何设计才能保证一致性而不会被滥用?

1563 次点击
所在节点    程序员
7 条回复
eason1874
2021-10-09 19:43:00 +08:00
1 、前端选择文件
2 、点击上传,提交 ContentType 、ContentLength 、ContentMD5 、FileName 等到后端获取签名
3 、后端在数据库添加记录存储文件信息,包括 ObjectKey,UploadStatus 为 0,返回 S3 签名直传链接
4 、前端直传文件到 S3,完成后请求后端接口报告已上传完成
5 、后端 head Object meta,确认已完成,将 UploadStatus 设置为 1

签名参数的 ContentType 、ContentLength 、ContentMD5 、ObjectKey 等信息可以令 S3 校验,确保真实上传的内容就是签名的内容。

剩下的怎么做,跟直接上传到服务器是一样的。比如你要的同时创建 image 和 file 记录,可以在报告上传完成的时候做。控制上传频率就在获取签名时检查。
wunonglin
2021-10-09 20:01:46 +08:00
@eason1874 #1

如果我到了第四步传完到 s3 就停止了。那存在 s3 上面的文件怎么办,如何删除?要走定时任务什么的么?
wunonglin
2021-10-09 20:03:04 +08:00
@wunonglin #2

虽然这样不会被外部引用,但是还是会在上面保留太多垃圾数据
ch2
2021-10-09 20:05:04 +08:00
@wunonglin #2 定期扫表简单粗暴但是好用
wunonglin
2021-10-09 20:06:46 +08:00
@ch2 #4 😆最终办法。就是想知道有没有什么优雅的做法
eason1874
2021-10-09 20:16:36 +08:00
@wunonglin 留着其实也不会占用太多空间,任务式的,等用户下次上传新文前,询问怎么处理旧的上传记录。允许最多同时上传 3 个文件,那一个用户最多也就滞留 3 个文件。

看需求吧,要清理,定时任务最有性价比,用 S3 事件会多很多请求。
yin1999
2021-10-09 22:03:32 +08:00
可以试着配合 Lambda 函数使用,AWS 的 S3 是有 Lambda 的触发器的,那可以确定用户已完成文件上传,后面到底走一个怎么样的流程就看你自己了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/806738

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX