如何高效地冷存储大量图片?

2020-10-25 19:58:04 +08:00
 naoh1000

我们公司的 app 活跃用户大约有 800 万。最近产品经理要求做一个实名认证功能,要求上传身份证照片,审核完后基本没人看了,请问这些数据应该存数据库里还是作为文件单独存储?如果存数据库会不会导致数据库很大,大量小图片作为文件存储会不会不方便备份?虽然这不是我一个前端该管的事,但我正在打算转后端,想了解一下大佬们是怎么解决这问题的。

9955 次点击
所在节点    云计算
75 条回复
qinyusen
2020-10-26 10:39:33 +08:00
序列化之后对象存储, 有点儿像标注数据的原始数据或者是脏数据,随便儿用个 HDFS,然后进行块备份就好。
因为搬运和存储是整块数据,copy 起来速度快, 然后直接切片存到冷备份对应机架,然后对应机架只能特定 IP 和端口访问,冷备份就是 copy 完,拔硬盘就完了,当做热备份也行,做好数仓和后端的割裂就行了,我一般做法很土,就是对后端只有写接口,没有读和删改接口。改请人工到另一个内网位置提交修改就好,然后人工审核后 prove 进去(大规模的,就直接敲黑板找老板说行为非法)。
然后如果需要查询,就直接再后一级做一次脱敏, 身份证后 x 位直接抹掉(简单的 opencv+打码),头像打码, 地址打码,打码程度视脱敏规模。
Kagari
2020-10-26 10:39:52 +08:00
你们真就相信其他 app 没有存?
Jerami
2020-10-26 10:45:23 +08:00
@sogwsc 因为不重视隐私所以实名制才能快速推广,没有收到民众抵制(况且也不敢抵制,毕竟都清楚根本目的是什么)
efaun
2020-10-26 10:45:58 +08:00
@sogwsc #40 老大哥很注重你的“隐私”的,所以才会实名
huayumo
2020-10-26 10:46:15 +08:00
现在都是走支付宝的实名接口,
EZG997
2020-10-26 10:53:32 +08:00
就目前国内互联网行业的状况,实名制不知道到底方便了谁,隐私就是这么泄露的。
Stain5
2020-10-26 10:57:57 +08:00
直接打印出来好像很可行
800w 条信息 一张纸打印 20 条 每分钟打印 200 张
大约 30 个小时就完工了

安全性 
可靠性 
wangyzj
2020-10-26 11:05:08 +08:00
@naoh1000 #23 一定要存的话就是 oss 这类的对象存储就可以了,本地就是用 ceph 或者 hdfs 之类的把
eason1874
2020-10-26 11:06:40 +08:00
先建议产品经理别存储。

如果存储,不用问都知道有一些不可告人的目的。那就要为自己负责,现在有法律法规对个人信息的存储进行规定,也推出了一些标准,建议去了解,免得将来出事了自己也被连累。

从技术操作上说,比较简单粗暴的办法是:每个文件内容都用随机密钥加密存到一个文件名为编号的文本文件,归档存储,然后把编号、原文件属性信息、随机密钥和用户 ID 通过非对称公钥加密,存到数据库。

这样只要执行过程不泄露,就算代码、公钥、数据库字段和文件都泄露了,也解密不了内容,保护好私钥安全就行。
futandrew
2020-10-26 11:13:26 +08:00
@Perry emmm 寻思着国外个人信息不是基本全公开吗?网上类似功能一找一堆,充钱即可解锁基本所有信息
PhpBestRubbish
2020-10-26 11:17:35 +08:00
实名认证不是用第三方 API 吗?为啥你们要存身份证照片?
PhpBestRubbish
2020-10-26 11:18:46 +08:00
@Kagari 我们的 App 就没有存身份证照片
weizhen199
2020-10-26 11:25:13 +08:00
@futandrew 我咋记得只有前科犯会被公开
mjjfl
2020-10-26 11:27:05 +08:00
@naoh1000 腾讯云对象存储有归档存储。归档存储提供了最低的存储单价,但读取数据的时候需要较长的解冻时间,因而适合需要长期保存数据的业务场景。可联系我打折,V:am9veXVuY29t
kaopuyunluzh
2020-10-26 11:30:43 +08:00
腾讯云新政策 @
1 、累计预付费订单金额大于等于 6600 元且月均预付费订单分摊金额累计大于等于 550 元,可赠送元 5000 代金券
2 、累计预付费订单金额大于等于 38800 元且月均预付费订单分摊金额累计大于等于 3300 元,可赠送 2 万元代金券
futandrew
2020-10-26 11:35:12 +08:00
@weizhen199 国内是这样的,还有失信人员。国外人基本全透明。包括名字,亲属关系,手机号,家庭住址等常见的隐私信息。常见的有 anywho, 411 等。
我记得还有那种直接定位的,就是你输入名字然后直接展示距离你比如 300 公里里面的所有叫这个名字的位置。
简单点的可看影视作品《网络迷踪》了解更多(
shifttacn
2020-10-26 11:53:26 +08:00
有资质么,就要求实名认证
IDAEngine
2020-10-26 13:10:08 +08:00
用磁带存了,几百年都在
idblife
2020-10-26 13:14:12 +08:00
s3
imherer
2020-10-26 14:00:45 +08:00
s3 +1

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/718426

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX