如何高效地冷存储大量图片？

数据库

存储

文件

图片

75 条回复 • 2020-10-28 08:06:32 +08:00

1

fxXkcCpEveryday

2020-10-25 19:59:15 +08:00 via iPhone

使用對象存儲

2

opengps

2020-10-25 20:05:19 +08:00 via Android

对象存储有冷存储的方案，比实时读写要便宜，每次取用得先解冻

3

tanghongkai

2020-10-25 20:05:59 +08:00

36

身份证照片为啥要存，实名完等着卖黑产吗？

4

opengps

2020-10-25 20:10:19 +08:00 via Android

2

@tanghongkai 任何一家服务商都会存的，不然出问题连线索都提供不了，冷存储是比较安全的做法，不像某些站点的做法(可遍历爬取)

5

wangyzj

2020-10-25 20:50:16 +08:00

4

实名认证用专门的服务商不就行了，不用上传身份证

6

wunonglin

2020-10-25 20:55:55 +08:00

oss 归档储存

7

qwerthhusn

2020-10-25 20:56:42 +08:00

存到 OBS，建议单独建一个 Bucket，然后这个 Bucket 严格控制读写权限

8

JensenQian

2020-10-25 21:12:11 +08:00

1

实名认证要不直接走支付宝的，我只是提供一个建议 https://opendocs.alipay.com/mini/introduce/alipay-verfify

9

Mitt

2020-10-25 21:28:37 +08:00

2

通常就是接入云服务商的存储系统，比如对象存储，自建的话就是单独的一套存储系统比如 TFS 、GFS （当然只是举个例子，实际还是要各方面考量），至于备份等等这些事情其实就属于运维管辖了，也都是有冷热备份方案的，然后合理性上的话，实名认证功能是不会自己做的，人工审核成本大，还要考虑伪造身份证等因素，所以最好的方法就是接入第三方认证机构，比如支付宝、微信或者其他支持活体认证的第三方，有个好处就是有他们的实名技术背书，即便要求调档也只需要提供该用户的真实姓名、身份证号就足够了，如果企业自己运作实名审核的话就要考虑万一出现安全事故，大量身份证照片泄露的后果是非常严重的（当然这就不是一个开发的考虑范畴了）。

10

ericbize

2020-10-25 21:30:31 +08:00 via iPhone

云的 oss，冷数据不贵

11

swulling

2020-10-25 21:31:34 +08:00 via iPhone

1

@opengps 保留身份证号和姓名就已经足够了，保存身份证图片有什么意义?

实名的意义不就是出事了把身份证号给 jc 么

12

Jerami

2020-10-25 21:39:17 +08:00 via Android

11

好小子实名认证说干就干，我都以为是连到公安局的网络最验证，自己没有资格审核用户的数据，没想到居然如此随便！

13

loliordie

2020-10-25 21:45:40 +08:00 via Android

没人吐槽 800 万用户就算全部上传也就 8 个 T 的数据么这个数据量实在没啥好说的选个便宜的存储丢着就行了

14

loliordie

2020-10-25 21:47:00 +08:00 via Android

3

@Mitt 同意如果在国外擅自保存用户证件信息怕是不知道死字怎么写

15

threeEggs123

2020-10-25 22:17:31 +08:00 via Android

aws s3 glacier 完美解决

16

nooper

2020-10-25 22:42:42 +08:00

5

这种数据泄露，或者被交易，你们是哪家公司？我对避免用你们的 app

17

ruri

2020-10-25 22:50:45 +08:00 via Android

1

活跃 800w ？想知道是哪个公司，我避个雷？

18

wccc

2020-10-25 23:09:11 +08:00 via iPhone

离职后给个提示

19

omL72EEc

2020-10-25 23:15:53 +08:00

可以随便存的么？也太恐怖了，怪不得搞身份这么便宜

20

lpts007

2020-10-25 23:16:36 +08:00 via Android

5

https://www.v2ex.com/t/712465

用户也是倒了血霉了。

21

lpts007

2020-10-25 23:17:51 +08:00 via Android

不过也理解，都是打工人。

22

OldActorsSmile

2020-10-25 23:25:00 +08:00

调用百度网盘 api，存储到百度网盘，免费。我的图床（ https://imgbed.cn ）连续 1 年没人访问的也会冷存储

23

naoh1000

OP

2020-10-26 01:01:15 +08:00

@tanghongkai
@wangyzj
@nooper
@ruri 我工作过的几家还算大的公司都是随便存的...

@lpts007 麻烦读一下题目，这块不归我管，只是想让大家分享一下好的方法。

24

yrj

2020-10-26 03:55:39 +08:00 via iPad

人家 800 万活跃用户，各位大佬就不要推荐网盘之类的奇淫技巧了，直接 oss 归档存储，记得加密。

25

laike9m

2020-10-26 05:00:00 +08:00 via Android

17

所以说尽可能避免国产 app，这话绝对不错

26

Perry

2020-10-26 05:02:24 +08:00 via iPhone

3

做这种东西在国外可以被告到破产

27

raaaaaar

2020-10-26 07:12:58 +08:00 via Android

活跃用户好像要去重来着，一个产品这么多用户吗？

28

yqm1024

2020-10-26 07:22:30 +08:00

实名吗？文件存储有点那个了吧

29

kimi0

2020-10-26 07:32:11 +08:00 via iPhone

如上所说，这种东西根本就不该存。

30

delectate

2020-10-26 08:04:39 +08:00

2

都是打工人，何必为难楼主？骂也要骂这个奇葩的时代。

阿里云 oss 或者腾讯云的低频数据存储就行了。

31

huihuilang

2020-10-26 08:19:36 +08:00 via Android

哪个公司的？这种存身份证的辣鸡公司准备举报一波

32

katana97

2020-10-26 08:22:01 +08:00

酷安也是这样，开发者手持身份证的图片认证完了不删也就算了，还直接在开发者后台里展示出来，前几天偶然看到吓的我把开发者认证都取消了

33

YLGG

2020-10-26 08:23:58 +08:00

为何这种收集用户隐私的行为在我天朝这么肆无忌惮呢？

34

Jerami

2020-10-26 08:57:33 +08:00 via Android

@YLGG 因为我们的法律落后于当前科技，更何况中国文化自古以来人与人之间距离不是特别明显，也不特别看重隐私，所以推广实名制人脸识别几乎没有遭到反对，相反，你要是重视还会被说中国哪有什么隐私，什么身正不怕影子斜你有问题？甚至被扣上崇洋媚外的帽子。

35

fengchang

2020-10-26 09:01:00 +08:00

为什么提供线索要身份证照片，因为警察拿身份证号查不到？

36

sunmoon1983

2020-10-26 09:14:21 +08:00

@OldActorsSmile 百度网盘有 api 吗？

37

linvaux

2020-10-26 09:27:27 +08:00 via iPhone

麻烦说一下是哪个 app，我好避雷🌚，存身份证照片，怕是别有用心

38

OldActorsSmile

2020-10-26 09:44:36 +08:00

@sunmoon1983

pan.baidu.com/union/document/upload#%E4%BD%BF%E7%94%A8%E8%AF%B4%E6%98%8E

39

polymerdg

2020-10-26 10:19:05 +08:00

实名认证不是连 API 验证吗为啥还好保留身份证
黑产？

40

sogwsc

2020-10-26 10:34:16 +08:00

@Jerami 不重视隐私却重视实名现在是个平台都要绑手机+实名认证真是奇葩

41

qinyusen

2020-10-26 10:39:33 +08:00

序列化之后对象存储，有点儿像标注数据的原始数据或者是脏数据，随便儿用个 HDFS，然后进行块备份就好。
因为搬运和存储是整块数据，copy 起来速度快，然后直接切片存到冷备份对应机架，然后对应机架只能特定 IP 和端口访问，冷备份就是 copy 完，拔硬盘就完了，当做热备份也行，做好数仓和后端的割裂就行了，我一般做法很土，就是对后端只有写接口，没有读和删改接口。改请人工到另一个内网位置提交修改就好，然后人工审核后 prove 进去（大规模的，就直接敲黑板找老板说行为非法）。
然后如果需要查询，就直接再后一级做一次脱敏，身份证后 x 位直接抹掉（简单的 opencv+打码），头像打码，地址打码，打码程度视脱敏规模。

42

Kagari

2020-10-26 10:39:52 +08:00 via Android

你们真就相信其他 app 没有存？

43

Jerami

2020-10-26 10:45:23 +08:00 via Android

@sogwsc 因为不重视隐私所以实名制才能快速推广，没有收到民众抵制（况且也不敢抵制，毕竟都清楚根本目的是什么）

44

efaun

2020-10-26 10:45:58 +08:00

@sogwsc #40 老大哥很注重你的“隐私”的，所以才会实名

45

huayumo

2020-10-26 10:46:15 +08:00

现在都是走支付宝的实名接口,

46

EZG997

2020-10-26 10:53:32 +08:00

1

就目前国内互联网行业的状况，实名制不知道到底方便了谁，隐私就是这么泄露的。

47

Stain5

2020-10-26 10:57:57 +08:00

直接打印出来好像很可行
800w 条信息一张纸打印 20 条每分钟打印 200 张
大约 30 个小时就完工了

安全性 
可靠性 

48

wangyzj

2020-10-26 11:05:08 +08:00

@naoh1000 #23 一定要存的话就是 oss 这类的对象存储就可以了，本地就是用 ceph 或者 hdfs 之类的把

49

eason1874

2020-10-26 11:06:40 +08:00

1

先建议产品经理别存储。

如果存储，不用问都知道有一些不可告人的目的。那就要为自己负责，现在有法律法规对个人信息的存储进行规定，也推出了一些标准，建议去了解，免得将来出事了自己也被连累。

从技术操作上说，比较简单粗暴的办法是：每个文件内容都用随机密钥加密存到一个文件名为编号的文本文件，归档存储，然后把编号、原文件属性信息、随机密钥和用户 ID 通过非对称公钥加密，存到数据库。

这样只要执行过程不泄露，就算代码、公钥、数据库字段和文件都泄露了，也解密不了内容，保护好私钥安全就行。

50

futandrew

2020-10-26 11:13:26 +08:00 via iPhone

@Perry emmm 寻思着国外个人信息不是基本全公开吗？网上类似功能一找一堆，充钱即可解锁基本所有信息

51

PhpBestRubbish

2020-10-26 11:17:35 +08:00

1

实名认证不是用第三方 API 吗？为啥你们要存身份证照片？

52

PhpBestRubbish

2020-10-26 11:18:46 +08:00

@Kagari 我们的 App 就没有存身份证照片

53

weizhen199

2020-10-26 11:25:13 +08:00

@futandrew 我咋记得只有前科犯会被公开

54

mjjfl

2020-10-26 11:27:05 +08:00

@naoh1000 腾讯云对象存储有归档存储。归档存储提供了最低的存储单价，但读取数据的时候需要较长的解冻时间，因而适合需要长期保存数据的业务场景。可联系我打折，V：am9veXVuY29t

55

kaopuyunluzh

2020-10-26 11:30:43 +08:00

腾讯云新政策 @
1 、累计预付费订单金额大于等于 6600 元且月均预付费订单分摊金额累计大于等于 550 元，可赠送元 5000 代金券
2 、累计预付费订单金额大于等于 38800 元且月均预付费订单分摊金额累计大于等于 3300 元，可赠送 2 万元代金券

56

futandrew

2020-10-26 11:35:12 +08:00 via iPhone

@weizhen199 国内是这样的，还有失信人员。国外人基本全透明。包括名字，亲属关系，手机号，家庭住址等常见的隐私信息。常见的有 anywho, 411 等。
我记得还有那种直接定位的，就是你输入名字然后直接展示距离你比如 300 公里里面的所有叫这个名字的位置。
简单点的可看影视作品《网络迷踪》了解更多（