爬虫爬到的大量图片是直接放到数据库中还是放到文件系统中?

2013-07-26 17:41:13 +08:00
 shoumu
9154 次点击
所在节点    程序员
30 条回复
mazesoul
2013-07-26 17:43:52 +08:00
文件系统
pubby
2013-07-26 17:47:42 +08:00
看多大量以及后续怎么用

我这边是直接扔leveldb中
linzhi
2013-07-26 18:17:20 +08:00
放到文件系统是什么意思 求科普
reusFork
2013-07-26 18:18:36 +08:00
文件系统也是数据库
shoumu
2013-07-26 19:48:48 +08:00
@pubby 会对每一张图片进行处理,后面可能涉及到少量图片的查找,显示
shoumu
2013-07-26 19:49:20 +08:00
@linzhi 就是数据库中存放图片的路径,图片存放到系统的某个目录下
shoumu
2013-07-26 19:49:32 +08:00
@reusFork 文件系统不是数据库吧
JimGee
2013-07-26 20:39:33 +08:00
图片放在数据库中好像是二进制形式的。存入和读出还要经过转换的。
zippera
2013-07-26 20:56:23 +08:00
@JimGee 放在文件系统。如果需要调用,那么再处理一下文件名存入数据库。
loveminds
2013-07-26 21:19:51 +08:00
当然是文件系统中,把图片丢进数据库不太方便
soli
2013-07-26 21:23:32 +08:00
如果是小图片,则几个图片写到一个文件中,然后在数据库里记录文件名和偏移。
JimGee
2013-07-27 23:18:33 +08:00
@zippera 我讲了图片直接放在数据库中的缺点,就是为了引出文件系统的好处哟。

@soli 也可以读出的时候用CSS偏移或旋转,就不用在数据库中做标记了。
scusjs
2013-07-27 23:25:34 +08:00
文件系统+数据库索引
reusFork
2013-07-28 09:03:40 +08:00
@JimGee 他说的偏移跟你理解的偏移不是一回事
refresh
2013-07-28 09:12:55 +08:00
mongodb欢迎你
zzWinD
2013-07-28 09:38:59 +08:00
我们用的是mongodb grifs 不知道
mckelvin
2013-07-28 10:50:15 +08:00
总共5G左右的图,笔者后来选择了存文件系统,分目录。
shoumu
2013-07-28 15:40:20 +08:00
@refresh
@zzWinD
我也用的是mongodb,但是不知道讲图片直接存到数据库中还是存它的地址哪种的效率更好
Alexisused
2013-07-28 17:03:39 +08:00
请问你爬的是煎蛋的妹子图么^_^ , 如果是跟大家分享一下呗
shoumu
2013-07-28 17:07:03 +08:00
@Alexisused
爬人人的头像相册,爬妹子图是个好想法,你写个呗,^_^

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/77068

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX