爬虫爬到的大量图片是直接放到数据库中还是放到文件系统中？

2013-07-26 17:41:13 +08:00
 shoumu
9189 次点击
所在节点    程序员
30 条回复
manoon
2013-07-28 17:30:26 +08:00
@shoumu goodidea!
Alexisused
2013-07-28 21:08:05 +08:00
@shoumu 最近压力大啊 都是加班的节奏 没心思爬 靠你了
lewisc402
2013-07-28 22:30:16 +08:00
咨询下LZ 用的是什么样的爬虫啊？？是基于scrapy这样的框架的基础上的？还是全部自己写的？
xinrui5577
2013-07-29 12:04:02 +08:00
求楼主的代码。。我也想要一个。
ospider
2013-07-29 13:53:04 +08:00
很早之前爬过煎蛋妹子图，过了好久了，再爬一次试试
cevincheung
2013-07-29 14:32:57 +08:00
mongodb路过
xdyl
2013-07-30 11:17:44 +08:00
FastDFS
cxshun
2013-07-30 13:29:50 +08:00
@Alexisused 哈哈，这个好想法，这段时间正好在想有啥东西可以去做做，构思一下。
wodemyworld
2013-07-30 13:33:50 +08:00
请扔mongodb，分布式存储，这对将来的分析和综合都有好处，要不以后改起来的话能头痛死你

以往的做法是，每张图片有很多的tag，全靠tag来提供信息，检索、分类等都有很好的效果，当然了，前提是你已经有tag系统了，这个你要是没有的话就先别做了，这个工作量不小~
Alexisused
2013-07-31 10:09:55 +08:00
@cxshun 好好搞 骚年 我坐等现成的了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/77068

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX