这是一个创建于 3846 天前的主题，其中的信息可能已经有所发展或是发生改变。
我以前队列是直接在内存里，程序停了又要重头开始。。。。
所以队列应该保存在数据库当中会好一点
 |
1
demoslam 2015 年 7 月 24 日
看需求，正常爬虫存的数据库可以随便选。inverted index的存储可能要额外考虑其他的数据库
|
 |
2
itfanr 2015 年 7 月 24 日 via Android  2
leveldb rocksdb
|
 |
3
shoumu 2015 年 7 月 24 日
想用什么数据库就用什么数据库，等数据库性能遇到瓶颈了还能学学数据库的东西
|
 |
4
Comdex 2015 年 7 月 24 日
redis/mongodb
|
 |
6
mcwanderer 2015 年 7 月 24 日
mongodb
|
 |
7
qw7692336 OP @mcwanderer
不说原因的都是耍流氓 |
 |
10
zjq426 2015 年 7 月 24 日
爬和解析分开，爬下来的rawdata直接存文件不好吗。。。
|
 |
11
bengtuo 2015 年 7 月 24 日
直接存文件
|
Select Language