V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 4040 days ago, the information mentioned may be changed or developed.
现在有个数据仓库大概10亿数据，数据分析筛选后大概2kw数据，曾经干过100w的sqlite3内存模式查了四个group by用时总共1分钟左右。如果是2kw数据性能如何，请教下。
Supplement 1 · Apr 10, 2015
今天进一步做需求，发现最后需要直接把另一张表3kw数据cache到内存加速10亿数据刷选，使用sqllite3作为内存cache，另外输出2kw左右的中间数据用于数据分析，数据量不大，不想上spark。 发现几千万的级别的使用sqlite3做数据分析可行，分析数度也够快，当然费些内存是必要的，也进一步鉴证为毛那个ngxtop用那么多人用。
 |
1
usedname Apr 9, 2015
zhao si
|
 |
2
Septembers Apr 9, 2015
建议用PgSQL
|
 |
3
RangerWolf Apr 9, 2015
no zuo no die ?
|
 |
4
msg7086 Apr 9, 2015
算不算年度最佳笑话？
用一下pg/my又不麻烦…… |
 |
5
clino Apr 9, 2015
试一下不就知道了,造这么大的数据出来测试一下嘛
其实sqlite性能挺不错的,当然并发高肯定不行 |
|
6
Septembers Apr 9, 2015
@msg7086 虽然SQLite设计达到了2T(README上是这么说的)但是SQLite的实现远远达不到这种能力
|
 |
7
liuhaotian Apr 9, 2015
作死
|
 |
8
int64ago Apr 9, 2015
一个嵌入式用的数据库你确定你要这么做？
|
 |
9
chenjf2k Apr 9, 2015
我也想知道答案。
我的预想是应该在1kw下应该可以承受。只要合理索引，不要全表扫描。 Sqlite有个好处：不用时不占内存，不像SQL Server或其他库，一装载内存就占用很多。 |
 |
10
em70 Apr 9, 2015 via Android
跑在SSD上应该不至于死
|
 |
11
kslr Apr 9, 2015 via Android
这点内存换来的可不是一点方便
|
 |
12
lianghui OP  1
|
 |
13
no13bus Apr 9, 2015
leveldb
|
 |
14
zhujinliang Apr 9, 2015 via iPhone
simplecd好像用的sqlite，印象中作者写过文章讨论性能
|
 |
15
wolfan Apr 10, 2015
小身板扛大旗，作！作！
|
 |
16
Earthman Apr 10, 2015
@zhujinliang 改mongodb了
|
 |
17
NeoAtlantis Apr 10, 2015
那啥，上次酒店什么的那个数据就是2kw条。
当时好象是在虚拟机里装微软的SQL Server导出的。。。 |
 |
18
xiaogui Apr 10, 2015
四个group by...
|
 |
19
zspsky Apr 10, 2015
太大的数据不要用.就把它当作access处理吧。access能处理的sqlite的也可以。
|
|
20
zspsky Apr 10, 2015
sqlite文件一大。真的是要哭死。
|
 |
21
jamiesun Apr 10, 2015
绝对没有问题，以空间换时间。
|
 |
22
iam36 Apr 10, 2015
如果在内存里面跑 ，估计比 更大的DBMS要快，再不济不会更慢。
等你测试结果。 |
 |
23
cchange Apr 10, 2015
simplecd主数据库为sqlite，绝对是第一手应用经验啊
|
 |
24
Actrace Apr 10, 2015
sqlite的优势在于便携。
不过这并不达标它性能不行。 |
 |
25
northisland Apr 10, 2015
感觉挺喜感，
有人知道sqlite的查找复杂度大体是多少，其他的呢？ |
|
26
northisland Apr 10, 2015
|
 |
27
Admstor Apr 10, 2015
simplecd数据量并没有多少吧
统计信息 全站资源数:464949 全站文件数:10974809 按资源也就50W不到,按文件数才达到千万级别 顺便...已经换MongoDB了 |
 |
28
idblife Apr 10, 2015
我就想问一句，你为啥用sqlite？
no zuo no die |
 |
29
GuangXiN Apr 10, 2015 1
不知道楼主是想做工程方案还是想搞学术实验
|
Select Language