用 Redis 去重，数据量大概 90w/月，不断累积，服务器需要多少内存

[CharlieBrown]

现在有一台 4G 运行内存的 centos 服务器，

想将文章标题 md5 后存到 Redis 进行去重，

数据量大概是 90w/月，并且不断累积。

想问：

（ 1 ）服务器大概需要多少内存（以一年数据大概 1000w 计算）

（ 2 ） Redis 除了改重要指令名字，加长密码，限制 ip 外，安全方面还有什么要注意的吗

（ 3 ）要是服务器重启，数据会丢失吗，持久化是 Redis 自动的还是得设置

[kingwrcy]

可以使用 bloom 过滤器,但是会有误差

[leriou]

90 万, 容量没问题, 还得考虑访问频次, 2, 重要指令没必要改, redis 部署为内网访问就行了,最好可以选择集群方案 3, 默认有持久化, 最好还是 自己配置一下 rdb+ aof 频次自己多尝试一下, 弄好持久化, 重启不会丢太多数据, 会丢 1-2s 的数据

[luozic]

听说过 bloom filter 没有？你这内存大大有余量。

[dingyaguang117]

bloom filter +1
很多年前造的轮子 https://github.com/dingyaguang117/BloomFilter

[colincat]

楼上说的没毛病，11 亿够用不，512m 内存就够啦

[huashengshu]

1000w 的短 key 也就 1-2G 吧，key 越多，内存膨胀越厉害，可以考虑分桶+hashmap
如果不需要精确值，可以考虑 HyperLogLog、bitmap，redis 也支持这两种数据结构

[SummerWQM]

还等什么 上 spark hadoop

[cdwyd]

才 90 万每月，现在的配置够用几年了

[huashengshu]

@SummerWQM 讲道理，spark/hadoop 是需要巨大成本的，1000w 一年的量，一个列式数据库就搞定了

[reus]

一个数据库唯一键就能解决的事情

[CharlieBrown]

@leriou 好的，谢谢指点

[CharlieBrown]

@luozic
@dingyaguang117
@colincat
bloom filter 听说过，不过不是上亿数据量以上才会使用吗

[CharlieBrown]

@SummerWQM 学习成本太大，我就做个爬虫去重而已。。

[zhengxiaowai]

@CharlieBrown bloom filter 没有学习成本，两个命令而已，还有计算计算公式能评估错误率和所需要的容量，很好用。

[watzds]

90w 应该 90MB 不到，写入 redis 看一下内存占用

[jatesun]

90w 跟没有数据有啥区别（如果一条数据没有图片超大文本之类的）

[ClutchBear]

bloom filter,
redis 4.0 以上版本, 开启插件就行.

./src/redis-server redis.conf --loadmodule /usr/rebloom/rebloom.so INITIAL_SIZE 1000000 ERROR_RATE 0.0001
# 容量 100 万, 容错率万分之一, 占用空间是 4m

需要的时候自动创建一个容量 100 万, 容错率万分之一的 bf key
语法就是
bf.add(key, value)

[ClutchBear]

这个语法是手动创建一个新 key
BF.RESERVE 2018_ccgp 0.0001 28000000
容量是两千八百万, 占用空间是 64m

[feverzsj]

你先确定你是否要用 redis，为什么不用 mysql

[CharlieBrown]

@zhengxiaowai 我说的是 spark hadoop 的学习成本。。。