电影网站：关于大量关键字屏蔽与替换的设计思路

[xiaoks]

前几个月我做了一个电影分享网站，在运营的过程中发现：很多人分享 18 禁的内容，在评论里还有可能出现一些污秽语言。

为了保证网站内部氛围的健康，之前采用在 code 写关键字的形式进行屏蔽。但是在运营的过程中还是会发现有不足，很多关键字依然没能屏蔽掉。关键字的维护工作也比较麻烦。不可能每次发现关键字都去调整代码。

希望大家能分享一下简单有效设计思路，谢谢！

ps ：思路可行的前提下，尽量保证程序有效率。

[kslr]

DFA 算法，关键字去青云的青云志我记得有个文章里面带了份北京公安局给的关键词名单。

[yinheli]

https://log.qingcloud.com/?p=389
检索到了. 或许我也需要.

[virusdefender]

@yinheli 这关键词也太粗了吧

自制
购买
直销
订购
卖
提供
专卖
热销
批发
供应
专供
买卖
自制
订购
售
专卖
热销
供应
买卖
售
销售
直销
批发
供应

这都是关键词...

[imn1]

有这个关键词详单分享一下

[seiwev]

都做电影分享网站了还怕 18 禁？电影分享一样被禁。

[9hills]

> 关键字的维护工作也比较麻烦。不可能每次发现关键字都去调整代码。

如果只是解决这个问题，那你把关键词做成可动态加载的字典不就好了。存到数据库里也行啊

当时高级点还有些别的方法

[mengzhuo]

直接上 cuckoo filter 不就结了，关键是分词得做好

[2015813]

这个自己写的话很麻烦，建议用现场代码

[nowcoder]

自己写很容易。把关键词做成一个字典树。 对 ugc 进行查找，效率很高的。 去百度搜 DFA ，字典树，敏感词代码到处都是，根本没几行

[nowcoder]

@kslr 求名单地址

[jugelizi]

存到数据库发布后状态为 0 不立即显示呀，后台跑个任务过滤完成了再显示出来

[dingyaguang117]

请搜索 AC 自动机

[kslr]

@nowcoder https://log.qingcloud.com/wp-content/uploads/2014/05/%E5%85%B3%E9%94%AE%E5%AD%97.zip