求一个可行方案：计算新用户和老用户通讯录的最高匹配度

[iblislsy]

需求： 对于每一个新用户，希望能计算出和老用户的通讯录最高匹配度，找到类似伪造通讯录的情况。

例子： 每一个用户的通讯录表结构如下

user_id phone

123 18721212111

123 18721212112

123 18721212113

124 18721212111

124 18721212112

124 18721212115

124 18721212116

假设 user_id:123 是一个新用户，可以发现用户 123 和用户 124 存有相同的联系人

用户 123 和 124 的匹配度为: 相同号码数量 /新用户的号码数量 = 2/3 = 0.67

需要遍历找到匹配度最高的用户，或者是大于某一阈值的用户群体。

各位大佬，这个复杂度似乎有点高，有没有可行的方案。

[iblislsy]

@semut 看了一下 simhash ,LSH ,好像都是针对文本类的（可以分词）的数据？ 像手机号码这样的 应该怎么办

[iblislsy]

看了一下 simhash ,LSH ,好像都是针对文本类的（可以分词）的数据？ 像手机号码这样的 应该怎么办
@luckychenhaha

[owenliang]

我有一个方案，楼主看一下是否可行。（用 Elasticsearch，没什么神奇的东西）

核心思路：new user 有 100 个号码，找一个 old user 与 new user 的 phone 交集最大。

过程：
1，把 user phone 的关系一条一条的存到 ES 里。
2，给定一个 new user，它的 phone list 有 100 条，那么去 ES 里做 terms query 召回关联任意 phone 的记录。
3，召回的 user phone 记录的 phone 一定在 100 条内，所以接着做 agg 聚合统计每个 user 的出现次数，保留 size=10 就是相同号码最多的 10 个用户了。

[guyskk0x0]

@owenliang 你提醒了我，也可以用 redis 实现：
以 phone 为键，user_id 集合为值，数据全部存入 redis。查询时用 new user 的 phone list 把相关 user_id 取出，再统计 user_id 出现次数。

[owenliang]

@guyskk0x0 redis 扩展性不好嘛，用 ES 就能应付，1000 万级别实时聚合没啥问题。

[iblislsy]

@owenliang
@guyskk0x0 我现在准备用 ES 试一下，之前没用过，我现在开天辟地

[gamexg]

能提升些效率，

Bloom Filter
每个用户有一个自己的 Bloom Filter，新用户添加时，遍历所有现存用户的 Bloom Filter，如果命中率较低，可以跳过，否则进行详细查询。

[jadec0der]

对，楼上两层倒排索引的思路是可行的

[iblislsy]

@gamexg bloom 感觉弄大动作了，我先学一下 ES

[SeaRecluse]

啧，你可以按号码段分开然后存成向量，然后根据号码数生成矩阵，矩阵运算很容易得到匹配的号码数。
e.g.: ((1,3,9),(1,8,7),(1,6,1),(1,2,3)...) * (... ; ...)T = (a,b,c;.......)
if a == 1^2 + 3 ^2 + 9^2
balabalbala..........

[liwl]

麻烦说明下是什么 app，我先去卸载了

[WhyLiam]

别整体卸载卸载的，单纯看看技术讨论也是值得学习的

[iblislsy]

@WhyLiam 钢筋太多，应该是下午茶时间到了

[amao12580]

哪来这么多钢筋

[lance6716]

感觉还是先试一下允许的复杂度，一般能应用的算法不超过线性代数级别。但是要是能控制数量级的话就好说。线性对数以内没想到好的方法

[imn1]

昨晚才给手机通讯录添加了 800+人
八百标兵奔北坡

[ooooo]

这是在讨论交流做恶技术，楼主在哪个 996 的金融创业公司？约莫是山西人？

[smilenceX]

麻烦说明下是什么 app，我先去卸载了
欢迎 block，直接 B 就行，不用艾特通知我。

[xiaoxinshiwo]

@ooooo #37 如果改成文档的相似度是不是就不作恶了？

[iblislsy]

@xiaoxinshiwo 不用搭理钢筋