打算整一个社工库自用，方案求解

[pimin]

高中大学时候当过几年脚本小子
后来编程学了点，c/c++/asm，打算做逆向的中途放弃
前两年心血来潮学了一阵 Python，能简单写个 blog 之类

那时候认识一个小兄弟，一直有联系，逢年过节会打电话问候那种；现在也是为人父母了，他灰产接触比较多，有社工库需求，找我帮忙，目标数据量应该在 500G ；

做了下前期工作，目前初步方案是数据索引 elasticsearch，查询用 Python+flask ；自用随便整个页面就可以了；

想咨询下有没有更好的方案，或者这套方案有没有大的短板；
还有就是数据清洗有没有成熟的方案还是只能自己写个脚本导入

[stiekel]

实时查询 elasticsearch 是比较好的方便，合理规划好索引和字段，问题不大，不过机器配置别太差。
这种数据除了自己抽取入库，还能有什么办法？如果是单纯的格式好的文件，可以用 logstash。

[locoz]

ES 这个量级一点问题都没有，机器性能别太差就行，数据清洗还是自己写脚本处理吧，之前看过一个库，内容乱的一批，应该不存在通用的处理方案。（好奇数据源哪来

[ZavierXu]

500G 的社工库？我觉得应该至少再加个 0 才对

[WordTian]

现在网上泄漏的数据库太多了，有心人很容易就能下载到，很担心以后自己的数据安全问题。不过担心也没用，唉

[ZavierXu]

如果真的是 500G 这个量级的，根本不用 elasticsearch，直接用 MySQL，hash/密码 /邮箱做个索引，查询基本是毫秒级

[pimin]

@stiekel
自己的台式机只有 i5 4430+ 16G 内存,应付这个数据量有问题大么?

[x86]

国外大盘鸡

[pimin]

@locoz
数据源部分是网上公开的,通过搜索之类就能找到的
还有一部分是小圈子交流存下来的

[pimin]

@ZavierXu
我目前只准备了 200G,打算先跑起来
至于后续数据,看他能提供的量了

[xunmima]

我的做法跟楼上一样，用 mysql 全部数据导入一个表，然后就做这个表索引。

2 亿数据 1 秒出结果

[misaka19000]

好奇楼主是通过哪些手段获取这些社工数据的呢？

[limbo0]

es 干这个不太适合，上数据库是比较好的选择

[Soutxx]

@ZavierXu 我也觉得，再加个 0，才叫社工库

[stiekel]

@pimin 一看你最终的数据条数，二看你文档的大小，三看字段的格式。
不过 200G 的数据，如果全存下得话，最终到 elasticsearch 里肯定大于 200G。
普通搜索，查询文档，这配置够了。

[fcoolish]

我社工库手动分文件查，哈哈哈

[yu1u]

以前用 php 直接在几个 g 的文本中查找。。。。

[bakabie]

500g 级别的，mysql 就能搞定吧

[pimin]

@bakabie
我简单看了下 es 官方文档，没觉得会比 MySQL 麻烦

[idcspy]

你这不算自用，悠着点啊。

[glfpes]

es 界面都不用开发，有 kibana