有 10T+的数据, 怎么对其做一个搜索引擎

[macroideal]

现在初步是 50T 的数据存在 Mongodb 里, 数据都是统一结构, 现在要对这些数据做一个搜索引擎, 有什么好的方案? 问题比较笼统哈.

[liangdi]

elasticsearch
https://www.elastic.co/

[murmur]

es 或者 lucene 是全文索引，结构化搜索不太适合，我记得我当年用这类索引的时候所有字段都被转成字符串了，现在估计会好些

[LeeSeoung]

es 分布式

[Zuckonit]

es ，最好的选择

[iot]

es+1

[misaka19000]

请问一下楼上各位， es 该怎么学啊？文档看得我好晕的说😢

[server]

es 有支持 mysql 语法插件

[laxenade]

竟然没有人提 solr 真是江河日下啊

[LeeSeoung]

#8 说完 es 想说 solr 的给忘了哈哈

[slixurd]

@murmur 自行配置 Schema 就行了...
如果没有配置 Schema,它会自动根据第一个写入的 Document 去猜...
猜错了那也是没办法的事情...
不过在结构化查询上的确效率不算太好,至少比常见的关系型数据库慢一个量级....

[PythonAnswer]

顺便问下， kibana 有办法呈现 field 中的 html 吗？

es 有没有能呈现 html 的 gui ？懒得自己实现了。。。

[murmur]

@laxenade 用 solr 不如直接上 lucene ，更 geek ，可以从底层玩出花

[byfar]

sphinx 不能吗

[artandlol]

京东的数据？

[foo2bar]

elk

[foo2bar]

@misaka19000 https://www.ibm.com/developerworks/cn/opensource/os-cn-elk/

[fuxiaopang]

learnes.net

[zacard]

elasticsearch

[lotmany]

@artandlol 搞事情搞事情。

[lyram]

数据结构统一的情况下， 10T 的数据用 ELK 还行，在硬件资源有瓶颈限制的情况下，比 ELK 好玩的还有 Hadoop 之流，当然还是要自身的场景需求来调整~