请问自学 ElasticSearch 如何进阶

2018-08-05 15:15:23 +08:00
 luozhiyun

最近我自己一直在学习 es,看了很多资料, 把官网的资料也看的差不多了.自己在公司的实操中,也利用 es 解决了一些问题, 例如,以前公司七八台服务器想看日志都是挨个拉下来看的, 现在我利用 ELK 在测试服务器中搭建了个 ELK 进行日志的收集,避免了很多日志的查找工作,但是我觉得这远远是不够的,想要像各位大神一样利用 es 做更多的事情该怎么去做呢?

而且我觉得这种类似于数据库的操作没有练习的话是很难成长的,请问大家是如何进一步的学习的呢?

3883 次点击
所在节点    程序员
15 条回复
pathbox
2018-08-05 15:48:36 +08:00
document 看一遍其实不够
my3157
2018-08-05 16:05:20 +08:00
其实具体操作倒是可以不用 care, 比如怎么去 full text search , 怎么 term search 之类的, 不会了查文档就可以,

依照楼主的思路, 主要应用在日志这块, 可以尝试如下:

日志收集 ==> 一般用 filebeat 收集, logstash 解析为 结构化数据, 比如 nginx 日志, 解析出 status, byte send, url path, url refer

日志查看以及搜索, 简单的分析 ==> kibana

日志告警 ==> 对异常状态产生的日志发送告警信息, 可以在两个点做, logstash 处理日志的时, 可以执行个脚本发送告警, 或者用第三方工具, 用游标的方式监控特定 index, 符合条件就发送告警

高级分析, 业务分析 ==> 写程序, 出报表, 和用 RDBMS 没区别, 查询方式 /数据源 变了而已

优化 ==> 觉得最应该做的是 ES 集群的优化, 当日志的量特别大的时候, IO 不够, 查询慢, 集群脑裂等, 另外, 基于 ES 的日志体系数据链太长, filebeat --> mq(redis/kafka) --> logstash --> es --> toos (kibana/other),任何一个点出问题都会影响整个流程, 如何保证整个数据链的健壮以及容错性


反而楼主问的: `而且我觉得这种类似于数据库的操作没有练习的话是很难成长的,请问大家是如何进一步的学习的呢?` 不太重要
RqPS6rhmP3Nyn3Tm
2018-08-05 17:13:15 +08:00
Grafana 我觉得比 Kibana 好用一些,报警问题完美结局
misaka19000
2018-08-05 17:31:35 +08:00
学习!
luozhiyun
2018-08-05 18:42:41 +08:00
@my3157 学习了
luozhiyun
2018-08-05 18:43:03 +08:00
@pathbox document 反复的查了好多遍了额
SimbaPeng
2018-08-05 22:13:55 +08:00
学 Lucene
owenliang
2018-08-06 08:13:33 +08:00
解决业务需求来磨练吧。。
luozhiyun
2018-08-06 09:14:36 +08:00
@owenliang 没业务的,日志系统都是我自己要求做的
shaohan0228
2018-08-06 09:29:43 +08:00
也是刚开始用 elasticsearch,但是仅限于搭建环境+日志收集+插件查询日志,然后就是照着 metricbeat 把一部分监控数据存储也迁移到了 elasticsearch。但是关于下一步就迷茫了
WilliamYang
2018-08-06 10:04:08 +08:00
老实说,自学这个基本上很难进阶的,因为你没有实际的大量数据演练,除非在公司里应用,会学习得快很多
luozhiyun
2018-08-06 11:13:14 +08:00
@WilliamYang 老铁,如果不会的话,没公司会让你去做的,也得不到训练,这是一个矛盾点
smallpath
2018-08-06 11:13:28 +08:00
三周前发布的 Grafana 5.2 版本支持了 Elasticsearch 告警,不查详细日志的话没必要用 kibana 了
luozhiyun
2018-08-06 11:14:28 +08:00
@smallpath 我去看看
streamo
2018-08-06 14:52:36 +08:00
@luozhiyun 没这么难,其他基础比较扎实的话可以找到相关工作的。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/477025

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX