一线大数据码农该何去何从？

[simonqian]

架构懂点但是不彻底，长期从事 coding 工作，想转行，但是没有方向

[lius931115]

@fireapp 重点还是如何分而治之,这个得靠经验吧. 这难道不是个人的积累吗

[dcoder]

@fireapp
fluentd, logstash, filebeat 都有,
后没没有接 ElasticSearch?

[fireapp]

@dcoder es 内存大户没考虑他，上面都是尝试，最后都切到一套，节省资源
filebeat - kafka 然后 kafka stream 细分成多个 topic
以后的不管实时还是离线，直接拉取 Kafka 数据，处理中间结果丢到 kudu，直接提供在线查询
定期把 Kafka，kudu 中老数据卸载压缩，丢到 hdfs

[simonqian]

@fireapp Kudu 用的怎么样，和 redis 相比效果咋样？

[fireapp]

@simonqian 分布式列式关系数据库啊，各种 sql 我查询啊，olap 用的，提供秒级别查询就行
redis 是做缓存的不一样东西

[dcoder]

@fireapp 看来 filebeat -> kafka 是王道, 之后怎么折腾都行.
ES maintain 起来确实麻烦了点
logstash 说实话质量很粗糙, 你们用来 parse log? 有啥代替品没?

[dcoder]

@fireapp Redis 不只能做缓存，能干很多其他的事情

[simonqian]

@fireapp kudu 是不是跟 apche ignite 提供的功能差不多

[fireapp]

ignite 功能太强大了，能对外提供分布式的关系数据库功能，redis，memcache，kv 数据库，计算平台，微服务平台，还有 ml，野心大了去了🤔
而 kudu 就是一个列式存储，支持二级索引，update，不支持事务，olap 用不上事务

[simonqian]

@fireapp ignite 产品不成熟，有好多问题，国内没几个用这个的

[Archerxx]

@fireapp 你好，我目前拿到了网易互娱的数据研发 offer，请问下游戏公司做大数据前景如何？

[fireapp]

@Archerxx 游戏公司做大数据大部分情况是个坑啊，属于比较偏的支撑部门，可有可无，一堆乱七八糟需求，然鹅没几个人用，除了客服方面查明细多点外

[Archerxx]

@fireapp 这么坑吗。。。 我感觉网易的游戏数据量应该还是挺大的....纠结。兄弟，你觉得网易、海康、华为该怎么选，都是大数据研发，网易互娱起薪比较高，但是涨薪可能不太乐观

[fireapp]

@Archerxx 实时的做一些封号业务，打击下垃圾聊天，广告，外挂之类的，现在好多语音聊天又是个坑

[fireapp]

@Archerxx 当然是去互联网的啊，干啥都会有坑，至少互联网的工作氛围好点，管理相对于扁平点，专心填坑挖坑就行，别的其他乱七八糟东西少点

[Archerxx]

@fireapp 好的，明白，多谢啦

[simonqian]

@Archerxx 你也是在杭州？