技能互换，求 Hadoop/MapReduce 小伙伴

[nower]

有没有做过 Hadoop/MapReduce 实际应用的 v 友呢？跪求小伙伴传授入门经验。我是做体感人机交互、虚拟现实的，如果你也对此感兴趣，那就更好不过了。

[Geoion]

先 mark

[xsjguagua]

天天撸这个。。但很好奇，这 hadoop 和 lz 的虚拟现实方式有什么交集呢？

[xunyu]

mark, 楼主瓶颈在哪里

[loryyang]

hadoop 这种成熟的技术，自学就行了，多看看书，有时间的话看看源码，写几个 MR 。
说实话，实际场景遇到的问题，大部分自己是没法遇到的，因为你根本搭不起那么大的集群，这种经验只能去看别人写的文章或者去公司里面工作才能遇到

[defunct9]

管理过 600 节点(实体机)的 hadoop 集群，貌似开发人员用的多数是 hive 和 r

[nower]

@xsjguagua ，机器视觉

[nower]

@defunct9 能否说一下业务场景呢？

[vietor]

spark 呀

[defunct9]

@nower 我是运维.负责搭环境.貌似各种奇怪的玩意都装， storm ， spark ， facebook 的。但他门用的最多是 hive 。跑定时任务，好像是出数

[xsjguagua]

@nower 你是想搞分布式的图像识别模型训练么，这技术本身难度就不小。但即使不谈技术，你想快速的出模型，进行使用的话，集群资源也是问题啊

[nower]

@xsjguagua 目标图像较单一，是深度图，降低了技术难度。模型是随机森林

[laozhao0]

我是搞 hadoop 的，也是在数百台的集群上跑，好像每台机器内存 64G ，每天有数十 TB 的数据产生。
实际中如 @defunct9 所说，大多数时候用 hive ， hadoop MR 一般写好一次就不管了，最多换一下配置文件。 MR 输出的文件 location 到 hive 表目录下，使用 hive 进行统计查询。 hive 的话，只要会写 SQL 语句，就没有入门的门槛。
所以，其实作为一般分析人员，没什么难度的，最多用 java 写一个 UDF ，或者用 python 写一个 streaming 。
更深的，我也不太懂。
现在可以学 spark 啊，简单又方便。

[xsjguagua]

@nower 如果图像简单的话，那单机训练出模型就可以了啊，使用的时候过模型的速度是很快的，即使要 online learning 的速度也是可以的。 mr 那套是离线处理，速度不够的

[1000copy]

互换技术，多新颖的想法。

[xunyu]

用 mesos spark 可能更符合你的需要， hadoop 落盘计算效率堪忧

[AgentK]

怎么换? 像武侠片一样把功力传给我吗?