Linux 在大数据开发中扮演的角色是什么,掌握程度要求多少?

2017-07-12 09:31:21 +08:00
 frankkai

Linux 小白一只,昨晚刚刚在虚拟机上装了 Ubuntu14.04 。 很想知道 Linux 和 Windows 系统本质上有什么区别,除了 Windows 是游戏机这个梗以外。 目前我只知道 Hadoop 集群是建立在 Linux 系统之上的,但是不明白: Linux 在大数据开发中扮演的角色是什么,需要对其掌握到什么程度? 有没有前辈指点指点

5776 次点击
所在节点    问与答
26 条回复
xiaobai987
2017-07-12 09:41:32 +08:00
Linux 开源、稳定性好,可不装桌面程序,常年不关机。同新手。
Rice
2017-07-12 09:44:55 +08:00
基础设施
frankkai
2017-07-12 09:54:21 +08:00
@xiaobai987 我直接装的 desktop...不装桌面的是啥
frankkai
2017-07-12 09:54:34 +08:00
@Rice 什么基础设施呢
yunkchen
2017-07-12 10:01:53 +08:00
大数据的分布式集群( Hadoop,Spark )都是搭建在多台 Linux 系统上,对集群的执行命令都是在 Linux 终端窗口输入的;
楼主可以尝试自己搭建一个 hadoop 集群体验一下。
可以参考: http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html
Rice
2017-07-12 10:01:53 +08:00
@frankkai #3 你学过 java 么?几年经验?
xiaobai987
2017-07-12 10:03:17 +08:00
@frankkai 纯命令行啊
frankkai
2017-07-12 10:11:08 +08:00
@xiaobai987 iso 文件名是什么,我知道是终端命令行...
frankkai
2017-07-12 10:12:18 +08:00
@Rice mei 在学校学过一些,应届生
frankkai
2017-07-12 10:13:09 +08:00
@yunkchen 手动感谢
Rice
2017-07-12 10:14:39 +08:00
@frankkai 我觉得楼主还是做几年 JAVA 后台在研究大数据吧,你基础知识不牢固,要不就考研。
frankkai
2017-07-12 10:17:56 +08:00
@Rice 谢谢前辈指点~
jason2017
2017-07-12 10:34:53 +08:00
需要掌握到什么程度呢?
首先,把基础命令学会了,可以参考鸟哥私房菜,基础部分,了解下 linux 系统的运行原理。
重点几部分:用户权限、环境变量的配置、vim 命令、yum (或者 apt-get、根据不同开源版本)、ps、netstat、grep
这些基本掌握大概需要一个星期,然后你再去鼓捣 hadoop 会比较好。先装单机的,后面真正分布式的,你还要学会 ssh 证书登陆的配置、scp 等命令。
frankkai
2017-07-12 10:35:15 +08:00
@xiaobai987 我知道了,可以用 ctrl+alt+f1 切换的到命令行
svenFeng
2017-07-12 12:53:48 +08:00
装 Ubuntu14.04 是为了考古么
albertofwb
2017-07-12 12:58:18 +08:00
@svenFeng 话不能这么说,现在装 win7 的也大有人在
mooncakejs
2017-07-12 13:04:59 +08:00
我觉得未来就是跑 docker 的母鸡
v2dead
2017-07-12 14:09:22 +08:00
你都想知道 linux 和 windows 有什么本质区别了,为什么不去看看操作系统这本书呢。。。
windows 和 linux 都只是操作系统而已,本身只是为了管理内存,调度进程,处理网络协议栈这些乱七八糟事物,要说区别可能就是:一个开源,一个闭源并且有非常明显的购买成本。这当然会导致一些外部的生态环境的区别,很多开源的软件第一优先考虑的肯定是 linux 平台嘛。
不过要是微软自己出大数据平台构建方案,我觉得也会有不少公司跟进的,因为基于 linux 开源的平台后面的隐性成本很多时候都超过 windows 的直接购买成本的。
不过像大数据这种很可能以后都是以服务形式提供,其实你学不学 linux,可能在未来几年使用大数据完全没什么影响。数据就是数据,本身就是和平台无关的。
rwecho
2017-07-12 15:00:19 +08:00
自带 python
e1eph4nt
2017-07-12 15:05:18 +08:00
骗回复的吧。。。你要是一开始就不知道,在这儿问也问不出来。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/374685

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX