以前做过类似的项目。

扔到 zeroMQ ，一个程序读 zeroMQ 然后写入文本文件或者 2 进制存（节约空间）， 1 小时为单位分割。

另外的进程每天处理处理当天的日志文件，按照检索规则导入日志到数据库。

之前的项目 10ge 的口做端口镜像， http 数据 1T 可以存 2 周多的结果。

这个写的跟招聘有 10 年以上并且在大型 IT 公司工作过的人的 JD 没什么区别。


先说下这条吧

按照初始想法，精通 Linux ，既然给出了多个版本包括 LFS ，那应该指对于 Linux 内核 /文件系统 /存储 /硬件驱动 /启动 / 安装 /SHELL 等等都有相对良好（相对没有在某个细分项投入一定时间钻研）实际操作能力，才称得上“精通”二字（由于是运维类职位，并不要求对源代码有多深厚的掌握）。可是几乎全部候选人（ 20+，还是筛出的）对 SHELL 脚本和 VI 都不熟练。

# 可以按照需求和文档编译 Linux 内核（注意不是 google 一下 Howto ），并且可以对 Linxu 驱动做出相应的修改应适应不同版本的内核，这个至少要 10W ，级别对应 senior 了。
# Linux 服务脚本的编写以及性能优化等（不是按照 Howto 或者在网上找个脚本），并且可以根据需要去打包各种 linux 成相应的 Linux 安装包。这个至少要 6W 。
# 得心应手的去写 shell 脚本，如果不是工作是有关于开发 linux 内核开发，或者大型底层软件的部署工作，基本上很难有人会精通 bash 。
# 不要去扯什么 LFS ，用什么 linux 就说什么 linux ，没事说 LFS 高端应聘者理都不会理的，因为一看就是 HR 在哪里看见的名词。
# 这一段话，达到入门需要 1-2 年纯 linux 环境的开发维护工作，熟练 3 年起，精通至少要 5 年的时间。

1.本科学历以上；
2.三年以上互联网业务相关系统维护工作经验；
3.精通 Linux 系统，如 CentOS, Debian, SuSE, LFS 等； # 说过了
4.熟练配置各种互联网基础应用，包括但不限于 DNS, HTTP, LVS,Keepalive, Tomcat, MySQL, Nagios, Zabbix 等；
# 这个不说了，别忘了加上 Nginx ， Apache ， Squid ， ApacheTrafficServer ， BIND ， Redis ， PosterSQL ， Mangodb......
5.熟悉 KVM, RHEV 虚拟化技术和 Docker 等容器技术； # 怎么没有 Vmware vSphere 呢
6.熟练掌握 Shell 脚本； #盲写吗？ 熟练运用 grep ， sed ， awk 吗
7.了解 Puppet, Ansible, Salt 等任一配置管理工具； #Chef 呢
8.具有一定的网络知识，了解 TCP/IP 原理； #听过说算吗，需要熟料运用 tcpdump 吗。 TCP/IP 不知说就是 osi 模型好了。
9.具有一定存储知识，了解 SAN ， NAS 等设备； #SAN 要说说，什么叫了解呢，是配置过大型 SAN 网络设备吗？比如 FC Network 或者 SAS 存储阵列，用不用懂得 Enterprise level 的设备的配置以及维护？例如 EMC 的 Vmax ， Vplex ， extreme IO 。 HPE 的 3PAR 。
10.有 Java, Python, Ruby ， Perl, PHP, Go 等开发经验者优先；
11.良好的逻辑分析能力和学习能力，良好的沟通能力，很强的排错能力。


简单翻译成中文，“找一个熟悉 Linux 的人，给我们搭建一套 Devops 的自动化运维系统以及自动备份系统，可以自动部署 java 编写的 Web 服务并带有 MySQL 后端。

@bingwenshi
跟领导， HR 谈谈吧，让贵司请个公关吧。

比如我们的兽兽大哥 @Showfom

目前还不支持 http or https 代理吗？

@Reficul
@Rand01ph

脚本只会备分本地的数据，忽略任何的软链和远程 mount 。
从 git comment 来看，有人特意修改的成这样，据说之前的脚本出现了备份 loop 。

应该是 hash 不同。

这个问题我们之前还真的讨论过，如果不差钱的话，直接在存储设备上备份最安全高效，但是真的很贵，非常的贵。

Bank of America 之前的一套存储系统+X 年技术支持，我没记错的话是 0.2 B 。

目前在研发的存储设备能支持 time machine 了，可以回到之前任意一分钟的数据。（ cow 嘛，但不仅仅是 cow ， 100TB 数据需要大概 500TB 的实际空间去支持 1 个月的 time machine ）

其实这个很常见，备份永远都不会有人管，除非要用的时候。

部门和部门之前的沟通有的时候也是有问题，一拨人负责写备份，一拨人负责升级环境，这样就出现了升级了数据库，但是备份脚本用的还是老的 binary 。

所以要 DevOps 啊，要阶段性的根据当前服务扩张情况重构运维流程，包括备份仓库，自动化脚本等一些东西。在一定时期， 3 年为周期（服务器寿命），进行数据迁移是必须要。


举个简单的例子，之前接触到的一个开发环境，最开始只有单一的数据服务器在 local 存储数据，/home/tools 为开发工具链，备份就是 crontab 运行一个脚本。
后来数据爆炸，为了快速上线，用 nfs 挂载新的存储服目录在老的目录内，如 server:/port/testing /home/tools/testing 。某天当 nfs 出现了问题， testing 数据全部丢失，又因为备份脚本连续 200 天都没有报错，大家信心满满的去备份目录下面找数据，结果只看见一个空空的文件夹。

大家猜猜原因是什么，为什么整整一 nfs 的数据，只备份了一个空白目录呢。

@wensonsmith 我的意思是你可以参考参考他写的，然后撸出来一个功能更加完善的 2017 版本。😊

@wclebb #5 是的， rmbp 可以装 nvdia 的原厂驱动。


@luoer #9
@wclebb #5
光线很弱所以拍的很糙，手机镜头进灰了。

@tianshilei1992 #2 没有只有 Home 目录的权限被改了。

楼主你可以尝试在 V2EX 里面发展一下类似 nga 里面的骷髅的。

http://imgur.com/At3Zuqq

楼主不知道这个 workflow 吗？

https://github.com/liszd/whyliam.workflows.youdao

看了一下关于炉石的消息，应该是数据丢失无误了。

个人认为有很大可能因为存储设备的 metadata 损坏丢失造成的数据无法恢复。

元旦开始，国外回国就已经龟速了

@4ever911 什么软件要用那么新的库？？？ debian 的库还是算是比较稳定的，没有 arch 那么激进。

@marenight debian8 的 sunpinyin 调不出来设置对话框你怎么破解的？
我是用 github 的版本覆盖的。

@4ever911 基本上就到头了，至少 10 年之内不需要任何 major 的 change 。

看一下 Debian 8 的维护周期。
Debian 8 “ Jessie ” LTS from May 2018 to end of April/May 2020

debian jessie 可以支持到 2020 年，那么基本不用担心了，配置一次还是可以撑很久的。

我有一台服务器已经连续跑了快 700 天了，还有之前的工作电脑跑了 200+天后来因为停电挂了。

@4ever911 数据同步用 nfs ，并不是很头疼。而且可以折腾一下 nas ， raid 卡刷 HBA 做 zfs 。