[分享] 被 Ubuntu 坑了

[msg7086]

前情摘要

我司入了台洋辣鸡做 NAS ，装上 Ubuntu 16.04 跑 ZFS 。

前戏

今天正好想起来，登上服务器把玩一番，一不小心就发现了奇怪的情况。

Ubuntu 趁人不备，在后台给我静默安装了 15 个不同版本的内核。

高潮

默默 dpkg 列出了所有的内核和脑袋，去掉当前的和最新的，剩下的统统拿去 purge 了。

Purge 花了不少时间，毕竟要处理各种 dkms 和 grub 呢。

全跑完一看……

ZFS 内核模块编译不通过……

仔细读了 Log 发现， 4.4.0-21 是能编译过的， 4.4.0-62 是一定会炸的。

回去跑了 dkms install zfs -v 0.6.5.6 -k 4.4.0-62-generic 看了眼，发现编译错误指向了一个系统 API ：

/var/lib/dkms/zfs/0.6.5.6/build/module/zfs/zpl_xattr.c: In function ‘__zpl_xattr_acl_set_access ’:
/var/lib/dkms/zfs/0.6.5.6/build/module/zfs/zpl_xattr.c:1284:28: warning: passing argument 1 of ‘ posix_acl_valid ’ from incompatible pointer type [-Wincompatible-pointer-types]
    error = posix_acl_valid(acl);
                            ^
In file included from /var/lib/dkms/zfs/0.6.5.6/build/include/linux/vfs_compat.h:204:0,
                 from /var/lib/dkms/zfs/0.6.5.6/build/include/sys/zpl.h:37,
                 from /var/lib/dkms/zfs/0.6.5.6/build/include/sys/zfs_vnops.h:34,
                 from /var/lib/dkms/zfs/0.6.5.6/build/module/zfs/zpl_xattr.c:81:
include/linux/posix_acl.h:84:12: note: expected ‘ struct user_namespace *’ but argument is of type ‘ struct posix_acl *’
 extern int posix_acl_valid(struct user_namespace *, const struct posix_acl *);
            ^
/var/lib/dkms/zfs/0.6.5.6/build/module/zfs/zpl_xattr.c:1284:12: error: too few arguments to function ‘ posix_acl_valid ’
    error = posix_acl_valid(acl);
            ^
In file included from /var/lib/dkms/zfs/0.6.5.6/build/include/linux/vfs_compat.h:204:0,
                 from /var/lib/dkms/zfs/0.6.5.6/build/include/sys/zpl.h:37,
                 from /var/lib/dkms/zfs/0.6.5.6/build/include/sys/zfs_vnops.h:34,
                 from /var/lib/dkms/zfs/0.6.5.6/build/module/zfs/zpl_xattr.c:81:
include/linux/posix_acl.h:84:12: note: declared here
 extern int posix_acl_valid(struct user_namespace *, const struct posix_acl *);
            ^
/var/lib/dkms/zfs/0.6.5.6/build/module/zfs/zpl_xattr.c: In function ‘__zpl_xattr_acl_set_default ’:
/var/lib/dkms/zfs/0.6.5.6/build/module/zfs/zpl_xattr.c:1323:28: warning: passing argument 1 of ‘ posix_acl_valid ’ from incompatible pointer type [-Wincompatible-pointer-types]
    error = posix_acl_valid(acl);
                            ^
In file included from /var/lib/dkms/zfs/0.6.5.6/build/include/linux/vfs_compat.h:204:0,
                 from /var/lib/dkms/zfs/0.6.5.6/build/include/sys/zpl.h:37,
                 from /var/lib/dkms/zfs/0.6.5.6/build/include/sys/zfs_vnops.h:34,
                 from /var/lib/dkms/zfs/0.6.5.6/build/module/zfs/zpl_xattr.c:81:
include/linux/posix_acl.h:84:12: note: expected ‘ struct user_namespace *’ but argument is of type ‘ struct posix_acl *’
 extern int posix_acl_valid(struct user_namespace *, const struct posix_acl *);
            ^
/var/lib/dkms/zfs/0.6.5.6/build/module/zfs/zpl_xattr.c:1323:12: error: too few arguments to function ‘ posix_acl_valid ’
    error = posix_acl_valid(acl);
            ^
In file included from /var/lib/dkms/zfs/0.6.5.6/build/include/linux/vfs_compat.h:204:0,
                 from /var/lib/dkms/zfs/0.6.5.6/build/include/sys/zpl.h:37,
                 from /var/lib/dkms/zfs/0.6.5.6/build/include/sys/zfs_vnops.h:34,
                 from /var/lib/dkms/zfs/0.6.5.6/build/module/zfs/zpl_xattr.c:81:
include/linux/posix_acl.h:84:12: note: declared here
 extern int posix_acl_valid(struct user_namespace *, const struct posix_acl *);
            ^
scripts/Makefile.build:258: recipe for target '/var/lib/dkms/zfs/0.6.5.6/build/module/zfs/zpl_xattr.o' failed

默默翻出之前卸掉的那些脑袋包看了眼……

# grep posix_acl_valid /usr/src/linux-headers-4.4.0-??/include/linux/posix_acl.h
/usr/src/linux-headers-4.4.0-21/include/linux/posix_acl.h:extern int posix_acl_valid(const struct posix_acl *);
/usr/src/linux-headers-4.4.0-47/include/linux/posix_acl.h:extern int posix_acl_valid(const struct posix_acl *);
/usr/src/linux-headers-4.4.0-57/include/linux/posix_acl.h:extern int posix_acl_valid(const struct posix_acl *);
/usr/src/linux-headers-4.4.0-59/include/linux/posix_acl.h:extern int posix_acl_valid(struct user_namespace *, const struct posix_acl *);
/usr/src/linux-headers-4.4.0-62/include/linux/posix_acl.h:extern int posix_acl_valid(struct user_namespace *, const struct posix_acl *);

解决方案

没什么好说的，滚回之前的版本就好了……

头一次信 Ubuntu ，就给我看这个……

[hosiet]

@msg7086 问了一下某 Canonical 员工，他建议你去报 bug

[Laforet]

@Tairy

ubuntu 到 14.04 为止（ 16.04 没用过，不确定）自动更新不会 purge ，旧版本内核文件残留在硬盘上直接把 inodes 吃完，然后你就开不了机了。这个 bug 至少四年前就有人指出，一直没修复。

https://bugs.launchpad.net/ubuntu/+source/update-manager/+bug/1089195

[satifanie]

@msg7086 安装的时候 会让你选择更新不更新的。 默认的我忘记了。 我没碰到你的问题，倒是碰到了。 升级内核把 /BOOT 搞满了的问题，然后各种麻烦。。。。。 zzZ

[msg7086]

@hosiet 刚刚放狗搜了一下， zfs 的 ppa 和 github 上已经有不少人涌入了，应该轮不到我上场了。
发这帖子主要是为了可能遇到同样坑的朋友留个记录。

[squid157]

@msg7086 那个蛋疼做法曾经考虑过。

[msg7086]

@Laforet
@satifanie

突然笑死

没记错的话我选了 Security 自动更新……于是成了罪恶的根源。

[ovear]

我选择 freenas ， ubuntu 维护周期太短了，基本一两年就要没啥么更新了（包括 LTS ）
懒得装系统啊。。

[pubby]

今天 zpool upgrade 了一下

然后需要更新硬盘上 zfs 开机引导块，但是几年前的机器当时 boot 区只分了 64K ，不够写....折腾一下午

[mortal]

@Laforet #22 的确是这样的（ 14.04 ），这种也好意思做 LTS …

LZ 的表情包好丰富~

[4ever911]

看不大懂， 高手！

[raptor]

ZFS 还是老老实实用 FreeBSD 吧，反正我用了六年多从来没出过状况。

[neoblackcap]

@msg7086 内核模块不是编译好再放生产上面放的吗？在生产环境编译不会影响业务吗？

[zbinlin]

之前在一个 KVM 上安装过 xfs 的 CentOS7 ，在 update 时或导入数据库时不定时 crash 。后来重装换了 ext4 后就好了。

[hd7771]

用 ubuntu 我都不敢更新

[keramist]

满足你一切要求 nas4free

[msg7086]

@neoblackcap 系统包，我也没办法离线编译完扔上去啊。

[ericFork]

Ubuntu 和 ZFS on Linux 在这种场景下都不够鲁棒……所以是双重风险

[okudayukiko0]

可能是开启了自动更新吧，目前 Linux 下的 ZFS 不够成熟，如要 ZFS 建议 FreeBSD 或 NetBSD 。

[madper]

@msg7086 16.04 的 zfs 明明是 in-tree 就给你预编译好了. 你为毛要自己编译?
modinfo zfs | grep file
filename: /lib/modules/4.4.0-63-generic/kernel/zfs/zfs/zfs.ko
parm: spa_config_path:SPA config file (/etc/zfs/zpool.cache) (charp)

@hd7771 那你胆子太小.

@jarlyyn ubuntu 16.04 已经有 in-tree 的 zfs 支持了. 所以 ubuntu + zfs 也不算什么艺高人胆大...

[jarlyyn]

@madper

不不不

不管 ubuntu 还是 zfs ，都是艺高人胆打，何况一起用……