关于 Linux 编译生成可执行文件后打包移植的问题

Distributions

› Ubuntu

› Fedora

› CentOS

中文资源站

› 网易开源镜像站

This topic created in 1286 days ago, the information mentioned may be changed or developed.

各位大哥好，我是大数据和人工智能方向研一在读，项目要用到一个 Github 工具进行数据预处理，应该是和 C 语言编译相关的，了解不多，想请教各位大哥

问题是这样的

github 下载以后需要编译生成可执行文件，目前也可以正常使用，但是我需要把它移植到另一个服务器上，新的服务器是学校提供的华为云，并没有 sudo 权限，很多 apt-get 命令应该无法安装，所以想请教一下这种情况下是否有办法打包封装移植呢，就像 Windows 下面 c 语言生成 exe 文件这种拿走就用？

我搜索了一些网页但是没有这方面的介绍，我猜测是必须在每一个新的环境里面配置后重新编译生成才行吗，否则 github 直接给一个可执行的包不就行了哈哈哈

但是也感觉如果变成一个二进制文件，是否能脱离依赖进行运行呢？那如果不行的话，有没有绕过 sudo 权限的方法啊，我看华为云有一个自定义镜像绕过 apt-get的方法，但是也不知道行不行，没有实际部署的经验，特来请教，谢谢各位大哥

参考的链接如下：Github

Supplement 1 · Nov 5, 2022

感谢各位大哥的帮助，这个问题已经解决了，总结一下给后人参考吧，因为我把两边的版本都选的是Ubuntu18.04，大家说的这几个方法应该都可以移植，最后使用的so库和修改~/.bashrc路径

背景补充：实验室是有深度学习服务器的，之前有一次找学长申请sudo权限被婉拒，这次是自己的课程作业不是实验室的项目，需要占用几百G空间和显卡资源，就不好意思再去申请了用公共资源了。于是我使用了阿里云的免费试用但只有100G空间，好在有sudo权限能编译这个预处理文件，但没有办法对我500G的原始文件直接处理，近来华为云与学校有合作，课内发了数百元代金券可以使用ModelArts框架和V100显卡，云盘也可以扩容到2TB比较方便，缺点就是没有公网，没有apt-get，没有sudo，寄人篱下有点难受但考虑到以后也要部署应用到其他的环境，就发了这个帖子询问大家

首先查看两边的ldd --version发现一致，尝试使用no-shared全静态连接但是失败了，安装musl后指定CC运行./configure是可以的，但是make的时候就会说在某个 .h中导入了某个外部的 .so 失败了，推测可能是和这个Github分成了四个模块和框架的总分结构有关？多次尝试后就放弃直接的静态连接了，发现exodus可以直接ssh连接另一台服务器然后导入依赖，就去尝试，但发现华为云这个深度学习框架内不允许ssh密码连接，也许密钥的ssh是可以的，暂且放弃了。

转头尝试docker，发工单后华为工程师告诉我导入使用docker不需要权限，就开始学习，但也发现了查看和打包.so的方法，于是直接使用 ldd name查看依赖，打包依赖库的脚本可以参考ldd.sh帖子，然后在另一环境修改~/.bashrc即可

就像各位所言，这样操作的可行性是建立在glibc版本和Ubuntu版本一致的基础上，如果要移植到其他平台可能要寻找更通用的方法。

再次感谢各位有什么问题或建议还请留言 @yanqiyu @ysc3839 @tool2d @yyttrr @libook @weidaizi @ch2 @dynos01 @churchill @felixlong @microxiaoxiao @julyclyde @hsfzxjy @kenvix @ferstar @adoal @yanqiyu @tomychen @FrankHB @weidaizi @Inn0Vat10n @chai2010 @cattyhouse

GitHub

生成

编译

apt-get

29 replies • 2022-11-04 17:34:36 +08:00

yanqiyu

Nov 3, 2022

选择基本上有：
- 容器化
- Appimage
- 除了 libc 尽可能静态链接（比如 vscode 的二进制分发）
- 带一个 prefix ，带着库打包，设置环境变量或者 rpath 来运行

ysc3839

Nov 3, 2022

依赖库都别用系统的，自己编译链接，可以静态链接，也可以 so 一起打包带走。
其实跟 Windows 下的区别就是谁来提供这些库，Windows 和 macOS 的惯例是各种依赖库都由程序自己打包。

tool2d

Nov 3, 2022

具体看依赖库了，一般简单的 C 程序，跨 linux 几个版本运行都可以。

实在不行你本地安装一个和服务器环境一模一样的虚拟机，本地编译 elf 后再上传也行。

唯一的问题是如果 AI 的话，肯定和 python 相关，如果是用 python setup 之类编译的 so ，那就和 py 运行版本直接绑定了。

yyttrr

Nov 3, 2022

随便找个星星多的项目，release 里面都会同时提供多个平台的包
amd64 arm64 windows darwin 等等
通过 cicd 解决吧，多编译出来不同环境的二进制包

libook

Nov 3, 2022

程序可能会依赖系统的内核 API 、安装的动态链接库 API 。
Windows 下面涉及到动态链接库可能也不是拿走就能用的。
大部分程序使用的是内核的通用 API ，一般只需要注意平台一样就可以，比如 x86-64 平台之间大多是兼容的。
动态链接库如果目标系统上没有装，你就得跟应用程序一起带过去（包括动态链接库所依赖的其他动态链接库），然后好像可以使用 LD_LIBRARY_PATH 环境变量添加你的库所在的位置。我没试过，你可以探索一下。

weidaizi

Nov 3, 2022

#1 @yanqiyu 基本答完了，我补充一个注意事项：当选择 3 ，4 的时候，要注意一下 libc 的版本，保证编译机器上的版本 <= 生产环境的版本

ysc3839

Nov 3, 2022

看了下你给的自定义镜像的链接，好像就是弄个 Docker 镜像？那弄一个试试就知道了。

ch2

Nov 3, 2022

容器是最稳的，裸而且大的二进制没啥意义

dynos01

Nov 3, 2022

针对这样的情况首先考虑静态编译吧，用 musl 。这样正常情况下都能满足你的需要。以下是参考命令：
'''
git clone --recursive https://github.com/CESNET/nemea
./bootstrap.sh
CC="musl-gcc -static" ./configure --enable-repobuild --prefix=/usr --bindir=/usr/bin/nemea --sysconfdir=/etc/nemea --libdir=/usr/lib64
make
'''
我没有自己测试，但正确安装 musl 后应该能跑通。这样得到的二进制基本上跨平台都没问题。

dynos01

Nov 3, 2022

s/静态编译 /静态链接，手滑了

churchill

Nov 3, 2022

https://github.com/phusion/holy-build-box

felixlong

Nov 3, 2022

你这个程序本身看上去就需要 root 权限来运行。还是想办法拿到 root 权限吧。

yang3121099

Nov 3, 2022

谢谢各位大哥，我大概明白了

就是把现有的 prefix 和 so 库也复制过去然后改 path
或者直接全改成静态链接+通用的 libc 直接拿去就用

我也去了解一下 docker ，以前只听在鹅厂实习的师兄提过是为了提交的代码安全什么的，但我也不知道是啥，感觉挺高级的，之前印象中一直觉得 docker 就是 mac/linux 的任务栏哈哈哈

之前学的 c 语言都是点击自动 compile-run 的，帖子里的这几个名词我慢慢去看，现在进行的 AI 训练模型也是，整天看论文看数学公式然后代码改几行，就丢给显卡看学习曲线，更基础一些的编程原理就啥也不知道了，感觉根基多少不太牢

如果必须 sudo 的话只能两个服务器了，因为需要新的环境提供显卡资源

多谢各位的回复

@yanqiyu
@ysc3839
@tool2d 确实最后要转到 python 怎么把深度学习的模型打包是我的下一个问题哈哈哈
@yyttrr
@libook
@weidaizi
@ch2
@dynos01
@churchill
@felixlong