使用了 cgo 的库该如何分发?

2020-10-14 18:04:28 +08:00
 CoolSpring

有一个 Rust 写的库提供了 C ABI 的调用方式,我觉得这个库挺有趣的,就尝试给它写了一个 binding:

https://github.com/CoolSpring8/go-lolhtml
(存在的问题还比较多,无意推广,只是考虑到给出问题的具体情境更好理解)

问题来了,虽然在 go build 时指定 CGO_ENABLED=1 可以让 CC 参数指定的编译器编译工作目录下的 C/C++ 源文件,但是这个库需要调用 cargo 来编译。

我在开发时采用的方案是预先使用 cargo build --release 得到静态库或者动态库,然后在 Go 文件头部指定以下注释:

#cgo CFLAGS: -I${SRCDIR}/lol-html/c-api/include
#cgo LDFLAGS: -L${SRCDIR}/lol-html/c-api/target/release -llolhtml

但是到了 push 到 GitHub 后,尝试新建一个项目引用 import path 写 demo 时,才发现问题:

在启用 go mod 的情况下,go get 之后( go get 不会下载 git submodule 是另一个问题了,容易解决),它依赖的 Rust 库怎么办呢?

cd 到 $GOPATH/pkg/mod/github.com/... 去 make 之类的应该不可行,修改文件夹内容之后 module 的 sum 会改变,会无法使用。

总结起来:

cgo \

+ non-main package (不能通过发布预编译二进制的方案)\

+ no official library distribution (不能像大部分 binding 一样要求用户用包管理器安装对应包后,调用系统动态库,例如 ffmpeg 的 binding )\

+ go module (不能先 git clone 再 make 最后 go install 。所以看起来如果要用 go module 只能将依赖的 Rust 库事先安装为动态库了?)

看了网络上能搜索到的资料,都无法解决我的问题。感觉难点都撞在一起了,好纠结……

3019 次点击
所在节点    Go 编程语言
8 条回复
janxin
2020-10-14 18:26:02 +08:00
为什么不能包含预编译 lib 的?
timonwong
2020-10-14 18:53:50 +08:00
依赖 cgo 的 library 是这样的,因为也不像 npm 或者 python setup.py 可以运行自定义的安装脚本,所以会比较麻烦(以前「可以」,但是是个漏洞被修复了)

ldflags 和 cflags (或者对应的环境变量)这两个可以让 caller 在 go build 的时候转入
或者提供 pkg-config,然后 # cgo pkg-config xxx
include 的头文件,跟 go 文件放在一起,能稍微提高点实用性
wangyzj
2020-10-14 19:28:48 +08:00
docker
CoolSpring
2020-10-14 21:38:50 +08:00
@janxin
谢谢,这个方式我之前没有想到,确实可以,但是似乎不是很“优雅”

@timonwong
感谢,可以传入参数就相对灵活一些了,或许可以写一个 shell 脚本

@wangyzj
docker 与 cgo 的组合我所了解到的是 https://stackoverflow.com/questions/59741795/how-to-distribute-a-go-module-with-c-dependencies 提问者自己的回答,也算是一种方法吧,但我主要还是想让自己的库能够在启用 Go Modules 的情况下通过 go get 的方式来安装
reus
2020-10-14 23:32:17 +08:00
编译成 .a 文件,然后用 #cgo LDFLAGS: foo.a 链接即可
maoxs2
2020-10-15 00:42:19 +08:00
我看下来基本上用 c-binding 的库都是自带各个 platform 的.a 文件,我自己写的也都是这么做的。同样是 go 调用 rust,你可以看看 Mozilla 的字节码联盟它们的 wasmtime-go
missdeer
2020-10-15 08:28:06 +08:00
我就是自带预编译的.a,.so
然后还写了个 Makefile
buzailianxi
2020-10-15 09:39:54 +08:00
基本上都是搞 lib 带过去,不关是不是 cgo

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/714956

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX