xmake v2.5.5 发布，支持下载集成二进制镜像包

2021-07-01 19:00:22 +08:00
 waruqi

xmake 是一个基于 Lua 的轻量级跨平台构建工具，使用 xmake.lua 维护项目构建，相比 makefile/CMakeLists.txt ，配置语法更加简洁直观，对新手非常友好，短时间内就能快速入门，能够让用户把更多的精力集中在实际的项目开发上。

2.5.5 版本中，我们继续改进远程包集成的体验，实现在云端预编译包，然后直接下载集成预编译的二进制包。这对于一些编译非常慢的包，可以极大的减少包的安装时间。

另外，新版本中，我们还重新实现了新版的本地包生成方案，完全无缝支持 add_requires 和 add_packages，从此远程包和本地包可以使用统一的集成方式来维护。

新特性介绍

下载安装预编译包

之前 xmake 内置的包管理器每次安装包，都必须下载对应的包源码，然后执行本地编译安装集成，这对于一些编译非常慢的大包，以及一些依赖的编译工具非常多的包，安装起来会非常的慢。

尤其是在 windows 上，不仅三方包对编译环境的依赖更加复杂，而且很多打包编译非常慢，例如：boost, openssl 等等。

为此，我们基于 github action 实现对包的云端预编译，会将常用配置的包都去预编译一遍，然后存储到 build-artifacts 仓库的 Releases 下。

然后，我们在安装包的时候，会自动从二进制镜像包源下载，实现快速集成（目前仅支持预编译 windows 包，后期会逐步放开到其他平台）。

我们会预编译每个包的 plat/arch/MT/MD/static/shared 等各种配置组合，根据唯一的 buildhash 来精确拉取用户实际需要的包，所有的编译产物都会用 7zip 压缩打包，如下图：

配置镜像源加速下载

由于我们的预编译产物都放置在 github 上，对于国内用户，考虑到访问 github 并不是很稳定，我们也可以借助 xmake 镜像代理功能，将实际的下载自动切换到 fastgit 等镜像站点加速下载。

我们可以通过一个 pac.lua 文件，配置镜像代理规则，比如对所有 github.com 域名的访问切到 hub.fastgit.org 域名，实现加速下载包。

pac.lua 配置：

function mirror(url)
     return url:gsub("github.com", "hub.fastgit.org")
end

然后我们设置这个 pac.lua 文件，默认路径在 ~/.xmake/pac.lua，也可以手动配置使用指定位置的 pac.lua 。

$ xmake g --proxy_pac=/tmp/pac.lua

然后，我们安装包的时候，如果遇到 github.com 域名下的包源，下载时候会自动切到 fastgit 镜像加速下载。

$ xrepo install libpng
> curl https://hub.fastgit.org/glennrp/libpng/archive/v1.6.37.zip -o v1.6.37.zip

因此，所有走预编译产物的下载也会得到提速，当然国内提供 github 镜像加速的不止 fastgit 一家，用户也可以切换到其他镜像源，比如 cnpmjs.org 等等。

如何触发云端预编译

默认情况下，xmake 不会主动进行所有包的云端预编译缓存，这样太耗时耗力，目前仅仅只有提交 pr 到 xmake-repo 官方包仓库，进行新包收录或者包版本更新时候，才会自动触发对应包的云端预编译行为。

所以，如果用户想要贡献包进我们的仓库，基本上都是可以被预编译缓存的（除了 headeronly 库），而如果用户不想贡献包，也想获取对应包的预编译加速，也是可以的。

只需要提交 pr 到 build-artifacts 仓库的 build 分支，编辑 build.txt 文件，修改里面需要触发预编译的包名和版本列表就行了，例如：

build.txt

{
    name = "asmjit",
    versions = {
        "2021.06.27"
    }
}

只要 pr 被 merge 之后，就会自动触发预编译行为，然后生成最终的编译产物到 releases 。

强制源码编译安装

尽管我们提供了预编译下载安装的方式，但是如果用户还是想源码编译安装，我们也可以手动传入 --build 参数给 xrepo 命令，来强制切换到源码编译安装模式。

$ xrepo install --build openssl

在 xmake.lua 中，我们也可以同样支持源码编译安装。

add_requires("openssl", {build = true})

如果没有指定，那么 xmake 会自动优先尝试走预编译包的下载安装。

添加私有预编译包仓库

我们的官方预编译包仓库在：build-artifacts。

同样，我们也可以配置添加自有的预编译仓库，添加方式类似：

$ xmake repo --add local-repo git@github.com:xmake-mirror/myrepo-artifacts.git

也可以在 xmake.lua 中添加：

add_repositories("local-repo git@github.com:xmake-mirror/myrepo-artifacts.git")

新版本地包方案

默认打包格式

新版本中，我们提供了一种新的本地包打包方案，将会更加无缝的对接 add_requires 和 add_packages。

我们执行 xmake package 命令就能够生成默认的新版打包格式。

$ xmake package
package(foo): build/packages/f/foo generated

它将会产生 build/packages/f/foo/xmake.lua 文件，内容如下：

package("foo")
    set_description("The foo package")
    set_license("Apache-2.0")
    add_deps("add", "sub")

    on_load(function (package)
        package:set("installdir", path.join(os.scriptdir(), package:plat(), package:arch(), package:mode()))
    end)

    on_fetch(function (package)
        local result = {}
        result.links = "foo"
        result.linkdirs = package:installdir("lib")
        result.includedirs = package:installdir("include")
        return result
    end)

其实就是采用 package() 来定义描述本地包，就跟远程包一样。

而生成的目录结构如下：

$ tree build/packages/f/foo/
build/packages/f/foo/
├── macosx
│   └── x86_64
│       └── release
│           ├── include
│           │   └── foo.h
│           └── lib
│               └── libfoo.a
└── xmake.lua

我们也能够使用 add_requires/add_repositories 接口来无缝集成这个包。

add_rules("mode.debug", "mode.release")

add_repositories("local-repo build")
add_requires("foo")

target("bar")
    set_kind("binary")
    add_files("src/*.cpp")
    add_packages("foo")

其中，add_repositories 配置指定本地包的仓库根目录，然后就可以通过 add_requires 来引用这个包了。

另外，生成的本地包，还有一个特性，就是支持 target/add_deps，会自动关联多个包的依赖关系，集成时候，也会自动对接所有依赖链接。

这里有完整的测试例子。

"/usr/bin/xcrun -sdk macosx clang++" -o build/macosx/x86_64/release/bar build/.objs/bar/macosx/x86_64/release/src/main.cpp.o -arch x86_64 -mmacosx-version-min=10.15 -isysroot
/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX11.0.sdk -stdlib=libc++
 -L/Users/ruki/projects/personal/xmake/tests/actions/package/localpkg/bar/build/packages/f/foo/macosx/x86_64/release/lib
 -L/Users/ruki/projects/personal/xmake/tests/actions/package/localpkg/bar/build/packages/s/sub/macosx/x86_64/release/lib
 -L/Users/ruki/projects/personal/xmake/tests/actions/package/localpkg/bar/build/packages/a/add/macosx/x86_64/release/lib
 -Wl,-x -lfoo -lsub -ladd -lz

备注：之前的老版本本地打包格式属于早期产物，还是会被保留，但是不推荐继续使用，想要继续使用，可以执行下面的命令打包：

$ xmake package -f oldpkg

生成远程包

除了本地包格式，xmake package 现在也支持生成远程包，便于用户将他们快速提交到远程仓库。

我们只需要在打包时候，修改包格式。

$ xmake package -f remote

他也会产生 packages/f/foo/xmake.lua 文件。

package("foo")
    set_description("The foo package")
    set_license("Apache-2.0")
    add_deps("add", "sub")

    add_urls("https://github.com/myrepo/foo.git")
    add_versions("1.0", "<shasum256 or gitcommit>")

    on_install(function (package)
        local configs = {}
        if package:config("shared") then
            configs.kind = "shared"
        end
        import("package.tools.xmake").install(package, configs)
    end)

    on_test(function (package)
        -- TODO check includes and interfaces
        -- assert(package:has_cfuncs("foo", {includes = "foo.h"})
    end)

包定义配置相比本地包，多了实际的安装逻辑，以及 urls 和 versions 的设置，

我们也能够通过附加参数，去修改 urls，versions 等配置值，例如：

$ xmake package -f remote --url=https://xxxx/xxx.tar.gz --shasum=xxxxx --homepage=xxxxx`

xmake 也会从 target 的 set_license 和 set_version 等配置中读取相关配置信息。

从第三方仓库搜索包

xmake 内置的 xrepo 包管理器命令，之前可以支持搜索 xmake-repo 仓库中的内置包。

$ xrepo search zlib "pcr*"
    zlib:
      -> zlib: A Massively Spiffy Yet Delicately Unobtrusive Compression Library (in xmake-repo)
    pcr*:
      -> pcre2: A Perl Compatible Regular Expressions Library (in xmake-repo)
      -> pcre: A Perl Compatible Regular Expressions Library (in xmake-repo)

而现在，我们还可以从 vcpkg, conan, conda 以及 apt 等第三方包管理器中搜索它们的包，只需要加上对应的包命名空间就行，例如：

$ xrepo search vcpkg::pcre
The package names:
    vcpkg::pcre:
      -> vcpkg::pcre-8.44#8: Perl Compatible Regular Expressions
      -> vcpkg::pcre2-10.35#2: PCRE2 is a re-working of the original Perl Compatible Regular Expressions library

$ xrepo search conan::openssl
The package names:
    conan::openssl:
      -> conan::openssl/1.1.1g:
      -> conan::openssl/1.1.1h:

修改目标文件名

我们知道，对于目标文件名的修改，我们可以使用 set_basename 或者使用 set_filename 接口来配置实现，前者修改 libxxx.so 中的 xxx 部分名字，后者可以修改完整的文件名。

但是有些情况，我们仅仅想要修改：扩展名 .so，前缀名 lib，或者增加后缀名比如：libxxx-d.so 就会很麻烦，要么使用 set_filename 进行完整修改。

现在，我们新提供了 set_prefixname, set_suffixname 和 set_extension 三个独立接口来更加灵活地配置它们。

设置目标文件的前置名

例如将默认的：libtest.so 改成 test.so

target("test")
    set_prefixname("")

设置目标文件的后置名

例如将默认的：libtest.so 改成 libtest-d.so

target("test")
    set_suffixname("-d")

设置目标文件的扩展名

例如将默认的：libtest.so 改成 test.dll

target("test")
    set_prefixname("")
    set_extension(".dll")

默认的目标类型

新版本中，如果用户没有对 target 设置 set_kind 指定目标类型，那么默认就是 binary 程序。

因此，我们可以实现更小的配置，例如：

target("test")
    add_files("src/*.c")

只需两行就可以完成一些小项目的编译，甚至可以更加简短：

target("test", {files = "src/*.c"})

新增 appletvos 编译平台

我们还新增了一个 appletvos 的编译平台，用于支持 Apple 的 TVOS 系统上程序的编译，只需要：

$ xmake f -p appletvos
$ xmake

导入导出编译配置

我们还可以导入导出已经配置好的配置集，方便配置的快速迁移。

导出配置

$ xmake f --export=/tmp/config.txt
$ xmake f -m debug --xxx=y --export=/tmp/config.txt

导入配置

$ xmake f --import=/tmp/config.txt
$ xmake f -m debug --xxx=y --import=/tmp/config.txt

导出配置（带菜单）

$ xmake f --menu --export=/tmp/config.txt
$ xmake f --menu -m debug --xxx=y --export=/tmp/config.txt

导入配置（带菜单）

$ xmake f --menu --import=/tmp/config.txt
$ xmake f --menu -m debug --xxx=y --import=/tmp/config.txt

vs2022 支持

另外，新版本中，我们也增加了对 vs2020 预览版的支持。

改进 xrepo shell 环境

在上个版本，我们支持了通过在当前目录下，添加 xmake.lua 文件，来定制化一些包配置，然后进入特定的包 shell 环境。

add_requires("zlib 1.2.11")
add_requires("python 3.x", "luajit")

$ xrepo env shell
> python --version
> luajit --version

而现在，我们还可以在 xmake.lua 配置加载对应的工具链环境，比如加载 vs 的编译环境。

set_toolchains("msvc")

更新内容

新特性

改进

Bugs 修复

1522 次点击
所在节点    程序员
13 条回复
pabupa
2021-07-01 19:56:27 +08:00
有类似 vcpkg 这样的仓库吗？
pabupa
2021-07-01 19:57:14 +08:00
@pabupa 看到了😅
waruqi
2021-07-01 19:59:57 +08:00
@pabupa 有内置仓库，也可以直接从 vcpkg 仓库装包
3dwelcome
2021-07-01 21:01:24 +08:00
别搞这个了，学 github 搞开源代码分析和 IDE 自动补全功能，比楼主这个要来钱。

积累源代码越多，补全实力越强。
ashong
2021-07-01 21:27:12 +08:00
对于 visual studio 用户来说，如何快速的把 vc++工程转到 xmake 管理？ xmake 管理的 c++项目如何用 visual studio 调试？ 网站上好像没有详细的教程。
waruqi
2021-07-01 21:42:07 +08:00
@ashong xmake project -k vsxmake 生成 vs 工程，就能用 vs 调试，文档里有说明
ashong
2021-07-01 21:54:26 +08:00
@waruqi 多谢回复。
添加、删除源代码文件后是不是需要重新生成工程文件？ cmake 已经可以和 vs 集成调试了
waruqi
2021-07-01 22:01:49 +08:00
@ashong 配置上 add_rules("plugin.vsxmake.autoupdate")，就能自动更新 vsproj，生成的工程 跟你用 cmake 集成调试没什么区别， 一样可以和 xmake 集成调试
ashong
2021-07-01 22:03:02 +08:00
@waruqi 明白了，谢谢
waruqi
2021-07-01 22:03:41 +08:00
@3dwelcome 我自己就是刚需用户，又不是为了来钱，搞开源有几个能来钱的。。
paoqi2048
2021-07-02 00:19:46 +08:00
xmake 越来越好了🤗
3dwelcome
2021-07-02 20:55:33 +08:00
@waruqi "我自己就是刚需用户，又不是为了来钱，搞开源有几个能来钱的。。"

我最大的刚需，是编译 github 上各种奇奇怪怪的代码库。

很多库用不同语言，不同平台，不同库版本依赖，不同 VC/GCC 编译器。

如果不需要人工干预，就能无脑编译成功，那才是 xmake 最大的成功。
waruqi
2021-07-03 00:01:39 +08:00
@3dwelcome xmake 有 trybuild 模式，尽管还不能做到完全无脑，但是大部分基于 cmake/autotools/meson 的库，xmake 都会无缝对接上，通常情况下只需要无脑执行 xmake 即可编译，另外还自动对接了 android / ios 等交叉编译环境，自动传入 cmake/autoconf 实现傻瓜式编译

不过目前也只能算是 trybuild，有一定的失败率，但也简化了不少编译过程。另外后期等 xmake-repo 仓库的 port 脚本收录到一定程度，大部分包都能在仓库被找到，那么编译过程就会简化为安装导出过程，更加的稳定。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/786977

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX