[请教]miniconda 环境迁移最佳实践

2023-08-01 10:48:35 +08:00
 MasterCai

miniconda 应该是目前比较主流的 python 包管理工具(deep learning 领域),但是其环境迁移一直很难做。

先不说跨平台的迁移,就说在同一平台下(如 ubuntu-x64),使用conda env export导出配置文件后,很多情况下都无法在另一台机器上成功配置。很多时候都只能手动处理,非常繁琐。而且一台设备的环境变化之后,其他设备也没法快速同步,只能手动更新(没有及时安装的话后面可能就忘记了,导致出现问题)。

想请教一下大家都是如何处理 conda 的环境迁移问题的?

1475 次点击
所在节点    Python
7 条回复
yzbythesea
2023-08-01 10:50:25 +08:00
pyenv
ConfusedBiscuit
2023-08-01 10:54:42 +08:00
docker
dif
2023-08-01 11:01:29 +08:00
conda-pack
ruanimal
2023-08-01 11:17:17 +08:00
直接复制 conda 目录,执行下面的脚本重写一些路径就行了

#!/bin/sh

if [[ -z $1 ]]; then
echo usage: $0 conda/bin/conda
exit
fi

set -x -e

conda_exe=$(realpath $1)
CONDA_DIR=$(dirname $(dirname $conda_exe))

OLD_PREFIX=$(grep CONDA_EXE $CONDA_DIR/etc/profile.d/conda.sh | head -n1 | cut -d "'" -f 2 | sed 's|/bin/conda||')
NEW_PREFIX=$(echo $conda_exe | sed 's|/bin/conda||')

need_sed=$(grep -RnIH "$OLD_PREFIX" $NEW_PREFIX 2>/dev/null | cut -d ':' -f 1 | sort | uniq)
sed -i "s|$OLD_PREFIX|$NEW_PREFIX|g" $need_sed

need_sed=$(grep -r -E '^#\!.*python' $NEW_PREFIX/bin/ | cut -d ':' -f 1)
sed -i "1c #!${NEW_PREFIX}/bin/python" $need_sed
masellum
2023-08-01 11:19:38 +08:00
这事我之前干过,用 `conda env export --from-history` 导出一份 environment.yml ,然后注意里面的 name 和 prefix 按自己的需要改动一下,可能会有缺的 channel 记得补一下,用 pip 装的包可以在 pip 这个 entry 下面写;这样基本上可以良好地迁移
MasterCai
2023-08-01 11:52:36 +08:00
@ruanimal 这方法好暴力:D 不过感觉同平台应该没啥问题
raycool
2023-08-01 22:23:31 +08:00
conda-pack 可行
直接目标机器上 source activate 即可激活环境。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/961428

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX