分享一下自己将容器作为开发环境的方案

[huntzhan]

在过去几年中我需要在不同的机器上开发 Python 项目、训练模型（主要基于 torch cuda ），为了解决环境、依赖、工具差异，提升干活效率，于是自己封一个专门用于 Python 开发的 docker 镜像。在此分享给大家

典型的使用场景：

• 本地 docker run 跑起来一个独立容器环境，自动帮我配好 bash ，处理好挂载文件路径权限，处理好好 SSH agent forwarding 等常见开发问题。然后命令行测试
• 本地 /远端跑起来一个容器，然后 ssh 过去执行一些耗时较长的任务（比如训练模型）。ssh 过去后会自动进入 sreen session （这样不需要考虑什么 nohup &），且 bash 也已经配好
• 本地 /远端跑起来一个容器，然后 vscode ssh remote 过去，容器内部已经装好常见 Python 插件，且 bash 也已配好

传送门： https://github.com/vkit-x/wden

[liushuigs]

要是能支持 web 端编程就牛逼了。可以了解下这个： https://github.com/pyscript/pyscript

[huntzhan]

@liushuigs 绝大部分的配置是与 Python 无关的，完全可以装上 web 端编程的工具链与插件

[yazoox]

“容器内部已经装好常见 python 插件”什么意思？这个插件是 vscode 的？ vscode 不是远程 ssh 进入的么？

[moeik]

@liushuigs 这个吗 哈哈 https://github.com/coder/code-server

[huntzhan]

@yazoox 指 vscode 插件，vscode ssh 登陆后会检测远端机器的 code-server 有没有装，如果没有装会自动装上，然后才能在远端装 vscode 插件。先装好，这样就不用每次都从头开始，毕竟 code server + vscode python 插件加起来 500 多 M 。见 https://github.com/vkit-x/wden/blob/ac6a2d0af78e03bcc16ae5aaed942b699639453c/build/install_openssh_server.sh#L21-L39

[junnplus]

https://github.com/tensorchord/envd 和这个项目好像有点类似

[huntzhan]

@junnplus 这个项目之前看过，当时试了一下解决不了我的问题，所以才选择自己封装

其一，envd 的 build 对于我来说没什么用，因为依赖管理我是基于 python package 机制做的（这也是最佳工程实践），不需要 envd 来接管

其二是 envd 作为一个 DSL 灵活程度有限，比如就解决不了我想要自动常驻一个 screen daemon session 的需求，而写 Bash 也不是那么难的事情（确实需要多试错）

其三，上生产环境离不开手写 Dockerfile ，所以干脆一并弄了

[gaocegege]

@huntzhan 你好，想问问什么是 python package 机制？指的是用 conda env.yaml 或者 python requirements.txt 这样的方式么？

[huntzhan]

@gaocegege 我采用的是 `setup.cfg` https://setuptools.pypa.io/en/latest/userguide/declarative_config.html 。这里是一个实际的例子 https://github.com/vkit-x/vkit/blob/ebae430db362b4006b4313712317ef68cb132dea/setup.cfg#L19-L52 。这里是我用的项目模版 https://github.com/huntzhan/morden-python-project-template

[ruanimal]

hunt 哥还是这么顶

[yucongo]

试试 okteto ，可能正是你想要的

[molezznet]

这类用 lxd 构建管理是不是比 docker 有点优势？

[huntzhan]

@yucongo 感谢，我研究一下

[huntzhan]

@molezz765 感谢，我研究一下

[codehz]

说起来 vscode 不是有原生容器连接支持？可能不需要 ssh 来一下）

[huntzhan]

@codehz 你指的应该是 `[Visual Studio Code Remote - Containers]( https://code.visualstudio.com/docs/remote/create-dev-container)` 吧？还是要的，有跑在远程机器上的场景

[codehz]

@huntzhan 官方提供的方案： https://code.visualstudio.com/docs/containers/ssh

[huntzhan]

@codehz 嗯，不冲突

你刚刚发的这个链接（ https://code.visualstudio.com/docs/containers/ssh ），主要讲的是如何在 client side 配置 ssh ，我做的实际上更多的是整体体验，比如保证 container ssh host key 的不变性（ https://github.com/vkit-x/wden/blob/f6b8b07961a97371fad4f291e5b75fd7ae28e3f9/build/install_openssh_server.sh#L10 ）这样每次 login 不需要手动 trust host （加入 ~/.ssh/known_hosts ）。

解决一个问题的方法多种多样，我只是分享了我的解决方案，只能说这种方案比较符合我的习惯，并不一定适合所有人

[codehz]

@huntzhan 主要是，如果不在容器内安装 ssh ，即直接在远程主机上，就消除了 host key 可变的可能性（
不过确实，容器内还有其他开发环境需要配置（比如远程 vscode 的安装），我只是提供了一个解决 ssh 问题的另一个方向（

[huntzhan]

@codehz 即使是 vscode dev container ，我猜测内部应该也是装了 openssh server 的， 只不过安装、配置、client 的连接是 vscode 常见帮你处理好了。vscode 对于我并不是强绑定，对于我个人大多数的使用场景是 ssh remote 去远端 gpu 机器执行长耗时任务，有时才是 vscode ssh remote 过去改配置、代码