请教 Git 仓库拆分方案

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2454 天前的主题，其中的信息可能已经有所发展或是发生改变。

有一个 Java 项目，现在仓库很大，约 20G。项目大主要是因为：把上线用的 jar 包也提交进去了（方便线上自动化部署、回滚）；另外，曾经有同事误提交了一些很大的二进制文件。
上线方式是：本地开发、测试完成，编译打 jar 包，提交进 Git 仓库；用自动化工具远程 pull jar 包部署上线。

现在造成的问题是：

本地开发时，pull 源代码很慢（有时侯需要等 2-3 分钟）
上线时，pull jar 包也很慢

第 1 点是主要问题，第 2 点勉强可以接受。

目前计划的拆分方案是：
新建两个仓库：一个只放代码；另一个只放 jar 包。只放代码仓库，可以解决本地开发时 pull 代码慢的问题。

现在的问题是：
两个仓库间 commit 版本号的 mapping 问题，如何让 jar 包仓库的 commit hash2 记录其对应的代码仓库 commit hash1 呢？
可以给 commit hash2 打上 tag，里面记录下对应的 commit hash1，有没有更好的、自动化的方法呢？

或者大家有没有更好的拆分方案？谢谢大家。

jar

commit

仓库

pull

23 条回复 • 2018-02-24 12:57:38 +08:00

huntzhan

2018-02-23 20:20:32 +08:00

更好的方法是把 infrastructure 建好（或者用现成的云平台服务），使用 artifact service 存放 build targets，在 code enlistment 的时候自动下载 project dependency。

whatsmyip

2018-02-23 20:21:33 +08:00

1. git 历史记录可以彻底删除某个文件的
2. Github 是有 release 功能的

Goooogle

2018-02-23 20:24:28 +08:00

1. 从历史数据删除历史大文件
https://rtyley.github.io/bfg-repo-cleaner/
2. 用专门的打包机完成打包流程，打好的包可以放在单独的仓库，也可以直接就放在打包机及服务器本地

sagaxu

2018-02-23 20:42:33 +08:00 via Android

代码一个库，binary 另一个库，各司其职

PazuLee

2018-02-23 20:56:15 +08:00

jar 用 maven 管理，不用 git 呢

yichengfzu

2018-02-23 21:07:30 +08:00 via iPhone

git-lfs

huiyifyj

2018-02-23 21:21:57 +08:00

20G 的仓库，额。。。
你竟然把 git 当成团队传输文件的工具。
＃被玩坏的 git

whileFalse

2018-02-23 21:31:08 +08:00

你们的 jar 包是自动打好的吗？还是人开 ide 打的？

koalli

2018-02-23 22:01:33 +08:00

只保留一个 source 仓库，把构建相关的文件全部分离出去
使用专门的服务器来做构建，只保留最后几个构建作为预发布版本，方便测试和发布
分拆成两个仓库我认为是没有必要的，产生的 jar 包其实只需要确保在必要时能再次构建获得就可以（ source 仓库打好 tag ）

koalli

2018-02-23 22:06:52 +08:00

至于你说的两个仓库间 commit 版本号的 mapping 问题，我认为采用版本号是个比较好的办法吧
可以参考一下 git-flow 的流程图： https://jeffkreeftmeijer.com/git-flow/

lfzyx

2018-02-23 22:46:40 +08:00

居然没人提到 nexus 仓库，你司的项目管理水平太差了，把版本控制系统当作仓库使用。
项目经理应该自行辞职。

janus77

2018-02-23 23:03:44 +08:00 via Android

用 maven …自己搭 nexus

joyeu

2018-02-23 23:04:21 +08:00

为什么不想着解决问题的本质，删除没用的文件才是你们要做的吧？

Reficul

2018-02-23 23:30:04 +08:00 via Android

清掉二进制文件用 branch-filter 命令，然后再搞一个 ci 工具加上二进制仓库。二进制仓库里 mapping 关系可以用 git 的 sha

zxiso

2018-02-23 23:54:29 +08:00 via Android

可以试试 git lfs

Nostalgia

2018-02-24 10:08:32 +08:00

@whatsmyip @Goooogle @joyeu
谢谢。测试了下，确实可以从 commit history 彻底删除文件 /目录。

@whatsmyip
没有用 GitHub，用的是自建的 GitLab。

@whileFalse
是人工开 IDE 打的。

@lfzyx
哈哈，待我把你的意思反馈给他。

@Reficul
兄台说的是 git filter-branch 吧？

ericgui

2018-02-24 10:57:28 +08:00

你们 git 仓库竟然有 20G。。。。。。

Nostalgia

2018-02-24 11:01:08 +08:00

@yichengfzu @zxiso
大概看了下 git-lfs，感觉很不错。
请问下两位自建 git-lfs server 靠谱么？就用 https://github.com/git-lfs/lfs-test-server ？
另外，git-lfs 有没有什么坑，或者不爽的地方？
谢谢。

Nostalgia

2018-02-24 11:02:45 +08:00

@huiyifyj @ericgui
哈哈，20G 是未处理过的。我 git gc 了下，只剩 7G 左右了。

catinred

2018-02-24 12:16:45 +08:00

自建一个 nexus repo 可破

huawuya

2018-02-24 12:28:48 +08:00

jar 或二进制文件应该用 git lfs，artifactor 或 nexus 来存储，用 maven 来管理，不应该放到 git 里

Reficul

2018-02-24 12:38:14 +08:00 via Android

@Nostalgia 😂不要在意这些细节

lunny

2018-02-24 12:57:38 +08:00

可以自建 Gitea，支持 git lfs