git clone & pull 大数据量代码时 服务器内存爆满

[HLT]

centos 7

1-2G 内存 clone 直接导致内存溢出， remote out of memery

4G 内存， 4G SWAP git pull 也都跑满了。。。

git-merge 内存占用最多

clone & pull 后 内存也一直满着不释放。。。

大家遇到这种情况都是怎么解决的呢？

[wayslog]

gitlab 服务器？换成 gogs 吧…我用着挺好用的

[zddhub]

Git 只跟踪源码就好，大文件用 git lfs

[elgoog1970]

换硬件

[9hills]

好几 G 的代码……里面都是什么

[shoaly]

问一下 你们数据量有多大, 之前用 git 还没碰到过性能极限...

[auser]

目测 linux 源码

[HLT]

@9hills
@shoaly
@wayslog
@zddhub

我们有个小需求，就是类似 clone 一个像 cdnjs 这种级别的，并且定时 pull

[ibrother]

@HLT gitlab 企业版有 mirror 的功能，应该能满足你们这个需求

[xiamx]

遇到这种情况大概就是加内存吧

[forcecharlie]

第一得看是什么 git 搭建的服务，第二是看什么 git 协议的访问，比如有些 git http 服务器的实现就会致使进程内存占用过高，以 git clone （ fetch merge ） 本质上是 git fetch-pack 和 git upload-pack 在交换标准输出，这个过程是动态的，如果合理的话，内存占用并不会很高，当时有一些服务器，比如 HTTP 服务器，直接将标准输出写入到 http 响应包体，又不用 chunked 编码，这样的后果就是，一个大仓库， 2G ， HTTP 的包体就需要 >2G ， （ git 的 http 客户端基本上使用 curl ， winhttp （ libgit2 ）这样的实现，客户端内存一般不会爆掉。），老版本的 gitlab 使用的 grack 就是这样的。

[HLT]

@forcecharlie 所以。。怎么办呢

[forcecharlie]

@HLT 你把你搭建的 git 服务器信息贴出来，还有访问方式。