golang 经验交流，如何避免 gc 杀手

golang 的 gc 从实践来看弱爆了， while { readline, } 处理大文本很快内存消耗完, 大量 cpu 时间消耗到 gc 上。下面两个工具可以缓解这种问题，一是一块 buffer 上用多个 slice 连续存储，另一个是自动缩放的一块 buffer 存变长的值。

type BytesPool struct {
  Buffer []byte
  Index int
  Top int
}

//size, initial pool size
func NewBytesPool(size int) *BytesPool {
  return &BytesPool{make([]byte, size), 0, 0}
}

//get slice
func (b *BytesPool) AllocSlice(size int) []byte {
  //expand 1.5x
  if len(b.Buffer) < size + b.Index {
    nb := make([]byte, int(float64(len(b.Buffer)) * 1.5) + size)
    copy(nb,  b.Buffer)
    b.Buffer = nb
  }
  slice := b.Buffer[b.Index:b.Index+size]
  b.Top = b.Index
  b.Index += size
  return slice
}

func (b *BytesPool) GetSlice() []byte {
  return b.Buffer[b.Top:b.Index]
}


type AutoResizeByteArray struct {
  Buffer []byte
  Top int
}

func NewAutoResizeByteArray(size int) *AutoResizeByteArray {
  return &AutoResizeByteArray{make([]byte, size), 0}
}


func (b *AutoResizeByteArray) AllocSlice(size int) []byte {
  if len(b.Buffer) < size {
    nb := make([]byte, int(float64(len(b.Buffer)) * 1.5) + size)
    copy(nb,  b.Buffer)
    b.Buffer = nb
  }
  b.Top = size
  return b.Buffer[:size]
}

func (b *AutoResizeByteArray) GetSlice() []byte {
  return b.Buffer[:b.Top]
}


func testBytesPool() {
  b := NewBytesPool(3)
  copy(b.AllocSlice(4), []byte("abcd"))
  fmt.Printf("%s\n", b.GetSlice())
  copy(b.AllocSlice(2), []byte("ef"))
  fmt.Printf("%s\n", b.GetSlice())

  b1 := NewAutoResizeByteArray(3)
  copy(b1.AllocSlice(4), []byte("abcd"))
  fmt.Printf("%s\n", b1.GetSlice())
}

大家还有什么好注意？欢迎交流。

dbow

2015-12-09 17:26:40 +08:00

@pathletboy
@mengzhuo
@tiancaiamao
我其实是想讨论下怎么把内存释放掉，内存池只是避免通过 gc 的方案
c 里有 malloc , free 成对，成对使用就可以保持内存消耗相对较小
golang 里就不一样，一路 malloc, 什么时候 free 是不确定事件，最后内存使用越来越大，不可控制。

cloudzhou

2015-12-09 19:18:36 +08:00

-- while {readline} 不建内存池这种模式下， 10 亿行文本，吃内存嗖嗖的, 慢点是没有关系的.

我并不理解你这个需求，如果你能提供更多代码就更好了。因为在 while 里面，最终只是复用一个 slice 而已（当然在超过当前长度的时候会申请新的内存空间）， GC 应该是可控的。
// 使用 *bufio.Reader ReadLine

上面提到的几种方案， sync.Pool ， bytes.Buffer ，有什么理由不能用吗？

golang 经验交流， 如何避免 gc 杀手

golang 经验交流，如何避免 gc 杀手