各位大佬,请教一个 golang 多线程的阻塞问题

94 天前
 deavorwei

编程小白,在写一个多线程目录文件遍历的时候,出现了阻塞问题,求教各位大佬~

通过增大 var taskChan = make(chan string, 1000),chan 缓冲区为 100 万的时候程序不会阻塞

但是我通过打印日志发现 taskChan 占用很小,只有十几,而且存在通道写入失败的情况

taskChan 的缓冲区为 1000 时,阻塞的日志如下:

[DEBUG]:增加目录,增加 wg, [1802], taskChan = [0]
[ERROR]:写入通道失败...
[DEBUG]:增加目录,增加 wg, [1842], taskChan = [0]
[ERROR]:写入通道失败...
[DEBUG]:增加目录,增加 wg, [1843], taskChan = [0]
[ERROR]:写入通道失败...
[DEBUG]:增加目录,增加 wg, [1844], taskChan = [0]
[DEBUG]:增加目录,增加 wg, [1801], taskChan = [5]
[DEBUG]:任务完成,减小 wg, [1798], taskChan = [1]
[DEBUG]:任务完成,减小 wg, [1797], taskChan = [17]
[DEBUG]:任务完成,减小 wg, [1816], taskChan = [4]
[DEBUG]:增加目录,增加 wg, [1803], taskChan = [1]
[DEBUG]:任务完成,减小 wg, [1843], taskChan = [1]
[DEBUG]:任务完成,减小 wg, [1797], taskChan = [21]
[DEBUG]:任务完成,减小 wg, [1841], taskChan = [24]
[DEBUG]:增加目录,增加 wg, [1841], taskChan = [0]
[DEBUG]:增加目录,增加 wg, [1841], taskChan = [0]
[DEBUG]:增加目录,增加 wg, [1841], taskChan = [0]
[DEBUG]:增加目录,增加 wg, [1841], taskChan = [0]
[DEBUG]:任务完成,减小 wg, [1840], taskChan = [6]
[DEBUG]:任务完成,减小 wg, [1798], taskChan = [0]
[DEBUG]:任务完成,减小 wg, [1840], taskChan = [13]
[ERROR]:写入通道失败...
[DEBUG]:增加目录,增加 wg, [1840], taskChan = [0]
[DEBUG]:增加目录,增加 wg, [1841], taskChan = [0]
[DEBUG]:增加目录,增加 wg, [1842], taskChan = [0]
[DEBUG]:增加目录,增加 wg, [1842], taskChan = [2]
[DEBUG]:增加目录,增加 wg, [1842], taskChan = [0]
[DEBUG]:增加目录,增加 wg, [1843], taskChan = [0]
[ERROR]:写入通道失败...
[DEBUG]:增加目录,增加 wg, [1844], taskChan = [0]
[ERROR]:写入通道失败...
[DEBUG]:增加目录,增加 wg, [1845], taskChan = [0]
[ERROR]:写入通道失败...
[DEBUG]:增加目录,增加 wg, [1846], taskChan = [0]
[ERROR]:写入通道失败...
[DEBUG]:增加目录,增加 wg, [1847], taskChan = [0]
[ERROR]:写入通道失败...
[DEBUG]:增加目录,增加 wg, [1848], taskChan = [0]
[ERROR]:写入通道失败...
[DEBUG]:增加目录,增加 wg, [1849], taskChan = [0]

如果把 taskChan 的缓冲区为 100 万的时候,程序可以正常退出,日志如下:

[DEBUG]:增加目录,增加 wg, [2], taskChan = [0]
[DEBUG]:增加目录,增加 wg, [3], taskChan = [0]
[DEBUG]:增加目录,增加 wg, [4], taskChan = [0]
[DEBUG]:任务完成,减小 wg, [3], taskChan = [0]
[DEBUG]:任务完成,减小 wg, [3], taskChan = [0]
[DEBUG]:任务完成,减小 wg, [3], taskChan = [0]
[DEBUG]:任务完成,减小 wg, [1], taskChan = [0]
[DEBUG]:增加目录,增加 wg, [4], taskChan = [0]
[DEBUG]:增加目录,增加 wg, [2], taskChan = [0]
[DEBUG]:任务完成,减小 wg, [1], taskChan = [0]
[DEBUG]:任务完成,减小 wg, [2], taskChan = [0]
[DEBUG]:任务完成,减小 wg, [2], taskChan = [0]
[DEBUG]:任务完成,减小 wg, [1], taskChan = [0]
[DEBUG]:任务完成,减小 wg, [1], taskChan = [0]
[DEBUG]:任务完成,减小 wg, [0], taskChan = [0]
[INFO]:目录扫描完毕
[DEBUG]:func GetAllFilePath end
[DEBUG]:func StartScan end
[DEBUG]:func btnStartScanOnclick end

代码如下:

package core

import (
	"DopliGo/logs"
	"github.com/panjf2000/ants/v2"
	"os"
	"path/filepath"
	"sync"
	"sync/atomic"
)

func GetAllFilePath(rootPath string) {
	//logs.IsLogDebug = false
	logs.Debug("func GetAllFilePath start")
	// 创建任务通道和结果通道
	var taskChan = make(chan string, 1000000)
	var resultChan = make(chan string, 1000000)
	var wg sync.WaitGroup
	var counter int64 = 0

	// 创建生产者 goroutine 池
	producerPool, _ := ants.NewPoolWithFunc(16, func(i interface{}) {
		produceTasks(i.(string), taskChan, resultChan, &counter, &wg)
	})

	logs.Debug("cap:%d", producerPool.Cap())
	defer producerPool.Release()

	taskChan <- rootPath
	wg.Add(1) // 这里增加计数器
	atomic.AddInt64(&counter, 1)
	logs.Debug("任务开始,增加 wg, [%d], taskChan = [%d]", atomic.LoadInt64(&counter), len(resultChan))

	// 启动生产者
	go func() {
		//defer logs.Debug("生产者退出")
		for task := range taskChan {
			err := producerPool.Invoke(task)
			if err != nil {
				logs.Error("failed to producerPool Invoke, err: %s", err)
				return
			}
		}
	}()

	// 启动结果处理 goroutine
	go func() {
		//defer logs.Debug("消费者退出")
		for result := range resultChan {
			_ = result
		}
	}()

	// 等待所有任务完成
	wg.Wait()
	close(resultChan)
	close(taskChan)
	logs.Info("目录扫描完毕")
	logs.Debug("func GetAllFilePath end")
}

func produceTasks(rootPath string, taskChan chan string, resultChan chan string, counter *int64, wg *sync.WaitGroup) {
	defer wg.Done() // 确保每次 produceTasks 完成时,调用 Done
	//	logs.Debug("func produceTasks start")

	entries, err := os.ReadDir(rootPath)
	if err != nil {
		logs.Error("failed to read dir: %s , err: %s", rootPath, err)
		return
	}

	for _, entry := range entries {
		path := filepath.Join(rootPath, entry.Name())
		if entry.IsDir() {
			wg.Add(1)
			atomic.AddInt64(counter, 1)
			select {
			case taskChan <- path:
				// 发送成功
			default:
				// 发送失败,通道已满
				logs.Error("写入通道失败...")
			}
			logs.Debug("增加目录,增加 wg, [%d], taskChan = [%d]", atomic.LoadInt64(counter), len(resultChan))
		} else {
			resultChan <- path
		}
	}

	atomic.AddInt64(counter, -1)
	logs.Debug("任务完成,减小 wg, [%d], taskChan = [%d]", atomic.LoadInt64(counter), len(resultChan))
	//logs.Debug("func produceTasks end")
}

1698 次点击
所在节点    Go 编程语言
18 条回复
zpfhbyx
94 天前
select 的时候 写入到 chan 不阻塞 chan 满的时候会直接执行 default
josexy
94 天前
```go
if entry.IsDir() {
atomic.AddInt64(counter, 1)
select {
case taskChan <- path:
// 发送成功
wg.Add(1)
default:
// 发送失败,通道已满
logs.Error("写入通道失败...")
}

```
你把 wg.Add(1) 放到里面,然后 channel 容量设置大点就可以了,这样只有发送成功才处理
matytan
94 天前
produceTasks 中 for 循环 wg.add(1)多次,但是只 done 了一次(函数结束)为什么?而且你这个 wg 用的好奇怪
DefoliationM
94 天前
default 删了,如果你想控制退出,把 default 换成 context 。
matytan
94 天前
分析了一下你这个代码打印一定是阻塞在了读取 taskChan ,为什么堵塞,大概率是协程池 invoke 的时候堵塞了,我换成 go 携程跑没问题。具体为什么可能需要探索下 ants
go func() {
for task := range taskChan {
fmt.Printf("task: %s\n", task)
// err := producerPool.Invoke(task)
// if err != nil {
// fmt.Printf("failed to producerPool Invoke, err: %s\n", err)
// return
// }
go produceTasks(task, taskChan, resultChan, &counter, &wg)
}
}()
matytan
94 天前
@matytan #5 produceTasks 中另外 defalut 要删掉,通道满了应该也要等吧,不然可能会漏?
deavorwei
94 天前
@matytan 大佬牛逼,taskChan 设置为 1000 我用协程跑也没问题了,ants 我得再去看看怎么用比较合适; default 是我为了诊断是不是 taskChan 写不进去才加的,正常应该是没有。
另外请教下,为什么 taskChan <- path 写不进去,我实时打印 len ,占用都只有几十,我长度设置的 1000🤣。
deavorwei
94 天前
@zpfhbyx 是的,但是我打印的日志 taskChan 占用只有几十,容量设置是 1000 ,应该不会满才对
yianing
94 天前
@deavorwei #7 #7 taskChan = [%d]", len(resultChan) 打印错变量了
deavorwei
93 天前
@yianing #9 感谢大佬,我这低级错误过分了,但是我修改正确之后,结果还是一样的😂
pxllong
93 天前
用 runtime/pprof 。
yann123
93 天前
default:
wg.Done()
logs.Error("Failed to write to channel...")


写入通过失败了你没有减少锁,所以一直卡住了。
yann123
93 天前
wg 计数的时候注意,一定要确保可以执行 wg.Done()操作,否则就卡住了。
deavorwei
93 天前
@yann123 #13 大佬,还是不行 ,我现在是使用的协程直接跑,taskChan 是 1000 ,然后 wg.done 也加了。跑起来就挂 ,如果把 taskChan 改成 100 万就很正常
matytan
93 天前
@deavorwei #7 并不是占用的问题,是用 ants 的时候你的 channel 大小小于了文件数量,导致死锁的,用 go 携程可以正常等待结束了继续往通道里面放。这种问题直接用极端的办法,把 channel 大小设置为 1 ,看会不会死锁。你用 go 原生协程跑,channel 为 1 都 ok 的,只是慢一点
matytan
93 天前
@deavorwei #7 跑不满通道的原因可能是处理比较快,一直都没有满过,只能说明设置为 1000 没必要哈哈哈
deavorwei
93 天前
@matytan #16
明白了,大佬,感谢感谢!
deavorwei
93 天前
@yann123 #13 大佬,不好意思,可以了,添加了 wg.done 是 ok 的,我运行错程序了 ,感谢指点

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1067078

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX