分享一个 Go 实现的小爬虫程序

[wusuopuBUPT]

项目地址：

https://github.com/wusuopubupt/go_spider

适合新手练习， 用了 goroutine, channel, select, waitGroup, mutex 做并发

[lepig]

楼主 请教一下 新手如何系统点学习 go
看到接口这里 有点看不懂了 通道还没看。有点迷

[wusuopuBUPT]

@lepig 多练习吧，通过项目来积累

[hzm0318hzm]

棒棒的，star 下学习了

[wusuopuBUPT]

@hzm0318hzm 欢迎拍砖&PR

[Norie]

2 years ago

[lepig]

想请教一下学习方法
我是从 main 里面一步一步跟着读。看到项目里用到了各种标准库方法，我现在是看到一个查一个。 感觉很慢。
所以想问问 是不是应该把标准库的方法大概过一眼后 在来看项目呢。

谢谢

[wusuopuBUPT]

@lepig 建议先有个大概的了解，然后走读代码，会比较容易些

[Allianzcortex]

感觉加锁意义不大..多个 goroutine 访问同一个网页一开始看就没有几率，并且就算是有影响也很小，不像全局计数器那么不能允许任何误差。要我去写一个无限循环的 reveiver 我应该也是用 select+break 外围 loop 的方式

[Allianzcortex]

@Allianzcortex 或者保险起见只在 map 读写的时候加锁，整个函数都加锁负担太大了