The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
wusuopuBUPT

分享一个 Go 实现的小爬虫程序

  •  
  •   wusuopuBUPT ·
    wusuopubupt · Apr 3, 2018 · 2657 views
    This topic created in 2969 days ago, the information mentioned may be changed or developed.
    项目地址:

    https://github.com/wusuopubupt/go_spider

    适合新手练习, 用了 goroutine, channel, select, waitGroup, mutex 做并发
    9 replies    2019-01-02 13:19:52 +08:00
    lepig
        1
    lepig  
       Apr 3, 2018
    楼主 请教一下 新手如何系统点学习 go
    看到接口这里 有点看不懂了 通道还没看。有点迷
    wusuopuBUPT
        2
    wusuopuBUPT  
    OP
       Apr 3, 2018
    @lepig 多练习吧,通过项目来积累
    hzm0318hzm
        3
    hzm0318hzm  
       Apr 3, 2018
    棒棒的,star 下学习了
    wusuopuBUPT
        4
    wusuopuBUPT  
    OP
       Apr 3, 2018
    @hzm0318hzm 欢迎拍砖&PR
    Norie
        5
    Norie  
       Apr 4, 2018
    2 years ago
    lepig
        6
    lepig  
       Apr 9, 2018
    想请教一下学习方法
    我是从 main 里面一步一步跟着读。看到项目里用到了各种标准库方法,我现在是看到一个查一个。 感觉很慢。
    所以想问问 是不是应该把标准库的方法大概过一眼后 在来看项目呢。

    谢谢
    wusuopuBUPT
        7
    wusuopuBUPT  
    OP
       Apr 9, 2018
    @lepig 建议先有个大概的了解,然后走读代码,会比较容易些
    Allianzcortex
        8
    Allianzcortex  
       Jan 2, 2019 via iPhone
    感觉加锁意义不大..多个 goroutine 访问同一个网页一开始看就没有几率,并且就算是有影响也很小,不像全局计数器那么不能允许任何误差。要我去写一个无限循环的 reveiver 我应该也是用 select+break 外围 loop 的方式
    Allianzcortex
        9
    Allianzcortex  
       Jan 2, 2019 via iPhone
    @Allianzcortex 或者保险起见只在 map 读写的时候加锁,整个函数都加锁负担太大了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2394 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 16:08 · PVG 00:08 · LAX 09:08 · JFK 12:08
    ♥ Do have faith in what you're doing.