用 go 写了一个知乎专栏爬虫

[songjiaxin2008]

地址 https://github.com/solarhell/ZhihuZhuanlanCrawler

效果大概是这样 https://github.com/solarhell/ZhihuZhuanlanCrawler/blob/master/misc/screenshot1.png?raw=true

httpClient 的代码来自 https://github.com/mozillazg/go-cos/blob/master/debug/http.go 感谢🙏

另外基础库的 http client 挺难用的, 希望新的提案能给力。

[pathbox]

不会被封 IP 么？

[songjiaxin2008]

@pathbox #1 暂时还没有 可能我这里发出去的请求不是非常大 都是半夜定时爬取的 如果量特别大 可以考虑多个机器发请求 持久化到 MQ 或者什么地方 做成分布式的

[FindHao]

不是因为爬虫才抓紧去一个吗👀

[feiyipro]

需要 IP 资源的话可以找我，小量我们免费提供，就当测试了（利益相关：飞蚁代理）

[yepinf]

@feiyipro 怎么联系，老哥来个微信