Python 爬虫改成 go，性能提高 5 倍？

[sagaxu]

https://zhuanlan.zhihu.com/p/48254385

[locoz]

@est #98

[yangyaofei]

scrapy 用 scrapy-redis 做多进程，可以跑满 cpu，把数据库跑成瓶颈

[mingyun]

来晚了 都 404 了

[largecat]

404 看不到了，
不过看楼上很多人评论，spider 里采集数据同时入库，
我猜这个人肯定不会 scrapy 框架。瞎 jb 写的。

scrapy 用 spider 爬取，
数据处理在 pipeline 里，
全部一溜的 IO 异步，

怎么可能等入库好了再采下一个，，

[zkeeper]

@congeec 同意你说的, Python 社区好像整体不怎么在意性能, 所有与之相关的改进优先级都放到很低. 一个 GIL 都多少年了, 我看都成了面试必问问题了, 这有多尴尬.

[hasbug]

我想学 go 有人说没啥用，看本地就业情况，一搜没有，想转 python，自己折腾点东西，有人说就是一自行车，项目要想维护下去 最好不要选···

我还能学什么？

[locoz]

@hasbug #106 编程语言很多东西都是共通的，所以语言并不是关键，看哪个好找工作就学哪个