Python 爬虫改成 go，性能提高 5 倍？

[sagaxu]

https://zhuanlan.zhihu.com/p/48254385

[chanchan]

别问问就是 python 牛逼

[aa514758835]

萌新不懂，我也看了这篇文章，我记得 python 好像也可以并行处理吧~

[notreami]

没加代理，无所谓性能

[zarte]

首先静态语言应该会好点，但是没专门对比过。
然后他这个有筛选的爬应该会用到正则或者字符串匹配。
正则这个对时间影响很大具体语言自带的都不一样。

[lekai63]

爬虫瓶颈不是应该在网络这块么？
感觉预期应该是 go 和 python 差不多速度才对呀。。

[windfarer]

python 代码质量不高，同步写数据库，能快就怪了

[gesse]

爬虫很大时候性能瓶颈在网络

就像如果不换固态硬盘，cpu 在一定范围内， 整体性能是差不多的。

[x7395759]

别问，问就是人生苦短，我用 python

[congeec]

我曾经也以为爬虫的瓶颈在 io，直到我用了 scrapy，CPU 常年某个核心 100%。单核异步，没法优化。

python 单核异步一条道走到黑，gvr 老爷子们以为大家都只写 web 后端呢？ python 要死在这条道上

[kidlfy]

他数据库存储是同步的呀...说实话 我还没见过 scrapy 存数据库 这个步骤是写在 spider 里的....

[chengxiao]

爬虫的性能.....难道不是看代理速度么?

[cuixiao603]

别问 问就是你这个 python 水平不行

[congeec]

2008 年到现在，也就 asyncio 亮眼点，JIT、GIL 毫无改进，一点诚意都没有（不要跟我说 pypy，cffi 烦死人）。人家 ruby2.6 都有官方 jit 了。

[so1n]

在知乎的评论不堪入目

[memorycancel]

瓶颈在被爬取网站的反扒机制，你爬虫性能再好都没屌用，甚至适得其反。

[bonfy]

@memorycancel 适得其反 精髓了

[gamecreating]

是的,用 C 多线程写 速度更快.
但是你们追求的采集快 还是开发快呢?
场景不同 不能一概而论

[poplar50]

网络 io 觉得 python 并不虚

[agdhole]

知乎核心业务 python 转 go: https://zhuanlan.zhihu.com/p/48039838

[qwertty01]

@memorycancel 爬的越快，封的越快