Python 爬虫改成 go,性能提高 5 倍?

2018-12-03 09:28:17 +08:00
 sagaxu
https://zhuanlan.zhihu.com/p/48254385
17878 次点击
所在节点    Python
107 条回复
locoz
2018-12-03 16:31:59 +08:00
@locoz #80 原评论 -> 原文评论
quqiuzhu
2018-12-03 16:41:29 +08:00
人生苦短,我用 python。说的就是你们天天优化优化,老子自己写得爽就行了,性能不好多加几台机器就是。
yc8332
2018-12-03 16:58:18 +08:00
性能瓶颈不是应该在数据库吗?
rizon
2018-12-03 17:06:54 +08:00
我不是很懂 python,但是 python 很火是毋庸置疑的,但是有件事我不明白,希望有大佬解答。
既然 python 是单核,性能有瓶颈,为什么还这么火?尤其是云计算方面,这个单核的问题不是问题吗?

网上看到的描述


贴一下 18 年 12 月的排行

rockyou12
2018-12-03 17:09:02 +08:00
@rizon python 可以多进程,多核也能利用起来。只是比 java、go 这些比起来写起来有点蠢。
troywinter
2018-12-03 17:11:34 +08:00
@est cpu 密集型,numpy 和 c++不相上下,都是调 mkl 的库,没什么区别。
xiaqi
2018-12-03 17:12:55 +08:00
那些老说 python 性能渣的,你倒是用 go 写个比 python 的 numpy 性能更高的库出来呀?
🐶🐶🐶
beforeuwait
2018-12-03 17:13:56 +08:00
@memorycancel 十分同意
beforeuwait
2018-12-03 17:16:34 +08:00
@Leigg 来,握个爪
qilishasha
2018-12-03 17:18:22 +08:00
……反正用到的地方有限,管你是什么语言,会什么我就用什么。
qsnow6
2018-12-03 17:22:26 +08:00
@rizon #84 首先,任何语言的性能都是有瓶颈的,得看具体的数值,不存在有一门语言能在单机状态下抗下天猫双 11 的流量。

其次,python 止于大部分静态语言( C、GO ),确实性能没有他们的单机性能高,这是所有动态语言的劣势,先天的,为了 code 的易用性和效率,牺牲了部分性能。

python 之所以能在这么多领域开枝散叶,很大程序上利益于他的易用性,随便敲几行代码,一个爬虫就写好了,不管管类型这些静态语言语法的束缚,简直太舒服了。
xiaqi
2018-12-03 17:25:42 +08:00
@rizon 再次超越 C++,话说今年年度编程语言不会是 Python 吧?😂😂
qsnow6
2018-12-03 17:29:44 +08:00
性能够用就好,经常看到建博客的,日均 IP 不到 200,却在发愁以后怎么面对千万级的并发,到底该选哪门语言
est
2018-12-03 17:49:07 +08:00
@rizon 就好比从来没出过城的人考虑买车承载式底盘 4wd 越野好不好的问题。。。
lazyfighter
2018-12-03 17:53:48 +08:00
@qsnow6 没毛病 哈哈
LawlietZ
2018-12-03 18:06:48 +08:00
怎么 404 了
JCZ2MkKb5S8ZX9pq
2018-12-03 18:07:28 +08:00
看了楼上的评论,python 爬虫同时写入 mongo 的瑟瑟发抖……
est
2018-12-03 18:08:08 +08:00
@locoz 神 api。。。
est
2018-12-03 18:09:29 +08:00
@qilishasha

> 为了 code 的易用性和效率,牺牲了部分性能。

也不能完全这样说。主要是几个 core dev 不接受 给 CPython 提速的补丁。。。

php7 你看那速度。。ruby3x3 你看那速度。。。就连 perl6 也提速了。


p 家的,就剩 py 没把提速放到第一核心重点了。
fiht
2018-12-03 18:35:23 +08:00
@xiaqi 首先 Python 性能不如 go 是事实你得要承认... 才能继续这个对话

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/513689

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX