Python 爬虫改成 go,性能提高 5 倍?

2018-12-03 09:28:17 +08:00
 sagaxu
https://zhuanlan.zhihu.com/p/48254385
17878 次点击
所在节点    Python
107 条回复
tt67wq
2018-12-03 11:13:23 +08:00
这种人也算程序员系列?
est
2018-12-03 11:17:41 +08:00
@clino CPU 密集型的,要吊打 MKL 还得颇费一番功夫


( C++ 巨牛除外)
stackexplode
2018-12-03 11:18:12 +08:00
一天到晚研究鄙视链的人,水平真的。。
zhongyiio
2018-12-03 11:21:27 +08:00
话说爬虫主要看对方的性能吧,你性能再高,对方一爬就挂,哈哈哈
2225377fjs
2018-12-03 11:24:08 +08:00
python 确实慢这是客观存在的,执行效率上与 golang 存在明显的差距。
只将爬虫当成是 IO 密集型的,也多半是小白
congeec
2018-12-03 11:25:23 +08:00
@est 我都直接调用 MKL
@zhongyiio 刚开始用写爬虫不懂事儿,挂过几个小网站。后来有人性了
hujianxin
2018-12-03 11:26:33 +08:00
@GoLand 哈哈哈,没错
qsnow6
2018-12-03 11:34:58 +08:00
IO 密集型的,扯再多也没鬼用;
scrapy 每分钟单机单核超过 3000 请求 /分钟,这速度平时做定向爬虫根本都用不上。分分钟被服务器拉黑,不拉黑也抓挂了。

如果还有杠精在这扯,说明平时接触爬虫不够深入。
janus77
2018-12-03 11:37:30 +08:00
文章看不了了?没有知识的荒原
brucedone
2018-12-03 11:41:16 +08:00
https://github.com/lidingke/go_python_crawler_benchmark/blob/master/py_get.py ,看到了熟悉的 lock,也不知道这个该怎么说了。
wangxiaoaer
2018-12-03 11:43:07 +08:00
@janus77 #49 你们不要这样,作者估计受不了删文章了吧。
xpresslink
2018-12-03 11:44:22 +08:00
@janus77 我刚发一条打脸评论,结果。。。
Keyes
2018-12-03 11:47:19 +08:00
@xpresslink 结果来到了荒原 23333
jjx
2018-12-03 11:52:12 +08:00
一个编译型静态类型的语言 每天 就知道同一个解释型动态语言 比性能

脸都放哪里去了
tnt666666
2018-12-03 11:56:41 +08:00
是的,go 是最吊的,吊打 Python
wdv2ly
2018-12-03 12:17:47 +08:00
这不算啥,我写一个代理工具,在垃圾小鸡上跑,cpu 负载 60%左右,加密模块用 c “翻译”下,cpu 负载降到 2-3%,算下来效率提高了 20-30 倍
Leigg
2018-12-03 12:22:56 +08:00
做爬虫,python 足够了,换再快的语言也没用,懂的人自然懂。
labulaka
2018-12-03 12:31:32 +08:00
404 了🌚
qdzzyb
2018-12-03 12:34:30 +08:00
原文 404 了
xiaqi
2018-12-03 12:37:31 +08:00
当年,说 php 是世界最好的论坛炸开了锅。如今,说 Go 爬虫性能吊打 Python,论坛炸开了锅。

文章的作者应该已经在和妹子约会了吧?😂😂😂

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/513689

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX