Disqus 用 Go 取代 Python 的经验分享

[Livid]

http://highscalability.com/blog/2014/5/7/update-on-disqus-its-still-about-realtime-but-go-demolishes.html

[jjx]

The realtime service is a hybrid of CPU intensive tasks + lots of network IO. Gevent was handling the network IO without an issue, but at higher contention, the CPU was choking everything. Switching over to Go removed that contention, which was the primary issue that was being seen.

说明gevent还是很给力的

[clino]

@jjx 怎么看起来意思是gevent在higher contention就不行了,换成go则无问题
原因应该是gevent无法利用多核,而go可以吧?

[jjx]

@clino 我觉的意思是gevent 处理网络io没有问题, 这就是gevent本身的任务所在, 而cpu, python本来就是这样 ,大家都有共识了

[jjx]

这个文章用go其实也有个场景问题. 比方说没有用来访问db, 我实际的尝试是如果用go来访问db, 做db类web应用,虽说比python提升了3~4倍的性能(实际提升有限), 但相对于python的效率. 实在是要不得, 没必要

[cyberscorpio]

gevent 对 network I0 没有问题，但 python 对 CPU 密集型的任务就掉链子了。

估计这个跟 python 的多线程实现有一定关系，另外 python 的效率毕竟不能跟 native 的 go 相比。

没有选择 node 也是同样的原因，node 对 network IO 很合适 (这点和 gevent 类似)，但是 disqus 的需求是 network IO 和 CPU 密集型任务的一个混合体，node 对后者也不擅长。

[xiaojay]

X

[alexapollo]

脚本语言对CPU密集型的任务都不在行
为什么 “disqus 的需求是 network IO 和 CPU 密集型任务的一个混合体”
@cyberscorpio

[est]

@cyberscorpio 。。。。跟多线程一毛线关系都没有

如果你在大型网络编程中import threading那么你已经输了。

[VYSE]

@alexapollo 当IO上去后，本来其实不怎么明显的CPU消耗就显著了，所以切换native的go去处理事务

[yueyoum]

@est 求教 ， 那该如何？

event loop ? or erlang Actor model ?

[skybr]

调用多了, 差距再小也大

https://gist.github.com/6a895ca27c0ca98aa0df.git

[skybr]

https://gist.github.com/anonymous/6a895ca27c0ca98aa0df

[alexapollo]

@VYSE 我一直认为disqus比较像纯粹的IO密集型的，但也有道理，如果IO没有任何瓶颈，那么就是纯粹的CPU线性消耗

[jjx]

去掉print没有你测试的那样夸张,也就3~4倍的差距

[skybr]

@jjx 全部定向到/dev/null的, 加输出主要怕变量没用到会被优化掉.

[dreampuf]

@skybr



我不知道你拿系统原生Progress和goroutine比较有什么意义

[dreampuf]

typo: Progress -> Process

[dreampuf]

@skybr 看错了，抱歉。不是原生进程，是Greenlet。这个比较，有意义。

[jjx]

我去掉两段代码的print跑的,同你的差距较大

(pypy)➜ test time python test_py.py
python test_py.py 11.32s user 0.56s system 99% cpu 11.912 total
(pypy)➜ test time ./test2
./test2 2.36s user 1.79s system 99% cpu 4.148 total

[jjx]

python 2.7同pypy差别同一差不多, 相差3~4秒

(python)➜ test time python test_py.py
python test_py.py 15.09s user 0.77s system 99% cpu 15.893 total