python 程序加速

[zerh925]

公司现在在用python做自动化开发，原型已开发完毕，现在就是提速，之前开发的时候完全不考虑时间成本，达到目的优先，现在就是要把2分钟的程序压缩到5秒以内。想请问下大家有哪些可行的手段？我能想到的multiprocess，Cython和SWIG用C来写模块。

[loading]

用go重构。

[geeklian]

2分钟压缩到5秒...
虽然大家都知道python比C慢，但还没到这地步吧。

[cevincheung]

为什么我想说“多机并行计算”呢……

[min]

优化的第一步永远是先profiling

[yakczh]

pypy

Python 2.7.3 (f66246c46ca30b26a5c73e4cc95dd6235c966b8f, Jul 30 2013, 09:27:06)
[PyPy 2.0.2 with GCC 4.4.7 20120313 (Red Hat 4.4.7-3)] on linux2

[zerh925]

@geeklian 因为程序中间最耗时间的部分可以并行的

[zerh925]

@yakczh 谢谢 我去google一下

[zerh925]

thx. will do.

[zerh925]

@loading 不是很明白 改用go语言吗？为什么

[shiny]

先分析瓶颈

[messense]

性能瓶颈如果是 CPU 计算密集型的试试 multiprocessing，network IO 密集型的多线程也能有一定程度的提升。

[zerh925]

@messense 非常感谢。正是计算密集型的。

[tabris17]

想要速度当初就不要选python吗，试试pypy，不行就拉倒吧

[zerh925]

@tabris17 老板是偏执狂。

[skybr]

Cython就可以了。

把几个数值类型的PyObject声明成C类型的, 套在with nogil里。

外面用线程池就好了。

[skybr]

涉及到动态链接库， 比如标准库的IO和一些C扩展， PyPy可能反而比CPython慢。

[dreampuf]

两个思路都是对的，并行利用多核以及用更快的底层。

并行方面看看是IO还是CPU，IO的话用gevent试试，耗时不大，CPU的话有一些计算框架，但都需要时间去采坑，而且不一定都合适。用原始的multiprocess的话，主要问题是数据交互方面非常原始，得
踩很多坑。
更换底层可以试试Cython，在不调用其他类库的纯计算可以做到两个量级的优化。或者用PyPy，Pyston。

Python平台资源丰富，没有什么过不去的坎，动不动嚷嚷换一门语言，似乎是那门语言小白特有的情怀。

[clino]

建议用 cython 试试

[zerh925]

@dreampuf 感谢

[zerh925]

@skybr 谢谢建议