关于 python 并行计算的问题

[fffflyfish]

大家好，这两天遇到一个运算速度的问题，就是我的程序是关于图像处理的，有的函数是要通过把一张图片的每个像素点扫描，然后计算一些值，比如这样一个场景：有一张画布，上面有 3 个元素，我现在要计算每个空白位置的像素点与这三个元素之间的最短距离，这样如果画布面积太大，就会导致算法运行时间过长，实测的话 800x600 的画布，将这个函数循环迭代 600 次，就得耗时 10 个小时+，所以我想通过并行计算来试试，因为目前的服务器配置是 8 核 E5 2650V3 的，感觉自己的程序只用到了一个核。但是关于这方面的知识我不是很懂，所以请教一下各位，谢谢！

[fffflyfish]

@congeec 没，就是普通的 pillow

[linhua]

dask
https://github.com/dask/dask
http://matthewrocklin.com/blog/work/2016/02/17/dask-distributed-part1

[fffflyfish]

@linhua 哇，简直不能更 cool ，谢谢！

[congeec]

@fffflyfish 如果底层还是 pillow ，用 cpu 算，还是建议试试 simd 版本

[fffflyfish]

@congeec 嗯，之前查过了，这个 simd 版本对 cpu 并行有过优化，可以可以，谢谢啦

[justou]

我实际操作了下你这个问题, 把问题简化成了: 计算图片上到若干像素距离最短的位置, 效率并不算太差啊
到 3, 10, 30, 81 个像素最短距离的计算时间分别是: 160 ms, 460 ms, 1.34 s, 3.55 s, 时间线性递增, 还没用 opencl 试
(注: 当点数过多的时候最短距离的位置不一定只有一个)

https://gist.github.com/justou/b64a0b73fe198a2b6cdb1c72b3459ad8

[fffflyfish]

@justou 好优雅的代码！不过你现在把画布上的一个元素简化成了一个像素点（就是你代码里随机产生的位置），但是对于我现在做的东西来说，这个元素是不能简单的以一个像素点来看待，必须是一个 bounding box , 比如说一张广告，上面的标题元素，比如字号为 60 ，那么它占的像素面积就是一个 axb 大小的矩形框，如果求图片空白区域的每个像素点（无元素的地方）到它的距离，这就有点麻烦了，因为这个元素也是有很多像素点的， 我现在用的方法是 python 里的 scipy 的 distance_transform_edt 函数，链接： https://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.ndimage.morphology.distance_transform_edt.html


这是目前我找到的最好的解决方法，但是计算时间还是不理想，这两天在看 multiprocess 的东西，应该会有用。

非常感谢您能腾出时间来考虑我的问题，谢谢！