[求助] Python 多线程通信 (好心人救救孩子，点开工资超级加倍)

[echome]

如何从一个需要执行很久的线程当中获取返回数据

有一个线程当中的函数做 funcA，funcA 需要花费很多时间，并且 funcA 会返回我们需要的数据 我该如何获得其中的数据？ 网上一般是

1. 使用 queue 作为全局变量，但是如果在 funcA 里面 put 数据的话，在主线程当中 get 数据会返回 None，因为 funcA 会花费很多的时间，所以主线程获得的都是 None 。

q = queue.Queue(10)
def funcA():
     
     # 花费很多时间做一些事得到一个数组叫做 res
    for i in res:
        q.put(i)

res=[]
while not empty(q.get()):
   res.append(q.get())

1. 是重构 thread 模块写一个自己的 thread 类，其中新建一个 get_result 方法。如果重构的话会发现也是 None，因为在 funcA 会使用很多的时间,然后使用 get_result 方法的话会返回 None,因为在 run 方法当中并没有返回数据。

class MyThread(Thread):
    def __init__(self, target, args):
        super(MyThread, self).__init__()
        self.func = target
        self.args = args


    def run(self):
        print("I have done")
        self.result = self.func(*self.args)

    def get_result(self):
        while self.lock:
            pass
        return self.result

.............
.............
thread = MyThread(target=funca, args=(domain,))
thread.start()
res=thread.get_result()

我也想过方法，比如在 get_result 当中等待 run 方法执行完毕，但是这样就会导致线程阻塞的问题

所以问题是如何在需要花费很多时间的线程当中得到数据并且不会阻塞。 跪求大神！！！

[ClericPy]

你该学的是 Future 的用法...

[echome]

啥意思大哥

[marquina]

自从接触了 concurrent.futures 后，就再也没有用过 thread 库了

[lithbitren]

没懂题目啥意思，不过 io 密集用协程更好，cpu 密集的用多进程更好，阻塞不管设在哪里，是否有回调，两者的 API 都比多线程丰富，多线程讲实话还是比较鸡肋的。

[billwsy]

所以“网上的方法”问题在哪里…主程序总是要等 funcA put 数据了之后才能 get 到数据

不会有什么神奇的办法让 funcA 在超长执行结束之前就产生出你想要的数据吧

[wuwukai007]

from concurrent.futures import ThreadPoolExecutor
pool = ThreadPoolExecutor()
job = pool.submit(func)
try:
---- func_result = job.result()
except Exception as e:
----logger.exception(e)
---- raise e

[StephenKwen]

线程之间使用条件锁，这样一个线程执行获得数据之后，可以通过条件锁唤醒另一个在等待的线程

[echome]

@billwsy 的确是，但是如果要等待子线程执行完成得到其中的数据的话那么主线程就要一直等待。这样就形成了阻塞！
如果不等待的话就会得到 None 的返回值！

[Les1ie]

（大概算是实现了楼主的接收返回数据的需求？
这里用 func 代表消耗时间的操作，main 函数的线程池里面调用 result()方法将主线程阻塞，等待所有子线程执行完毕再返回结果

https://i.loli.net/2020/05/01/mWN5jt2HpFfM6VL.png

[Les1ie]

那么我的工资超级加倍去哪里领 :( 穷.jpg

[crella]

要么像楼上那样使用多进程；要么拆分 funcA，先处理必须在 get_result()之前要处理的数据，不怎么重要的数据在 get_result()之后开一个线程来完成

[noparking188]

也许可以讲一下你想实现什么，或者有比多线程更好的方式
之前看 redis 实现学到一个概念 - Reactor 模型，虽然没咋看懂，但是感觉题主的需求可以借鉴下这种思想
有点没明白你的表达，是必须拿到另一个线程产出的数据才能执行接下来的操作，这是串行？或者另一个线程产出数据之前，其它线程做自己的事，有数据了再工作
可能我理解能力差了点

[Sanko]

join?

[guyskk0x0]

@echome 如果一件事情要 10 秒做完，你想 1 秒就拿到结果，要穿越时空？

[sudoer]

我点开了，工资加倍在哪领。。。（阿巴阿巴阿巴）

[oahebky]

你想让主（一个）线程(thr-A)取得子（另一个）线程(thr-B)的数据，又不想 thr-A 阻塞。

那么你的 thr-A 在除了“创建 thr-B，并让它工作得到结果” 之外还有其它事情做吗？

如果 thr-A 本来就有事情做，比如它有 func1, func2, func3, func4 的事情做，
另外还有一个得到 thr-B 的结果后的 func_I 事情做。
那么你本来只是需要
func1 -> func2 -> func3 -> func4 -> get thr-B result --True? --Y--> func_I
这么重复循环 LOOP 就可以了。

如果你想 thr-A 做其它事情，然后 thr-B 产生结果的时候，thr-A 马上就去处理 thr-B 的结果，
那么这就有中断的意思了。
主要要解决：
func1, func2, ...; 即 thr-A 中的事情是否依赖 thr-B 的 result （或者说 func_I 的 result ）？

是：
那么这本来就是会阻塞等待结果的程序，不论你怎么设计它都是会阻塞的。
比如你有 10 个 thr-B1，thr-B2, ... thr-B10; 那么即使 10s 之后每一秒 queue 中都有 result 存在； func1, func2, func3 ... 等依赖结果的任务，即使 10s 之后马不停蹄地执行（因为会不断地取得结果），但是它即使在忙碌，可是它本质上还是阻塞的。

否：
那你就大胆创建一个 thr-B: do jobs; 的同时；再创建一个 thr-C: handle result from thr-B 。
thr-C 在等待 queue 时阻塞是（可以视为完全）不影响程序性能的（非 `while (1) ;;`），即 CPU （中的单核）不会 100% 占用。

所以搞清楚了这些，还有没有必要纠结阻塞问题？

[superrichman]

多线程换成异步 io

[lewinlan]

我记得 queue 的 get 应该会阻塞吧？不应该返回 None 啊。
如果真的不阻塞的话，那就无限循环 sleep 去等呗……这种情况用协程才是对的。
建议先学操作系统，理解一下线程，内存，上下文之类的东西。否则很难搞懂。

[echome]

@lewinlan 在主线程当中对 queue 进行 get 之后保存到数组当中会得到 None，并不会堵塞。如果无限循环等待的话多线程的意义就丢失了。

[Marinej]

用 deque 线程安全的双端队列字 节码级别 线程安全