subprocess 后遗症

[wikinee]

用了 subprocess 的 Popen，发现主进程都退出了，子进程连用户注销之后都还能跑…

有木有办法一块都退出了

[rogwan]

你要知道进程 id 呀，主进程只负责起，不负责灭，他主进程不知道紫禁城什么时候干完活了啊。要控制的话，要进程间通讯才行

[Abbeyok]

不可能啊，主进程退出了，子进程也会强制退出啊。。

[hakono]

主进程退出的时候 Popen 调用 kill，（ windows 的话 taskkill ）手动杀了子进程

[iyaozhen]

一般都是父进程记录子进程的 pid，然后父进程退出时把子进程都 kill 一遍

[Tink]

subprocess 就是有这个问题，Popen 的时候把 pid 返回来保存，结束的时候直接杀掉

[Qzier]

proc = subprocess.Popen(...)
try:
outs, errs = proc.communicate(timeout=15)
except TimeoutExpired:
proc.kill()
outs, errs = proc.communicate()

[labnotok]

手动 ps aux | grep xxx | awk '{print $2}' | kill 吧，
我前几天用 multiprocess 的 pool 的时候出了一堆 D 进程，
D 进程只能手动关闭，父进程 加上 兄弟进程同时关，一般就能杀掉了

[tangrwx]

有个参数的可以开启进程组，好像是 pexec 或者 new_session。，你可以查下文档

[hhhsuan]

用 psutil，把子进程全 kill 了：
https://gist.github.com/xcjiang/bd19224a4b6cc79470118337cc3bdc8b

[lolizeppelin]

这些其实都不是 python 的知识
好好把操作系统信号,和进程 fork 相关看一看

这些基础知识不熟悉,multiprocess、subprocess 各种问题你都不知道原因,各种标准的处理方法你都不知道
不熟悉的就不要瞎回答

比如上面有人说这种完全错误的话

~~~
不可能啊，主进程退出了，子进程也会强制退出啊。。
~~


强调一下！！！这些其实都不是 python 的问题！！

[lolizeppelin]

上面的直接 kill 都不是正确做法

如果你子进程没处理信号的话,只能用信号 9,这种做法是非常不标准的

[codehz]

Linux 平台的话，可以用 prctl PR_SET_PDEATHSIG

[PTLin]

你可以用 atexit 注册个 exit handler，然后每次 fork 的时候记录下来，调用 handler 的时候向子进程发送 SIGTERM 信号，子进程也可以注册 signal handler 来进行退出的收尾工作。

[wikinee]

@lolizeppelin 菜鸟研究的不深入，这块实在不太懂。
@rogwan @hakono @iyaozhen @Tink 保留子进程 PID 的做法确实有效，只有一个致命缺陷，其实类似 -9 那种干掉进程的做法，有些信号什么的根本来挤不发出去，不保险。
@tangrwx 我看了那个 prexec 什么的参数，说是 fork 之后，启动之前的一个钩子函数，然后文档里直接 NOTE 说了这个参数不保险，😅
@Abbeyok 你可以找例子跑跑看，不要在终端 ctrl + C，试试在进程管理器里把主进程停止。

[wikinee]

@codehz @PTLin 这都是高级玩家了，我还没太深入研究这一块。
我最后用 shell 脚本写了，放弃这种主进程、子进程的做法。

[tangrwx]

@wikinee 试试 start_new_session 参数，其实本质是 Linux 进程组和会话的概念。

[wikinee]

@tangrwx 问题下面我补充了，我看到过这种进程组的玩法。我这边命令不多，直接写 shell 脚本了

[hakono]

@wikinee 你担心主进程被强杀的话，那你可以改变策略在子进程里监视主进程啊，主进程退出的话就退出

如果子进程的程序不是你写的程序没法改代码加监视逻辑的话…… emmm ……
解决办法其实有……不过算有点骚操作，你可以往子进程里注入远程代码啊哈哈哈
在注入的代码里做主进程监视就行了，完美

[lolizeppelin]

不需要子进程监控主进程,有个很标准的做法是用管道
主进程 fork 前开管道

子进程开一个线程去读管道,后面紧跟强制退出代码 os._exit(1)

因为这个读取是阻塞的,当主进程挂掉的时候阻塞读能返回空,这样就知道主进程挂了

规范程序都按标准写法写的, 不懂把 openstack 的 luanch 那部分读透了就都明白了

[PTLin]

@wikinee 的确用 shell 实现也是很简单，cmd &放到后台，然后可以用 wait 来等待，不过我又想起来一个方法，进程 fork 后除非显式调用 setpgid 函数更改进程组 id 否则会继承父进程的进程组 id，这样父进程退出前用 kill 函数，pid 参数指定为 0 就可以发送给同一进程组的所有进程了。