Python学习：如何通过非阻塞方式读写子进程输入输出

原创

已于 2023-03-30 00:15:09 修改 · 2.6k 阅读

标签

#python #学习 #windows

于 2023-03-30 00:08:06 首次发布

1.问题

并发性能一直都是Python之殇，线程很多情况下不能提升性能，而且不容易杀死，容易阻塞，编写线程并发永远不是一个简单的问题。多进程并发，也是如此，如何杀死进程，如何读进程输出不阻塞，处理起来也不是那么容易。本文一起看看读进程输出时，如何防止阻塞，不导致父进程挂死的处理方法。

2.方案

2.1.创建子进程

Python中创建子进程，还是非常容易的。我们可以创建dir进程。代码如下：

import subprocess
import time
import shlex

from loguru import logger

cmd = 'dir'
args = shlex.split(cmd)
proc = subprocess.Popen(args, stdout=subprocess.PIPE, stderr=subprocess.PIPE, stdin=subprocess.PIPE, shell=True, universal_newlines=False)

data = proc.stdout.read()
logger.info(data.decode('cp936'))

上述代码可能的输出如下：

PS C:\code\python\pylearn> python3 main.py
PS C:\code\python\pylearn> 
PS C:\code\python\pylearn>
PS C:\code\python\pylearn> dir


    目录: C:\code\python\pylearn



 C:\code\python\pylearn 的目录

2023/03/29  23:18    <DIR>          .
2023/03/29  23:12    <DIR>          ..
2023/03/29  23:16    <DIR>          .idea
2023/03/29  23:18               359 main.py
               1 个文件            359 字节
               3 个目录 226,689,306,624 可用字节

PS C:\code\python\pylearn>

可通过subprocess.Popen创建子进程，同时使用subprocess.PIPE把子进程的输入输出重新导向到管道中，这样我们就可以通过管道和子进程进行交互了。
使用proc.stdout.read()获取子进程的输出。

上述是读进程的输出，看上去没什么问题，但是如果换一个进程cmd.exe，这个时候程序就挂死了，原因是管道读proc.stdout.read()是阻塞式的，只有子进程退出时才会返回结果，很容易挂死。虽然官方也有API进行枚举子进程是否有输出（比如：communicate，有兴趣去可以搜索下，不是本文的重点），使用起来限制太多，不容易设计成与子进程进行灵活的交互。

2.2.子进程无阻塞读(`windows`版本)

Python中进行无阻塞式读，没有标准的API可以用。不过好在，主流的Python解释器是C语言开发的，我们可以直接访问windows系统的API把管道设置成无阻塞。

使用windows的API有两种，一种使用第三方库pywin32；另外一种使用Python自带的内部API。我们先来看代码：

import _winapi
import msvcrt

handle = msvcrt.get_osfhandle(proc.stdout.fileno())
read, avail_count, msg = _winapi.PeekNamedPipe(handle, 0)
if avail_count > 0:
    data, errcode = _winapi.ReadFile(handle, avail_count)
    logger.info(