Python异步库asyncio、aiohttp详解

这篇文章主要介绍了Python解决asyncio文件描述符最大数量限制的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
Python客栈送红包、纸质书

问题复现
Windows 平台下，Python 版本 3.5，使用异步框架 asyncio，有时候会出现 ValueError: too many file descriptors in select() 的报错信息，我们就来聊一下为什么会出现这种问题，以及问题的一些解决方法。

写一个小 dome 复现这个问题（环境：Windows 64 位、Python 3.7）：

import aiohttp
import asyncio
 
 
num = 0
 
 
async def main(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            global num
            num += 1
            print('%s ——> %s' % (str(num), response.status))
 
 
def tasks():
    url = 'https://www.baidu.com/s?ie=UTF-8&wd=%s'
    task = [main(url % i) for i in range(10000)]
    return task
 
 
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks()))

在打印 500 次左右后就会出现以下报错：

问题分析
好像这个报错和 select 有关，那什么是 select 呢？要怎么解决呢？别急，我们首先来了解一下 asyncio 中的事件循环，即 EventLoop。

事件循环 EventLoop
事件循环是 asyncio 的核心，异步任务的运行、任务完成之后的回调、网络 I/O 操作、子进程的运行，都是通过事件循环完成的，通俗来讲，事件循环所做的就是等待事件发生，然后再将每个事件与我们已明确与所述事件类型匹配的函数进行匹配。

下图很好的展示了协程、事件循环之间的相互作用：

在 asyncio 中，主要提供了两种不同事件循环的实现方法：

SelectorEventLoop：基于 selectors 模块的事件循环，selectors 又是建立在底层的 I/O 复用模块 select 之上的，selectors 提供了高度封装和高效的 I/O 复用，也就是说 SelectorEventLoop 在