run_in_executor

最新推荐文章于 2026-04-11 00:11:55 发布
原创 最新推荐文章于 2026-04-11 00:11:55 发布 · 8.3k 阅读 · 6 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#run_in_executor
本文介绍如何在Python的异步事件循环中利用线程池执行阻塞操作，如文件读取，以提高程序效率。通过示例展示了如何使用默认线程池及自定义线程池进行异步IO操作。

 

原型 :

awaitable loop.run_in_executor(executor, func, *args) 

参数 : executor 可以是  ThreadPoolExecutor / ProcessPool  , 如果是None 则使用默认线程池

可使用 yield from 或 await 挂起函数

 

作用  ： 例如在异步事件循环中 写文件, 这种那么慢的操作交给线程去做

完整例子: python 异步下载 完整例子

例子:

def block_func():
    with open("c:/PDFXVwer.zip",'rb') as fd:
        return fd.read(500)

async  def todo(lp:asyncio.AbstractEventLoop):
    readed = await lp.run_in_executor(None,block_func) # 默认线程池
    print("readed:",readed)


    with futures.ThreadPoolExecutor() as ex:
        readed = await lp.run_in_executor(ex,block_func)  # 自己创建一个线程池让事件循环调用
        print("readed :", readed)

lp = asyncio.get_event_loop()

lp.run_until_complete(todo(lp))

 

python异步asyncio函数多线程操作run_in_executor和run_coroutine_threadsafe解析
hellojike的博客
03-22 2万+
刚接触异步asyncio，发现python文档一个版本一个变化，恼火。 东拼西凑终于解决了asyncio的多线程操作，记录下来。对于一个门外汉。太难了。 首先python3.9版本终于封装了一个多线程函数 asyncio.to_thread(func, /, *args, **kwargs) #函数直接开线程，传递参数。感觉这才像python 目前3.9以下看来，asyncio多线程实现就是，两个函数： run_in_executor 和 run_coroutine_threadsafe 对应两种需求。
python使用run_in_executor线程池结合requests.get函数下载，使用functools.partial偏函数赋值
wulong710的专栏
12-25 1304
functools.partial用来冻结函数的参数，类似js中的 function.bind函数绑定 例子： # coding=utf-8 import functools def deal(x, y, z): print("x = {}, y = {}, z = {}".format(x, y, z)) def callFunc(): call = functools.partial(deal, x=8, y=9, z="hellkew") call() if __n
Python如何在异步中运行同步代码_使用loop.run_in_executor处理计算
最新发布
u010914760的博客
04-11 240
def cpu_heavy_sort(data):time.sleep(0.1) # 模拟耗时计算return sorted(data, reverse=True)</p><p>async def main():loop = asyncio.get_running_loop()data = list(range(10000))
【asyncio】run_coroutine_threadsafe与run_in_executor多线程操作
aiscong的博客
08-15 1417
asyncio多线程多进程操作，run_in_executor与run_coroutine_threadsafe对比
python中asyncio和run_in_executor混合
wulong710的专栏
05-23 2690
run_in_executor开了新线程后台处理耗时长的任务。这时候其它协程继续运行。 例如run_in_executor开了新线程去处理requests下载任务。 callFunc = functools.partial(requests.get, url=murl, timeout=10*60) result = await loop.run_in_executor(None, callFunc) #开了新线程处理下载，挂着等结果。其它定时器任务继续在老线程里跑 l.
Python — 异步async/await
热门推荐
李少侠
05-04 1万+
文章目录协程asyncawait阻塞函数处理问题解决方案run_in_executor 协程 协程，英文Coroutines，是一种比线程更加轻量级的存在。 协程既不是进程，也不是线程，它就是一个可以在某个地方挂起的特殊函数，并且可以重新在挂起处继续运行。 async 用来声明一个函数为异步函数，异步函数的特点是能在函数执行过程中挂起，去执行其他异步函数，等到挂起条件消失后，再回到挂起前的状态执行。 用法： async def func_name(): pass await 用来用来声明程序挂起，
Python之loop.run_in_executor
无风听海
09-05 1209
特点内容功能异步执行阻塞的同步函数用法默认线程池用于场景文件 I/O、网络请求、同步数据库操作、CPU 密集计算替代方案。
python 使用协程asyncio加run_in_executor线程池处理同时下载多文件
wulong710的专栏
11-01 4628
同时下载多文件，碰到阻塞的函数则用run_in_executor来新开线程跳过阻塞 # coding=utf-8 import asyncio import os import requests async def downOne(loop, url): name = os.path.basename(url) print("downOne:start {}".format(name)) # loop = asyncio.get_event_loop() # req
Python从小白到高手实现系列二百二十一：有用的设计模式
Mr_Roki的博客
03-24 407
本书是这个领域中的重要著作，它收录了23 种设计模式，并使用SmallTalk 和C++编写了示例。更安全的方式是使用更先进的技术—元类（metaclasses）。除了工厂设计模式，在Python 中，GoF 中唯一值得注意的其他创建型设计模式是单例。要单例，为什么不使用带有函数的模块，因为Python 模块已经是单例了？这些是编译型语言（如C 或C ++）中非常重要的模式，因为在运行时难以生成需要的类型。本章介绍了Python 中最有用的以及最值得大家讨论的模式，以及实现示例。用程序通常被声明为单例。
python中asyncio异步编程教程2
weixin_42289273的博客
04-06 1975
1. asyncio中的Future对象 asyncio中的Future对象是一个相对更偏向底层的可等待对象，通常我们不会直接用到这个对象，而是直接使用Task对象来完成任务的并发和状态的追踪。（ Task 是 Futrue的子类 ） Future为我们提供了异步编程中的 最终结果 的处理（Task类也具备状态处理的功能），Task对象内部await结果的处理基于Future对象来的。 示例1： import asyncio async def main(): # 获取当前事件循环
Python 高手编程系列一千七百零八：在事件循环中使用 executors
2301_77888392的博客
12-25 584
此解决方法的核心是事件循环类的 BaseEventLoop.run_in_executor(executor,本书是这个领域中的重要著作，它收录了 23 种设计模式，并使用 SmallTalk 和 C++编写了示例。这个方法最重要的是它返回一个新的 awaitable（一个可以用 await 语句的等待。何时候都共享相同的状态的事实。另一种克服琐碎单例实现问题的方法是由 Alex Martelli 提出的。这些是编译型语言（如 C 或 C ++）中非常重要的模式，因为在运行时难以生成需要的类型。
在Run_in_Executor中运行图像处理。适应多处理
01-12 397
关于人工智能大模型方面的应用，这里给出一个简单的例子：假设我们要对大量的文本进行情感分析，我们可以使用TensorFlow或PyTorch等深度学习框架训练一个预训练的模型，然后使用这个模型来预测每个文本的情感。在这个例子中，我们首先定义了一个处理图像的函数`process_image`。在Python中，我们可以使用`concurrent.futures`库中的`ThreadPoolExecutor`或`ProcessPoolExecutor`来实现多线程或多进程的图像处理任务。
asyncio run_in_executor与线程池配合
迷心兔的博客
10-09 8232
# 使用多线程：在协程中集成阻塞io import asyncio from concurrent.futures import ThreadPoolExecutor import socket from urllib.parse import urlparse def get_https://blog.csdn.net/url(url): # 通过socket请求html url = urlparse(url) ...
python3 asyncio loop 使用线程池原理
whatday的专栏
06-22 4612
问题 根据官方描述，asyncio中的事件是属于单个线程的，下面这段程序中即属于main线程。但是为什么下面的ThreadPollExecutor(2)中的两个线程的能共享一个loop？ 拜托大神解释一下事件循环的本质到底是什么？官方文档只提供了一系列的api，到现在我也并没有真正的理解。 import asyncio from concurrent.futures import ThreadPoolExecutor print('running async test') def say_boo
如何在 Python 中混合使用同步和异步函数？
mkdir700的博客
03-26 9657
异步编程可以提高应用程序的性能和吞吐量，因为它可以充分利用 CPU 和 I/O 资源。当某个任务被阻塞时，事件循环可以切换到另一个任务，从而避免浪费 CPU 时间。此外，异步编程还可以简化代码，使其更易于维护和调试。我们最常用的是同步编程，在同步场景中，某个任务被阻塞时，整个线程都会被挂起，直到该任务完成，所以为了避免整个程序被阻塞的情况，又引入了多线程和锁。同步编程通常需要使用锁和其他同步原语来确保线程安全。混合编写的场景在实际开发过程中，通常会遇到同时进行异步和同步操作的场景。
python3 循环_事件循环 — Python 3.9.1rc1 文档
weixin_39586825的博客
12-03 653
事件循环¶前言事件循环是每个 asyncio 应用的核心。 事件循环会运行异步任务和回调，执行网络 IO 操作，以及运行子进程。应用开发者通常应当使用高层级的 asyncio 函数，例如 asyncio.run()，应当很少有必要引用循环对象或调用其方法。 本节所针对的主要是低层级代码、库和框架的编写者，他们需要更细致地控制事件循环行为。获取事件循环以下低层级函数可被用于获取、设置或创建事件循环:...
Python重点知识汇总，建议收藏
npm_run_dev__的博客
09-15 332
Python重点知识汇总，建议收藏
深入解析 Python asyncio 库：如何使用线程池实现高效异步编程
这家伙很懒，什么都没有留下
07-10 1356
为了在asyncio中执行这些阻塞的IO操作，我们可以将它们放到线程池中执行，并使用asyncio的run_in_executor方法来调度它们。在上面的代码中，我们定义了一个do_something_blocking函数，它执行了一些阻塞的IO操作。但需要注意的是，在CPU密集型的应用中，多线程可能会导致性能下降，因为Python的全局解释锁（GIL）限制了多线程的并行执行。之所以要使用线程池来执行阻塞的IO操作，是因为在Python中，使用多线程来执行IO操作相比于多进程来说更加高效。
asyncio 系列五、asyncio的事件循环
duxin_csdn的博客
05-24 9003
官网连接：https://docs.python.org/zh-cn/3.7/library/asyncio-eventloop.html#asyncio.loop.run_in_executor 事件循环是每个 asyncio 应用的核心。 事件循环会运行异步任务和回调，执行网络 IO 操作，以及运行子进程。里面封装的方法用于上层函数调用。本节所针对的主要是低层级代码、库和框架的编写者，...
Python 高手编程系列一千五百零八：在事件循环中使用 executors
2301_77888392的博客
11-24 1006
此解决方法的核心是事件循环类的 BaseEventLoop.run_in_executor(executor,本书是这个领域中的重要著作，它收录了 23 种设计模式，并使用 SmallTalk 和 C++编写了示例。这个方法最重要的是它返回一个新的 awaitable（一个可以用 await 语句的等待。何时候都共享相同的状态的事实。另一种克服琐碎单例实现问题的方法是由 Alex Martelli 提出的。这些是编译型语言（如 C 或 C ++）中非常重要的模式，因为在运行时难以生成需要的类型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值