python concurrent.futures 高效多线程处理, 多进程数据处理, 异步执行, 多线程进度显示
发布时间
阅读量:
阅读量
concurrent.futures
concurrent.futures 模块提供了一种用于异步执行可调用对象的高级接口。
其中 ThreadPoolExecutor 采用线程池机制,实现多线程方式对可调用对象进行异步处理,适用于I/O密集型任务,例如从互联网下载文件或进行音视频文件的读写操作。
而 ProcessPoolExecutor 则借助进程池的方式,以多进程形式异步执行可调用对象,主要针对计算密集型任务,如数据处理或高维矩阵运算等。由于操作系统具备多核CPU的支持,在执行过程中每个进程均可获得独立的Python解释器资源,从而有效规避全局解释器锁(GIL)所带来的限制。
基础用法概述
``
全部评论 (0)
还没有任何评论哟~
