Advertisement

Python多线程并行处理一个大任务的具体案例

阅读量:

参考文献:并行执行同一功能模块 多线串行执行同一功能模块

该算法的主要功能是协调多个子任务被独立处理以完成整体目标,并通过动态计算各子任务的具体工作量来优化资源分配效率。整个算法的核心逻辑包括两个关键步骤:首先将整体任务划分为若干独立运行的子任务,并计算各子任务的具体工作量;其次将计算出的任务划分结果按照工作负载大小分配至独立运行的处理单元中

如果要换成自己的任务的话,要改的地方:

将初始数据集替换为您所需处理的整体工作量。
根据split_count=2来分配每个线程的工作量。
将您的任务功能命名为work()。
使用t.map()方法执行工作分配:第一个参数是您的功能名称(work),后续参数是传递给功能所需的变量列表。
最后通过多重for循环结构提取结果内容。

复制代码
    # -*- coding: utf-8 -*-
    import math
    import random
    import time
    from concurrent.futures import ThreadPoolExecutor
    
    
    def split_list():
    # 线程列表
    ne

全部评论 (0)

还没有任何评论哟~