Advertisement

Python多进程:进程池启动及对同一列表的操作

阅读量:

为什么要使用多进程

  • 目标网站的数据规模庞大,希望在短时间内尽可能多地获取信息?
    • 需要处理数据库中海量的数据内容?
    • 单纯地希望节省时间,尽早完成工作?
    • ............

或许有人会提到【多线程

怎么使用多进程

此处着重阐述的是线程池Pool的相关内容,至于Process则暂且不作详述,原因在于Process会动态创建进程,而Pool在功能上明显更为强大。

采用多进程编程的方式,通常是借助Python语言中multiprocessing这一模块来实现的。

复制代码
    import multiprocessing as mp
    

此处进行简要表述,因包名过长不便完整呈现。

复制代码
 pool = mp.Pool(processes=4)

    
 for i in range(4):
    
     pool.apply_async(方法, (参数,))
    
 pool.close()
    
 pool.join()
    
    
    
    

在该配置中,process=4 表示线程池所能创建的最大线程数量为4,而通过 apply_async 方法实现子进程的生成。需要注意的是,*apply_async

全部评论 (0)

还没有任何评论哟~