0%

Python_Pool

线程池的原理和使用

问题的提出:
在使用多线程的时候面对着一个问题,如果使用断点下载,把每个range设置为指定值,文件大或者range小都会面对一个任务数爆炸的状态。使用一个线程来完成一个任务会造成线程数过多,线程数过多不仅影响效率,也会影响程序的健壮性

线程池的原理

  • 1.线程池首先会维护一个任务队列
  • 2.生成工作使用的线程(可以是自定义个数,也可以是系统默认)
  • 3.线程分别从队列中取出任务,并执行,一个任务执行完成需要告诉主线程完成一个任务
  • 4.再从任务队列中取出任务,直到所有任务为空,退出线程

具体使用

新建单一进程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import multiprocessing
import time
def func(msg):
print(msg)
time.sleep(1)

if __name__ == "__main__":
#将函数作为第一个参数传入Process中,注意函数不能是类里面的函数,只能是独立定义的
#把args参数作为第二个参数传入Process中,注意下面例子中的args=("hello ", )是打包成了元组类型,可迭代,但是里面只有一个元素
#func("Josn")
p = multiprocessing.Process(target = func,args = ("hello ",))
p.start()
p.join()
print("Done!")

使用进程池

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import multiprocessing
import time

def func(msg):
print(msg)
time.sleep(1)
if __name__ == "__main__":
pool = multiprocessing.Pool()
for item in range(3):
msg = "hello " + str(item)
pool.apply_async(func, (msg,))
pool.close()
pool.join()#用来等待进程池中的worker进程完毕,防止主进程在worker进程结束前结束,但pool.join()必须在pool.close()之后
print("Done!")

使用 pool.apply_async()的道理和pool.map()一样,注意的是第二个参数一定是可以迭代的,即函数一个个传进去对应着前面的函数,利用pool.map()创建工程如下

利用map函数修改

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import multiprocessing
import time

def func(msg)
print(msg)
time.sleep(2)
if __name__ == "__main__":
pool = multiprocessing.Pool()
msg_list = []
for item in range(4):
msg_list.append("hello " + str(item))
pool.close()
pool.join()
print("Done!")

总结

学会利用Pycharm的debug功能下断点,充分领会代码的运行机制

欢迎关注我的其它发布渠道