Python -- 多进程

发布时间：2019-08-17 08:48:55编辑：auto阅读（1611）

    进程通信

    方式一、共享内存(进程安全,效率高)

    共享变量：multiprocessing.Value
    共享数组：multiprocessing.Array
     

    方式二、Manager对象：

    Mananger 包括：list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Queue, Value, Array
    Manager对象，相对于共享内存，更加灵活，支持Python对象，可以通过网络进行共享，但是效率低
     

    进程同步

    Manager对象：Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event
    1、简单同步机制锁 Lock、RLock(A/B 进程同时修改一个对象，RLock支持嵌套)
    2、可控制进程数量 Semaphore, BoundedSemaphore (例如连接池限制)
    3、复杂同步条件变量 Condition (A/B进程可以多条件判断，交替执行)
    4、事件控制 Event(A、C进程等待B进程执行某种操作之后才能执行)
     

    进程池

    multiprocessing.Pool
res = pool.apply_async (非阻塞)
res = pool.apply (阻塞)
res.get(timeout=2) 获取执行return的结果

     

    subprocess(经常用来执行Linux命令，非常方便)

    cmds = [‘ls’, ‘-l’]
subprocess.call(cmds, stdout=fd, stderr=fd)
返回执行后状态码
subprocess.check_call(cmds, stdout=fd, stderr=fd)
执行成功返回0，失败抛出异常
subprocess.call_output(cmds, stderr=fd)
执行成功返回标准输出，失败抛出异常
都是阻塞执行命令，标准与错误输出到文件句柄或者PIPE

     

    多进程注意点：

    1、不能使用Lock嵌套，会导致死锁，应该使用RLock嵌套
    2、多线程/进程，随时可能发生切换，操作相同变量要加锁
    3、多进程普通类型共享，可以使用共享内存Value，Array，效率高

关键字：

上一篇： python练习题

下一篇： Python Day10