微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

Python多进程-进程间数据的传递

python aide_941 8℃

两个进程间的数据是独立的,要进行数据传递的话可通过几个方法

Queue

通过队列来进行进程间数据的传递

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# -*- coding:utf-8 -*-
__author__ = "MuT6 Sch01aR"
from multiprocessing import Process, Queue
def Child_Process(n):
    n.put("Data From Child Process")
if __name__ == '__main__':
    = Queue()
    = Process(target=Child_Process, args=(q,))
    p.start()
    print(q.get())
    p.join()

运行结果

父进程中声明了一个queue,也生成了一个子进程,然后父进程把queue克隆一份,然后通过pickle序列化queue,再把queue进行pickle反序列化传入子进程

两个进程之间通过进程queue进行数据传递需要经过pickle的序列化和反序列化

Pipe

通过管道来进行进程间数据的传递

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# -*- coding:utf-8 -*-
__author__ = "MuT6 Sch01aR"
from multiprocessing import Process, Pipe
def f(conn):
    conn.send("Data_1 from Conn_1")
    conn.send("Data_2 from Conn_1")
    print("Conn_1: ",conn.recv())
    conn.close()
if __name__ == '__main__':
    conn_1, conn_2 = Pipe() #生成管道的两边,分别传给两个进程
    = Process(target=f, args=(conn_1,))
    p.start()
    print("Conn_2: ",conn_2.recv())
    print("Conn_2: ",conn_2.recv())
    conn_2.send("Data_1 from Conn_2")
    p.join()

运行结果

上面是两边的管道收发数据的次数一样,如果把conn_2给conn_1发送数据的那一行代码去掉

脚本就会在conn_1接收数据处一直等着

 

转载请注明:SuperIT » Python多进程-进程间数据的传递

喜欢 (0)or分享 (0)